← 返回 Siami 首頁

Microsoft 開源 pg_durable:把 durable execution 搬進 PostgreSQL,告別 cron + queue + worker 三件式膠水

▲ 296 💬 74
Microsoft 開源 pg_durable:把 durable execution 搬進 PostgreSQL,告別 cron + queue + worker 三件式膠水

Microsoft 6 月 5 日在 GitHub 正式開源 pg_durable,一套把 durable execution 整個塞進 PostgreSQL 的擴充套件。對所有已經把狀態放在 Postgres 裡、卻還在用 pg_cron + jobs table + status 欄位 + 輪詢 worker 拼湊背景任務可靠性的團隊來說,這是一個直接命中痛點的方案。

解決什麼問題

過去想做「可靠的長跑背景任務」,典型配方是:pg_cron 觸發 + 一張 jobs table + 狀態欄位 + retry 計數 + 獨立的 worker 進程輪詢;或者乾脆拉外部 orchestrator(Airflow、Temporal、Step Functions、Argo)打回 Postgres;不然就是 queue + workers + state table 三件式膠水。結果是:workflow 邏輯散落在 SQL、worker、queue、dashboard、status table,到處補丁。

pg_durable 的核心想法很單純——用 SQL 定義工作流圖,每個 step 都 checkpoint 到 Postgres。資料庫 crash、重啟、某個 step 失敗,下次重啟時從最後一個 durable checkpoint 繼續,不會重做已經成功的步驟。

SELECT df.start(
    'SELECT id FROM documents WHERE processed = false LIMIT 100' |=> 'batch'
    ~> 'UPDATE documents SET processed = true WHERE id = ANY($batch)'
);

適合誰

  • 想讓 workflow 跟資料住在同一個地方的後端、資料工程師
  • 自動化 runbook、需要 SQL 可審計的 DBA 與 SRE
  • 處理向量 embedding pipeline(chunk → 呼叫 embedding API → upsert 進 pgvector)
  • 大批次 ingest pipeline、預約維護任務、平行 fan-out 彙總、外部 API enrichment

適合做什麼

  • Vector embedding 流水線:分塊、呼叫 embedding API、寫入 pgvector
  • 大量 ingest:staging、去重、轉換、發佈
  • 排程維護:偵測 bloat、通知、等審核、執行下一步
  • Fan-out 聚合:平行跑獨立查詢再 join
  • 外部 API workflow:從 SQL 呼叫 enrichment、分類、webhook

不適合的場景

  • 只是一句 INSERT ... SELECT 或單一 SQL 陳述式
  • 需要 sub-millisecond 同步請求處理
  • 環境不允許裝 extension 或跑 background worker
  • workflow 主要在 Postgres 之外,橫跨很多異質系統
  • 需要任意應用邏輯,無法乾淨對應到 SQL step、branching、loop、HTTP 呼叫

架構

pg_durable 是用 pgrx 寫的 PostgreSQL extension,所有東西都跑在 PostgreSQL server 內部,沒有外部服務。它用一套 SQL DSL 組裝函數圖,並註冊一個 background worker 在兩個底層 Rust 函式庫上執行:

  • duroxide — durable task framework,提供編排 runtime(決定性 replay、checkpoint、子編排、計時器)
  • duroxide-pg — duroxide 的 PostgreSQL 狀態提供者,把 runtime 狀態(instances、history、work queues)放在 extension 擁有的 duroxide.* schema 裡

安裝

Tagged release 提供 PostgreSQL 17 / 18、amd64 的 Debian 套件:

# 安裝 pg-durable-postgresql-17 / 18 套件
# 把 pg_durable 加到 shared_preload_libraries
# 重啟 PostgreSQL
psql -c "CREATE EXTENSION pg_durable;"

預設的 pg_durable 資料庫是 postgres,background worker 設定與權限細節看 User Guide。

多用戶與權限

CREATE EXTENSION pg_durable 不會自動把任何權限授與 PUBLIC。裝完之後管理員必須明確授與給應用 role,且 row-level security(RLS)確保每個 user 只能看到與管理自己的 durable function instance 與 node。

-- 直接授與給應用 role
SELECT df.grant_usage('app_role');

-- 或建立中介 role
CREATE ROLE pg_durable_user NOLOGIN;
SELECT df.grant_usage('pg_durable_user');
GRANT pg_durable_user TO app_backend, etl_service;

幾個關鍵點:

  • background worker role(pg_durable.worker_role GUC,預設 azuresu)必須是 superuser — 為了繞過 RLS 管理所有 user 的 instance
  • 一般 user 對 df.instances / df.nodes 有 SELECT + INSERT,對 df.cancel() 需要 column-level UPDATE (status, updated_at)
  • df.vars 採用 per-user scoping(透過 owner column + RLS)— 不要在 plain text 存祕密

與 Azure HorizonDB 整合

pg_durable 已經直接整合進微軟自家新的 PostgreSQL 雲端服務 Azure HorizonDB,定位是「效能導向、開箱即用內建 pg_durable」的 Postgres 雲端方案。

HN 社群反應

開源當天在 Hacker News 衝到 296 分、74 則討論。社群大致分三派:

支持的派認為這是 Postgres 2026 復興年的重要拼圖之一(與 DBOS、pgQue 同期),把 durable execution 標準化搬到資料庫裡,配置簡單、不需要額外服務。

觀望的派指出,這跟 stored procedure 路線有點像——商業邏輯埋進 DB 變成 hidden brain、版本控管痛、IO 瓶頸壓在 Postgres,API 呼叫的觀察性不佳。對純本地 DB 任務算好用,跨系統 workflow 還是 Temporal 比較對位。

Azure 使用者則希望 pg_durable 能推動 Azure Postgres 跟上 ParadeDB 這類生態系的混合搜尋、高維度向量索引等現代化特性。

對台灣開發者的意義

台灣很多團隊用 Postgres 撐主要交易與狀態,但背景任務可靠性層一直是各憑本事:用 Celery、Sidekiq、Airflow、甚至客製的 Node.js worker 接 pg_cron。pg_durable 把這層整個拉回資料庫,等於少一個外部相依、少一套監控、少一批 worker 部署。對中小型團隊特別划算——你不需要為了背景任務可靠性額外養一個 K8s 上的 orchestrator 叢集。

網友熱門留言 (5)

#1 junto ▲ 47
這聞起來像 stored procedure。你沒辦法做單元測試、沒辦法做版本控管、商業邏輯藏在資料庫裡形成 hidden brain。IO 瓶頸、擴展壓力全落在 Postgres 那一邊,API 呼叫的觀察性也不好。對純本地資料庫任務來說算好用,但就是個利基場景。
#2 levkk ▲ 38
2026 是 Postgres queue 的元年(DBOS、pgQue 現在又來 pg_durable)。很棒社群持續在貢獻並給我們更多選項。不過我這個前 app 工程師還是比較喜歡把 queue 邏輯寫在程式碼、放在 Git 裡,但也許有對的工具我可以被說服。
#3 TuringNYC ▲ 29
我被困在 Azure 上班,總是在等 Azure Postgres 跟上現代化。例如你沒辦法用 ParadeDB 的混合搜尋,也沒辦法拿到超寬高維度向量索引。希望 pg_durable 推得動 Azure pg 進化。
#4 CharlieDigital ▲ 22
有幾件事從文件和範例裡看不太清楚:`df.wait_for_schedule()` 怎麼運作?它是冪等的嗎?我如果用同樣參數跑兩次會 double tick 嗎?是要從查詢 console 手動叫,還是放在 migration 裡跑一次?
#5 kilobaud ▲ 18
『不該用的場景』裡寫了『工作流主要在 Postgres 之外、橫跨多種異質系統』。那這樣跟 Temporal 比起來到底有什麼差別?是我誤讀了那段建議的含義嗎?