Microsoft 6 月 5 日在 GitHub 正式開源 pg_durable,一套把 durable execution 整個塞進 PostgreSQL 的擴充套件。對所有已經把狀態放在 Postgres 裡、卻還在用 pg_cron + jobs table + status 欄位 + 輪詢 worker 拼湊背景任務可靠性的團隊來說,這是一個直接命中痛點的方案。
解決什麼問題
過去想做「可靠的長跑背景任務」,典型配方是:pg_cron 觸發 + 一張 jobs table + 狀態欄位 + retry 計數 + 獨立的 worker 進程輪詢;或者乾脆拉外部 orchestrator(Airflow、Temporal、Step Functions、Argo)打回 Postgres;不然就是 queue + workers + state table 三件式膠水。結果是:workflow 邏輯散落在 SQL、worker、queue、dashboard、status table,到處補丁。
pg_durable 的核心想法很單純——用 SQL 定義工作流圖,每個 step 都 checkpoint 到 Postgres。資料庫 crash、重啟、某個 step 失敗,下次重啟時從最後一個 durable checkpoint 繼續,不會重做已經成功的步驟。
SELECT df.start(
'SELECT id FROM documents WHERE processed = false LIMIT 100' |=> 'batch'
~> 'UPDATE documents SET processed = true WHERE id = ANY($batch)'
);
適合誰
- 想讓 workflow 跟資料住在同一個地方的後端、資料工程師
- 自動化 runbook、需要 SQL 可審計的 DBA 與 SRE
- 處理向量 embedding pipeline(chunk → 呼叫 embedding API → upsert 進 pgvector)
- 大批次 ingest pipeline、預約維護任務、平行 fan-out 彙總、外部 API enrichment
適合做什麼
- Vector embedding 流水線:分塊、呼叫 embedding API、寫入
pgvector - 大量 ingest:staging、去重、轉換、發佈
- 排程維護:偵測 bloat、通知、等審核、執行下一步
- Fan-out 聚合:平行跑獨立查詢再 join
- 外部 API workflow:從 SQL 呼叫 enrichment、分類、webhook
不適合的場景
- 只是一句
INSERT ... SELECT或單一 SQL 陳述式 - 需要 sub-millisecond 同步請求處理
- 環境不允許裝 extension 或跑 background worker
- workflow 主要在 Postgres 之外,橫跨很多異質系統
- 需要任意應用邏輯,無法乾淨對應到 SQL step、branching、loop、HTTP 呼叫
架構
pg_durable 是用 pgrx 寫的 PostgreSQL extension,所有東西都跑在 PostgreSQL server 內部,沒有外部服務。它用一套 SQL DSL 組裝函數圖,並註冊一個 background worker 在兩個底層 Rust 函式庫上執行:
- duroxide — durable task framework,提供編排 runtime(決定性 replay、checkpoint、子編排、計時器)
- duroxide-pg — duroxide 的 PostgreSQL 狀態提供者,把 runtime 狀態(instances、history、work queues)放在 extension 擁有的
duroxide.*schema 裡
安裝
Tagged release 提供 PostgreSQL 17 / 18、amd64 的 Debian 套件:
# 安裝 pg-durable-postgresql-17 / 18 套件
# 把 pg_durable 加到 shared_preload_libraries
# 重啟 PostgreSQL
psql -c "CREATE EXTENSION pg_durable;"
預設的 pg_durable 資料庫是 postgres,background worker 設定與權限細節看 User Guide。
多用戶與權限
CREATE EXTENSION pg_durable 不會自動把任何權限授與 PUBLIC。裝完之後管理員必須明確授與給應用 role,且 row-level security(RLS)確保每個 user 只能看到與管理自己的 durable function instance 與 node。
-- 直接授與給應用 role
SELECT df.grant_usage('app_role');
-- 或建立中介 role
CREATE ROLE pg_durable_user NOLOGIN;
SELECT df.grant_usage('pg_durable_user');
GRANT pg_durable_user TO app_backend, etl_service;
幾個關鍵點:
- background worker role(
pg_durable.worker_roleGUC,預設azuresu)必須是 superuser — 為了繞過 RLS 管理所有 user 的 instance - 一般 user 對
df.instances/df.nodes有SELECT+INSERT,對df.cancel()需要 column-levelUPDATE (status, updated_at) df.vars採用 per-user scoping(透過ownercolumn + RLS)— 不要在 plain text 存祕密
與 Azure HorizonDB 整合
pg_durable 已經直接整合進微軟自家新的 PostgreSQL 雲端服務 Azure HorizonDB,定位是「效能導向、開箱即用內建 pg_durable」的 Postgres 雲端方案。
HN 社群反應
開源當天在 Hacker News 衝到 296 分、74 則討論。社群大致分三派:
支持的派認為這是 Postgres 2026 復興年的重要拼圖之一(與 DBOS、pgQue 同期),把 durable execution 標準化搬到資料庫裡,配置簡單、不需要額外服務。
觀望的派指出,這跟 stored procedure 路線有點像——商業邏輯埋進 DB 變成 hidden brain、版本控管痛、IO 瓶頸壓在 Postgres,API 呼叫的觀察性不佳。對純本地 DB 任務算好用,跨系統 workflow 還是 Temporal 比較對位。
Azure 使用者則希望 pg_durable 能推動 Azure Postgres 跟上 ParadeDB 這類生態系的混合搜尋、高維度向量索引等現代化特性。
對台灣開發者的意義
台灣很多團隊用 Postgres 撐主要交易與狀態,但背景任務可靠性層一直是各憑本事:用 Celery、Sidekiq、Airflow、甚至客製的 Node.js worker 接 pg_cron。pg_durable 把這層整個拉回資料庫,等於少一個外部相依、少一套監控、少一批 worker 部署。對中小型團隊特別划算——你不需要為了背景任務可靠性額外養一個 K8s 上的 orchestrator 叢集。
網友熱門留言 (5)