← 返回 Siami 首頁

DuckDB 2.0 LTS 正式發布:把分析型資料庫變成伺服器,還內建 AI Agent 模式

▲ 443 💬 53
DuckDB 2.0 LTS 正式發布:把分析型資料庫變成伺服器,還內建 AI Agent 模式

編按:本文綜合整理自 DuckDB 官方發布公告、DuckDB 官方 Agent Mode 文件、DuckDB 2.0 遷移指南、DuckCon 的 DuckDB v2.0 路線圖影片、DuckDB 官方 X 帳號發布文 與 Hacker News 討論串(443 分、53 則回覆),並加入 Siami 編輯部觀點與分析。

DuckDB 這個名字多數台灣工程師聽過,但用過的大概不多。原因是它長年被歸類在「單機分析工具」這個小眾分類:沒有伺服器、沒有帳號、沒有叢集,就是一個可以嵌進 Python 或 R 程式裡的函式庫。對做資料清理的工程師來說很好用,但它從來沒有機會出現在架構圖上,跟 PostgreSQL 或 Snowflake 擺在一起。

2026 年 10 月 21 日,官方發布 2.0.0 LTS「Cinnamon Teal」(肉桂水鴨,取名自美洲鴨屬的一種赤褐色鴨),直接推翻這個定位。這次改版最關鍵的一句話寫在公告開頭:這是 DuckDB 迄今為止功能最齊全的一次發布,累積了將近兩萬次 commit。

最大轉變:DuckDB 終於長出伺服器架構

DuckDB 從第一天起就是行程內(in-process)資料庫。1.5.3 版在 5 月引進的 Quack 協定,讓它能在傳統的客戶端—伺服器模式下運作:任何 DuckDB 行程都能當伺服端服務自己的資料庫。

2.0 對 Quack 做了一輪完整的效能與穩定性翻新,並且加上兩件事:

第一是 CONNECT 敘述,讓你用一條命令同時掛載並切換到遠端資料庫:

ATTACH 'quack:localhost' AS qk (TOKEN 'my_token');
CONNECT qk;
SELECT * FROM events;

CONNECT 不只支援 Quack——它能指向任何支援該協定的遠端資料庫,包括 PostgreSQL 與 MySQL。對這兩者,2.0 內建了新的遠端下推(pushdown)最佳化,會把查詢直接送到遠端伺服器執行,而不是把資料表整個拉回本地。

第二是 CLI 的快捷參數,不寫任何設定就能跑起來:

duckdb -serve     # 開伺服器
duckdb -connect   # 連線

安全設計上維持低調:伺服器預設只監聽 localhost,若要接受其他機器的連線,官方建議把伺服器留在本機、前面擺一個處理 TLS 的反向代理;直接暴露的 allow_other_hostname 選項只給測試用。

效能底盤:非同步 I/O 與 VARIANT 型別

在效能面,2.0 對 Parquet、CSV 與 DuckDB 原生儲存格式導入非同步 I/O。原本 I/O 層與查詢處理層是一條線,讀檔案時其他運算被迫等待;現在 I/O 層獨立擴展,在背景發出讀取請求並同時維持多個請求在途。這對遠端讀取的並行度提升特別明顯,官方展示的數據是在 s3:// 這類物件儲存上,查詢執行期間的網路頻寬利用率大幅拉高、執行時間明顯縮短。

另一個升級是把 VARIANT 型別扶正為一等公民。VARIANT 用來存半結構化、無固定 schema 的資料(例如 JSON),但同時保留欄式儲存的執行效能——官方形容它是「強化版 JSON」:一欄裡每一列都可以是形狀不同的資料,但它本身不是文字格式。

1.5 版只是引進了這個型別,2.0 才真正打通。關鍵在於 DuckDB 會自動偵測資料中的共同結構並做「撕碎」(shredding),因此壓縮率好、執行快。整條管線從儲存端的撕碎執行,一路到 Parquet 的 VARIANT 讀寫,並由 variant_* 系列函數支援:

SELECT variant_type(payload), variant_keys(payload) FROM events;

實測回傳的結果會告訴你每一列是 OBJECT,以及它的鍵(例如 [user] 或 [event, x, y])。


給 AI 代理的專用模式:agent mode

這次最被忽視、卻最貼近當前技術轉折的改動,是 CLI 的 agent mode。

官方觀察到,Claude Code、Codex、Cursor 這類編碼代理愈來愈常代替使用者在命令列操作 DuckDB。於是 2.0 的 CLI 會偵測自己正在被代理呼叫,並自動切換輸出策略:

  • 印出緊湊的 Markdown 表格,而不是傳統那種補滿空白的框線表格
  • 結果被截斷時明確告知,不再默默截斷
  • 提前中止失控(runaway)查詢
  • 錯誤以 JSON 回報,方便代理解析
  • 長查詢在執行前先回報預估成本,讓代理自己決定要不要等

官方的 TPC-H 實測數字是:agent mode 讓模型需要閱讀的 DuckDB 輸出量減少 59%。手動測試可加 -agent 旗標,或叫代理用 -no-agent 關掉。

這個設計的本質,是承認「人類終端機」和「LLM 上下文視窗」是兩種完全不同的顯示介面。用同一套純框線表格餵給模型,等於把大半 token 浪費在空格上。

補齊的基本盤:Trigger 與自研 PEG 解析器

在 SQL 標準的缺口中,2.0 最大的補丁是 trigger。CREATE TRIGGER 支援 BEFORE 與 AFTER、FOR EACH ROW 與 FOR EACH STATEMENT、可透過 REFERENCING OLD/NEW TABLE 取得轉換表、同一事件掛多個 trigger、被觸發的表可搭配 RETURNING,以及 DROP TRIGGER。

經典用途是稽核表——表一被修改,trigger 就把變更寫進另一張表。官方範例是用 insert 與 delete 兩個 trigger 增量維護「各國籍平均年齡」的統計表:有人被刪掉最後一位,該國籍的整列就自動消失。

部分組合尚未支援(例如 BEFORE 搭配 FOR EACH ROW、UPDATE 搭配 FOR EACH ROW),官方也誠實列在限制裡。不過官方認為 trigger 讓 DuckDB 朝 materialized views 邁進了一步。

另一個基礎建設是全新 SQL 解析器。DuckDB 從 2018 年第一次 commit 起就沿用 PostgreSQL 衍生、以 YACC/Bison 產生的 LALR(1) 解析器;隨著方言愈長愈大,小小的新增就會撞到既有規則、引發 shift/reduce 衝突。2.0 把自研的 PEG 解析器設為預設(1.5 版時是可選功能),PEG 依寫入順序嘗試替代方案,因此新增語法不會再弄壞無關規則。Python 在 3.9 版轉向 PEG 也是同樣理由。相容性方面官方稱設計上與舊解析器一致,需要退回可用 SET enable_legacy_parser = true;。

擴充套件方面,2.0 換上 C API v2,開放檔案系統與表函式給擴充套件使用;同時新增自建擴充套件倉庫功能,組織可以自己託管並簽署自己的擴充套件:

SET allow_extension_repositories = 'allowed';
CREATE EXTENSION REPOSITORY my_repo WITH PREFIX 'https://extensions.example.org';
INSTALL AND LOAD my_ext FROM my_repo;

倉庫定義會記錄 RSA 公鑰並印出 SHA-256 指紋,方便你拿線外公布的指紋比對(供應鏈防護的標準動作)。此功能官方標註仍在進行中,語法可能再變。

擴充套件更新包括 DuckLake 1.1(含新規格與參考實作)、Iceberg 新增 REST catalog ATTACH 選項、Delt支援 CREATE TABLE、時間旅行與更好的 VARIANT 支援。方言層則新增 $variable 簡寫、可當成管線步驟使用的資料修改型 CTE(INSERT/UPDATE/DELETE/COPY)、把 top-k 相似度搜尋變成 join 子句的 NEAREST joins、巢狀 schema,以及 json_set 等 JSON 修改函式。

升級的實際代價:四個必須知道的中斷

官方在公告後段列出破壞性變更,實務上最需要注意的幾點:

編譯器門檻拉高。 DuckDB 告別 C++11,2.0 要求 C++17;官方釋出建置預設從 GCC 轉為 Clang,Linux 與 macOS 上核心擴充套件皆以 Clang 建置,Windows 上 CLI 用 Clang、多數擴充套件仍用 MSVC。自行編譯的專案需要跟著調整。

ICU 被完全移除。 時區、日曆與排序規則過去都由 ICU 函式庫支撐,2.0 改為由 icu 擴充套件自行實作,時區資料直接從 IANA 資料庫建置並壓縮到約 45 kB。官方表示行為完全一致而且更快。

儲存格式是最大的相容性風險。 2.0 之前的版本讀不了 2.0 建立的資料庫檔案;反向則成立(2.0 可讀寫舊檔案,且舊檔案仍可被舊版讀取)。官方建議先在影子系統測試,若負載攸關要嘛等 11 月的第一個修補版本(2.0.1)。

舊的 lambda 語法預設停用。 x -> x + 1 這種單箭頭寫法改為 Python 風格的 lambda x: x + 1,可暫時用 SET lambda_syntax = 'enable_single_arrow'; 恢復,該旗標與語法將在 2.1 完全移除。

支援時程方面:2.0 是 LTS,支援到至少 2027 年 10 月;前一版 LTS 1.4 支援到 2026 年 11 月 17 日;官方也把 1.5 的支援期延長到 2027 年 3 月,等於把它也轉為 LTS,讓轉換有更多緩衝。CLI 與 Python 用戶端已可直接安裝,R 與 Rust 等用戶端與部分擴充套件則需再等幾天。


為什麼這件事重要

第一,這是「嵌入式資料庫」與「服務化資料庫」之間的戰略轉身。 DuckDB 一直有個結構性限制:單行程寫入。這讓它在多程序並行的環境下很彆扭,也讓它很難成為一個共享的基礎設施。Quack 協定加上 CONNECT,等於補上這一塊;而「server 其實仍是 in-process,所以保持輕量」這個設計(HN 網友 bambax 的形容),讓它不必為了服務化而放棄原有的架構優勢。開發者 paoliniluis 把這稱為遊戲規則改變者不是誇大:它確實讓「一台大機器 + DuckDB」開始能挑戰那些跑在一堆伺服器上的資料堆疊。

第二,agent mode 反映的是 AI 工具鏈的分層正在成形。 資料庫廠商開始為「機器讀者」與「人類讀者」提供不同的輸出介面,這件事本身比單一功能更有指標性。目前的 LLM 工具鏈普遍是「人類介面硬塞給模型」,token 浪費與解析失敗都從這裡來;DuckDB 直接把 59% 的輸出縮減當成發布賣點,等於承認模型已經是一等公民使用者。評論者 paoliniluis 立刻做出一個講 Quack 的 Metabase driver,nicoritschel 也已把 alpha 版當正式環境的集中分析伺服器在跑——擴充套件的活躍反應速度,說明社群正準備在實際工作負載上驗證這條路。

第三,擴充套件倉庫功能是把供應鏈風險交給使用者自己處理。 過去擴充套件只能從官方管道安裝,這在企業環境是個實際痛點。允許組織自己託管、自己簽署,並在建立時固定公鑰指紋,是把「我要不要信任這個套件」從一個全局決定變成一個組織層級的決定。這種設計在近幾年一連串軟體供應鏈事故之後,幾乎是標準配備。

數據解讀與質疑

先看最誘人、也最需要打折扣的數字:官方的 59% 輸出縮減。這是在 TPC-H 上量測的——這是一套公認的分析型基準測試,特性正好是查詢會產生大量報表式輸出。對那種負載,緊湊 Markdown 表格確實能省下大量框線空格;但這是「同一份查詢結果、兩種排版」的比較,不是「agent mode 讓任務完成得更快或更準」的端到端比較。它能證明輸出格式對模型很重要,不能證明 DuckDB 在代理工作流裡的整體效益。同樣地,async I/O 展示的頻寬利用率圖,是用來說明機制的,而不是跨工作負載的通用加速比。

其次是社群端的第一手數據,這部分反而比較可信,因為是外部使用者在自己的機器上跑出來的。RobinL(Splink 開發者)報告在 EC2 高核心數機器上,CPU 使用率能一路推到 128 甚至 192 vCPU,而 2.0 之前大約在 64 vCPU 就觸頂,並據此把 Splink 推到「10 分鐘處理 10 億筆紀錄、100 億次比對」。但他同時指出一個官方文件也提到的反效果:過度平行化——超過某個核心數之後,即使 CPU 顯示 100%,實測的整體工作流反而變慢,因為平行化的開銷佔了上風。gopalv 從原理層面接了這點:CPU 已經在最高效率下飽和時,任何進一步提升只能來自資料結構或硬體本身。這代表「多買 vCPU 就更快」在 2.0 之後依然不成立,只是觸頂點往後推了。

最後,jiggawatts 那則壓縮 7 TB Azure 日誌到原本 2.5%、不到兩小時完成、然後不需要 Splunk 的實測,是這波討論裡最吸引人的單一案例,也最容易被過度延伸。它證明 DuckDB 在特定工作負載(日誌壓縮成 Parquet)上的表現足以取代傳統工具,但這不等於能取代 Splunk 的完整功能——他自己也補了一句「如果有 KQL 語法支援就完美了」,而 KQL 正是 Splunk 的核心壁壘。HN 上至少有兩位網友(nicoritschel、pampas)接著把「做 KQL 擴充套件」接成一個提議,這反而印證了差距在哪:底層引擎夠快了,缺的是特定領域的查詢語言與生態。

至於那個最實際的風險,官方自己講得很清楚:2.0 之前的版本讀不了 2.0 建立的資料庫檔案。對於多程序、多版本並存的部署(例如一個服務集群裡同時跑著 1.5 與 2.0),這不是能靠設定繞過的問題,只能靠版本控管或等待 2.0.1。

延伸閱讀

網友熱門留言 (10)

#1 Hacker News 網友 RobinL(item?id=50181136) ▲ 47
我們發現 DuckDB 2.0 在高核心數的 EC2 機器上快得多。不只是從 S3 讀資料,實際運算本身也快。現在更有機會看到 100% 的 CPU 使用率一直跑到大約 128 或 192 vCPU,而且這種 CPU 使用率真的能換算成工作負載更快完成。2.0 之前,速度大概在 64 vCPU 左右就觸頂了,所以這是個大進步。這讓我們能把 Splink(開源的紀錄連結軟體)擴展到 10 分鐘處理 10 億筆紀錄、100 億次紀錄比對,就我所知這讓它成為同類中最快的連結引擎。
#2 Hacker News 網友 nicoritschel(item?id=50181136) ▲ 31
在夠大的雲端 VM 上特別快,尤其是查 Iceberg 的時候。我已經在正式環境跑著 alpha 版,當作一個小型組織的集中分析伺服器。我寫了一個 DuckDB 擴充套件,可以透過 Postgres wire protocol 或 Arrow flight 連線。DuckDB 也有自己的 Quack 協定,但目前對 Quack 的用戶端支援還非常有限,現在很多資料工具都支援 Postgres wire protocol 或 ADBC(那個可以用 Arrow Flight)。
#3 Hacker News 網友 paoliniluis(item?id=50181136) ▲ 24
現在可以當成 client-server 架構來用,這是一個遊戲規則改變者。它絕對會取代掉很多現在跑在一堆伺服器、塞滿 CPU 和 RAM 的資料堆疊。
#4 Hacker News 網友 datadrivenangel(item?id=50181136) ▲ 18
非常期待 trigger。有了這個,DuckDB 真的快要變成一個裝在盒子裡的資料倉儲了。
#5 Hacker News 網友 jiggawatts(item?id=50181136) ▲ 41
它是資料領域的瑞士刀!我上週才剛用 DuckDB 2.0 把 7 TB 的 Azure 紀錄(NDJSON)壓成原本大小的 2.5% 轉成 Parquet 格式,用一台中等尺寸的 VM 不到兩小時就辦完。接著那些日誌小到可以直接從 archive blob storage 跑臨時查詢,只要幾十秒。我建立了一個「frozen DuckLake」然後把簽章過的 blob URL 寄給資安分析師。不需要伺服器,不需要 Splunk!好用、快速、可以隨便丟到網路上任何地方,而且免費!
#6 Hacker News 網友 xnx(item?id=50181136) ▲ 15
絕對是一款了不起的軟體。就算不把它當成分析引擎,它在攝取和重塑資料這件事上也極為多才多藝。做得很好。
#7 Hacker News 網友 gopalv(item?id=50181136) ▲ 16
透明的查詢,跑在 server 和 browser 上,用同一套 SQL。如果你把 Google Capacitor 對資料版面配置做的那些手法全用上,你可以用 duckdb-wasm 把大約 200 到 300 萬列塞進瀏覽器端的查詢引擎,壓在 16 到 20 MB。我們可以透過 HTTP range query 擴展到大約 1 GB,加上 cache-control。然後我同事用 Jev 在 1 到 2 秒內寫出 SQL 查詢。讓 Jev 寫 SQL 需要一些準備,但我共同創辦人幾年前寫過一篇 clairvoyant query execution 的論文。
#8 Hacker News 網友 skeeter2020(item?id=50181136) ▲ 14
你們有沒有「不大不小的 big data」,是個人或小團隊在用的?如果你們的使用者用 GB 或 MB 來衡量資料量,DuckDB 可以是一種繞開資安難題的絕佳方式:直接把他們的全部資料給他們——甚至放在他們本機——同時他們仍然享有第一流的資料庫工具與效能。舊做法是為行銷建立一堆維度表和事實表、管理存取權限、產出報表,還要確保不洩漏他們不該看到的資料。新做法完全不同。
#9 Hacker News 網友 Nihilartikel(item?id=50181136) ▲ 22
它是個非常好的日常萬用工具。比如我常常要處理多個 csv 和 excel 檔、做 join 和篩選。我討厭 Excel 但不討厭 SQL。只要在 dbeaver 開一個 duckdb session,我就可以把磁碟上的檔案當成資料表來 select、project、join。省下超多時間和麻煩。比較大的整合我用它當 trino 的替代品。
#10 Hacker News 網友 bambax(item?id=50181136) ▲ 13
而且那個 server 實際上不是真的 server,它仍然是「行程內」的,所以保持輕量與簡單。這真的棒透了。