編按:本文綜合整理自 DuckDB 官方發布公告、DuckDB 官方 Agent Mode 文件、DuckDB 2.0 遷移指南、DuckCon 的 DuckDB v2.0 路線圖影片、DuckDB 官方 X 帳號發布文 與 Hacker News 討論串(443 分、53 則回覆),並加入 Siami 編輯部觀點與分析。
DuckDB 這個名字多數台灣工程師聽過,但用過的大概不多。原因是它長年被歸類在「單機分析工具」這個小眾分類:沒有伺服器、沒有帳號、沒有叢集,就是一個可以嵌進 Python 或 R 程式裡的函式庫。對做資料清理的工程師來說很好用,但它從來沒有機會出現在架構圖上,跟 PostgreSQL 或 Snowflake 擺在一起。
2026 年 10 月 21 日,官方發布 2.0.0 LTS「Cinnamon Teal」(肉桂水鴨,取名自美洲鴨屬的一種赤褐色鴨),直接推翻這個定位。這次改版最關鍵的一句話寫在公告開頭:這是 DuckDB 迄今為止功能最齊全的一次發布,累積了將近兩萬次 commit。
最大轉變:DuckDB 終於長出伺服器架構
DuckDB 從第一天起就是行程內(in-process)資料庫。1.5.3 版在 5 月引進的 Quack 協定,讓它能在傳統的客戶端—伺服器模式下運作:任何 DuckDB 行程都能當伺服端服務自己的資料庫。
2.0 對 Quack 做了一輪完整的效能與穩定性翻新,並且加上兩件事:
第一是 CONNECT 敘述,讓你用一條命令同時掛載並切換到遠端資料庫:
ATTACH 'quack:localhost' AS qk (TOKEN 'my_token');
CONNECT qk;
SELECT * FROM events;
CONNECT 不只支援 Quack——它能指向任何支援該協定的遠端資料庫,包括 PostgreSQL 與 MySQL。對這兩者,2.0 內建了新的遠端下推(pushdown)最佳化,會把查詢直接送到遠端伺服器執行,而不是把資料表整個拉回本地。
第二是 CLI 的快捷參數,不寫任何設定就能跑起來:
duckdb -serve # 開伺服器
duckdb -connect # 連線
安全設計上維持低調:伺服器預設只監聽 localhost,若要接受其他機器的連線,官方建議把伺服器留在本機、前面擺一個處理 TLS 的反向代理;直接暴露的 allow_other_hostname 選項只給測試用。
效能底盤:非同步 I/O 與 VARIANT 型別
在效能面,2.0 對 Parquet、CSV 與 DuckDB 原生儲存格式導入非同步 I/O。原本 I/O 層與查詢處理層是一條線,讀檔案時其他運算被迫等待;現在 I/O 層獨立擴展,在背景發出讀取請求並同時維持多個請求在途。這對遠端讀取的並行度提升特別明顯,官方展示的數據是在 s3:// 這類物件儲存上,查詢執行期間的網路頻寬利用率大幅拉高、執行時間明顯縮短。
另一個升級是把 VARIANT 型別扶正為一等公民。VARIANT 用來存半結構化、無固定 schema 的資料(例如 JSON),但同時保留欄式儲存的執行效能——官方形容它是「強化版 JSON」:一欄裡每一列都可以是形狀不同的資料,但它本身不是文字格式。
1.5 版只是引進了這個型別,2.0 才真正打通。關鍵在於 DuckDB 會自動偵測資料中的共同結構並做「撕碎」(shredding),因此壓縮率好、執行快。整條管線從儲存端的撕碎執行,一路到 Parquet 的 VARIANT 讀寫,並由 variant_* 系列函數支援:
SELECT variant_type(payload), variant_keys(payload) FROM events;
實測回傳的結果會告訴你每一列是 OBJECT,以及它的鍵(例如 [user] 或 [event, x, y])。
給 AI 代理的專用模式:agent mode
這次最被忽視、卻最貼近當前技術轉折的改動,是 CLI 的 agent mode。
官方觀察到,Claude Code、Codex、Cursor 這類編碼代理愈來愈常代替使用者在命令列操作 DuckDB。於是 2.0 的 CLI 會偵測自己正在被代理呼叫,並自動切換輸出策略:
- 印出緊湊的 Markdown 表格,而不是傳統那種補滿空白的框線表格
- 結果被截斷時明確告知,不再默默截斷
- 提前中止失控(runaway)查詢
- 錯誤以 JSON 回報,方便代理解析
- 長查詢在執行前先回報預估成本,讓代理自己決定要不要等
官方的 TPC-H 實測數字是:agent mode 讓模型需要閱讀的 DuckDB 輸出量減少 59%。手動測試可加 -agent 旗標,或叫代理用 -no-agent 關掉。
這個設計的本質,是承認「人類終端機」和「LLM 上下文視窗」是兩種完全不同的顯示介面。用同一套純框線表格餵給模型,等於把大半 token 浪費在空格上。
補齊的基本盤:Trigger 與自研 PEG 解析器
在 SQL 標準的缺口中,2.0 最大的補丁是 trigger。CREATE TRIGGER 支援 BEFORE 與 AFTER、FOR EACH ROW 與 FOR EACH STATEMENT、可透過 REFERENCING OLD/NEW TABLE 取得轉換表、同一事件掛多個 trigger、被觸發的表可搭配 RETURNING,以及 DROP TRIGGER。
經典用途是稽核表——表一被修改,trigger 就把變更寫進另一張表。官方範例是用 insert 與 delete 兩個 trigger 增量維護「各國籍平均年齡」的統計表:有人被刪掉最後一位,該國籍的整列就自動消失。
部分組合尚未支援(例如 BEFORE 搭配 FOR EACH ROW、UPDATE 搭配 FOR EACH ROW),官方也誠實列在限制裡。不過官方認為 trigger 讓 DuckDB 朝 materialized views 邁進了一步。
另一個基礎建設是全新 SQL 解析器。DuckDB 從 2018 年第一次 commit 起就沿用 PostgreSQL 衍生、以 YACC/Bison 產生的 LALR(1) 解析器;隨著方言愈長愈大,小小的新增就會撞到既有規則、引發 shift/reduce 衝突。2.0 把自研的 PEG 解析器設為預設(1.5 版時是可選功能),PEG 依寫入順序嘗試替代方案,因此新增語法不會再弄壞無關規則。Python 在 3.9 版轉向 PEG 也是同樣理由。相容性方面官方稱設計上與舊解析器一致,需要退回可用 SET enable_legacy_parser = true;。
擴充套件方面,2.0 換上 C API v2,開放檔案系統與表函式給擴充套件使用;同時新增自建擴充套件倉庫功能,組織可以自己託管並簽署自己的擴充套件:
SET allow_extension_repositories = 'allowed';
CREATE EXTENSION REPOSITORY my_repo WITH PREFIX 'https://extensions.example.org';
INSTALL AND LOAD my_ext FROM my_repo;
倉庫定義會記錄 RSA 公鑰並印出 SHA-256 指紋,方便你拿線外公布的指紋比對(供應鏈防護的標準動作)。此功能官方標註仍在進行中,語法可能再變。
擴充套件更新包括 DuckLake 1.1(含新規格與參考實作)、Iceberg 新增 REST catalog ATTACH 選項、Delt支援 CREATE TABLE、時間旅行與更好的 VARIANT 支援。方言層則新增 $variable 簡寫、可當成管線步驟使用的資料修改型 CTE(INSERT/UPDATE/DELETE/COPY)、把 top-k 相似度搜尋變成 join 子句的 NEAREST joins、巢狀 schema,以及 json_set 等 JSON 修改函式。
升級的實際代價:四個必須知道的中斷
官方在公告後段列出破壞性變更,實務上最需要注意的幾點:
編譯器門檻拉高。 DuckDB 告別 C++11,2.0 要求 C++17;官方釋出建置預設從 GCC 轉為 Clang,Linux 與 macOS 上核心擴充套件皆以 Clang 建置,Windows 上 CLI 用 Clang、多數擴充套件仍用 MSVC。自行編譯的專案需要跟著調整。
ICU 被完全移除。 時區、日曆與排序規則過去都由 ICU 函式庫支撐,2.0 改為由 icu 擴充套件自行實作,時區資料直接從 IANA 資料庫建置並壓縮到約 45 kB。官方表示行為完全一致而且更快。
儲存格式是最大的相容性風險。 2.0 之前的版本讀不了 2.0 建立的資料庫檔案;反向則成立(2.0 可讀寫舊檔案,且舊檔案仍可被舊版讀取)。官方建議先在影子系統測試,若負載攸關要嘛等 11 月的第一個修補版本(2.0.1)。
舊的 lambda 語法預設停用。 x -> x + 1 這種單箭頭寫法改為 Python 風格的 lambda x: x + 1,可暫時用 SET lambda_syntax = 'enable_single_arrow'; 恢復,該旗標與語法將在 2.1 完全移除。
支援時程方面:2.0 是 LTS,支援到至少 2027 年 10 月;前一版 LTS 1.4 支援到 2026 年 11 月 17 日;官方也把 1.5 的支援期延長到 2027 年 3 月,等於把它也轉為 LTS,讓轉換有更多緩衝。CLI 與 Python 用戶端已可直接安裝,R 與 Rust 等用戶端與部分擴充套件則需再等幾天。
為什麼這件事重要
第一,這是「嵌入式資料庫」與「服務化資料庫」之間的戰略轉身。 DuckDB 一直有個結構性限制:單行程寫入。這讓它在多程序並行的環境下很彆扭,也讓它很難成為一個共享的基礎設施。Quack 協定加上 CONNECT,等於補上這一塊;而「server 其實仍是 in-process,所以保持輕量」這個設計(HN 網友 bambax 的形容),讓它不必為了服務化而放棄原有的架構優勢。開發者 paoliniluis 把這稱為遊戲規則改變者不是誇大:它確實讓「一台大機器 + DuckDB」開始能挑戰那些跑在一堆伺服器上的資料堆疊。
第二,agent mode 反映的是 AI 工具鏈的分層正在成形。 資料庫廠商開始為「機器讀者」與「人類讀者」提供不同的輸出介面,這件事本身比單一功能更有指標性。目前的 LLM 工具鏈普遍是「人類介面硬塞給模型」,token 浪費與解析失敗都從這裡來;DuckDB 直接把 59% 的輸出縮減當成發布賣點,等於承認模型已經是一等公民使用者。評論者 paoliniluis 立刻做出一個講 Quack 的 Metabase driver,nicoritschel 也已把 alpha 版當正式環境的集中分析伺服器在跑——擴充套件的活躍反應速度,說明社群正準備在實際工作負載上驗證這條路。
第三,擴充套件倉庫功能是把供應鏈風險交給使用者自己處理。 過去擴充套件只能從官方管道安裝,這在企業環境是個實際痛點。允許組織自己託管、自己簽署,並在建立時固定公鑰指紋,是把「我要不要信任這個套件」從一個全局決定變成一個組織層級的決定。這種設計在近幾年一連串軟體供應鏈事故之後,幾乎是標準配備。
數據解讀與質疑
先看最誘人、也最需要打折扣的數字:官方的 59% 輸出縮減。這是在 TPC-H 上量測的——這是一套公認的分析型基準測試,特性正好是查詢會產生大量報表式輸出。對那種負載,緊湊 Markdown 表格確實能省下大量框線空格;但這是「同一份查詢結果、兩種排版」的比較,不是「agent mode 讓任務完成得更快或更準」的端到端比較。它能證明輸出格式對模型很重要,不能證明 DuckDB 在代理工作流裡的整體效益。同樣地,async I/O 展示的頻寬利用率圖,是用來說明機制的,而不是跨工作負載的通用加速比。
其次是社群端的第一手數據,這部分反而比較可信,因為是外部使用者在自己的機器上跑出來的。RobinL(Splink 開發者)報告在 EC2 高核心數機器上,CPU 使用率能一路推到 128 甚至 192 vCPU,而 2.0 之前大約在 64 vCPU 就觸頂,並據此把 Splink 推到「10 分鐘處理 10 億筆紀錄、100 億次比對」。但他同時指出一個官方文件也提到的反效果:過度平行化——超過某個核心數之後,即使 CPU 顯示 100%,實測的整體工作流反而變慢,因為平行化的開銷佔了上風。gopalv 從原理層面接了這點:CPU 已經在最高效率下飽和時,任何進一步提升只能來自資料結構或硬體本身。這代表「多買 vCPU 就更快」在 2.0 之後依然不成立,只是觸頂點往後推了。
最後,jiggawatts 那則壓縮 7 TB Azure 日誌到原本 2.5%、不到兩小時完成、然後不需要 Splunk 的實測,是這波討論裡最吸引人的單一案例,也最容易被過度延伸。它證明 DuckDB 在特定工作負載(日誌壓縮成 Parquet)上的表現足以取代傳統工具,但這不等於能取代 Splunk 的完整功能——他自己也補了一句「如果有 KQL 語法支援就完美了」,而 KQL 正是 Splunk 的核心壁壘。HN 上至少有兩位網友(nicoritschel、pampas)接著把「做 KQL 擴充套件」接成一個提議,這反而印證了差距在哪:底層引擎夠快了,缺的是特定領域的查詢語言與生態。
至於那個最實際的風險,官方自己講得很清楚:2.0 之前的版本讀不了 2.0 建立的資料庫檔案。對於多程序、多版本並存的部署(例如一個服務集群裡同時跑著 1.5 與 2.0),這不是能靠設定繞過的問題,只能靠版本控管或等待 2.0.1。
網友熱門留言 (10)