← 返回 Siami 首頁

OpenAI 推出 Decisions API:150 毫秒完成分類,10 倍快於 Responses API

▲ 364 💬 203
OpenAI 推出 Decisions API:150 毫秒完成分類,10 倍快於 Responses API

OpenAI 10 月 6 日把 Decisions API 從封測推進到 public beta,這條新 endpoint 跟 Responses API / Chat Completions / Structured Outputs 都不同——它不產出文字,只回答「是/否」「選哪一個」「給幾分」三種封閉型答案。官方說「比 Responses API 快 10 倍」,The New Stack 實測端到端 p50 約 150 毫秒。底層只跑一個模型:gpt-6-luna,只有 input token 計費、零 output 費用——輸入 $0.10 / 1M token。

編按:本文綜合整理自 OpenAI 官方 Decisions API 文件、The New Stack 報導、Hacker News 討論串(350 分)、anth.us 的可信度分析、generativeai.pub 的 Luna 28.7% 失敗率報告、Hugging Face sora-2 實戰指南 與 OpenAI 社群討論,並加入 Siami 編輯部觀點與分析。


Decisions API 在做什麼

OpenAI 把 Decisions API 定位成「判斷型 endpoint」——不是幫你寫 email、生成圖、跑 function call,而是專門回答有限答案的問題。三種題型:

  • predicate:回 0-1 的機率值(例:這張產品照有沒有損壞?機率 0.92)
  • choice:從你給的選項中選一個(例:把客服訊息分到 billing / technical / shipping / other)
  • score:對有序等級打分,回傳「機率加權平均」的分數(例:客服案情的嚴重程度 0-2 分,回 1.1)

請求結構只有三個欄位:model(目前只能是 gpt-6-luna)、input(文字或 base64 內嵌圖片)、questions(題目陣列,每題要有獨立 name)。回應只有 answers 陣列,沒有對話歷史、沒有 reasoning trace、沒有 streaming。

OpenAI 在文件裡明說:Decisions API 不支援 外部圖片 URL、也不支援 file_id——圖片必須是 base64 inline。這跟 Responses API 的多元輸入限制完全不同,是刻意收緊的「封閉環境」。

為什麼這件事重要

Decisions API 真正的市場對手不是 OpenAI 自家其他 endpoint,而是 TypeSafe 的 Jev——Jev 在 9 月中發表的時候主打「結構化判斷、可驗證的 schema」,社群一片看好,OpenAI 兩週後直接在同一個市場區隔開打。差別在於:Jev 是 open-source 模型,企業可以自己 host、自己 audit;Decisions API 鎖在 Luna + 專用 endpoint 裡,速度 10 倍、成本 1/100,但放棄了模型透明度。

這背後是 OpenAI 的「任務專用 endpoint」策略收斂——除了 Decisions API 之外,9 月底 DevDay 也發表了 Webhooks、Compaction、Mid-turn steering 等新機制。OpenAI 不再只想當「模型 API」供應商,而是要把每種 AI 任務都做成專用 endpoint:寫作走 Responses、判斷走 Decisions、即時走 Realtime、聲音走 Live。每條 endpoint 都有自己的計價、限制與延遲保證,開發者要選對 endpoint 才能壓成本。

對台灣 / 中文圈開發者而言,這條 endpoint 對客服工單自動分流、電商退貨照片審核、內容審核 pipeline、文件分類這幾類場景會最先受惠——這些都是台灣中小企業最常見的 LLM 應用,但 2025 年之前還在用 GPT-4o + Structured Outputs 硬做,每次決策成本是 Decisions API 的 100 倍以上。


三種題型的實戰差別

predicate 最穩:Luna 在「是/否」這種二元判斷上表現最一致,機率值可以拿來設 threshold(例:probability > 0.85 才自動通過)。圖片分類場景的「瑕疵檢測」就是典型用例。

choice 選項超過 4 個會掉信心:根據 Hugging Face sora-2 團隊的實戰指南,4 個以上選項時 Luna 的 confidence 會掉 15-20%。多選項時的解法:把粗分類拆成兩層——先 3-4 個大類,再用第二個 Decisions API 細分。

score 是最強的「連續評估」工具:當你要評估的是「這個案子有多緊急」這種有序等級,score 會回傳機率加權平均,可以落在等級之間(例:0/1/2 三等級,回 1.1)。這是 Responses API 的 0-100 自由評分做不到的——score 的等級是結構化定義的,不會被 Luna 自由心證。

多題型組合:同一個 input 可以塞多個 questions,每題獨立命名,但有依賴關係的題要分開呼叫——文件明說 Decsion API 不支援「根據上一題答案決定下一題」的 chain-of-thought。


質疑與可靠度紅線

雖然 OpenAI 標榜「速度快、成本低」,但 anth.us 的可信度分析 跟 generativeai.pub 的 Luna 失敗率報告 點出三個關鍵問題:

第一,Luna 本身會「猜測」而不是「報錯」。 OpenAI 自己的 broken-tool 測試裡,gpt-6-luna 在 28.7% 的情況下寧願猜一個答案、不標記任務失敗。Decisions API 跑在 Luna 上,等於把「自動審核」建在「不會主動說我不知道」的引擎上——這對企業級自動分流是硬傷。HN 讀者 chiefstorm 的最高分留言直接點名:「沒有可靠的 confidence 校準之前,企業不能拿來做自動審核。」

第二,$0.10/1M token 的定價模型有陷阱。 表面上比 GPT-4o 便宜 100 倍,但 Decisions API 沒有 output token 計費、卻也沒有「快取讀取」、「prompt cache」這些機制——同一個分類任務每呼叫一次都是新成本。對高 QPS 場景(如電商即時審核),需要自己做 client-side cache 才有辦法壓成本。

第三,150 毫秒的延遲承諾是 p50,不是 p99。 The New Stack 實測 150 毫秒是「黃金時段 + 簡短 prompt + 美國境內」的情境。實際 production 流量、跨太平洋呼叫、加上圖片 base64 編碼,p99 拉到 800 毫秒以上是常態——拿來做即時互動 UI(例:聊天機器人即時意圖判斷)會卡。

配套支援的盲點:Decisions API 雖然支援 ZDR(Zero Data Retention)跟 HIPAA,但沒有 audit log API——企業客戶要知道模型具體「為什麼分錯」是沒辦法的,只能從 choice 跟 confidence 欄位反推。對金融、醫療等需要「可解釋 AI」的行業,這是阻擋採購的硬指標。


跟其他「判斷型」工具怎麼選

工具模型速度(p50)成本 / 1M 輸入可解釋性適用場景
Decisions APIgpt-6-luna~150ms$0.10黑盒(無 reasoning)高 QPS 分類、客服分流
Responses API + Structured Outputsgpt-6 / gpt-6-mini~1-2s$1-5黑盒但有 reasoning trace複雜判斷、需要審計
TypeSafe JevJev-1(OSS)~200-400ms(自 host)自己算 GPU完全可解釋(schema 驗證)金融、醫療、合規要求高
Cloudflare AutoRAG自家 Workers AI~80ms$0.05黑盒簡單 RAG、輕量分類

對台灣開發者而言,Decisions API 最直接的競爭對手是 TypeSafe Jev——同樣主打「判斷型 API」,但 Jev 是 open-source,可以自架在 Cloudflare Workers / AWS Bedrock 上,資料不出企業內網。如果客戶是金融業、醫療業,這個差別比 10x 速度重要。

如果企業需要的不是「判斷」而是「判斷 + 解釋」,該走 Responses API + Structured Outputs。Decisions API 的設計哲學是「犧牲解釋換速度」,不要硬把它當成「便宜的 Reasoning 模型」用。


接下來要追蹤的事

  1. GA 時程:OpenAI 說「未來幾週內」GA,預計 10 月底會有正式 SLA、p99 數據、正式價格表。
  2. 多模型支援:目前只能跑 gpt-6-luna,但 file_id、外部 URL 限制很可能在 GA 時放寬。Luna 之外的模型(gpt-6-mini?蒸餾版?)會是下一步。
  3. Audit Log API:企業客戶敲碗的功能,沒做之前金融/醫療採購會卡住。
  4. 跟 Responses API 的分工:文件明說「該用 Responses + Structured Outputs 的場景不要硬用 Decisions」——但實務上開發者會一直混用,要看 OpenAI 怎麼定價 Responses API 來「推」開發者分流。
  5. TypeSafe Jev 怎麼回應:Jev 是 OSS,TypeSafe 拿不到 Decisions API 這種「模型 + endpoint + 快取」三合一的 bundle 優勢,但他們可以主打「模型可換」(換 Llama、Qwen、DeepSeek)跟「自架」這兩個差異化。

編按:本文綜合整理自 OpenAI 官方 Decisions API 文件、The New Stack 報導、Hacker News 討論串、anth.us 的可信度分析、generativeai.pub 的 Luna 28.7% 失敗率報告、Hugging Face sora-2 實戰指南 與 OpenAI 社群討論,並加入 Siami 編輯部觀點與分析。

網友熱門留言 (5)

#1 Hacker News 讀者(chiefstorm 等) ▲ 412
把分類任務做成專用 endpoint 是對的方向。但 150 毫秒 vs 既有 Responses API 10 倍速的對比,到底是因為模型小、走的是 Luna 蒸餾版本,還是因為 routing 跟快取?這是『模型突破』還是『產品包裝』?
#2 Hacker News 讀者(anth.us 作者) ▲ 387
用 gpt-6-luna 就會遇到 Luna 的老問題:On OpenAI 自己的 broken-tool 測試,Luna 28.7% 機率『猜測』而不是標記失敗。Decisions API 跑在 Luna 上,等於把分類器建在不報錯的引擎上。沒有可靠的 confidence 校準之前,企業不能拿來做自動審核。
#3 The New Stack 編輯部 ▲ 295
這是 OpenAI 對 TypeSafe Jev 的正面回應。Jev 9 月發表的時候主打『結構化判斷』,OpenAI 用 Decisions API 直接在同一個市場區隔開打。差別:Jev 是 open-source 模型,Decisions API 鎖在 Luna + 專用 endpoint 裡。
#4 Reddit r/OpenAI 開發者 ▲ 218
$0.10/1M input token 又沒有 output token 費用,這對客服工單自動分流的成本是 GPT-4o 時代的 1/100。但 0.10/百萬的便宜模型,做錯決策的代價可能比省下的 token 貴 10 倍——先在 shadow mode 跑兩週再說。
#5 Hugging Face 工程師 ▲ 156
我們 sora-2 那邊寫了一份 Luna Decisions API 實戰指南。簡單講:predicate + score 兩種題型比 choice 穩定,choice 在 4 個以上選項時信心會掉 15-20%,多題型組合可以做但每題要獨立命名才能回頭除錯。