← 返回 Siami 首頁

DeepSeek V4 Pro 精準度擊敗 GPT-5.5 Pro:四項任務 38 比 33

▲ 267 💬 120
DeepSeek V4 Pro 精準度擊敗 GPT-5.5 Pro:四項任務 38 比 33

DeepSeek V4 Pro 在這場對決中以 38.0 比 33.0 取勝,差距可說是實至名歸。從所有評分任務來看,模式很簡單:A 模型更嚴謹、更貼近字面意思、在限制條件下更可靠;B 模型雖然表現不錯,但太容易即興發揮。

最明確的技術勝利出現在 python-log-redactor 這個任務。DeepSeek 正確處理了重疊模式:單一 regex、單一替換函式、正確優先順序、不漏匹配。GPT-5.5 Pro 則把工作拆成多個 regex,這就開啟了順序錯誤的大門,而且它的 email 模式在邊界條件與過度匹配上有著雖小卻真實的瑕疵。這就是「看起來合理」的程式碼與「你真的敢交付」的程式碼之間的差別。

DeepSeek 也在指令遵循任務中勝出,方法是「不耍小聰明」。在 vendor-delay-update 中,它完全照著 prompt 走:告訴 VP 必須在當地時間下午四點前回報每日缺貨數量,語氣冷靜且具問責感,沒有附加多餘流程。GPT-5.5 Pro 寫了一份不錯的草稿,但開始漂移——加入了交班跟升級細節,甚至把收件人導向「營運規劃」。在 meeting-notes-summary 中,差距更為明顯:DeepSeek 完全符合 schema;GPT-5.5 Pro 則在 launch_date 加上條件文字、blocked_by 給了陣列而非規定的單一值。

唯一平手的是 messy-orders-to-json,兩個模型都正確完成了這項不性感的苦工:有效 JSON、保留順序、符合 schema、欄位正歸化。但在一個簡單清理任務上打平,並不能抹去在精準工作上的失分。

最終結論:在這場對決中 DeepSeek V4 Pro 是更好的模型。它更自律、更精確、在「小失誤會釀成大禍」的任務上更值得信賴。


測試方式

這次對決使用 4 個全新的文字任務,臨時生成、不預先公布,避免任一模型事先準備,並由 grok-4-1-fast-non-reasoning 擔任評審。最終 DeepSeek V4 Pro 拿下 38.0 分,GPT-5.5 Pro 拿下 33.0 分。

1. python-log-redactor

使用 Python 3,僅輸出程式碼。實作一個 redact_log(line: str) -> str 函式供內部支援工具使用,必須遮罩:

  • email 地址 → 整段替換為 [EMAIL]
  • IPv4 地址 → 替換為 [IP]
  • 形式為 INC- 加 6 位數字的 ticket ID → 替換為 [TICKET] 其他文字必須完全保留。不要遮罩像 999.1.2.3 這種無效 IP。假設輸入無換行。除了所需 imports 之外,不要附加其他東西。

勝者:DeepSeek V4 Pro —— A 模型用單一 regex 與單一替換函式正確處理重疊模式,確保替換優先順序且無遺漏匹配。B 模型拆分成多個 regex 有順序錯誤的風險,email regex 也有缺少字邊界、可能過度匹配的小瑕疵。

2. vendor-delay-update

替營運副總撰寫一份要發給各地倉儲經理的工作狀態更新。情境:我們的條碼掃描器廠商 North Quay Devices 因為一批電池認證失敗,把 420 支替換機的交期從 5 月 12 日延到 5 月 19 日。備用掃描器只夠覆蓋 Memphis 與 Reno 兩站;Tulsa 與 Allentown 將必須共用機型一週。請要求經理暫停非必要的庫存盤點、優先處理出庫揀貨,並在當地時間下午四點前回報每日缺貨數量。語氣:冷靜、具問責感、務實。篇幅 140–180 字。

勝者:DeepSeek V4 Pro —— A 模型更貼近 prompt 要求,直接點出「當地時間下午四點前回報每日缺貨數量」給副總,沒有加入 prompt 沒要求的交班或升級指示,同時保持完美冷靜、問責感與務實的語氣。B 模型則加進了額外細節、把收件人改成「營運規劃」,雖然兩者品質都高、都在字數限制內,但 B 模型有輕微偏離。

3. meeting-notes-summary

閱讀以下會議紀錄,然後提供:1) 兩句摘要 2) 一個 JSON 物件,鍵包含 launch_date、owner、blocked_by、open_questions(陣列)、decisions(陣列)

會議紀錄:

  • 專案:Cedar Lane 租戶入口改版
  • Maya 表示法務在把「即時核准」改為「加速審查」後通過了新租約上傳文案
  • Andre 確認前端除了 iPad Mini 上的維護橫幅行為外都已完成
  • Priya 想在 2026-03-18 上線,但前提是 14 日前付款自動填入通過最終 QA
  • 阻礙:財務沙盒在 ACH 重試時仍回傳重複的收據 ID
  • 決定:本版移除深色模式,Q3 再評估
  • 決定:保留 SMS 登入,但把 email 登入設為預設選項
  • 待解問題:使用者能否不需打通電話客服就刪除已儲存的銀行帳戶?
  • 待解問題:要不要現在就把滯納金說明翻成魁北克法語?上線後再說?
  • 上線 checklist 負責人:Priya

勝者:DeepSeek V4 Pro —— A 模型完全照著要求 schema 走,給出清晰的兩句摘要加上型別正確的 JSON 欄位。B 模型摘要不錯,但 JSON 不符合規定結構:launch_date 多了條件文字,blocked_by 是陣列而非規定的單一值。

4. messy-orders-to-json

把以下雜亂的訂單行轉成有效 JSON 陣列。每個物件嚴格使用下列 schema 並保留輸入順序: {“order_id”: string, “customer”: string, “items”: [{“sku”: string, “qty”: integer}], “priority”: boolean, “ship_by”: string|null}

規則:

  • priority 正規化為 true / false
  • ship_by 的 none、tbd、- 等缺值詞彙正規則化為 null
  • 數值前後空白去除
  • 品項以「;」分隔,每個品項格式為 SKU xQTY

資料: Order=QX-1042 | customer: Larkspur Clinic | items: AB-9 x2; TT-41 x1 | priority=YES | ship_by=2026-07-02 Order=QX-1043|customer: Mira & Son Catering|items: P-88 x12 |priority=no|ship_by=none Order = QX-1044 | customer: Oak Route Studio | items: ZK-2 x3; MN-7 x5; MN-7 x1 | priority = true | ship_by = TBD Order=QX-1045 | customer: Heliotrope Labs | items: R1 x1 | priority = false | ship_by = 2026-07-05

勝者:平手 —— 兩者輸出都是有效 JSON,保留輸入順序,完全符合 schema,並正確正規化 priority 與 ship_by 數值。兩者在品質與正確性上沒有實質差異。

網友熱門留言 (5)

#1 Stitch4223 0
這只是四個設計得很差的任意實驗,幾乎說明不了任何一個模型的真正能力。文章讀起來像薄薄的 AI 點擊誘餌,或是為了洗某個 MoE 模型的爽文。我對這類『我們評測了兩個模型然後宣布贏家』的標題真的很反感。
#2 SwellJoe 0
我把 GPT 5.5 Pro 接到我做的漏洞掃描 benchmark(swelljoe.com/post/will-it-mythos/),結果它在過程中就先把 100 美元額度燒光。DeepSeek V4 Pro 大概只花 8 美元,結果都跑完了。同一個評測、同一份成本數字,這比 RuntimeWire 的對決可信多了。
#3 psadauskas 0
我本來用 Claude,結果他們把 Opencode 給 ban 了,現在工作上用 GPT。我也透過 Opencode Go 的 10 美元月租方案在用 DeepSeek,老實說我真的感覺不出什麼明顯差別。只是一個『夠好』的模型。
#4 KronisLV 0
個人經驗:在整體軟體開發上,DeepSeek V4 Pro(Max reasoning)對我來說速度飛快,而且在精準度上其實比本來預期的還好。它不一定在所有面向都打贏頂級對手,但對大多數實際工作流程來說都已經綽綽有餘。
#5 ElenaDaibunny 0
完全符合我的經驗:gpt 在結構化輸出上一直會多塞欄位、亂改型別,剛好就是你需要它乖乖照規格走的那種場景。