OpenAI 自研推論晶片 Jalapeño 擊敗 Nvidia Blackwell：每瓦效能碾壓全場

OpenAI 過去幾年悄悄打造了「Jalapeño」推論晶片，這款產品甫於 Hot Chips 大會正式亮相。事實上外界對其成功流片的傳聞流傳已久，如今終於有完整細節公開。OpenAI 邀請 SemiAnalysis 編輯部進到內部實驗室，實機檢視晶片原型，並以自家 InferenceX 基準套件進行測試。

六月，OpenAI 正式揭露與 Broadcom 合作的晶片計畫，這顆 ASIC 從零開始設計，專為大型語言模型推論打造。整個設計工作於 2024 年中啟動，從最初團隊成軍到完成 tape-out 僅耗時約 16 個月，這在 ASIC 開發週期上堪稱極為迅速。

一般來說，第一代晶片很難與市場競爭對手匹敵，但 OpenAI 打破了這個慣例：根據 SemiAnalysis 在多個頂尖開源模型上的測試，Jalapeño 達到業界領先水準，擊敗了他們測試過的每一款 Nvidia、AMD 與 Google 晶片。OpenAI 並非透過在特定推論環節過度特化來達標，而是採用極致的硬軟體共同設計（hardware-software codesign），打造一顆能在所有情境下都提供高效能的通用晶片。

本文將深入介紹 Jalapeño 的架構細節、軟體設計，以及它在 SemiAnalysis InferenceX 上的效能表現。

通用推論晶片

外界普遍認為 OpenAI 晶片僅為自家模型優化，但這個說法並不正確。Jalapeño 是一顆專為 AI 推論打造的通用晶片。

這個開發時程相當驚人，也驗證了「AI 被用於加速晶片設計」的說法並非空談。除了時間壓縮之外，OpenAI 同時投入大量資金、採取務實的設計決策，團隊本身實力堅強——這些因素加總之下，今日的成果並不令人意外。

單看規格表，Jalapeño 已是即時的競爭者。Jalapeño 採用 HBM4 記憶體，這讓它足以與 Nvidia、AMD 旗艦 GPU 同場較量。

媒體對於 Jalapeño 的報導多半圍繞著 OpenAI 幾句「該晶片將為自家模型做獨家優化」的談話打轉，但這個說法不正確。Jalapeño 是一顆能執行各種模型、各種工作負載的通用推論晶片，SemiAnalysis 在實驗室與 OpenAI 工程師合作時，就是在自家 InferenceX 上完成了測試。作為趣味橋段，OpenAI 還展示了在 Jalapeño 上執行《毀滅戰士》（Doom），移植過程僅透過 Codex 提示詞完成。

效能數據：每瓦效能碾壓全場

以下是核心的每瓦效能數據，衡量「每 All-in 公用電瓦數可服務的 token 吞吐量」。Jalapeño 碾壓所有競爭對手。更重要的是，這是在沒有使用 Multi Token Prediction（MTP）的情況下達成的；圖表中其他晶片都是各 SKU 的最佳配置，且都啟用了 MTP。

Jalapeño 在幾乎所有情境下的每瓦效能都優於 Blackwell，而且並未針對曲線上任何特定點做調校。它不僅在低延遲情境表現優異，在高吞吐量情境同樣出色。若以更對等的比較基準——單 token 預測結果——它同樣擊敗所有對手。在低併發情境下，Jalapeño 展現出色的互動性，在 DeepSeek R1 模型上，併發數 1 時每位使用者可達每秒 700 token 以上。

更驚人的是，這一切都只靠單 token 預測（STP）、沒有使用推測解碼（speculative decoding）、也沒有 prefill-decode 解聚合。除了 DeepSeek R1 之外，他們也展示了其他模型，包括 Kimi-K2.5 和 GPT-OSS，後兩者約達到每秒 1,400 token。針對所有模型，SemiAnalysis 也確認 Jalapeño 的 GSM8k 評測結果與 Nvidia 晶片相當。

Jalapeño 擊敗了 Blackwell、AMD MI 系列以及 Google TPU 在每瓦 token 吞吐量上的表現，且沒有使用 Multi Token Prediction 與推測解碼——其他競爭對手都啟用了這些加速技術。

架構亮點

SemiAnalysis 指出，Jalapeño 並非單純「堆疊更多 HBM 頻寬」，而是從系統層次重新設計。關鍵亮點包括：

• HBM4 記憶體：與 Nvidia Rubin、AMD MI400 等下一代旗艦產品相同世代，確保在大型模型 KV-cache 上的頻寬不落後。
• prefill-decode 解聚合優化：針對推論流程中常見的瓶頸階段做硬體層次最佳化，降低通訊延遲。
• 明確的 KV-cache 局部性管理：模型狀態（包括 KV cache）可以被明確地放置並保留在本地，系統會在每個推論階段啟用合適的運算、記憶體與網路資源組合。

OpenAI 硬體主管 Richard Ho 在記者會上表示：「結果顯示這是一次非常、非常顯著的效能躍進，超越當前最先進水準。Jalapeño 能在每單位電力下服務更多 AI 工作，同時回應速度更快。它既適合服務大量用戶，也具備極低延遲。」

部署時程與競爭對比

TechCrunch 報導指出，這次比較對象是 Nvidia Blackwell 系統，但等到 Jalapeño 真正進入大規模部署時，競爭對手很可能已大幅推進。Richard Ho 估計 Jalapeño 將於「2026 年底以極小規模」開始部署，2027 年才會有顯著規模量產。

Jalapeño 最早於去年十月公開，由 OpenAI 與 Broadcom 密切合作開發，OpenAI 自家模型也參與了設計流程。該公司計畫將 Jalapeño 打造為多代平台，讓 AI 產品、模型、晶片與記憶體協同演進。

這個全端整合方式讓 OpenAI 能針對推論流程中特定摩擦環節做精準處理，特別是 prefill 與通訊階段——這兩個常被視為推論瓶頸的環節。

為什麼這件事重要

Jalapeño 的意義遠超過「又一顆 AI 加速器」：

1. 驗證垂直整合路徑可行：過去五年 Nvidia 的護城河建立在 CUDA 生態之上，AMD、Intel、各家新創都在嘗試打破。OpenAI 走的是完全不同的路——從模型需求反推晶片設計，不依賴 Nvidia 的軟體棧。這條路徑若成功，證明了「應用端定義硬體」能繞過既有生態鎖定。

2. HBM4 進入實戰：Jalapeño 採用 HBM4 是這次最被低估的訊號。SK Hynix 與 Micron 的 HBM4 已於 2026 年開始量產，目前 Nvidia Rubin、AMD MI400 同屬首發陣容。OpenAI 直接搶進這個世代，代表 Broadcom 與 OpenAI 已取得優先產能——這對 Nvidia 來說不只是競爭，更是供應鏈上的拉扯。

3. OpenAI 的資本支出邏輯改變：過去 OpenAI 是 Nvidia 的最大客戶，Sam Altman 在多次訪談中強調這層關係。Jalapeño 量產後，部分內部推論需求將轉向自有晶片，意味著 Nvidia 的長期營收結構可能需要重新調整。Nvidia 投資人最擔心的情境正在成真。

數據解讀與質疑

雖然 OpenAI 的數字亮眼，但 SemiAnalysis 自身也點出了幾項必須留意的限制：

1. 基準對手選擇問題：NextBigFuture 引述 SemiAnalysis 的說法——拿 Jalapeño 對比 Blackwell 其實「不太公平」。真正同級的對手是同樣採用 HBM4 的 Nvidia Rubin，而 Vera Rubin 系統已於本月開始出貨。OpenAI 目前展示的仍是 Jalapeño 的工程樣本（engineering samples），距離 Rubin 量產等級還有一段距離。

2. MTP 的不對等比較：OpenAI 在 Jalapeño 上未啟用 Multi Token Prediction，而圖中其他對手都已啟用 MTP。即使如此 Jalapeño 仍勝出，雖然亮眼，但若 Rubin 同樣不啟用 MTP，差距可能會縮小。

3. 測試數據由 OpenAI 提供：所有 token throughput 數字皆由 OpenAI 提供，SemiAnalysis 雖親赴現場驗證了 InferenceX 執行流程，但未跑完整套件，也未看到 AgentX 結果。AgentX 是 SemiAnalysis 自己更偏好的比較基準，因為它涵蓋長脈絡與多輪生產負載。在 8k1k 跑得漂亮，到了真實 Agentic workload 不見得依然領先。

4. 部署規模仍是未知數：Ho 承認 2026 年底只會有「極小規模」部署，2027 年才是重頭戲。從工程樣本到大規模機房運作，中間還有良率、散熱、可靠性等大量未知數。Nvidia 真正的護城河之一，是經年累月建立的資料中心運維經驗。

5. Doom 跑得起來不代表模型跑得好：Jalapeño 跑 Doom 移植版的橋段固然有趣，但這屬於技術展示，與 LLM 推論的真實效能無關。讀者應避免把這種花絮當作效能指標。

業界後續觀察點

• Nvidia 的反應：Jensen Huang 在 8 月財報會議上仍強調 Rubin 的時程優勢，未直接評論 Jalapeño。但業界分析師已開始下修對 Nvidia 長期市佔的預期。
• Broadcom 的角色：Jalapeño 由 Broadcom 共同設計，這讓 Broadcom 在 ASIC 市場的能見度大幅提升。其他想自研晶片的 hyperscaler（Microsoft、Meta、Amazon）是否會循類似模式與 Broadcom 合作，值得追蹤。
• TSMC 產能分配：Jalapeño 與 Rubin、AMD MI400 同時爭搶台積電最先進製程節點，產能分配將成為 2027 年半導體供應鏈的關鍵議題。
• 中國開放權重 AI 對策：HN 留言指出，OpenAI 此舉可被視為對中國開放權重模型（如 DeepSeek、Kimi）的技術反擊——用自研晶片降低推論成本，避免在價格戰中被中製模型壓制。

時間軸

• 2024 年中：OpenAI 啟動 Jalapeño 設計工作
• 2025 年 10 月：首次公開 Broadcom 合作訊息
• 2026 年 6 月：正式對外揭露 Jalapeño 計畫
• 2026 年 8 月 25 日（Hot Chips 大會）：發布首批 InferenceX 測試結果
• 2026 年底（預計）：極小規模部署
• 2027 年（預計）：顯著規模量產

結論

Jalapeño 的出現意味著 AI 推論晶片市場正式進入三強時代：Nvidia（GPU 生態霸主）、OpenAI + Broadcom（垂直整合新路徑）、AMD（傳統 GPU 第二供應商）。對 OpenAI 而言，這顆晶片不只是降低推論成本的工具，更是擺脫 Nvidia 生態鎖定、爭取 AI 基礎設施自主權的關鍵一步。

但 SemiAnalysis 的提醒也值得記住：第一代晶片的故事往往在第二代才會完整展開。Jalapeño 工程樣本表現亮眼，真正的考驗是 2027 年量產後，在真實 Agentic workload 上的穩定表現。屆時 SemiAnalysis 的 AgentX 套件將會是更公允的比較基準。

讀者若想深入了解晶片效能比較方法論，可參考 SemiAnalysis 的 AgentX 框架說明；想看技術細節則可追蹤 ServeTheHome 的 Hot Chips 2026 系列報導。

編按：本文綜合整理自 SemiAnalysis、TechCrunch、NextBigfuture、OpenAI 官方公告，並加入 Siami 編輯部觀點與分析。基準測試結果由 OpenAI 提供，SemiAnalysis 親赴實驗室現場驗證 InferenceX 執行流程，但未跑完整測試套件，實際部署時程仍待觀察。