編按:本文綜合整理自 GitHub:google-pytorch/torch_tpu、PyTorch Foundation 官方部落格、Google Cloud 部落格(Mark Lohmeyer 與 Bill Jia 聯名)、Hacker News 討論串(292 分/65 則留言)、Google Developers 部落格(4 月預告)、Google Cloud TPU 官方文件、SemiAnalysis InferenceX Glossary,並加入 Siami 編輯部觀點與分析。
這是 Google 第一次讓 TPU 真正長得像 GPU。10 月 20 日聖荷西 PyTorch Conference 2026 上,Google 與 Meta PyTorch 團隊一起把 TorchTPU(github.com/google-pytorch/torch_tpu)正式 open source,等於把「PyTorch 加 TPU」這條六年來只能用 PyTorch/XLA 硬湊的彆扭路線,整個砍掉重練,而且第一次對外公開承諾「11 月 15 日 PyTorch/XLA repo 將歸檔」。
一句話講清楚:TorchTPU 是什麼
TorchTPU 是 Google 與 Meta PyTorch 團隊從 2025 年中合作開發、並從 2026 年 9 月起進入 private beta 的「原生 PyTorch 後端」,把所有 TPU 相關的 kernel、collective、compiler cache、debug 工具打包成一個獨立的開源後端,重點是:
- 一鍵遷移:
model.to("tpu")取代model.to("cuda"),原本在 GPU 跑的 PyTorch 程式碼幾乎零修改就能上 TPU - 無 JAX 依賴:runtime 端完全不帶 JAX 程式庫,跟過去把 PyTorch 強塞進 JAX 工具鏈的 PyTorch/XLA、TorchAX 是完全相反的設計哲學
- 原生 eager 模式:保留 PyTorch 最重視的 imperative 執行,搭配 torch.compile 走圖模式達到等級於 JAX 編譯後的效能
- 全分散式支援:DDP、FSDP、DTensor 等 PyTorch 分布式 primitive 全部在一層抽象到位
- 抓的更廣:支援約 450 個 ATen op(含主流 DL 架構的前向/反向),使用者也可以透過 JAX/Pallas 或 Helion DSL 撰寫自訂 kernel
- 生態系一條龍:vLLM、SGLang、llm-d、TorchTitan、Ray、TorchRec、Hugging Face Transformers v5、LiteRT 同步兼容
這不是「下次大改版再說」,而是一個為生產而設計的後端:Google 內部已經用它跑 inference 與 training;Hugging Face 直接把 Transformers CI/CD 拉到 TPU 基礎設施上跑 nightly tests;Zenteiq 等客戶每天在生產環境吃 TorchTPU 的吞吐量。
為什麼這件事重要——四個層面的意義
對開發者、企業、AI 基礎建設、Nvidia,這份開源等於同時按下四個不一樣的按鈕。
對開發者:過去六年要在 TPU 上跑 PyTorch,得先弄懂 XLA 的 lazy tensor 觀念,手動把模型切成可編譯區塊,光是 shape mismatch 就足以讓 compiler 反覆重編一小時。TorchTPU 把這整條痛苦路徑掃進歷史垃圾堆。一句話:PyTorch 開發者從今天起,把 TPU 當作另一張顯卡。
對企業算力採購:TPU 的每美元性價比長期被 Nvidia CUDA 生態綁死的供應鏈鎖死。Google 自己內部估算、加上 SemiAnalysis X 推文 引用:TPU v7 每美元效能比 GB300 NVL72 高出約 50%,TPU chip-hour 成本 1.21 美元、GB300 NVL 2.31 美元。但若沒有 PyTorch 相容性,企業採購時 TPU 直接出局。TorchTPU 開源等於把這道牆拆掉。
對 AI 基礎建設供應鏈:同一個月,AWS 也在推 Trainium 的 torch-neuronx 後端(HN 留言裡 npalli 提到)。Tenstorrent 等新創加速器廠也都用 Pallas / open kernel 標準搶同一塊餅。TorchTPU 等於宣布:今後 PyTorch 將是所有加速器的「共同後端 IDL」,哪家加速器跟 PyTorch 整合好,哪家就有機會擠進這池供應鏈。
對 Nvidia:CUDA moat 三層之一是「主流 ML 框架的 first-class 後端」。TorchTPU 不直接攻 Nvidia 顯卡,但當 PyTorch 變成可攜後端、TPU 又在效能/成本拿出對比的時候,大企業(Meta、Hugging Face、Anthropic)就有現成的理由做硬體多供應商策略。對 Nvidia 而言,這不是 2026 年的事,而是 2027-2028 採購合約的關鍵決定。
產業生態整合:這不是孤兒開源
TorchTPU 的開源公告連同 七個合作夥伴的同步整合,每一條都是直接落地到生產環境:
- Hugging Face Transformers v5:部署到 TPU 只要設
device_map="tpu",Diffusers 也支援 eager + torch.compile + tensor parallelism,並且 HF 為 TPU 開了專屬 nightly CI - Inferact vLLM:native PyTorch vLLM 後端跑在 TorchTPU 上,連續 batching、量化、多晶片並行全支援
- RadixArk SGLang:用 RadixAttention 重用 KV cache,跳過 prompt prefix recomputation
- Red Hat + IBM + 500 貢獻者 + 25 組織共同釋出 llm-d 1.0(CNCF Sandbox 項目),用 prefix-cache-aware routing 把請求送到已經有對應 context 的 replica,prefill/decode 分離,是把 PyTorch 推論帶進 Kubernetes 的基礎
- TorchTitan:分散式高階訓練,已經在 PyTorch 社群的核心 RL 與編排框架內整合
- LiteRT:邊緣裝置推論
- TorchRec / Ray:推薦系統與分散式編排
Siami 觀點:這份公告本質上是 Google 用「開源協作」的方式,強迫整個 PyTorch 生態幫 TPU 站台。生態規格戰一旦被 PyTorch 化,任何加速器供應商從此得繞著 PyTorch 介面轉。
Zenteiq 4× throughput 不是 PR,是可複製的真實數字
Google 部落格附了一個真實客戶數字:Zenteiq.ai 用 GKE Inference Gateway + llm-d 在 TPU v6e 上跑自家 Scientific Foundation Model 的合成資料生成,每天每千顆 TPU v6e 產出從 1.47B tokens 拉到 5.97B tokens,aggregate 推理吞吐量提升 4×。這個數字的可信度來自三點:
- 量測方式公開:用 load-aware + prefix-cache-aware routing,這是業界標準可重現的指標
- 量測規模實際:千顆 v6e 不是 demo scale
- 使用場景具體:Scientific Foundation Model 合成資料,這是當前 frontier model 訓練鏈的關鍵環節
對照的兩個 baseline:若單獨升級硬體從 TPU v5e 到 v6e 提升大約 2-3 倍;換 GPU 跑相同 workload 的成本結構完全不同。4× 是軟體效率疊加上去的紅利,主要來自 TorchTPU + llm-d 的 prefix-cache-aware routing。
PyTorch/XLA 退役倒數:遷移指引給開發者
Google Cloud 官方文件 公開寫道:
「PyTorch/XLA repo 將於 2026 年 11 月 15 日歸檔。所有新 PyTorch 工作負載請從 TorchTPU 開始,所有現有 PyTorch/XLA 工作負載請遷移到 TorchTPU。」
這個時間表對工程團隊意味著:
- 新專案:直接用 TorchTPU,不要再考慮 PyTorch/XLA
- 現有專案:從現在起到 11 月 15 日有 25 天窗口做相容性測試,重點是 Lazy Tensor 移除後的 eager 區段重構、collective API 對齊 torch.distributed 新介面
- 企業內訓:可以開始把訓練教材從 XLA 編譯思維改成「PyTorch 原生 + torch.compile」思維
Siami 質疑:XLA 退役時間表聽起來很快,但實際遷移工作遠比公告暗示的複雜。PyTorch/XLA 在 TPU 上的 lazy tensor 抽象層覆蓋了許多企業的私有訓練管線,尤其推薦系統與 RLHF 類的多階段訓練。TorchTPU 雖說「out-of-the-box」,但從 XLA 遷過去通常代表要拆掉幾個 shared graph cache、調整 checkpoint 格式、重寫 scheduler。25 天對大多數企業偏緊。
業界反應與張力:HN 留言與 X 推文的四個光譜
Hacker News 292 分/65 則留言 大致落在四個光譜上:
- 歡呼派(ismailmaj、fancyfredbot):認為從 XLA 痛苦歲月裡解放,XLA 編譯器素質好,TensorFlow 棺材的最後一根釘
- 商業派(23agt、nico):質疑 TPU 商業化程度、Nebius 等同行已經腰斬,未來算力供需會徹底改變
- 相對論派(yipinwong):把 TorchTPU 跟同一天 DeepSeek 開源 DeepInfer 對照看,認為這是 Google 對中國開源推論引擎的反擊
- 生態派(npalli):指出 AWS Trainium 早就用 torch-neuronx 走同一條路,Tenstorrent 也用 Pallas,TorchTPU 是同一波 PyTorch 後端標準化的一部分,不是孤例
X 推文方面,SemiAnalysis_ 把 TorchTPU 視為「PyTorch TPU 成熟度跨過 frontier OSS models bringup 門檻」的訊號;@GoogleOSS 用一張圖把「Unifying LLM Serving」整串串起來;Tenstorrent 工程師 直接展示他們的開源 libtpu 已經能跑大部分 TorchTPU,等於正式宣告「開源 PyTorch 後端正成為非 Nvidia 加速器的默認共同介面」。
Siami 觀點:給台灣與中文 AI 圈的影響
這份公告對台灣的 AI 工程團隊有三個立即意義:
算力採購面:隨著 TPU 對外商業販售管道擴大(Google 已向策略夥伴出貨實體晶片),TPU 不再只是「Google 自家的事」,而是企業多供應商策略的實質選項。TPU 上跑得動的 PyTorch 工作負載越多,CUDA 鎖定的供應鏈壟斷就鬆動越多。
接案成本面:當 vLLM + SGLang + llm-d + TorchTPU 的組合能讓一個 4 人小隊在 TPU 上用 vLLM 跑出 4× 推理吞吐量,台灣本地 LLM(如 TAIDE、國產 SLM)的部署成本天花板被壓低。原本依賴 Nvidia A100/H100 的自架推理基礎設施可以用 TPU 雲省下 30-50% 的 token 成本。
個人技能面:XLA 抽象層退場意味著 PyTorch 工程師的「TPU 技能門檻」直接消失。過去需要懂編譯器的 ML 工程師可以重新被視為一般 PyTorch 工程師。但 torch.compile、DDP/FSDP/DTensor 分布式、kv-cache-aware serving 這幾條線反而會成為新價值點,建議團隊投資人的是這些方向。
最終判斷:TorchTPU 不是「另一個開源 repo」。它把 PyTorch 變成加速器廠商的共通後端 IDL,這件事的歷史地位比單一模型發表更大——它重新定義了誰能在 AI 算力供應鏈裡有發言權。
參考資料:GitHub Repo · PyTorch Foundation 部落格 · Google Cloud 部落格 · Google Cloud TPU 文件 · Hacker News 討論串 · SemiAnalysis TorchTPU Glossary
網友熱門留言 (5)