← 返回 Siami 首頁

Google 開源 TorchTPU:原生 PyTorch 後端直攻 TPU,PyTorch/XLA 將在 11 月退役

▲ 292 💬 65
Google 開源 TorchTPU:原生 PyTorch 後端直攻 TPU,PyTorch/XLA 將在 11 月退役

編按:本文綜合整理自 GitHub:google-pytorch/torch_tpu、PyTorch Foundation 官方部落格、Google Cloud 部落格(Mark Lohmeyer 與 Bill Jia 聯名)、Hacker News 討論串(292 分/65 則留言)、Google Developers 部落格(4 月預告)、Google Cloud TPU 官方文件、SemiAnalysis InferenceX Glossary,並加入 Siami 編輯部觀點與分析。

這是 Google 第一次讓 TPU 真正長得像 GPU。10 月 20 日聖荷西 PyTorch Conference 2026 上,Google 與 Meta PyTorch 團隊一起把 TorchTPU(github.com/google-pytorch/torch_tpu)正式 open source,等於把「PyTorch 加 TPU」這條六年來只能用 PyTorch/XLA 硬湊的彆扭路線,整個砍掉重練,而且第一次對外公開承諾「11 月 15 日 PyTorch/XLA repo 將歸檔」。

一句話講清楚:TorchTPU 是什麼

TorchTPU 是 Google 與 Meta PyTorch 團隊從 2025 年中合作開發、並從 2026 年 9 月起進入 private beta 的「原生 PyTorch 後端」,把所有 TPU 相關的 kernel、collective、compiler cache、debug 工具打包成一個獨立的開源後端,重點是:

  • 一鍵遷移:model.to("tpu") 取代 model.to("cuda"),原本在 GPU 跑的 PyTorch 程式碼幾乎零修改就能上 TPU
  • 無 JAX 依賴:runtime 端完全不帶 JAX 程式庫,跟過去把 PyTorch 強塞進 JAX 工具鏈的 PyTorch/XLA、TorchAX 是完全相反的設計哲學
  • 原生 eager 模式:保留 PyTorch 最重視的 imperative 執行,搭配 torch.compile 走圖模式達到等級於 JAX 編譯後的效能
  • 全分散式支援:DDP、FSDP、DTensor 等 PyTorch 分布式 primitive 全部在一層抽象到位
  • 抓的更廣:支援約 450 個 ATen op(含主流 DL 架構的前向/反向),使用者也可以透過 JAX/Pallas 或 Helion DSL 撰寫自訂 kernel
  • 生態系一條龍:vLLM、SGLang、llm-d、TorchTitan、Ray、TorchRec、Hugging Face Transformers v5、LiteRT 同步兼容

這不是「下次大改版再說」,而是一個為生產而設計的後端:Google 內部已經用它跑 inference 與 training;Hugging Face 直接把 Transformers CI/CD 拉到 TPU 基礎設施上跑 nightly tests;Zenteiq 等客戶每天在生產環境吃 TorchTPU 的吞吐量。

為什麼這件事重要——四個層面的意義

對開發者、企業、AI 基礎建設、Nvidia,這份開源等於同時按下四個不一樣的按鈕。

對開發者:過去六年要在 TPU 上跑 PyTorch,得先弄懂 XLA 的 lazy tensor 觀念,手動把模型切成可編譯區塊,光是 shape mismatch 就足以讓 compiler 反覆重編一小時。TorchTPU 把這整條痛苦路徑掃進歷史垃圾堆。一句話:PyTorch 開發者從今天起,把 TPU 當作另一張顯卡。

對企業算力採購:TPU 的每美元性價比長期被 Nvidia CUDA 生態綁死的供應鏈鎖死。Google 自己內部估算、加上 SemiAnalysis X 推文 引用:TPU v7 每美元效能比 GB300 NVL72 高出約 50%,TPU chip-hour 成本 1.21 美元、GB300 NVL 2.31 美元。但若沒有 PyTorch 相容性,企業採購時 TPU 直接出局。TorchTPU 開源等於把這道牆拆掉。

對 AI 基礎建設供應鏈:同一個月,AWS 也在推 Trainium 的 torch-neuronx 後端(HN 留言裡 npalli 提到)。Tenstorrent 等新創加速器廠也都用 Pallas / open kernel 標準搶同一塊餅。TorchTPU 等於宣布:今後 PyTorch 將是所有加速器的「共同後端 IDL」,哪家加速器跟 PyTorch 整合好,哪家就有機會擠進這池供應鏈。

對 Nvidia:CUDA moat 三層之一是「主流 ML 框架的 first-class 後端」。TorchTPU 不直接攻 Nvidia 顯卡,但當 PyTorch 變成可攜後端、TPU 又在效能/成本拿出對比的時候,大企業(Meta、Hugging Face、Anthropic)就有現成的理由做硬體多供應商策略。對 Nvidia 而言,這不是 2026 年的事,而是 2027-2028 採購合約的關鍵決定。

產業生態整合:這不是孤兒開源

TorchTPU 的開源公告連同 七個合作夥伴的同步整合,每一條都是直接落地到生產環境:

  • Hugging Face Transformers v5:部署到 TPU 只要設 device_map="tpu",Diffusers 也支援 eager + torch.compile + tensor parallelism,並且 HF 為 TPU 開了專屬 nightly CI
  • Inferact vLLM:native PyTorch vLLM 後端跑在 TorchTPU 上,連續 batching、量化、多晶片並行全支援
  • RadixArk SGLang:用 RadixAttention 重用 KV cache,跳過 prompt prefix recomputation
  • Red Hat + IBM + 500 貢獻者 + 25 組織共同釋出 llm-d 1.0(CNCF Sandbox 項目),用 prefix-cache-aware routing 把請求送到已經有對應 context 的 replica,prefill/decode 分離,是把 PyTorch 推論帶進 Kubernetes 的基礎
  • TorchTitan:分散式高階訓練,已經在 PyTorch 社群的核心 RL 與編排框架內整合
  • LiteRT:邊緣裝置推論
  • TorchRec / Ray:推薦系統與分散式編排

Siami 觀點:這份公告本質上是 Google 用「開源協作」的方式,強迫整個 PyTorch 生態幫 TPU 站台。生態規格戰一旦被 PyTorch 化,任何加速器供應商從此得繞著 PyTorch 介面轉。

Zenteiq 4× throughput 不是 PR,是可複製的真實數字

Google 部落格附了一個真實客戶數字:Zenteiq.ai 用 GKE Inference Gateway + llm-d 在 TPU v6e 上跑自家 Scientific Foundation Model 的合成資料生成,每天每千顆 TPU v6e 產出從 1.47B tokens 拉到 5.97B tokens,aggregate 推理吞吐量提升 4×。這個數字的可信度來自三點:

  1. 量測方式公開:用 load-aware + prefix-cache-aware routing,這是業界標準可重現的指標
  2. 量測規模實際:千顆 v6e 不是 demo scale
  3. 使用場景具體:Scientific Foundation Model 合成資料,這是當前 frontier model 訓練鏈的關鍵環節

對照的兩個 baseline:若單獨升級硬體從 TPU v5e 到 v6e 提升大約 2-3 倍;換 GPU 跑相同 workload 的成本結構完全不同。4× 是軟體效率疊加上去的紅利,主要來自 TorchTPU + llm-d 的 prefix-cache-aware routing。

PyTorch/XLA 退役倒數:遷移指引給開發者

Google Cloud 官方文件 公開寫道:

「PyTorch/XLA repo 將於 2026 年 11 月 15 日歸檔。所有新 PyTorch 工作負載請從 TorchTPU 開始,所有現有 PyTorch/XLA 工作負載請遷移到 TorchTPU。」

這個時間表對工程團隊意味著:

  • 新專案:直接用 TorchTPU,不要再考慮 PyTorch/XLA
  • 現有專案:從現在起到 11 月 15 日有 25 天窗口做相容性測試,重點是 Lazy Tensor 移除後的 eager 區段重構、collective API 對齊 torch.distributed 新介面
  • 企業內訓:可以開始把訓練教材從 XLA 編譯思維改成「PyTorch 原生 + torch.compile」思維

Siami 質疑:XLA 退役時間表聽起來很快,但實際遷移工作遠比公告暗示的複雜。PyTorch/XLA 在 TPU 上的 lazy tensor 抽象層覆蓋了許多企業的私有訓練管線,尤其推薦系統與 RLHF 類的多階段訓練。TorchTPU 雖說「out-of-the-box」,但從 XLA 遷過去通常代表要拆掉幾個 shared graph cache、調整 checkpoint 格式、重寫 scheduler。25 天對大多數企業偏緊。


業界反應與張力:HN 留言與 X 推文的四個光譜

Hacker News 292 分/65 則留言 大致落在四個光譜上:

  1. 歡呼派(ismailmaj、fancyfredbot):認為從 XLA 痛苦歲月裡解放,XLA 編譯器素質好,TensorFlow 棺材的最後一根釘
  2. 商業派(23agt、nico):質疑 TPU 商業化程度、Nebius 等同行已經腰斬,未來算力供需會徹底改變
  3. 相對論派(yipinwong):把 TorchTPU 跟同一天 DeepSeek 開源 DeepInfer 對照看,認為這是 Google 對中國開源推論引擎的反擊
  4. 生態派(npalli):指出 AWS Trainium 早就用 torch-neuronx 走同一條路,Tenstorrent 也用 Pallas,TorchTPU 是同一波 PyTorch 後端標準化的一部分,不是孤例

X 推文方面,SemiAnalysis_ 把 TorchTPU 視為「PyTorch TPU 成熟度跨過 frontier OSS models bringup 門檻」的訊號;@GoogleOSS 用一張圖把「Unifying LLM Serving」整串串起來;Tenstorrent 工程師 直接展示他們的開源 libtpu 已經能跑大部分 TorchTPU,等於正式宣告「開源 PyTorch 後端正成為非 Nvidia 加速器的默認共同介面」。

Siami 觀點:給台灣與中文 AI 圈的影響

這份公告對台灣的 AI 工程團隊有三個立即意義:

算力採購面:隨著 TPU 對外商業販售管道擴大(Google 已向策略夥伴出貨實體晶片),TPU 不再只是「Google 自家的事」,而是企業多供應商策略的實質選項。TPU 上跑得動的 PyTorch 工作負載越多,CUDA 鎖定的供應鏈壟斷就鬆動越多。

接案成本面:當 vLLM + SGLang + llm-d + TorchTPU 的組合能讓一個 4 人小隊在 TPU 上用 vLLM 跑出 4× 推理吞吐量,台灣本地 LLM(如 TAIDE、國產 SLM)的部署成本天花板被壓低。原本依賴 Nvidia A100/H100 的自架推理基礎設施可以用 TPU 雲省下 30-50% 的 token 成本。

個人技能面:XLA 抽象層退場意味著 PyTorch 工程師的「TPU 技能門檻」直接消失。過去需要懂編譯器的 ML 工程師可以重新被視為一般 PyTorch 工程師。但 torch.compile、DDP/FSDP/DTensor 分布式、kv-cache-aware serving 這幾條線反而會成為新價值點,建議團隊投資人的是這些方向。

最終判斷:TorchTPU 不是「另一個開源 repo」。它把 PyTorch 變成加速器廠商的共通後端 IDL,這件事的歷史地位比單一模型發表更大——它重新定義了誰能在 AI 算力供應鏈裡有發言權。


參考資料:GitHub Repo · PyTorch Foundation 部落格 · Google Cloud 部落格 · Google Cloud TPU 文件 · Hacker News 討論串 · SemiAnalysis TorchTPU Glossary

網友熱門留言 (5)

#1 Hacker News 網友 ismailmaj(news.ycombinator.com/item?id=50169053) 0
讚翻天的消息!我還記得當年為了讓 PyTorch 在 TPU 上跑,要把 XLA 摸得一清二楚。一想到 TPU 終於有一級支援就覺得不可思議。既然硬體細節大多在 kernel 層(Pallas 或 CUDA),Jax vs PyTorch 現在應該只剩下風格喜好吧?
#2 Hacker News 網友 fancyfredbot(news.ycombinator.com/item?id=50169053) 0
讚!XLA 是個相當好的編譯器基礎設施,理論上比 inductor 更好,所以這個整合最終對所有硬體的效能都有提升。順帶一提,這應該是 TensorFlow 的棺材最後一根釘子了吧。
#3 Hacker News 網友 nico(news.ycombinator.com/item?id=50169053) 0
抱歉問個笨問題。除了 Google 之外,誰有 TPU?TPU 有對外商業販售嗎?目前除了 Google 之外,主要應用場景是什麼?
#4 Hacker News 網友 23agt(news.ycombinator.com/item?id=50169053) 0
Google 透過 Cloud 服務賣 TPU 算力,同時也把實體晶片賣給策略夥伴,所以這件事(開源 TorchTPU)完全合理。未來會有大量算力供應。Nebius 已經從高點腰斬。
#5 Hacker News 網友 yipinwong(news.ycombinator.com/item?id=50169053) 0
非 AI 工程師的笨問題。請問這是不是 Google 對 DeepSeek 今天開源推論引擎的回應?