Google 與 Meta 開源 TorchTPU,讓 PyTorch 工作負載原生運行於 TPU

文章摘要

Google 與 Meta 共同開源 TorchTPU 專案,旨在讓 PyTorch 工作負載能以原生方式於 Google TPU 硬體上執行。相較於 2020 年推出的 PyTorch/XLA,TorchTPU 優先支援原生指令式(Eager)執行模式,開發者僅需微調程式碼,例如將 cuda 替換為 tpu,或使用 torch.accelerator.current_accelerator API 即可完成移轉。該技術支援 Strict、Debug 與 DeferAndFuse 三種執行模式,其中 DeferAndFuse 混合模式宣稱能較 Strict Eager 提升逾 50% 效能並降低 HBM 記憶體佔用。Google 透過五千個 Hugging Face 模型驗證其相容性,並在 TPUv7 晶片上實測,例如 300 億參數的 Muse Glimmer 模型於單晶片推理時達 25.7k token/s。此外,該技術已應用於 Qwen3 MoE 235B 等大規模訓練與推論工作負載。目前 TorchTPU 仍處於初期發展階段,未來開發重點包括動態形狀、編譯效能提升、算子覆蓋率擴展及強化學習與量化支援等功能,持續演進以整合更豐富的 PyTorch 生態系統。

AI 大叔解析

【核心判斷】
Google 終於承認過去幾年強推的 PyTorch/XLA 架構走入死胡同,改與 Meta 聯手打造原生後端來降低遷移門檻。過往 PyTorch/XLA 存在嚴重的編譯延遲,且要求開發者大幅侵入性修改程式碼來標註編譯區塊;這次釋出的 TorchTPU 轉向以命令式(Eager)執行為優先,目標硬體涵蓋自 TPUv5e 起至最新的 TPUv7 晶片,開發者改動 `cuda` 與 `nccl` 識別即可執行,試圖用最低的工程摩擦力將 PyTorch 工作負載綁入自家的硬體生態。

【毒舌吐槽】
這就像堅持自己開規格的規格狂,熬了多年發現全世界工程師還是習慣同一套螺絲起子,最後只能摸摸鼻子幫對手的工具做轉接頭。Google 自 2020 年起推廣 PyTorch/XLA,換來的是開發者抱怨編譯慢、不能跑原生 Eager 模式,如今拉著 Meta 打造 TorchTPU,不僅是向 PyTorch 社群生態的龐大慣性低頭,更直白揭露了自研 AI 晶片若沒有無痛的軟體層支援,硬體規格再漂亮也只會被鎖在少數團隊的機房裡。

【為什麼重要?】
這項專案直接改變了大規模分散式運算的遷移成本,將硬體評估從「重寫程式碼」簡化為「執行模式的效能取捨」。TorchTPU 導入了 Strict、Debug 與 DeferAndFuse 三種 Eager 模式,其中 DeferAndFuse 混合模式宣稱能比 Strict Eager 提升超過 50% 效能並壓低 HBM 峰值記憶體占用。在實測數據方面,單顆 TPUv7 晶片在推論 300 億參數的 Muse Glimmer 模型時,於序列長度 5,120 下可達每秒 25.7k 個 Token;而 4 顆 TPUv7 在相同序列長度的訓練吞吐量則為每秒 5.6k Token。

更深層的影響在於超大型架構的硬體選擇彈性。Google 透過涵蓋 500 多種架構、約 5,000 個 Hugging Face 模型的整合管線驗證相容性,並將 Qwen3 MoE 235B 的訓練工作負載一路擴展至 1,024 到 8,192 顆 TPUv7 晶片,推論端亦搭配 vLLM 展示性價比。對於像 Anthropic 等企業客戶,以及傳出未來可能採用的 Meta 而言,軟體棧平包裝後,跨雲或地端機房建置的硬體採購終於能脫離單一 GPU 生態的綁定。

【影響對象與建議】
- AI 基礎架構工程師:評估現有 PyTorch 專案移轉至 TPUv5e 或後續晶片的可行性,優先測試 DeferAndFuse 模式以觀察記憶體與吞吐量表現。
- 大規模模型訓練團隊:針對 MoE 等千卡以上大規模訓練叢集,可將 TPUv7 列入效能與成本對照組,但需注意專案目前仍在初期階段,動態形狀與算子覆蓋率仍有待後續演進。

想更了解這個話題?