Meta 打造 10 萬級 GPU 的 Prometheus 超級運算叢集以訓練 AI 模型

文章摘要

Meta 正於俄亥俄州新奧爾巴尼打造具吉瓦(gigawatt)級規模的 Prometheus 超級運算叢集,旨在訓練下一代基礎模型。該叢集透過連結多棟資料中心與快速部署結構,將數十萬顆 GPU 整合成單一機器運作,最終目標將擴展至約 100 萬顆 GPU。此建設採階段式進行,首階段已完成並用於訓練 Muse Wonder 模型,訓練過程中預訓練任務的「有效產出」(goodput)超過 85%,強化學習則逾 90%;透過韌體優化,設備平均中斷間隔(MTBI)已從約 4.7 萬 GPU 小時提升至逾 5.4 萬小時。

Prometheus 目前搭載 NVIDIA GB200 NVL72 的 Catalina 平台,採用 Open Rack V3 高功率架構,並透過 1:1 CPU 對 GPU 配置及每 GPU 800G 的 I/O 吞吐量,提升運算與記憶體效能。後續將引入 GB300 NVL72 的 Clemente 平台,進一步將單顆 GPU 的 HBM 容量從 192GB 提升至 288GB,並大幅增強 FP4 傳輸與注意力機制加速能力。此外,Meta 亦規劃導入 Vera Rubin NVL72 平台,持續擴增叢集規模以支援更龐大的模型參數與長文本脈絡處理。

AI 大叔解析

【核心判斷】
硬體堆疊到十萬顆 GPU 規模時,決定生死的不在算力有多大,而在整座機房能撐多久不當機。Meta 在俄亥俄州建置的 Prometheus 叢集,首期驗證了將預訓練有效產出(goodput)拉上 85% 以上、強化學習突破 90%,並藉由韌體修正把設備平均中斷間隔(MTBI)推升至逾 5.4 萬 GPU 小時,展現出從傳統機房翻新至吉瓦級(gigawatt-scale)、目標百萬顆 GPU 同步運作的工程控制力。

【毒舌吐槽】
別家發表會還在吹捧算力跑分有多神,Meta 倒是很老實地用「平均中斷間隔」來提醒大家:把數十萬顆晶片串成單一機器時,最大的日常其實是跟硬體死機賽跑。

【為什麼重要?】
這項架構規劃揭露了從單一叢集向跨棟分散式拓撲擴展時的網路取捨。在 Catalina 平台的 GB200 NVL72 部署中,Meta 為了避免 scale-out 頻寬卡在 400G 形成瓶頸,寧可採用 Ariel 的雙機架配置,硬塞 1:1 的 CPU 對 GPU 比例與雙 ConnectX-7 網卡,提前換取每顆 GPU 具備 800G 的 I/O 吞吐能力;直到後續推進至搭載 GB300 NVL72 的 Clemente 平台,才藉由原生支援 800G 的 ConnectX-8 SuperNIC 轉回 2:1 的配置,將 72 顆 GPU domain 濃縮回單一機架。

這種從 Catalina 到 Clemente,再接續 Vera Rubin NVL72 的三階段路線,直接反應在大規模模型訓練的工程邊界轉移。單卡高頻寬記憶體(HBM)由 192GB 提升 1.5 倍至 288GB,搭配翻倍的注意力機制加速與稠密 FP4 吞吐,本質上是為了解決超長上下文(context windows)與超大參數模型在跨節點傳輸時的頻寬飢渴。藉由專門構建的後端乙太網路(BE network)分流副本內部與跨副本流量,硬體拓撲得以緊密貼合平行演算法,避免昂貴的運算單元長期處於等待資料的閒置狀態。

【影響對象與建議】
- 超大規模 AI 基礎架構工程師:檢視現有跨節點網路架構,評估在 scale-out 環節導入每節點 800G 吞吐的可行性,並將預訓練叢集的監控核心由單純的 GPU 使用率轉向 MTBI 與有效產出比率。
- 分散式訓練框架開發者:因應單機 HBM 容量提升至 288GB 及階層式後端網路特性,重新切分跨機房資料平行與模型平行權重,盡可能把延遲敏感運算限縮於單一 NVLink domain 內。

想更了解這個話題?