Meta 發表 IcePack 水冷機櫃與 FPF 架構優化 AI 網路基礎設施
文章摘要
Meta 在 OCP 2026 發表專為 AI 工作負載設計的基礎設施方案,以解決 gigawatt 等級叢集的頻寬與散熱瓶頸。核心技術為首款水冷機櫃 IcePack,其基於 OCP ORV3-HPRv1 標準,內建 102.4-Tbps 的 IceCube 交換器刀鋒,提供 128 組 800G 非阻塞交換能力。該系統分別採用 Broadcom Tomahawk6C 或 NVIDIA Spectrum-6 ASIC,並執行開源 FBOSS 作業系統,較前代 51.2T 平台提升兩倍頻寬並符合高熱密度需求。
為因應跨建築、校區至多區域的 AI 叢集需求,Meta 推出 Flattened Planar Fabric (FPF) 多平面後端架構。該架構將傳統單平面上行鏈路改為多平面設計,讓每顆 GPU 透過八組獨立 100G 鏈路連結至不同交換平面,強化大規模網路的效能與彈性。Meta 與 NVIDIA 合作開發,將此技術應用於 NVIDIA Spectrum-X 多平面架構,並正與雲端供應商合作建立標準化實作。此外,針對自有與公有雲設施間網路表現不一致的問題,Meta 建立了一套標準化效能驗證框架,要求合作夥伴在叢集交付前,需通過十至逾千顆 GPU 規模的點對點與集體基準測試,以確保不同環境下的營運模型一致。
為因應跨建築、校區至多區域的 AI 叢集需求,Meta 推出 Flattened Planar Fabric (FPF) 多平面後端架構。該架構將傳統單平面上行鏈路改為多平面設計,讓每顆 GPU 透過八組獨立 100G 鏈路連結至不同交換平面,強化大規模網路的效能與彈性。Meta 與 NVIDIA 合作開發,將此技術應用於 NVIDIA Spectrum-X 多平面架構,並正與雲端供應商合作建立標準化實作。此外,針對自有與公有雲設施間網路表現不一致的問題,Meta 建立了一套標準化效能驗證框架,要求合作夥伴在叢集交付前,需通過十至逾千顆 GPU 規模的點對點與集體基準測試,以確保不同環境下的營運模型一致。
AI 大叔解析
## 【核心判斷】
當 AI 叢集規模衝上數個 Gigawatt 時,網路架構的瓶頸早已從「單一晶片算力」轉移至「跨區域實體限制與異質網路整合」。Meta 在 OCP 2026 端出的 IcePack 水冷機櫃,將交換容量推升至 102.4-Tbps(提供 128 組 800G 非阻塞頻寬),並同時支援 Broadcom Tomahawk6C 與 NVIDIA Spectrum-6 晶片;然而真正關鍵的技術演進,在於透過 Flattened Planar Fabric(FPF)將單一 GPU 分流至八個獨立 100G 平面,以及用 BAG(Backend Aggregation)架構解決幾十公里跨區傳輸帶來的緩衝區(Buffer)膨脹難題。
## 【毒舌吐槽】
以前大家以為搞 AI 只要向老黃買足 GPU 就天下太平,現在連 Meta 這種巨頭都得承認:自建機房根本趕不上訓練需求,只能轉頭去租公有雲與託管機房。偏偏各家雲端廠商的網路規格亂成一鍋粥——快取深度不同、RDMA 協定各自為政,甚至還有人在跑 InfiniBand。Meta 只好自己跳下來訂規範,要求合作夥伴交機前得跑過上千顆 GPU 的基準測試。這說明了一件事:硬體堆到頂級之後,工程師大部分的時間不是在調模型,而是在幫全世界規格不一的機房擦屁股。
## 【為什麼重要?】
超大規模算力已無法容納在單一建築甚至單一園區內。Meta 計畫在 2026 年上線約 1 GW 規模的 Prometheus 叢集,並持續往 5 GW 規模的 Hyperion 推進,迫使後端網路必須直接跨越建築物、戶外防護結構乃至鄰近租用機房。為了讓跨區叢集運作如單一系統,其 BAG 集中式乙太網路超骨幹(Super-spine)在兩區域間提供達數十 Pbps(Petabits per second)的頻寬,這使得光纖長度帶來的物理延遲成為核心挑戰。
在無損乙太網路(Lossless Ethernet)架構下,緩衝區保留量(Buffer headroom)必須與纜線長度成正比。一旦距離拉長到數十公里,若照傳統方式統一按最壞情況配置,將迅速耗盡交換器記憶體並引發全面壅塞。為此,Meta 讓開源網路作業系統 FBOSS 具備動態量測能力:利用未壅塞佇列發送探測封包測量往返時間,精確計算出每條光纖的實際長度並配置相應緩衝區,同時藉由 eBGP 頻寬訊號感知線路降級狀態,避免流量硬塞進次級路徑。
## 【影響對象與建議】
- **資料中心網路架構師**:評估多平面(Multi-plane)拓撲設計。當單卡頻寬持續提升,應參考將單一 GPU 上行切分為八組獨立鏈路的作法,以分散單點故障風險並降低單平面交換器壓力。
- **AI 算力租賃與雲端營運商**:建立標準化交付驗證流程。建議導入從數十顆擴展至千顆 GPU 等級的點對點與集體通訊基準測試,在交付前收斂異質硬體的 RDMA 與壅塞控制行為。
當 AI 叢集規模衝上數個 Gigawatt 時,網路架構的瓶頸早已從「單一晶片算力」轉移至「跨區域實體限制與異質網路整合」。Meta 在 OCP 2026 端出的 IcePack 水冷機櫃,將交換容量推升至 102.4-Tbps(提供 128 組 800G 非阻塞頻寬),並同時支援 Broadcom Tomahawk6C 與 NVIDIA Spectrum-6 晶片;然而真正關鍵的技術演進,在於透過 Flattened Planar Fabric(FPF)將單一 GPU 分流至八個獨立 100G 平面,以及用 BAG(Backend Aggregation)架構解決幾十公里跨區傳輸帶來的緩衝區(Buffer)膨脹難題。
## 【毒舌吐槽】
以前大家以為搞 AI 只要向老黃買足 GPU 就天下太平,現在連 Meta 這種巨頭都得承認:自建機房根本趕不上訓練需求,只能轉頭去租公有雲與託管機房。偏偏各家雲端廠商的網路規格亂成一鍋粥——快取深度不同、RDMA 協定各自為政,甚至還有人在跑 InfiniBand。Meta 只好自己跳下來訂規範,要求合作夥伴交機前得跑過上千顆 GPU 的基準測試。這說明了一件事:硬體堆到頂級之後,工程師大部分的時間不是在調模型,而是在幫全世界規格不一的機房擦屁股。
## 【為什麼重要?】
超大規模算力已無法容納在單一建築甚至單一園區內。Meta 計畫在 2026 年上線約 1 GW 規模的 Prometheus 叢集,並持續往 5 GW 規模的 Hyperion 推進,迫使後端網路必須直接跨越建築物、戶外防護結構乃至鄰近租用機房。為了讓跨區叢集運作如單一系統,其 BAG 集中式乙太網路超骨幹(Super-spine)在兩區域間提供達數十 Pbps(Petabits per second)的頻寬,這使得光纖長度帶來的物理延遲成為核心挑戰。
在無損乙太網路(Lossless Ethernet)架構下,緩衝區保留量(Buffer headroom)必須與纜線長度成正比。一旦距離拉長到數十公里,若照傳統方式統一按最壞情況配置,將迅速耗盡交換器記憶體並引發全面壅塞。為此,Meta 讓開源網路作業系統 FBOSS 具備動態量測能力:利用未壅塞佇列發送探測封包測量往返時間,精確計算出每條光纖的實際長度並配置相應緩衝區,同時藉由 eBGP 頻寬訊號感知線路降級狀態,避免流量硬塞進次級路徑。
## 【影響對象與建議】
- **資料中心網路架構師**:評估多平面(Multi-plane)拓撲設計。當單卡頻寬持續提升,應參考將單一 GPU 上行切分為八組獨立鏈路的作法,以分散單點故障風險並降低單平面交換器壓力。
- **AI 算力租賃與雲端營運商**:建立標準化交付驗證流程。建議導入從數十顆擴展至千顆 GPU 等級的點對點與集體通訊基準測試,在交付前收斂異質硬體的 RDMA 與壅塞控制行為。