Meta RoCE:專為萬 GPU AI 乙太網路打造的創新 RDMA 傳輸協定

文章摘要

Meta 開發的 MetaRoCE 是一項專為支援數百萬 GPU 的 AI 乙太網路基礎設施設計的新型 RDMA 傳輸協定。它解決了現有 RoCE 協定在處理大規模 AI 訓練與推理時面臨的痛點,例如慢速傳輸拖慢整體訓練速度,以及低延遲通訊對使用者回應時間的影響。

MetaRoCE 的核心在於將智慧從網路交換器移至網路介面卡 (NIC),將網路分解成多個具備即時遙測的邏輯路徑,並支援封包以不排序方式傳輸,直接寫入目的地記憶體,避免重新排序緩衝和頭部封鎖。此協定將乙太網路視為可容許封包遺失的,不再依賴 PFC,並透過路徑級的選擇性確認機制,精確地重新傳輸遺失的封包。此外,MetaRoCE 結合了 ECN 基礎的擁塞控制與接收端驅動的速率提示,能夠更有效地管理頻寬分配與擁塞。其目標使用者是運行大規模 AI 工作負載的企業與研究機構,期望透過此協定提升 AI 訓練和推理的效能與擴展性。原文明確指出,MetaRoCE 能夠實現高輸送量、低尾端延遲,以及操作的簡便性。目前,該協定仍依賴於 NIC 的進階功能來實現其設計目標。

AI 大叔解析

【核心判斷】
Meta 正推動一項新的網路傳輸協定「MetaRoCE」,旨在讓標準乙太網路也能撐起百萬 GPU 規模的 AI 訓練叢集。這玩意兒的核心是把過去網路對「封包必須照順序、不能掉包」的執著,轉移到終端網路卡(NIC)身上。簡單來說,它讓網路「隨便丟」,然後網路卡自己去處理亂序跟丟包,提升了乙太網路在大規模、長距離或多路徑環境下的穩定度與效能。

這個設計突破了傳統 RoCEv2 對網路必須提供「無損、順序性傳輸」的假設。在傳統設定下,當網路流量一大、路徑一複雜,為了保證順序跟不丟包,就得啟用像是優先級流量控制(PFC)這種機制,但這反而會限制網路卡的封包噴灑(packet spraying)能力,導致多路徑網路的效能上不去,甚至在某些情況下會引發流量壅塞,讓整條管線塞住。

MetaRoCE 巧妙地把這個瓶頸轉移了:它讓網路卡擁有更多智慧,可以直接把亂序抵達的封包寫入正確的記憶體位置,省掉了中間的緩衝與重排,也解決了隊頭阻塞(head-of-line blocking)的問題。同時,它把乙太網路當成「天生會掉包」的環境來設計,用精準的選擇性確認(SACK)機制,在發現丟包的瞬間,只重傳丟失的那個封包,而且是透過「原來丟失的那條路徑」去補發,而不是整條連線停下來重來。

根據原文在 64 個節點的 AMD GPU 叢集上的測試,MetaRoCE 在全收集操作(all-reduce 和 all-to-all)中,比 RoCEv2 展現出更高的吞吐量和更低的完成時間。更屌的是,在 1% 的封包遺失率下,它還能維持約 86% 的吞吐量;即使在極端 10% 遺失率下,也能優雅地收斂而不是直接掛掉。這證明了它的設計在處理網路損耗方面的確有顯著改進。

所以,限制從過去對網路基礎設施的「高標準要求」(必須無損、有順序)轉變為對「終端網路卡智慧」的依賴。現在的瓶頸變成這個「智慧型終端」能不能普及到所有網路卡上,以及如何在大規模實際部署中,維持其承諾的穩定性與效能。畢竟從 64 個節點到百萬 GPU,中間還有好長一段路要走。

【毒舌吐槽】
嘴巴上說「為百萬 GPU 規模打造」,結果拿出來的驗證數據是 64 個節點的叢集?這跨度會不會太大了點?這種「畫大餅」式的願景跟實際落地驗證的差距,就像是說要蓋一棟 101 大樓,結果給你看一個蓋好的模型一樣,中間還有非常多的工程細節跟未知挑戰。

還有,新聞稿裡提到「Nothing proprietary is involved, so the fabric stays free to optimize for cost and cabling.」——「沒有專有技術」,然後下一段就說「worked with AMD to implement MetaRoCE on their Pensando programmable NICs」。 Pensando 這種「可程式化網路卡」本身就不是一般資料中心裡隨處可見的通用設備,也不是所有網路卡都有這種彈性可以塞進新協定邏輯。這是不是有點「嘴上說不專有,身體很誠實」?如果 MetaRoCE 需要特定的、可程式化的網路卡才能跑,那它在生態系推廣上就不是完全的「開放自由」了,而是會被特定硬體綁定,這會提高實際部署的門檻跟成本。

【為什麼重要?】
這項技術若能真正普及,對 AI 基礎設施的建置成本將會是個潛在的顛覆。目前要搞大規模 AI 訓練叢集,很多人還是會看上 InfiniBand 這種專為高效能運算打造的網路技術,但它的硬體成本往往比標準乙太網路高出一截。MetaRoCE 嘗試讓價格相對低廉的通用乙太網路,透過「智慧型網路卡」的輔助,去承載這種過去只有高階網路才能辦到的任務。

這等於是幫乙太網路「洗白」,從以前那個「靠硬體撐場面」的低階角色,變成「靠智慧端點逆襲」的潛力股。如果成功,資料中心架構師在設計 AI 訓練網路時,就能有更多選項,不再非得依賴特定高價網路硬體,甚至可以讓同一套乙太網路架構同時支援通用運算與 AI 訓練,減少網路孤島(network island)的問題,進一步降低整體擁有成本(TCO)。同時,其提升網路容錯能力的特性,也能讓數萬、甚至數十萬 GPU 的訓練穩定度更高,減少因網路波動導致的算力浪費。

【影響對象與建議】
* **AI 基礎設施架構師:** 應關注 MetaRoCE 的實際落地進度與生態系支援。若其能廣泛應用,將有助於在乙太網路基礎上構建更具彈性且成本效益更高的 AI 訓練叢集;但需謹慎評估其對網路卡硬體要求與營運複雜度。
* **網路卡與交換器供應商:** MetaRoCE 的出現暗示網路卡將扮演更聰明的角色。應研究此協定對可程式化網路卡的技術要求與市場潛力,評估在新一代網路產品中整合其功能,以搶佔未來 AI 基礎設施的市場。
* **大型雲服務商與資料中心營運者:** 密切觀察 MetaRoCE 在超大規模環境下的實際效能與穩定性。若此技術成熟,將有機會降低大規模 AI 運算網路的建置與維護成本,並提升服務穩定性,但應注意其部署門檻與兼容性問題。

【一句話總結】
MetaRoCE 透過提升網路卡智慧,讓標準乙太網路更能應對大規模 AI 叢集的亂序與丟包挑戰,有望降低高階 AI 網路的建置門檻。

【逆風觀點】
原文雖聲稱「Nothing proprietary is involved」,但實質上它被「實作在 AMD Pensando 可程式化網路卡上」這件事,本身就暗示了其對終端硬體具備高度可程式化能力的需求。這並非所有市售網路卡都具備,如果沒有廣泛的硬體支援,MetaRoCE 的普及將會受限,形成另類的技術綁定。此外,雖然 64 節點測試數據亮眼,但從 64 節點到「百萬 GPU 規模」的工程挑戰與未知變數仍多,當前成果離最終實現其設計目標還有極大的差距。

想更了解這個話題?