Meta Andromeda 導入 MoE 架構,廣告檢索推論效能提升 300 倍
文章摘要
Meta Andromeda 廣告檢索系統透過導入混合專家(MoE)架構,達成推論效能提升 300 倍的成果。該系統首度將大型語言模型運用的 MoE 技術整合至廣告檢索流程,在維持與先前版本相近的計算成本下,使檢索階段的推薦品質逼近後續排序階段的深度模型水準。
針對生成式 AI 工具導致廣告候選池規模呈現指數級成長的現況,Meta 必須解決單張 GPU 每秒處理需從數千萬提升至數十億次廣告的需求。過去架構受限於記憶體頻寬與 CPU 與加速器間的傳輸延遲,新系統將碎片化的分散式任務整合至單一 GPU 管線,透過客製化 AI 硬體與分層索引優化,大幅提升硬體利用率。此架構更新包含將使用者模型從單一塔狀結構轉型為專業專家組合,藉由整合序列互動事件與使用者群體特徵,精確捕捉多樣化的即時興趣。這項突破為廣告檢索系統建立新的效能效率帕累托前緣,以較低的推論浮點運算量,處理大規模廣告候選資料池,進而提升廣告主價值與投資報酬率。
針對生成式 AI 工具導致廣告候選池規模呈現指數級成長的現況,Meta 必須解決單張 GPU 每秒處理需從數千萬提升至數十億次廣告的需求。過去架構受限於記憶體頻寬與 CPU 與加速器間的傳輸延遲,新系統將碎片化的分散式任務整合至單一 GPU 管線,透過客製化 AI 硬體與分層索引優化,大幅提升硬體利用率。此架構更新包含將使用者模型從單一塔狀結構轉型為專業專家組合,藉由整合序列互動事件與使用者群體特徵,精確捕捉多樣化的即時興趣。這項突破為廣告檢索系統建立新的效能效率帕累托前緣,以較低的推論浮點運算量,處理大規模廣告候選資料池,進而提升廣告主價值與投資報酬率。
AI 大叔解析
## 核心判斷
這項架構更新讓原本粗糙的「大海撈針」檢索階段,直接逼近精細排序階段的推薦水準,而且單張 GH200 GPU 的推論吞吐量一口氣跨過了百億門檻。
Meta 廣告推薦本質上是兩段式設計:第一階段檢索(Retrieval)先在數毫秒內從龐大候選池篩出潛在名單,第二階段排序(Ranking)再用高運算成本的深度模型精確打分。隨著生成式 AI 廣告工具讓候選池暴增數億規模,舊架構每秒處理數千萬則的吞吐量完全跟不上;新一代 Andromeda 導入混合專家架構(MoE)與注意力動態路由,將互動層轉型為條件觸發,換來比 2024 年版降低約 300 倍推論浮點運算量(FLOPs)的表現,硬是在單張 GH200 上把廣告評估量推升至每秒逾 100 億次。
## 毒舌吐槽
過去大家總以為模型越大越準,結果算力全被搬移資料的記憶體頻寬吃乾抹淨。GPU 核心在那邊等資料等到打瞌睡,主機 CPU 和加速器之間的網路線直接被塞爆。Meta 這波操作說穿了就是被自家的生成式 AI 廣告狂潮逼到牆角:廣告主用 AI 幾秒鐘生出成千上萬張素材,後端架構師如果不想買下整個電廠和整座晶圓廠,就只能乖乖把模型與系統邏輯全部「焊死」進單一 GPU 核心裡。
## 為什麼重要?
廣告檢索的運算瓶頸從「算力不夠」轉移為「記憶體與傳輸頻寬不足」。在每秒需要評估數十億次廣告的情境下,GPU 核心間傳遞中間張量(Tensors)產生的資料傳輸量高達每秒數個 Terabyte,加上 CPU 主機與加速器之間的分散式傳輸,直接打滿網路頻寬。這項設計改變了傳統分散式系統的拆分方式,將過往碎片化的工作管線整合成單一 GPU 管線。
系統吞吐量從 2024 年的每秒數千萬次廣告評估,躍升至每張卡每秒突破 100 億次,而且是在計算成本維持可持續水準的前提下達成。這意味著檢索端不再只能跑陽春的雙塔內積,而是能塞入包含序列互動事件、LLM 語意特徵與使用者群體表徵的多專家組合。運算裕度的釋放,讓推薦系統有能力在第一道防線就處理指數級成長的廣告素材,直接拉高廣告投放的配對價值。
## 影響對象與建議
- **推薦系統與機器學習架構師**:檢視目前雙塔檢索系統的特徵瓶頸,評估將注意力機制搭配 MoE 引入第一階段檢索的可行性,降低推論 FLOPs 以換取更深度的使用者行為建模空間。
- **高吞吐推論基礎設施工程師**:重新檢驗 CPU 與 GPU 間的資料傳輸瓶頸,針對每秒數千萬次以上的推論場景,評估跨模型運算與系統邏輯的 Kernel Fusion(核心融合),減少中間張量進出記憶體的頻寬消耗。
## 逆風觀點
300 倍 FLOPs 降低是來自 MoE 條件觸發與全新架構的最佳化結果,但每秒百億次的推論能力深度綁定在 NVIDIA GH200 這種 CPU-GPU 緊密整合的高階硬體與高度客製化的融合核心(Fused Kernel)上。一般缺乏超大規模工程資源或同等異質架構硬體的團隊,極難單靠開源模型直接複製相同效益,且極度客製化的單一 GPU 管線未來在面對頻繁變更的模型結構時,軟體維護與除錯門檻將顯著拉高。
這項架構更新讓原本粗糙的「大海撈針」檢索階段,直接逼近精細排序階段的推薦水準,而且單張 GH200 GPU 的推論吞吐量一口氣跨過了百億門檻。
Meta 廣告推薦本質上是兩段式設計:第一階段檢索(Retrieval)先在數毫秒內從龐大候選池篩出潛在名單,第二階段排序(Ranking)再用高運算成本的深度模型精確打分。隨著生成式 AI 廣告工具讓候選池暴增數億規模,舊架構每秒處理數千萬則的吞吐量完全跟不上;新一代 Andromeda 導入混合專家架構(MoE)與注意力動態路由,將互動層轉型為條件觸發,換來比 2024 年版降低約 300 倍推論浮點運算量(FLOPs)的表現,硬是在單張 GH200 上把廣告評估量推升至每秒逾 100 億次。
## 毒舌吐槽
過去大家總以為模型越大越準,結果算力全被搬移資料的記憶體頻寬吃乾抹淨。GPU 核心在那邊等資料等到打瞌睡,主機 CPU 和加速器之間的網路線直接被塞爆。Meta 這波操作說穿了就是被自家的生成式 AI 廣告狂潮逼到牆角:廣告主用 AI 幾秒鐘生出成千上萬張素材,後端架構師如果不想買下整個電廠和整座晶圓廠,就只能乖乖把模型與系統邏輯全部「焊死」進單一 GPU 核心裡。
## 為什麼重要?
廣告檢索的運算瓶頸從「算力不夠」轉移為「記憶體與傳輸頻寬不足」。在每秒需要評估數十億次廣告的情境下,GPU 核心間傳遞中間張量(Tensors)產生的資料傳輸量高達每秒數個 Terabyte,加上 CPU 主機與加速器之間的分散式傳輸,直接打滿網路頻寬。這項設計改變了傳統分散式系統的拆分方式,將過往碎片化的工作管線整合成單一 GPU 管線。
系統吞吐量從 2024 年的每秒數千萬次廣告評估,躍升至每張卡每秒突破 100 億次,而且是在計算成本維持可持續水準的前提下達成。這意味著檢索端不再只能跑陽春的雙塔內積,而是能塞入包含序列互動事件、LLM 語意特徵與使用者群體表徵的多專家組合。運算裕度的釋放,讓推薦系統有能力在第一道防線就處理指數級成長的廣告素材,直接拉高廣告投放的配對價值。
## 影響對象與建議
- **推薦系統與機器學習架構師**:檢視目前雙塔檢索系統的特徵瓶頸,評估將注意力機制搭配 MoE 引入第一階段檢索的可行性,降低推論 FLOPs 以換取更深度的使用者行為建模空間。
- **高吞吐推論基礎設施工程師**:重新檢驗 CPU 與 GPU 間的資料傳輸瓶頸,針對每秒數千萬次以上的推論場景,評估跨模型運算與系統邏輯的 Kernel Fusion(核心融合),減少中間張量進出記憶體的頻寬消耗。
## 逆風觀點
300 倍 FLOPs 降低是來自 MoE 條件觸發與全新架構的最佳化結果,但每秒百億次的推論能力深度綁定在 NVIDIA GH200 這種 CPU-GPU 緊密整合的高階硬體與高度客製化的融合核心(Fused Kernel)上。一般缺乏超大規模工程資源或同等異質架構硬體的團隊,極難單靠開源模型直接複製相同效益,且極度客製化的單一 GPU 管線未來在面對頻繁變更的模型結構時,軟體維護與除錯門檻將顯著拉高。