Google 推出 LiteRT Tensor API,支援跨平台開發且加速邊緣 AI 模型運行
文章摘要
Google推出LiteRT Tensor API,這是一款輕量級C++ API,協助開發者直接在裝置端構建、自訂與優化機器學習模型。該API解決了傳統開發需針對Metal、OpenCL或Vulkan等特定後端編寫程式,導致無法跨硬體移植的痛點,開發者現在能透過C++操作構建計算圖,使其直接在CPU、GPU及NPU運行而無需重寫程式碼。其功能包含支援Hugging Face .safetensors權重載入、零拷貝緩衝區交互操作,並與AI編碼代理相容以輔助模型優化。實際測試中,SAM 2模型於MacBook Pro上運行速度較Apple MLX快約1.5倍,且透過編碼代理優化後,WebGPU幀率從每秒不到10幀提升至30幀以上。Google計畫後續支援DirectML Drift後端、增加NPU友善運算、自動全圖量化以及動態形狀擴展。儘管效能提升顯著,Arm AI總監Laurence Moroney建議開發者應先嘗試模型轉換,僅在需要圖級控制或確保前後處理留在加速器上時,才採用此C++ API。
AI 大叔解析
【核心判斷】
Google 試圖用標準 C++ 抽象層終結邊緣端「換一顆晶片就重寫一次底層」的噩夢,但手動刻計算圖本質上仍是高度專業的硬核工程。這款 LiteRT Tensor API 讓開發者能直接用 C++ 逐個節點拼裝計算圖,一次通吃 Metal、OpenCL 與 Vulkan 等底層,甚至跨 CPU、GPU、NPU 運行。它還原生支援 Hugging Face 的 `.safetensors` 權重匯入與零拷貝緩衝區(Zero-copy buffer,意即加速器記憶體不重複搬移),並能讓 AI 編碼代理介入修改圖結構。然而,這終究是一把雙面刃:它給了極限的控制權,卻也將算子排程的複雜度交還給工程師。
【毒舌吐槽】
每次看到邊緣端推「跨平台神級 API」,大叔我都會先深吸一口氣泡杯茶。表面上寫一份 C++ 到處跑很美妙,但現實是連 Arm 的 AI 總監都跳出來好心提醒:沒事別自己虐待自己,先去乖乖做模型轉換。當你必須把前處理、後處理跟判定邏輯全部硬塞進運算圖裡,甚至要靠 AI 寫程式代理人幫忙改寫算子來避開 WebGPU 的 CPU 退回機制,就代表底層硬體的破碎化根本沒消失,只是換成在 C++ 裡跟運算圖鬥智鬥勇而已。
【為什麼重要?】
這項工具真正改變的是邊緣運算在不同加速器之間的資料搬移損耗與管線割裂。傳統邊緣部署最痛的從來不是推論本身,而是資料在 CPU 預處理、GPU 算特徵、再拉回 CPU 做邏輯判斷時產生的記憶體拷貝開銷。LiteRT 透過零拷貝互通,並允許把邏輯(例如 SAM 2 每幀物體是否可見的決策)直接收攏進圖內運算,能大幅拔除 CPU 與加速器間的傳輸瓶頸。
在實測數據上,這套做法確實榨出了驚人的邊際效益。在 MacBook Pro 的 GPU 上以 fp16 執行 SAM 2(包含圖像編碼器與遮罩解碼器),運行速度達到 Apple 原生 MLX 的約 1.5 倍;在 WebGPU 512x512 解析度下,透過 AI 代理人優化圖結構並消除 CPU 退回後,幀率更直接從每秒不到 10 幀拉抬至 30 幀以上。後續 Google 還計畫補上 DirectML Drift 後端、更多 NPU 算子、全圖自動量化與動態形狀擴展,這意味著邊緣模型從「能跑」邁向「高更新率即時互動」的門檻正在被顯著降低。
【影響對象與建議】
- **邊緣端演算法工程師**:若現有模型轉換工具效能達標,請優先維持轉換流程;僅在遇到加速器記憶體拷貝瓶頸,或需要將前後處理綁進硬體執行時,再切換至此 C++ API。
- **跨平台客戶端架構師**:評估現有跨 macOS、iOS 與 Android 的多套後端維護成本,可針對 SAM 2 這類需即時互動的高負載視覺模型,著手小規模 PoC 驗證單一 C++ 程式庫的跨硬體可行性。
【逆風觀點】
官方展示的高幀率很大程度仰賴 AI 編碼代理針對特定後端特性進行微調與算子重寫,這恰恰證明它並非真正的「寫一次、自動最佳化到處跑」。若團隊缺乏對底層硬體運算特性的理解,或沒有合適的自動化工具輔助調校,貿然捨棄成熟的模型轉換工具而直接投入手刻運算圖,維護成本可能不減反增。
Google 試圖用標準 C++ 抽象層終結邊緣端「換一顆晶片就重寫一次底層」的噩夢,但手動刻計算圖本質上仍是高度專業的硬核工程。這款 LiteRT Tensor API 讓開發者能直接用 C++ 逐個節點拼裝計算圖,一次通吃 Metal、OpenCL 與 Vulkan 等底層,甚至跨 CPU、GPU、NPU 運行。它還原生支援 Hugging Face 的 `.safetensors` 權重匯入與零拷貝緩衝區(Zero-copy buffer,意即加速器記憶體不重複搬移),並能讓 AI 編碼代理介入修改圖結構。然而,這終究是一把雙面刃:它給了極限的控制權,卻也將算子排程的複雜度交還給工程師。
【毒舌吐槽】
每次看到邊緣端推「跨平台神級 API」,大叔我都會先深吸一口氣泡杯茶。表面上寫一份 C++ 到處跑很美妙,但現實是連 Arm 的 AI 總監都跳出來好心提醒:沒事別自己虐待自己,先去乖乖做模型轉換。當你必須把前處理、後處理跟判定邏輯全部硬塞進運算圖裡,甚至要靠 AI 寫程式代理人幫忙改寫算子來避開 WebGPU 的 CPU 退回機制,就代表底層硬體的破碎化根本沒消失,只是換成在 C++ 裡跟運算圖鬥智鬥勇而已。
【為什麼重要?】
這項工具真正改變的是邊緣運算在不同加速器之間的資料搬移損耗與管線割裂。傳統邊緣部署最痛的從來不是推論本身,而是資料在 CPU 預處理、GPU 算特徵、再拉回 CPU 做邏輯判斷時產生的記憶體拷貝開銷。LiteRT 透過零拷貝互通,並允許把邏輯(例如 SAM 2 每幀物體是否可見的決策)直接收攏進圖內運算,能大幅拔除 CPU 與加速器間的傳輸瓶頸。
在實測數據上,這套做法確實榨出了驚人的邊際效益。在 MacBook Pro 的 GPU 上以 fp16 執行 SAM 2(包含圖像編碼器與遮罩解碼器),運行速度達到 Apple 原生 MLX 的約 1.5 倍;在 WebGPU 512x512 解析度下,透過 AI 代理人優化圖結構並消除 CPU 退回後,幀率更直接從每秒不到 10 幀拉抬至 30 幀以上。後續 Google 還計畫補上 DirectML Drift 後端、更多 NPU 算子、全圖自動量化與動態形狀擴展,這意味著邊緣模型從「能跑」邁向「高更新率即時互動」的門檻正在被顯著降低。
【影響對象與建議】
- **邊緣端演算法工程師**:若現有模型轉換工具效能達標,請優先維持轉換流程;僅在遇到加速器記憶體拷貝瓶頸,或需要將前後處理綁進硬體執行時,再切換至此 C++ API。
- **跨平台客戶端架構師**:評估現有跨 macOS、iOS 與 Android 的多套後端維護成本,可針對 SAM 2 這類需即時互動的高負載視覺模型,著手小規模 PoC 驗證單一 C++ 程式庫的跨硬體可行性。
【逆風觀點】
官方展示的高幀率很大程度仰賴 AI 編碼代理針對特定後端特性進行微調與算子重寫,這恰恰證明它並非真正的「寫一次、自動最佳化到處跑」。若團隊缺乏對底層硬體運算特性的理解,或沒有合適的自動化工具輔助調校,貿然捨棄成熟的模型轉換工具而直接投入手刻運算圖,維護成本可能不減反增。