Salesforce 聯手 Nvidia 推 Koa 推理模型,優化 Agentforce 企業級推理效能

文章摘要

Salesforce 於 Dreamforce 大會發表首款企業級推理模型 Koa,該模型基於 Nvidia 的 Nemotron 開放權重架構,經雙方合作進行後訓練,專精於銷售、行銷與客戶支援等商務情境。過去 Agentforce 平台需將多步驟任務轉送至 Claude 或 ChatGPT 等外部前沿模型,Koa 的推出讓平台能自主處理推理需求,解決了對外部模型依賴與成本過高的痛點。

為確保資料隱私與合規,Salesforce 與 Nvidia 並未使用客戶原始數據進行訓練,而是藉由模擬客服情境與銷售案例產生合成數據,確保 Koa 具備符合業務需求的領域知識。相較於通用模型,Koa 運用 Nvidia 的高效推理架構,能以更少的 Token 消耗提升處理效率,優化企業部署 AI Agent 的經濟效益。儘管 Koa 提供自主選擇,Salesforce 同時宣布與 Anthropic 合作「ClaudeForce」,讓客戶能在保有資料安全的前提下調用 Claude,顯示其並未放棄與其他大型模型供應商的合作,持續擴大 Agentforce 平台在企業端的應用彈性。

AI 大叔解析

【核心判斷】
Salesforce 聯手 Nvidia 打造專精於商務任務的推理模型 Koa,核心目的在於拿回多步驟複雜任務的自主處理解析權,不必再把所有推論請求無差別轉送給外部昂貴的通用大模型。

【毒舌吐槽】
滿嘴講「主權 AI」跟「資料來源乾淨」,講白了就是算力帳單痛到受不了。過去企業只要遇到稍微複雜一點的多步驟邏輯,Agentforce 平台的閘道器就只能乖乖掏錢,把流量直接導去給 Claude 或 ChatGPT 燒 Token(計費字詞單位)。現在拉著 Nvidia 用合成資料硬煉一個垂直領域模型,並不是技術突然超越通用模型,而是如果不把推論成本壓下來,企業端整天喊得震天響的 AI Agent(自主代理)在商業運算成本上根本跑不下去。

【為什麼重要?】
這代表企業級軟體平台不再全盤買單前沿模型實驗室的「通用大力出奇蹟」路線。過去企業部署處理客服或銷售的多步驟流程時,仰賴外部專有模型不僅成本高昂,還得承受資料出境的合規風險。Koa 透過 Nvidia 的 Nemotron 開放權重架構進行後訓練,專攻銷售、行銷與客服,並利用模擬情境的合成數據避開客戶真實資料外洩的隱私雷區。

在系統運行架構上,這讓 Agentforce 能在自家體系內消化掉常規的推理負載,利用 Nvidia 所強調的高效推論架構降低運算時的 Token 消耗量與首字延遲時間(Time to first token,即模型收到指令到吐出第一個字的時間)。不過 Salesforce 同時端出能介接 Claude 的「ClaudeForce」,也清楚表明其並非要與外部模型一刀兩斷,而是建立一套由自研模型扛日常成本、外部頂級模型扛極限情境的混合調度防線。

【影響對象與建議】
- **企業 IT 架構師**:檢視目前透過 Agentforce 處理的業務流程,評估將常規客服與銷售推論路由切換至 Koa 的可行性,降低呼叫外部專有模型的 API 成本。
- **資料安全與合規主管**:確認 Koa 採用合成數據訓練的合規架構是否符合內部資料隱私規範,並評估在地化部署對資料不出境要求的效益。

想更了解這個話題?