OpenAI 推出 LifeVal 評測基準,追蹤 AI 在日常事務的執行成效
文章摘要
OpenAI 推出名為 LifeVal 的評測基準,旨在衡量 AI 模型在處理日常生活實際任務中的表現,協助 ChatGPT 從單純的對話互動轉型為能採取實際行動的個人助理。該團隊透過分析美國與國際時間使用調查,並針對 3,995 名受訪者進行調查,鎖定照顧服務、健康、教育、財務管理、購物及獲取政府服務等領域作為評測範疇。目前 LifeVal 已應用於追蹤模型過去一年的效能改進,具體實例包含協助家庭尋找合適房源並試算稅務、規劃幼稚園入學篩選、管理社區防汛志工分工、以及為糖尿病患者準備餐點規劃等。在這些測試中,模型展現了高精準度的執行成果,例如尋找新居的任務達成率達 100%,管理志工與幼稚園篩選的成功率則分別為 98% 與 93.1%。透過此評測系統,OpenAI 期望持續改善 AI 協助使用者完成現實生活挑戰的能力,而不僅止於提供建議或文字回覆。
AI 大叔解析
【核心判斷】
LifeVal 把找房、照護和政府服務等生活任務納入評測,比單看知識問答更接近個人助理的使用情境;但展示頁的找房「100%」不能直接解讀成一般使用者找房時都會成功。3,995 人是公告提到的需求調查人數,不是每一道任務的測試次數。
【毒舌吐槽】
看到「100%」先別急著替 AI 付仲介費。展示頁上的案例好看,還得知道它在什麼環境、用什麼標準得分。真正碰到房源更新、網站登入失效或買方條件改變時,結果未必會照展示畫面走。
【為什麼重要?】
OpenAI 後來公開的 LifeVal 論文提供了展示頁之外的方法:研究團隊建立 169 個任務,任務設計者依個人情境編寫評分準則,經多輪人工品質檢查;模型執行結果主要由自動評分器依準則、產出與環境狀態變化評分,另有部分結果與人工評分比較。這些細節讓評測可以被更具體地討論,但 169 是整套任務數,不能當成展示頁某個找房案例的測試次數。
論文也指出,調查以美國、英語使用者為主;部分瀏覽內容即使經過環境控制,仍可能隨時間改變。評測提供進步線索,與人們在不同地區、真實服務上能否獨立完成任務,仍有距離。
【影響對象與建議】
產品團隊可用 LifeVal 的任務和評分方式規劃自己的測試,另外記錄失敗、重試及人工補救;使用者拿 AI 找房或處理政府服務時,房源、費用、資格與正式文件仍應回到實際來源核對。
LifeVal 把找房、照護和政府服務等生活任務納入評測,比單看知識問答更接近個人助理的使用情境;但展示頁的找房「100%」不能直接解讀成一般使用者找房時都會成功。3,995 人是公告提到的需求調查人數,不是每一道任務的測試次數。
【毒舌吐槽】
看到「100%」先別急著替 AI 付仲介費。展示頁上的案例好看,還得知道它在什麼環境、用什麼標準得分。真正碰到房源更新、網站登入失效或買方條件改變時,結果未必會照展示畫面走。
【為什麼重要?】
OpenAI 後來公開的 LifeVal 論文提供了展示頁之外的方法:研究團隊建立 169 個任務,任務設計者依個人情境編寫評分準則,經多輪人工品質檢查;模型執行結果主要由自動評分器依準則、產出與環境狀態變化評分,另有部分結果與人工評分比較。這些細節讓評測可以被更具體地討論,但 169 是整套任務數,不能當成展示頁某個找房案例的測試次數。
論文也指出,調查以美國、英語使用者為主;部分瀏覽內容即使經過環境控制,仍可能隨時間改變。評測提供進步線索,與人們在不同地區、真實服務上能否獨立完成任務,仍有距離。
【影響對象與建議】
產品團隊可用 LifeVal 的任務和評分方式規劃自己的測試,另外記錄失敗、重試及人工補救;使用者拿 AI 找房或處理政府服務時,房源、費用、資格與正式文件仍應回到實際來源核對。