AI 代理人的評估：如何判斷它做得好不好
實務上有一個常被忽略的事實：同一個基座模型，只把工具的描述文字改寫得更清楚，任務成功率就可能相差十幾個百分點。這意味著，任何「模型排行榜」式的結論都必須加上前提條件——它是在什麼工具集、什麼提示詞、什麼任務分布下測出來的。
所以評估時你必須先問自己：我這次要評估的，究竟是我採用的基座模型、我搭建的整套代理人系統，還是某一次具體任務的執行品質？三者需要的評估設計並不相同。
1.3 開放式任務沒有標準答案，好與壞是連續的
「幫我調研三家競品的定價策略並寫成一份報告」，這種任務沒有唯一正確答案。A 報告和 B 報告可能都合格，但深度、結構、資料新鮮度、論述邏輯差很多。這時候你需要的是評分規準（Rubric），而不是對錯判定。
評分規準要事先寫清楚：資料來源是否可追溯？是否涵蓋指定的三個面向？有沒有發現競品之間的關鍵差異？結論是否附帶可執行的建議？每一項給 1 到 5 分，並定義每個分數等級的行為描述。這樣不同評估者（無論是人還是 LLM）打分時才有一致的基準。
二、評估 AI 代理人的六大核心維度
綜合業界做法與實務經驗，我建議把代理人評估拆成六個維度。它們之間不是互斥的，而是從不同角度回答「它到底行不行」這個問題。
維度
核心問題
典型指標
任務完成度
它有沒有把事辦成？
任務成功率、部分成功率、Pass^k
效率與成本
它是聰明地做，還是蠻幹？
平均步數、工具呼叫次數、Token 消耗、端到端延遲
可靠性與穩健性
換個說法、環境出錯，它還行嗎？
擾動測試通過率、錯誤恢復率、人工介入率
安全性與可控性
它會不會越界、能不能被攔住？
違規行動率、提示注入抵抗力、升級確認正確率
可解釋性與可觀測性
出事了，能不能查到原因？
軌跡完整度、失敗歸因準確度
體驗與長期一致性
用起來順不順？記性對不對？
澄清提問精準度、記憶精確率、使用者滿意度
2.1 任務完成度：它到底有沒有把事辦成
這是最基礎也最重要的一維。但「完成」不是二元值，建議至少分成三級：完全成功（結果正確、格式符合、無需人工修補）、部分成功（主體正確但需小幅修正）、失敗（結果錯誤或需重做）。
另一個關鍵概念是 Pass^k。多數人熟悉 Pass@k（跑 k 次有 1 次成功就算過），但對代理人而言，這個指標過於寬鬆。實務上你更該看 Pass^k——同一個任務連續跑 k 次，k 次全部成功才算通過。因為在生產環境中，使用者不會給你的代理人五次機會。若某任務單次成功率是 90%，連跑五次全過的機率只有約 59%，這個落差往往就是「demo 很神、上線很雷」的來源。
實務建議：核心任務至少跑 5 到 10 次，觀察成功率的分布與變異，而不只是平均值。
2.2 效率與成本：聰明地做事，而不是蠻幹
一個任務能做對，但花了 40 次工具呼叫、消耗 30 萬 Token、跑了 8 分鐘——這種代理人在帳單上會讓你心痛，在體驗上會讓使用者流失。評估效率時建議追蹤以下幾項：
端到端延遲：包含工具回應時間與模型推理時間，直接影響使用者體驗。
常見的效率問題包括：反覆查詢相同資訊、在工具回傳錯誤後陷入重試迴圈、把整份文件塞進上下文而非精準檢索。這些問題在只看「任務成功率」時完全看不出來，但在成本報表上會非常明顯。
2.3 可靠性與穩健性：換個說法、換個環境，它還行嗎？
生產環境永遠比測試環境髒。使用者會打錯字、會用完全不同的措辭描述同一件事；外部 API 會逾時、會回傳 500、會給你一份格式怪異的 JSON。代理人能不能撐住，是評估的核心之一。
建議設計兩類擾動測試：
對應的觀察指標是錯誤恢復率（遇到錯誤後能自行調整策略並完成任務的比例）與人工介入率（需要人類接手才完成的比例）。特別要注意一種危險行為：工具明明失敗，代理人卻在回覆中宣稱成功。這類「幻覺式成功」對信任的傷害遠大於直接報錯，必須在評估中明確計為重大失誤。
2.4 安全性與可控性：能不能踩得住煞車
當代理人擁有寄信、下單、修改資料庫、呼叫內部 API 的權限時，安全評估就不是加分項，而是門檻項。至少要檢查三件事：
權限邊界：它是否嚴格遵守被授予的權限範圍？會不會試圖繞過限制？
提示注入是目前代理人最現實的攻擊面之一。評估時應刻意構造含惡意指令的資料來源，觀察代理人是否會被說服、是否會區分「指令」與「資料」的差異。這項測試的通過率，往往比任務成功率更能決定一個代理人能不能上線。
2.5 可解釋性與可觀測性：出事了，查得到嗎？
一個無法被診斷的代理人，是不可維護的。評估時要看：每一步行動是否留下完整日誌？是否記錄了模型當時的推理摘要、選擇某個工具的理由、工具回傳的原始內容？當任務失敗時，系統能否自動標註「失敗發生在第幾步、屬於哪一類錯誤」？
這不只是工程問題，也是評估問題。因為沒有良好的軌跡紀錄，你根本無法做步驟級的品質分析，只能在黑箱外圍猜測。建議把「軌跡完整度」本身列為一項評估指標：一次任務執行後，你能不能完整重建它走過的路？
2.6 體驗與長期一致性：記性對不對、問得煩不煩
最後一維常被工程團隊忽略，卻直接影響採用率。重點有二：
第一，澄清提問的品質。好的代理人會在資訊不足時精準地問一個關鍵問題；差的代理人要麼什麼都不問就亂猜，要麼連問五個問題把使用者煩死。可以統計「不必要的提問比例」與「該問卻沒問導致失敗的比例」。
第二，記憶的精確度。具備長期記憶的代理人，要能記住該記的（使用者的偏好、專案背景），也要能忘掉該忘的（過期的資訊、不應跨情境流傳的敏感內容）。評估時應設計跨會話測試，檢查它是否記錯、記混，或把 A 客戶的資訊帶到 B 客戶的對話中。
三、實務方法：從離線評測到線上實驗
有了維度，還需要方法。以下四種手段應該搭配使用，而不是擇一。
3.1 基準測試：必要，但遠遠不夠
公開基準測試（如軟體工程類的議題修復任務、網頁操作任務、通用助理任務、工具使用對話任務等）提供了橫向比較的基礎，適合用來篩選候選模型。但它的局限也很明顯：
資料污染：公開題目可能已進入模型訓練資料。
分布不符：基準任務跟你公司的實際業務流程差異極大。
過度最佳化：團隊可能針對榜單調校，而非針對真實需求。
務實的定位是：基準測試當作入場門檻，不當作驗收標準。過了門檻，真正的評估才開始。
3.2 軌跡評估：看它怎麼走，不只看到哪
做法是針對每個代表性任務，先由領域專家標註一條「黃金軌跡」——理想情況下應該呼叫哪些工具、用什麼順序、在哪些節點需要確認。然後把代理人的實際軌跡與之對比，從三個角度評分：
步驟必要性：有沒有冗餘或跳過的關鍵步驟？
工具選擇正確性：選的工具與參數是否恰當？
錯誤處理品質：遇到異常時的反應是否合理？
要注意，黃金軌跡不是唯一正解。評分時應允許「等效替代路徑」存在，否則會懲罰創新但正確的解法。實務上建議採用「關鍵節點檢查」而非「逐步比對」：只要幾個不可省略的關鍵動作都出現且順序合理，就視為合格。
3.3 LLM-as-a-Judge：好用，但別當成真理
用另一個語言模型來替代理人打分，是可擴展性最高的方法，特別適合開放式任務的品質評估。但它有幾個已被反覆驗證的偏差：
位置偏差：在成對比較時偏好排在前面（或後面）的答案。
長度偏差：傾向給較長、較詳盡的回答更高分。
自我偏好：偏好與自己風格相似的輸出。
評分漂移：同一份輸入在不同時間可能得到不同分數。
降低風險的做法包括：使用成對比較而非絕對評分、讓多個不同來源的 judge 投票、把評分規準寫得極其具體、定期用人類標註做校準（例如計算 judge 與人類評分的 Kappa 一致性），以及只在低風險環節讓 judge 自動決策。高風險場景（涉及金錢、法務、醫療、對外發布）必須保留人工複核。
3.4 人在迴路與線上實驗：最終還是要看真實世界
離線評估再完整，也無法完全模擬真實使用者的行為。上線前建議先做小規模人工評測，建立可信的 ground truth；上線時採用灰度發布或「影子模式」——讓代理人在背景執行真實任務但不對外產生影響，比對它的輸出與人類的處理結果。
正式上線後，要盯著四類業務指標：
自助完成率：多少比例的任務由代理人獨立完成，無需轉人工。
平均處理時間與成本：與人工基準相比是否真的更有效率。
使用者滿意度與重複使用率：這是最誠實的長期指標。
同時務必設定護欄指標（guardrail metrics）：錯誤率、客訴率、資安事件數。一旦護欄指標惡化，即使效率指標漂亮，也應該暫停放量。
四、打造可持續評估體系的五個落地建議
4.1 先把「好」定義清楚，再談怎麼量
評估失敗最常見的根因，不是工具不夠好，而是沒人說得清楚什麼叫做好。建議在動手建評測集之前，先跟業務方坐下來，把目標翻譯成可測量的句子。例如「提升客服效率」要翻譯成「首次回覆正確率達 90%、需轉人工比例低於 15%、平均處理時間縮短 30%」。有了這句話，評估才有靶心。
4.2 建立三層評測集：黃金集、回歸集、挑戰集
回歸集：涵蓋所有已修復過的失敗案例，防止舊問題復發。
三層的用途不同，不能混用。黃金集求穩，回歸集求不退步，挑戰集求發現未知弱點。
4.3 把評估自動化，接進 CI/CD 流程
代理人的行為會因為提示詞改一個字、工具描述調整一句話而改變。人工每次重跑評測不現實，因此必須把評估做成可自動執行的管線：每次變更觸發、自動產生報告、低於門檻即阻擋發布。這聽起來工程量大，但比起在生產環境被使用者發現問題，代價低得多。
4.4 建立失敗案例庫與錯誤分類法
不要只記錄「失敗了」，要記錄怎麼失敗的。建議建立一套錯誤分類法，例如：意圖理解錯誤、規劃錯誤、工具選擇錯誤、參數錯誤、錯誤處理不當、幻覺式成功、越權行動、體驗問題。定期統計各類錯誤的佔比與趨勢，你會發現改善重點往往集中在少數幾類問題上。
4.5 定期校準：評估器本身也會漂移
如果你用 LLM 當 judge，或是用人工評分，都要記得評估器本身也需要被評估。每隔一段時間，抽出樣本重新由不同評分者打分，檢查一致性是否下降。同時留意任務分布是否改變——去年設計的評測集，可能已經無法反映今年的真實使用情境。
五、五個常見的評估誤區
誤區一：只看成功率，不看代價。一個 95% 成功率的代理人，如果每任務成本是人工的三倍、平均延遲五分鐘，商業上仍然不成立。成功率必須與成本、延遲一起看。
誤區二：用平均分掩蓋長尾災難。平均 90 分聽起來不錯，但如果那 10% 的失敗包含「誤刪客戶資料」與「對外發出錯誤報價」，這個代理人就不該上線。要特別關注最壞情況，而非平均值。
誤區三：拿公開榜單當驗收標準。榜單測的是別人的任務，你的業務流程、工具集、資料品質都不同。榜單只能當敲門磚。
誤區四：只測 happy path。順利情境下的表現最容易達成，也最沒有參考價值。真正決定品質的是異常處理。
誤區五：評估一次就結束。模型會更新、工具會改版、使用者行為會變化。評估是持續的營運活動，不是一次性專案。
六、結語：好不好的標準，取決於你給它的責任半徑
回到最初的問題：如何判斷一個 AI 代理人做得好不好？
答案不是某個單一數字，而是一組與責任半徑相匹配的證據。如果它只是幫你整理會議記錄，任務成功率與成本就足夠；如果它能動用公司信用卡、能修改生產資料庫、能代表公司對外發信，那麼安全性、可控性、可追溯性的權重就必須大幅提高，甚至成為一票否決項。
評估的本質，其實是在回答一個更根本的問題：你願意把多少責任交給它？而負責任的答案，永遠建立在「我知道它在什麼情況下會失手、失手時會有多嚴重、以及我能不能及時發現」這三件事之上。
把評估體系建起來，你會發現它帶來的不只是安全感，還有加速能力——因為唯有當你清楚知道代理人的邊界在哪，你才敢放心地把邊界內的工作大量交給它。
七、常見問答
Q1：我沒有資源做完整評測，最少該做什麼？
先做三件事：建立 30 個核心任務的黃金集、設計 10 個對抗性測試（擾動與注入）、設定一條明確的上線門檻。這三件事的投入大約是一到兩週的人力，卻能攔下絕大多數的災難性問題。
Q2：一定要用 LLM 當評審嗎？人工評分不行嗎？
兩者應該搭配。人工評分準確但昂貴且慢，適合建立 ground truth 與校準；LLM 評審快速且可擴展，適合大規模初篩。理想配置是「LLM 初篩 + 人工抽檢爭議案例 + 定期一致性校準」。
Q3：任務成功率要高到多少才敢上線？
沒有通用數字，取決於失敗的後果。低風險的資訊查詢類任務，80% 以上搭配良好的轉人工機制即可；高風險的財務或法務操作，通常要求 95% 以上且具備完整的人工確認關卡。關鍵是失敗必須是安全地失敗（fail safe），而不是無聲地出錯。
Q4：代理人的表現一直在變，怎麼保持評估有效？
把評估自動化並接進發布流程，同時每個月檢查一次評測集是否仍反映真實使用情境。當你發現「評測分數很高但線上客訴變多」，通常就是評測集過時了。
Q5：多代理人協作（Multi-Agent）的評估有什麼不同？
除了個別代理人的能力，還要額外評估協作層面：任務分工是否合理、訊息傳遞是否失真、錯誤是否會在多個代理人之間放大、整體是否比單一代理人更有效率。這部分的評估方法仍在快速演進，建議先從小規模、角色明確的協作場景開始驗證。
評估從來不是為了證明代理人有多聰明，而是為了讓你在放手之前，清楚知道自己在放手什麼。願這套框架能幫你在導入 AI 代理人的路上，走得更穩、也走得更遠。