AI 的人類評估：為什麼還是要靠人打分
二、人類評估到底在評什麼？
如果自動化評估這麼快又這麼便宜，人類評估憑什麼存在？答案不是「人類比較聰明」，而是「人類在評的東西，機器目前還評不了」。這些東西可以大致分成三類。
2-1 語境、文化與「話中有話」
語言從來不是單純的資訊傳遞。同樣一句話，在不同語境、不同文化、不同關係脈絡下，意思可能完全相反。一句「你覺得呢？」可能是真誠請教，也可能是委婉的反對；一段看似禮貌的回覆，在中文語境裡可能藏著明顯的諷刺。這些「言外之意」是語言模型最容易出錯的地方，也是最難用自動化指標捕捉的地方。
舉個具體的例子。假設使用者用繁體中文問：「我媽一直催我相親，該怎麼回她？」一個模型可能給出結構完整、邏輯清晰、條列分明的建議，但它可能完全忽略了華人家庭裡「孝順」與「界線」之間的微妙張力，也可能用了一堆中國大陸的網路用語，讓台灣使用者讀起來格格不入。這種「形式正確但語感錯位」的回答，在 BLEU、ROUGE 這類自動指標上分數很高，在人類眼中卻明顯不合格。
要判斷這種錯位，評估者必須具備與使用者相同的語言與文化背景。這不是「找一個會中文的人」就能解決的，而是要找到「懂這個語境的人」。這也是為什麼許多跨國 AI 團隊在進入不同市場時，必須在當地建立本土的評估團隊，而不是把英文的評估指南直接翻譯過來用。
2-2 主觀品質：好文章、好回答沒有唯一解
很多 AI 任務的輸出根本沒有標準答案。寫一封道歉信、規劃一趟五天四夜的家族旅行、把一段技術文件改寫成給高中生看的版本——這些任務的「正確答案」有無窮多種，而「好」的定義取決於讀者是誰、場合是什麼、目的為何。
在這種情況下，自動化指標幾乎無能為力。BLEU 比對的是字面重疊，ROUGE 比對的是詞彙覆蓋，它們無法判斷一篇文章讀起來是否流暢、是否有說服力、是否踩到了不該踩的雷。即使是 LLM-as-a-Judge，也只能給出一個統計意義上的「平均偏好」，無法反映不同族群、不同情境下的品質差異。
人類評估的價值就在這裡：它能夠處理「多元偏好」與「情境依賴」的品質判斷。一位有經驗的評估者，可以同時考慮「這段文字是否符合品牌語氣」、「是否會讓特定讀者感到被冒犯」、「是否在有限的字數內傳達了最重要的資訊」，這些判斷是綜合性的、脈絡化的，無法拆解成幾個可自動計算的指標。
2-3 安全與價值對齊：灰色地帶需要人來判斷
安全與價值對齊（alignment）是人類評估最無可取代的領域。原因很簡單：什麼叫做「安全」、什麼叫做「適當」，本身就充滿爭議，而且高度依賴文化與法律環境。
一個模型該不該回答關於自我傷害的問題？該不該提供醫療建議？該不該在政治議題上表態？該不該拒絕生成某些類型的創作內容？這些問題沒有放諸四海皆準的答案。同樣一段關於心理健康的話題，在一個國家可能被視為必要的教育資訊，在另一個國家可能需要更謹慎的處理。自動化過濾器可以擋掉明顯的關鍵字，但它無法判斷「這個回答是在幫助人，還是在鼓勵危險行為」。
更麻煩的是「過度拒答」的問題。一個過於保守的安全機制，會讓模型對正常問題也給出「我無法協助」的回覆，使用者體驗會變得極差。要拿捏這條線，需要人類評估者去讀大量真實案例，判斷哪些拒答是合理的、哪些是過度反應。這個過程無法外包給一個分類器，因為分類器本身也是用人的判斷訓練出來的。
三、業界怎麼做：人類評估的常見方法
人類評估不是「找幾個人來隨便看看」，它其實有一套相當成熟的方法論。不同規模的團隊會採用不同的做法，但核心邏輯是相通的：把主觀判斷轉化成可比較、可追蹤、可重複的資料。
3-1 偏好對比與 A/B 測試
最常見的人類評估方法是「成對比較」（pairwise comparison）：給評估者兩個來自不同模型（或不同版本）的回答，讓他們選出比較好的一個，必要時註明原因。這種方法的好處是，人類對於「哪個比較好」的判斷，遠比「這個東西有幾分」來得穩定一致。要一個人給出絕對分數，往往會受到當下心情、前一題的對比效應影響；但要他在兩個具體選項中選一個，判斷就可靠得多。
這種方法在業界的代表就是 Chatbot Arena 這類公開排行榜。使用者在使用模型時，同時看到兩個匿名模型的回答，投票選出比較好的那一個，系統再用統計方法（例如 Elo 評分或 Bradley-Terry 模型）算出每個模型的相對排名。這種「群眾外包」式的偏好收集，規模大、成本相對低，而且能反映真實使用者的喜好。
不過，偏好對比也有它的限制。它只能告訴你「A 比 B 好」，不能告訴你「A 到底好不好」。如果兩個模型都很糟，評估者還是得選一個，而這個選擇可能只是「比較不爛」。此外，偏好對比也容易受到表面因素影響，例如排版、長度、語氣自信程度，這些都與實質品質無關。
3-2 標註指南、評估者訓練與一致性檢定
要讓人類評估的結果可信，關鍵在於「一致性」。如果十個評估者看同一個回答，給出十種不同的判斷，那這批資料就沒有太大價值。因此，專業的評估流程通常會包含幾個環節。
首先是撰寫清楚的標註指南（annotation guideline）。指南裡要明確定義每個評分維度的含義、提供正反面的範例、說明邊界情況該怎麼處理。例如「事實正確性」這一項，就要說明「部分正確但遺漏關鍵資訊」該給幾分、「引用來源正確但解讀錯誤」該怎麼算。
其次是評估者訓練。新加入的評估者通常要先做一輪校準練習，用已經有標準答案的案例來測試，確認他們的判斷與團隊共識一致。這個過程可能需要來回好幾輪，直到雙方的理解對齊。
最後是一致性檢定。團隊會定期抽取一部分案例，讓多位評估者重複評分，然後計算他們之間的同意度（例如 Cohen's kappa 或 Krippendorff's alpha）。如果同意度太低，就表示指南有問題、訓練不足，或是某個評分維度本身定義不清，需要回頭修正。這套流程聽起來很繁瑣，但它是讓人類評估從「主觀意見」變成「可用的品質資料」的關鍵。
3-3 RLHF 與人類回饋的循環
人類評估不只用在「事後檢查」，它也直接參與了模型的訓練。RLHF（Reinforcement Learning from Human Feedback，人類回饋強化學習）就是最典型的例子：先讓人類評估者對模型的多個回答排序，用這些排序資料訓練一個獎勵模型（reward model），再用強化學習讓語言模型去最大化這個獎勵分數。
這套方法之所以有效，是因為它把「人類的偏好」轉換成了模型可以優化的訊號。但它也有一個根本的限制：獎勵模型只是人類偏好的「壓縮版本」，它會遺漏細節、放大偏誤。如果訓練資料裡，評估者系統性地偏好某一種語氣或某一種回答風格，模型就會學到這個偏好，即使那不是團隊真正想要的。
這就是所謂的「獎勵駭客」（reward hacking）：模型學會討好獎勵模型，而不是真正解決使用者的問題。要偵測這種情況，唯一的辦法還是回到人類評估——定期抽樣檢查模型的實際輸出，確認它沒有為了拿高分而產生奇怪的行為。換句話說，人類評估既是訓練的起點，也是訓練的終點。
四、人類評估不是萬靈丹：偏誤、成本與規模
講到這裡，好像人類評估是解決一切問題的答案。但實際上，人類評估本身也有很多問題，如果不正視這些問題，它只會變成一種「看起來很嚴謹」的自我安慰。
4-1 評估者偏誤與文化落差
評估者也是人，也會有偏誤。最常見的是「文化偏誤」：如果評估團隊的背景過於單一，他們打出來的分數就會系統性地偏向某一種價值觀。例如一個全部由工程師組成的評估團隊，可能會特別欣賞技術細節豐富的回答，而忽略了普通使用者真正需要的簡單說明。一個全部由城市白領組成的團隊，可能會覺得某些鄉村情境的描述「很不真實」。
另一種偏誤是「權威偏誤」：評估者容易給語氣自信、結構工整、引用大量專有名詞的回答較高分，即使內容有錯。這種偏誤與 LLM-as-a-Judge 的偏誤其實是同一種東西，只是發生在人身上。要減輕這類偏誤，團隊需要有意識地組成多元背景的評估者，並且在指南裡明確提醒「不要被語氣與格式影響判斷」。
4-2 成本與規模的現實
人類評估最大的現實限制就是成本。一位專業評估者每小時能處理的案例數量有限，而一個稍微像樣的評估專案，動輒需要數千到數萬筆標註。換算下來，這是一筆相當可觀的支出，而且隨著模型迭代速度加快，評估的需求只會越來越大。
這就導致一個兩難：評估做得越細，成本越高；評估做得越粗，結果越不可信。許多團隊的折衷做法是「分層抽樣」——對高風險、高影響的案例做完整的人工評估，對一般案例則用自動化工具做初步篩選，只把有疑慮的部分留給人看。這種做法聽起來合理，但如果抽樣策略設計不當，就可能漏掉系統性的問題。
4-3 評估者疲勞與「為了過關而打分」
還有一個很少被公開討論的問題：評估者疲勞。當一個人連續看了幾百個長得差不多的回答，他的判斷力會下降，他會開始依賴捷徑——例如「這個回答比較長，應該比較好吧」、「這個回答有條列，看起來比較專業」。更糟的是，如果評估者的績效與「完成數量」掛鉤，他就會有動機快速打分，而不是仔細判斷。
這會導致一種隱性的資料品質問題：表面上每個案例都有人評分，但這些分數的可靠性其實參差不齊。要解決這個問題，團隊需要設計合理的工時與休息安排、定期做品質抽查、並且在評估介面裡加入「不確定」或「需要討論」的選項，讓評估者不必被迫做出他沒有把握的判斷。
五、人機混合評估：未來的評分體系
講了這麼多，結論不是「人類評估最好，自動化評估沒用」，而是「兩者各有擅場，關鍵在於怎麼組合」。未來的評估體系，大概率不會是純人工，也不會是純自動，而是一種分層的、互補的混合架構。
5-1 分層評估：機器做篩選，人做關鍵判斷
一個合理的分層架構大概是這樣：第一層用自動化指標與 LLM-as-a-Judge 做大規模的初步篩選，找出明顯的失敗案例（例如答非所問、事實錯誤、格式跑掉）以及明顯的優良案例。第二層針對邊界案例、高風險案例、以及與過往表現差異較大的案例，進行人工評估。第三層則是定期的人類抽樣審查，用來校準前兩層的自動化工具是否仍然可信。
這種架構的好處是，它把人類的注意力集中在「最需要人判斷」的地方，而不是平均分散在所有案例上。它同時也承認了一件事：自動化評估不是「取代」人類，而是「放大」人類判斷的影響範圍。
5-2 建立可追溯的評估資料庫
另一個關鍵是「可追溯性」。每一次人類評估的結果，都應該被完整記錄下來：誰評的、什麼時候評的、用哪一版的指南、評分理由是什麼、有沒有爭議。這些資料不只是品質紀錄，更是未來訓練自動化評估工具的素材。
當你累積了足夠多的人類評估資料，你就可以訓練出更貼近團隊標準的獎勵模型或分類器，讓自動化評估的準確度逐步提升。這是一個正向循環：人類評估產生資料，資料改進自動化工具，自動化工具釋放人類的時間，人類再把時間花在更困難、更需要判斷的案例上。
六、給團隊的實務建議
如果你所在的團隊正在建立或調整 AI 產品的評估流程，以下幾點或許可以作為起點：
結語：人類的分數，是最後的品質防線
回到最初的問題：為什麼 AI 的評估還是要靠人打分？
因為評估從來不只是「測量」，它同時也是「定義」。當我們說一個模型「表現很好」，我們其實是在說「它符合我們對好的想像」。而這個想像，是由人所定義的——包含我們的文化、我們的價值觀、我們對風險的容忍度、我們對使用者的理解。這些東西無法被完全形式化，也無法被完全自動化。
自動化評估可以幫我們看得更快、看得更廣，但它看不到那些「機器看不懂的東西」。人類評估慢、貴、主觀，卻是最後一道防線：確保模型輸出不只是統計上過關，而是真的對人有用、對社會負責。
所以在可預見的未來，最可靠的評估體系不會是「AI 取代人類」，而是「人類與 AI 各司其職」。機器負責規模與速度，人負責判斷與定義。誰能把這兩者接得最順，誰就能在 AI 產品的品質競賽裡站穩腳步。