AI 的評估基準：為什麼排行榜會失真
在所有失真機制中，資料汙染是最根本、也最難完全排除的一種。它的邏輯很簡單：如果模型在訓練時「看過」考題，那它就不是在推理，而是在回憶。而成績單上卻分不出這兩者。
資料汙染：考題提前外流
現代大型語言模型的訓練資料來自網路爬取，規模動輒數兆個 token。而大多數公開基準測試的題目、答案、甚至詳解，都曾經在網路上流傳過。即使研究者努力過濾，也難以保證百分之百乾淨。更麻煩的是「間接汙染」：模型可能沒看過原題，但看過討論該題的文章、看過解題過程、看過相似的變體題。這些都會讓模型在面對「新題」時，實際上是在面對「熟悉的題型」。
這個問題在程式碼與數學領域特別明顯。GitHub 上的程式碼、Stack Overflow 的問答、數學論壇的解題討論，全都是公開資料。當某個基準測試的題目本身來自這些來源，汙染幾乎是必然的。SWE-bench 就是一個著名案例：它的題目來自真實的開源專案 issue 與修補紀錄，而這些紀錄在網路上公開可查。這使得後續出現了「SWE-bench Verified」這樣的人工驗證子集，試圖篩掉那些測試不充分或解法有爭議的題目。
值得注意的是，汙染不一定是故意的。對多數模型開發者而言，訓練資料的組成往往是個黑箱，連他們自己都無法精確說出「哪些資料被納入了」。這意味著，即使沒有任何惡意，排行榜分數也可能系統性地高估模型能力。消費者在看榜時，往往不會意識到這一點。
基準飽和：當滿分成為常態
第二個結構性問題是基準飽和。一個好的基準，應該能區分不同能力水準的模型，就像一把尺要有足夠的刻度。但當所有頂尖模型都能拿到 90 分以上，這把尺就失去了區辨力。MMLU 就是典型案例：它的分數分布已經高度集中在高分區間，前幾名之間的差距往往落在誤差範圍內。
飽和帶來的直接後果，是「排名變得不穩定」。同一批模型，換個提示詞格式、換個抽樣溫度、換個評分腳本，名次就可能互換。這種情況下，排行榜上的第一名與第五名，實際能力差距可能遠小於榜單所暗示的。更有甚者，某些研究發現，模型在基準上的表現對「選項順序」「題目格式」極度敏感，這些與真實能力無關的因素，卻能左右名次。
面對飽和，社群的標準反應是「換更難的基準」。但這只是把問題往後推。更難的基準通常題目更少、驗證更困難、也更難避免汙染。而且，當基準難到只有極少數模型能答對，統計上的信心水準也會下降——幾十題的樣本，不足以支撐「某模型比另一模型強 2%」這種宣稱。
三、失真的第二層原因：古德哈特定律與指標遊戲
如果說資料汙染是技術問題，那接下來這個問題就是制度問題，而且更難解。經濟學家古德哈特（Charles Goodhart）有句名言：「當一個指標成為目標，它就不再是一個好指標。」這句話在 AI 評測領域，幾乎可以當作定律來使用。
當指標成為目標
在學術研究階段，基準測試是為了「理解能力」而存在。但在商業競爭階段，基準分數變成了行銷素材、募資簡報、採購合約的一部分。當分數有了商業價值，對它的最佳化就會從「提升真實能力」轉向「提升分數」。這兩者大部分時候重疊，但並不總是重疊。
具體的做法包括：針對特定題型做微調、在訓練資料中刻意加入類似題目、調整解碼策略以適應評分腳本、甚至針對評分模型的偏好進行「討好式」訓練。這些做法未必能提升模型在真實任務上的能力，卻能有效拉高榜單分數。旁觀者很難從外部分辨，一間公司的分數提升，究竟來自真正的能力進步，還是來自評測最佳化。
更微妙的是「基準選擇偏誤」。當一家公司同時在多個基準上測試，它自然會選擇公布自己表現最好的那幾個。這不是造假——每個分數都是真的——但選擇性公布會系統性地扭曲外界對其實力的認知。讀者看到的「平均水準」，其實是「精選後的水準」。
選擇性報告與提示詞調校
提示詞（prompt）的影響力，往往被嚴重低估。同一個模型，用不同的提示詞框架，在數學題上的正確率可以差上十幾個百分點。於是「用哪個提示詞」就變成了一個可以操作的變數。若某公司在報告中使用了對其模型最有利的提示詞，而競爭對手使用了較為樸素的版本，那麼比較本身就失去了公平性。
類似的問題還包括：多次採樣後取最佳（pass@k 與 pass@1 的混用）、允許使用工具或程式碼執行、放寬答案比對標準、對開放式問題使用寬鬆的評分模型。這些做法單獨看都可能有正當理由，但組合起來就足以讓分數膨脹。而多數排行榜並不會標示這些細節，因為它們只接收「最終分數」。
這也是為什麼，負責任的評測報告應該公開完整的測試協定：提示詞模板、解碼參數、評分方式、抽樣次數。缺少這些資訊的分數，充其量只能當作參考，不能當作定論。
四、失真的第三層原因：人類投票與 Elo 分數的偏誤
如果說選擇題可以被汙染，那麼「人類偏好」評測就解決了這個問題——題目是使用者即時輸入的，模型無法事先背誦。這個邏輯聽起來完美，但實際上有另一組偏誤在等著。
風格偏好與長度偏誤
人類投票者評斷兩個匿名回應時，往往不是單純比較「正確性」。研究一再顯示，投票者會受到回應長度、排版格式、語氣友善度、開場白結構等「風格因素」影響。一個條列清晰、語氣禮貌、篇幅較長的回應，即使內容品質普通，也更容易被偏好。這被稱為「冗長偏好」（verbosity bias）與「風格偏好」。
這意味著，Arena 型排行榜在某种程度上測量的是「討喜程度」，而非「正確程度」。一個擅長寫漂亮開場白與條列總結的模型，可能比一個答案精準但語氣生硬的模型排名更高。對於需要精確答案的使用者（例如查證事實、撰寫程式、計算數字），這種排名可能完全沒有參考價值。
此外，投票者族群本身也有偏差。願意花時間在 Arena 上投票的人，通常是技術愛好者或研究者，他們的使用情境與一般大眾不同。這會讓排名反映的是特定族群的偏好，而不是普遍的使用體驗。不同語言、不同文化背景的使用者，也可能對「好回答」有不同的期待。
Elo 的數學假設與現實落差
Elo 評分系統原本是為西洋棋設計的，它的核心假設是「實力可以用單一維度表示」，且「勝率與實力差有穩定關係」。但在對話模型中，這個假設很難成立。模型之間的能力並不是單維度的：A 可能擅長數學，B 可能擅長寫作，C 可能擅長多語言。三者之間的「勝負」高度取決於抽到什麼題目。
更根本的問題是「非傳遞性」：A 勝 B、B 勝 C，不代表 A 勝 C。在對話情境中，這種循環完全可能發生，因為勝負取決於題型與風格匹配。Elo 分數會把這些複雜關係壓縮成一個數字，必然遺失大量資訊。
此外，Elo 的估計還受到「對戰組合分布」影響。如果某個模型很少被拿來與強模型比較，它的分數估計就會有較大的不確定性。新模型剛上榜時，分數波動大，往往會衝到很高的位置，過一陣子才回歸。這種「新模型蜜月期」現象，經常被誤讀為「突破性進展」。
五、失真的第四層原因：單一分數掩蓋任務異質性
前幾節談的是「分數如何被扭曲」，這一節要談的是更根本的問題：就算分數完全真實，單一分數仍然無法回答多數實際問題。
平均數的陷阱
假設某模型在某個基準上平均得分 85，這聽起來很好。但如果拆開來看，它在某些子領域是 98，在另一些子領域是 55，那「85」這個數字對你個人的使用情境幾乎沒有幫助。如果你的需求正好落在弱項領域，這個模型的實際體驗會遠低於帳面水準。
排行榜很少呈現分布。它們通常只給平均值，或最多給一個標準差。這讓使用者無法判斷「這個模型是否適合我的任務」。對於企業應用而言，這個問題尤其嚴重：一個客服系統需要的可能是「穩定不出錯」，而不是「偶爾驚豔」；一個創意工具需要的可能是「風格多樣」，而不是「平均正確」。單一分數無法區分這些需求。
代理任務（Agentic）評測的難題
當模型從「回答問題」進展到「執行任務」，評測難度又上了一個台階。代理任務涉及多輪互動、工具呼叫、環境狀態變化，成功的定義變得模糊：是要完成任務？還是要有效率地完成？還是要在不造成副作用的前提下完成？
目前的代理基準，多半簡化了真實環境的複雜度。例如網頁操作任務可能只涵蓋少數網站，程式修復任務可能只涵蓋特定語言與框架。模型在這些受控環境中表現優異，不代表能在充滿例外與髒資料的真實系統中運作。而且，代理任務的評測成本極高，難以大規模重複，這使得結果的可比性更低。
更麻煩的是「環境依賴」：同一個模型，換一個工具介面、換一種錯誤處理方式，表現可能天差地遠。這意味著代理任務的排行榜分數，很大程度上取決於「評測框架」而非「模型本身」。這種情況下，把不同框架下的分數放在同一張表上比較，意義非常有限。
六、如何正確閱讀排行榜：實務者的檢查清單
談了這麼多失真機制，並不表示排行榜沒有價值。它們仍然是快速篩選模型的有效工具，只是需要正確的解讀方式。以下提供一份實務檢查清單。
交叉驗證與分布檢視
第一，不要只看一個榜。至少交叉比對兩到三種不同類型的評測：靜態知識題、人類偏好排名、任務導向基準。如果一個模型在三類評測中表現一致，可信度較高；如果只在某一類特別突出，就要懷疑那是否是針對性最佳化的結果。
第二，要求看分布而非只看平均。若報告只給總分，試著找出子領域分數，或自行在感興趣的任務上小規模測試。對於有公開題庫的基準，可以自己抽樣重跑，確認分數是否可重現。
第三，注意樣本量與誤差。一個只有幾百題的基準，其分數的信賴區間可能高達數個百分點。在這種情況下，宣稱「模型 A 比模型 B 強 1%」是沒有統計意義的。
建立自己的私有評測集
第四，也是最重要的一點：建立自己的評測集。公開基準最大的問題是「所有人都能用它來最佳化」，因此它必然會被汙染。私有評測集的好處是，題目不外流，模型無法針對它訓練。你可以從自己的實際使用情境中蒐集幾百個案例，定義清楚的評分標準，定期重跑。這個過程不需要很複雜，但能提供遠比排行榜更貼近需求的資訊。
私有評測集的設計要點包括：涵蓋邊界案例、包含容易出錯的陷阱題、明確區分「必須正確」與「風格偏好」兩類評分、保留一部分題目不公開以備未來驗證。此外，建議同時測試「穩定性」——同一個問題重複問幾次，答案是否一致。對於需要可靠性的應用，穩定性往往比平均表現更重要。
第五，把成本納入考量。排行榜通常不顯示推論成本、延遲、上下文長度限制。一個分數高 3% 但成本高三倍的模型，在商業上未必是更好的選擇。真正實用的評測，應該同時衡量「效果」與「效率」。
七、下一個世代的評測：從排行榜到評測生態
面對上述問題，學界與業界都在嘗試新的做法。這些嘗試還沒有形成共識，但方向值得關注。
動態基準與私有保留集
一種思路是「動態基準」：題目定期更新，或由模型自動生成新題，讓模型無法事先背誦。另一種思路是「私有保留集」：由評測機構保留一部分不公開的題目，只在最終評估時使用。這些做法能降低汙染風險，但也帶來新問題：動態題目的品質如何保證？私有保留集如何避免被少數機構壟斷？
另一個方向是「對抗式評測」：刻意設計能暴露模型弱點的題目，而不是隨機抽樣。這種評測更接近真實世界的挑戰，但也更難標準化，結果也更難比較。
人機混合與可重現性
在人類偏好評測方面，研究者開始引入「風格控制」機制，試圖把長度、格式等因素從評分中剝離，只留下內容品質的差異。也有研究使用「位置交換」與「多次投票」來降低順序偏差。這些方法能改善部分問題，但無法完全消除投票者族群偏差。
更根本的方向，是推動「評測的可重現性」。一個負責任的評測，應該公開完整的測試協定，讓第三方可以重跑並驗證。這聽起來理所當然，但在商業競爭下，許多細節被視為機密。社群若能建立一套「評測報告的最低揭露標準」，對整體生態會有很大幫助。
最後，評測的未來可能不是「一個排行榜」，而是「一個評測生態」：多種基準並存、各有明確的適用範圍、各自公開方法論、由不同機構獨立維護。使用者根據自己的需求，選擇合適的評測組合，而不是盲目相信單一榜單。
結語：排行榜是地圖，不是領土
回到最初的問題：為什麼排行榜會失真？答案其實不神秘。因為排行榜是把多維度的能力壓縮成一維分數的產物，而這個壓縮過程必然涉及取捨；因為分數一旦有了商業價值，就會被最佳化；因為測試題目會外流、會飽和、會被記住；因為人類投票帶有風格偏好；因為 Elo 假設了一個過度簡化的世界。
這些問題不是某一家的錯，而是評測這件事本身的困難。承認這一點，並不會讓我們失去判斷力，反而能讓我們更清醒地使用這些工具。排行榜是一張地圖，它告訴你「在某種測量方式下，模型的相對位置」，但它不是領土本身。真實世界的能力，只有在真實世界的任務中才會顯現。
所以，下一次看到「最新模型登上榜首」的新聞時，不妨多問幾句：這是哪一種排行榜？測試協定公開了嗎？題目有沒有可能被汙染？分數差距是否在誤差範圍內？如果這些問題沒有答案，那麼這個名次，大概只值得你花三十秒看一眼，然後繼續去做自己的測試。
真正可靠的評估，從來不是別人給你的分數，而是你自己在意的任務上，反覆驗證出來的結果。
```