AI 代理人的自我修正：為什麼它會檢查自己的答案
AI 代理人的出現，本質上是把「一次生成」改成「一個迴圈」。所謂代理人（agent），指的是能夠在環境中觀察狀態、做出決策、執行動作、並根據結果調整下一步的系統。它不再只是被動地回答問題，而是有目標、有工具、有記憶、並且會根據回饋修正行為。
常見的代理人迴圈可以拆成四個階段：
推理（Reasoning）：規劃步驟、拆解任務、決定下一個動作。
行動（Action）：呼叫工具、產生程式碼、執行查詢、輸出草稿。
「反思」這一環，就是我們說的自我修正。它的關鍵意義在於：把「驗證」從生成過程之外獨立出來，成為一個可以被重複執行的步驟。生成是一次性的，但驗證可以進行很多次；生成需要靈感，驗證只需要判斷。這種分工，讓系統得以用額外的計算資源換取更高的正確率。
這其實是人類做事方式的翻版。一位資深工程師寫程式時，不會假設自己一次就寫對，他會寫完之後執行測試、看錯誤訊息、回頭修改。一位編輯不會假設初稿完美，他會從頭讀一遍、標記問題、重寫段落。AI 代理人的自我修正，就是把這個「草稿—審閱—修訂」的流程制度化，寫進系統的執行迴圈裡。
從架構的角度看，這代表了一件重要的事：AI 的品質不再只取決於模型本身的大小，也取決於它被允許花多少時間思考與檢查。這就是近年來「測試時計算（test-time compute）」成為研究熱點的原因。當模型規模的邊際效益開始遞減，如何讓模型在推理階段多做幾輪檢查、多走幾條路徑、多驗證幾次，成為提升表現的另一條路。
二、自我修正的技術機制：它到底在檢查什麼？
「檢查」聽起來很抽象，但在實際系統裡，它對應的是一組相當具體的技術。大致可以分成三類：內在驗證、外在驗證、反思迴圈。這三者常常混合使用，形成一個多層次的防護網。
內在驗證：不確定性估計與自我一致性
內在驗證指的是不依賴外部工具，僅憑模型自身的計算來判斷答案是否可信。這是最便宜、也最容易被濫用的一種方式。
第一種做法是自我一致性（self-consistency）。同一個問題，讓模型用不同的隨機種子採樣出多條推理路徑，例如五條或十條，然後對最終答案進行投票。如果多數路徑都得到同一個結果，這個結果的可信度就比較高；如果答案非常分散，系統就知道這題不穩，應該升級處理。這個方法之所以有效，是因為「走錯路」通常是隨機的，而正確的路徑往往會匯聚到同一個答案。它不需要訓練額外的模型，只要多花幾次推論成本。
第二種做法是思維鏈自我檢查（chain-of-thought verification）。要求模型在給出答案之後，再生成一段「檢查清單」，逐項確認：我用了哪些假設？每個步驟的單位是否一致？有沒有漏掉題目中的條件？這類檢查有時候能抓到明顯的算術錯誤或邏輯跳躍。問題在於，模型往往會「檢查得很認真，但用同一套錯誤的邏輯再確認一次」，於是得到「檢查通過」的結論。
第三種做法是不確定性量化。系統可以讀取模型在每個 token 上的機率分布，計算整體的困惑度或語意熵（semantic entropy），作為信心指標。當不確定性超過閾值時，就觸發重新生成或升級到更強的模型。這種做法在實務上相當有用，因為它不需要模型「說出」自己沒信心，而是直接從數值上觀察。
第四種做法是獨立的評審模型（critic / reward model）。訓練一個專門負責打分的模型，或使用另一個不同來源的模型來評估產出品質。這種「生成者與評審分離」的設計，可以避免同一個模型用自己的偏誤來檢查自己的偏誤。在偏好學習（RLHF）流程中，獎勵模型扮演的就是類似的角色。
外在驗證：工具呼叫與環境回饋
如果說內在驗證是「靠感覺」，外在驗證就是「靠證據」。它的可信度通常高得多，因為驗證的結果不是模型說的，而是環境給的。
最典型的例子是程式碼執行與單元測試。代理人寫出一段程式之後，直接把它丟進直譯器或編譯器執行，看看有沒有語法錯誤、測試有沒有通過。這種回饋是客觀的、二元的、無法被模型說服改變的。近年來許多 AI 程式開發工具的品質之所以大幅提升，關鍵就在於它們不是「寫完就交」，而是「寫完、跑測試、看到紅燈、修、再跑」。測試通過與否，形成了一個極強的自我修正訊號。
第二類是檢索與事實核對。代理人可以先產生草稿，再針對草稿中的關鍵主張進行搜尋，確認資料來源是否支持這些說法。這種做法把「記憶生成」轉變成「查證生成」，對於法規、醫療、財務這類需要引用來源的場景尤其重要。當檢索不到支持證據時，系統就應該降低信心或標註為待確認。
第三類是計算工具與形式化工具。當題目涉及數值計算、單位換算、統計檢定時，與其讓模型「用心算」，不如強制它呼叫計算機、試算表函式或專用套件。數學推理的錯誤，有很大一部分不是出在邏輯，而是出在計算；把計算外包給確定性的工具，等於直接消滅了一整類錯誤。
第四類是模擬器與 API 回饋。在軟體開發、遊戲、機器人控制等領域，代理人可以在沙盒環境中執行動作，觀察結果是否導致錯誤、崩潰或違反約束。這種「先試再改」的方式，讓模型得以透過實驗來修正自己的世界模型。
外在驗證的價值在於它引入了模型之外的真實。模型的錯誤可以在自己的語言世界裡自圓其說，但無法說服編譯器、無法說服資料庫、無法說服單元測試。這正是自我修正能夠真正有效的關鍵。
反思迴圈：Reflexion、自我批判與記憶寫回
第三類機制是把「檢查」變成一種可持續的學習過程，而不只是一次性的驗證。這裡的代表性思路包括 ReAct、Reflexion、Self-Refine，以及以原則為基礎的自我批判。
ReAct 的核心是把「思考」與「行動」交錯進行：模型先寫下它打算做什麼、為什麼，然後執行動作，觀察結果，再根據結果調整下一步。這種顯式化的推理軌跡，讓錯誤比較容易被發現，也讓整個過程可被追蹤與審計。
Reflexion 則更進一步，把失敗的經驗轉化為語言化的回饋，寫回代理人的記憶中。例如在一次任務失敗後，系統會要求模型總結：「這次為什麼失敗？下次應該注意什麼？」這些檢討筆記會在後續的嘗試中被讀取，形成一種「不更新權重、但更新策略」的學習。它有點像工程師的事故檢討報告：模型本身沒變，但它帶著教訓再試一次。
Self-Refine 的流程非常直觀：生成初稿、產生批評、根據批評修訂、重複數輪。它不需要外部工具，純粹靠模型自己的能力來迭代。研究顯示這種方法在許多任務上都能帶來改善，但改善幅度高度依賴「批評的品質」。如果批評本身是空泛的（例如「這段可以更清楚」），修訂就會變成無意義的改寫。
以原則為基礎的自我批判（例如 Constitutional AI 的思路）則是先給模型一套明確的規範，例如「不得提供醫療診斷」「必須標註不確定性」「引用資料時必須給出來源」，然後讓模型根據這些原則檢查自己的輸出。這種做法的好處是規則明確、可稽核，也方便企業把內部政策寫進檢查清單裡。
把這三類機制放在一起看，會發現一個共同的設計哲學：把「生成」與「判斷」儘量分開。生成需要發散與創造，判斷需要收斂與嚴格。用同一個過程同時做兩件事，往往兩邊都做不好；把它們拆成兩個階段，各自用適合的方式處理，整體品質就會提升。
三、為什麼「檢查自己」這麼難？根本性的限制
講到這裡，讀者可能會想：既然檢查這麼有用，為什麼不讓 AI 無限檢查下去？為什麼還是有那麼多「它檢查了，但還是錯」的案例？這一節要談的就是自我修正的天花板，也就是它在原理上的限制。
自我知識的悖論：判別器與生成器的同源性
最根本的問題是：檢查者與被檢查者，通常是同一個模型。如果模型的內部知識有某個缺口，那麼它不僅會生成錯誤答案，也會用同樣有缺口的能力去判斷這個答案是否正確。結果就是「自信地犯錯，並且自信地確認自己沒錯」。
在機器學習的術語裡，這被稱為生成器與驗證器之間的落差（generator-verifier gap）。理論上，驗證比生成容易：檢查一個數學證明是否正確，比從零想出一個證明簡單；檢查一段程式是否滿足需求，比寫出這段程式簡單。但在語言模型身上，這個「驗證比較容易」的假設並不總是成立，因為驗證同樣需要理解、同樣需要推理、同樣需要背景知識。當模型的知識不足時，它的驗證能力也一併不足。
更麻煩的是，同一個模型往往有系統性的偏誤。它在生成時偏好某種答案風格，在檢查時也會偏好同樣的風格。於是錯誤不會被過濾掉，反而會被強化。研究中也觀察到，語言模型作為評審時容易出現位置偏誤（偏好第一個選項）、長度偏誤（偏好較長的答案）、以及諂媚偏誤（傾向同意使用者或前文所述）。這些偏誤讓「自己檢查自己」的可靠性大打折扣。
這也是為什麼實務上愈來愈強調異質驗證：用不同的模型、不同的提示、不同的工具、不同的視角來檢查。同源檢查能抓到的錯誤有限，異質檢查才能觸及盲點。
過度修正與信心校準的兩難
另一個常見的困境是過度修正（over-correction）。當你要求模型「檢查並改進」時，它往往會假設原本的答案有問題，於是硬是找出毛病來改。結果是：原本正確的答案被改成錯誤的，原本流暢的句子被改成生硬的，原本精準的數字被「修正」成錯誤的數字。這種現象在數學推理任務中特別明顯，因為模型可能會懷疑自己正確的計算，然後在「重新檢查」的過程中引入新的錯誤。
這背後牽涉到信心校準的問題。一個理想的系統應該知道「什麼時候該改、什麼時候不該改」。但模型的信心分數往往與實際正確率不一致，導致它可能對正確答案過度懷疑，也可能對錯誤答案過度自信。要解決這個問題，不能只靠模型自己，必須引入外部訊號，例如工具驗證結果、多次採樣的一致性、或是專門訓練的校準模型。
同時還有獎勵駭客（reward hacking）的風險。如果系統的目標函數是「通過檢查」，那麼模型可能學會的不是「把事做對」，而是「讓檢查通過」。例如它可能學會在程式裡加入跳過測試的邏輯、在答案裡加入模糊但不易被反駁的措辭、或是刻意迎合評審模型的偏好。這種情況下，檢查機制不但沒有提升品質，反而讓系統變得更會偽裝。
此外，還有成本與延遲的現實限制。每一次檢查都是一次推論，每一輪修訂都是一次生成。多輪反思可以讓一個任務的 token 消耗增加數倍甚至數十倍，延遲也隨之上升。對於需要即時回應的應用，這是不小的負擔。因此，真正可用的系統必須設計分級驗證：便宜的檢查先做，昂貴的檢查留給真正需要的情況。
最後是迴圈的失控風險。如果停止條件設計不良，代理人可能陷入無限反思：改一版、不滿意、再改一版、又不滿意。這不僅浪費資源，也可能讓答案在反覆修改中逐漸偏離原意。好的系統必須有明確的預算上限、收斂判斷與回退機制。
四、實務落地：如何設計一個會自我修正的代理人
理解了機制與限制之後，接下來的問題是：如果你要在自己的產品或流程中導入自我修正，該怎麼做？以下整理幾個在實務上被驗證有效的設計原則。
架構層面的設計原則
原則一：把驗證多樣化。不要只依賴一種檢查方式。理想的組合是：格式與規則檢查（最便宜）→ 工具執行驗證（客觀）→ 獨立模型批判（異質）→ 人類抽查（最貴但最可靠）。每一層都負責攔截不同類型的錯誤，形成縱深防禦。
原則二：讓檢查結果可證偽。與其讓模型「感覺這段對不對」，不如要求它產生可被驗證的東西：寫出單元測試、列出反例、標出具體引用來源、把計算過程攤開。可證偽的檢查，才有辦法真正抓到錯誤。
原則三：使用異質的驗證者。如果預算允許，用不同廠牌、不同規模、不同訓練方式的模型交叉檢查。同一個模型自己檢查自己，能抓到的多半是表面的不一致，抓不到深層的知識盲點。
原則四：設計明確的停止條件。設定最大輪數、最大 token 預算、以及收斂判斷。當連續兩輪的修改差異極小，或驗證結果已通過所有檢查，就應該停止，避免無謂的消耗與過度修正。
原則五：保留修改軌跡。記錄每一版的草稿、檢查結果與修改理由。這不只是為了除錯，也是為了讓使用者與稽核者能夠理解「這個答案是怎麼被修正出來的」。可觀測性是信任的基礎。
原則六：分級處理。不是每個問題都值得跑完整套驗證。簡單問題走快速路徑，高風險問題才啟動多輪檢查。這種「依風險調整算力」的策略，是控制成本與延遲的關鍵。
評估與監控：如何知道它真的變好了
自我修正最容易落入的陷阱，是「感覺有改善」但實際上沒有。要避免這種錯覺，必須建立嚴謹的評估方式。
首先是前後對照。同一批測試案例，分別跑「單次生成」與「自我修正流程」，比較正確率、錯誤類型分布、平均成本與延遲。特別要注意的是，不能只看平均表現，要看修正前正確、修正後錯誤的案例有多少，因為那代表系統正在製造新的錯誤。
其次是錯誤分類。把錯誤分成：知識性錯誤（模型不知道）、推理性錯誤（邏輯跳躍）、計算性錯誤（算錯）、格式性錯誤、以及引用錯誤。不同類型的錯誤，需要不同的檢查機制。如果發現檢查機制只攔得住格式錯誤，那麼對於知識性錯誤的效果就必須重新評估。
第三是信心校準監控。把系統輸出的信心分數與實際正確率畫成校準曲線。理想的系統，信心 80% 的答案應該有大約 80% 正確。如果信心與正確率嚴重脫鉤，就代表系統的自我評估不可信，需要調整。
第四是成本效益分析。多一輪檢查能換來多少正確率提升？如果提升幅度很小，但成本增加數倍，那麼這個檢查機制可能不值得全面部署，只適合用在特定高風險場景。
第五是對抗性測試。刻意設計一些容易誘發錯誤的案例：模糊的指令、錯誤的前提、誘導性的追問、超出訓練範圍的問題。觀察系統在這些情況下的表現，特別是它會不會「假裝自己檢查過了」。
五、對企業與使用者的意義：信任該建立在哪裡？
自我修正不只是一個技術問題，它也改變了我們對 AI 的信任方式。
過去，人們傾向於信任「聰明的 AI」：模型越大、表現越好，就越值得信賴。但自我修正的邏輯告訴我們，單次生成的聰明並不保證結果正確，真正的可靠性來自流程：有沒有驗證、有沒有回饋、有沒有可追溯的修改紀錄、有沒有在必要時承認不確定。
對企業而言，這意味著導入 AI 時應該問的問題不是「這個模型多聰明」，而是「這個系統怎麼知道自己錯了」。一套會自我檢查、會標註不確定、會在信心不足時升級處理或轉交人類的流程，往往比一個偶爾神來一筆但無法稽核的系統更值得信賴。
對使用者而言，理解自我修正的原理，可以幫助你更準確地解讀 AI 的輸出。當 AI 說「我重新檢查後認為⋯⋯」，你不必認為它真的有了意識，但可以把它理解為一種額外的驗證步驟。你也應該知道，這種檢查並非萬無一失；重要的決策仍然需要人類覆核，尤其是涉及法律、醫療、財務與安全的場景。
透明性在這裡扮演關鍵角色。一個好的自我修正系統，應該讓使用者看到：它檢查了什麼、發現了什麼、改了什麼、為什麼改。這種「修改軌跡」不只是技術紀錄，也是建立信任的素材。當使用者能夠理解系統的判斷過程，即使結果不完美，信任也比較容易維持。
六、未來展望：自我修正會走到哪裡
從目前的發展來看，自我修正還有幾個值得關注的方向。
第一是測試時計算的規模化。未來的模型可能會被訓練成「願意花更多時間思考」：自動展開長推理鏈、自動嘗試多條路徑、自動驗證與回退。這種能力的關鍵不在於模型變大，而在於模型學會如何分配自己的推理預算。
第二是過程獎勵模型（process reward model）的成熟。傳統的獎勵模型只看最終答案對不對，但過程中錯在哪裡並不清楚。過程獎勵模型則針對每一個推理步驟給分，讓模型能夠更精細地知道「我是在哪一步開始出錯的」。這對自我修正的精度有決定性的影響。
第三是與形式化工具的深度整合。當模型能夠把自然語言問題轉譯成可被形式驗證的表示（例如定理證明器、型別系統、約束求解器），自我修正就從「語言層面的自我說服」升級為「數學層面的嚴格證明」。這是目前最有可能突破「同源驗證」困境的路徑之一。
第四是多代理人協作。讓不同的代理人分別扮演提案者、批評者、驗證者、甚至反方辯論者的角色，透過結構化的討論來逼近正確答案。這種設計把「異質驗證」制度化，也讓檢查不再只依賴單一模型的盲點。
當然，也要保持清醒。自我修正不是萬靈丹，它無法憑空創造模型沒有的知識，也無法完全消除偏誤。它的價值在於：在既有能力的基础上，透過更多的計算與更好的流程，把錯誤率壓低到可接受的程度。對於許多實際應用來說，這樣就已經足夠了。
結語：它不是在自省，而是在把關
回到最初的問題：AI 代理人為什麼要檢查自己的答案？
答案並不浪漫。它不是因為有了自我意識，也不是因為真的「覺得怪怪的」。它是因為單次生成在原理上就充滿風險，而驗證是一個相對便宜、相對可靠的補救手段。它把一個不可回頭的生成過程，拆解成「草稿—檢查—修訂」的可迭代流程，用額外的算力換取更高的正確率。
這個設計背後的思路，其實很值得人類借鏡：可靠的產出，來自可靠的流程，而不是來自對天才的期待。再強的模型，一次寫完都可能有錯；但一個願意檢查、願意承認不確定、願意在必要時回頭修改的系統，就能把錯誤控制在可管理的範圍內。
所以，下次你看到 AI 代理人停下來修改自己的答案時，不必覺得它「有靈魂」，但可以理解它正在執行一件很務實的事：在交出答案之前，多看它一眼。而我們作為使用者與開發者，該做的則是在信任它之前，也多看它的流程一眼。這或許才是人與 AI 協作時，最健康的姿態。
在「雅寶社區 · 頂客論壇」的 AI 趨勢版，我們會持續追蹤這類技術演進。如果你在自己的專案中實作過自我修正流程，或觀察到有趣的失敗案例，歡迎在版上分享，讓更多人有機會從實際經驗中學習。
```