AI 的模式崩潰：為什麼它越訓練越笨
值得注意的是，很多人會把模式崩潰跟 GAN 裡的「模式崩塌（Mode Collapse）」搞混。後者指的是生成器只會產生少數幾種樣本（例如只會畫同一張臉），是訓練過程中的對抗失衡；而模式崩潰談的是跨世代、遞迴訓練造成的分布退化，兩者成因和規模都不一樣。本文談的是後者。
二、模式崩潰是怎麼發生的？三個關鍵機制
了解了定義，接下來要問：為什麼會這樣？這不是單一原因造成的，而是三種誤差在遞迴訓練中被不斷放大。
機制一：統計近似誤差（取樣偏差的累積）
任何一次生成，都是從一個機率分布中「抽樣」。抽樣本身就有隨機性。當你用有限數量的樣本去估計一個分布時，必然會有誤差。問題在於，這些誤差在遞迴訓練中不會互相抵銷，而是單向累積。
打個比方：你有一袋彩色糖果，裡面有紅、黃、綠、藍、紫五種顏色，紫色只有一顆。你隨機抓一把，很可能沒抓到紫色。如果你把抓到的糖果複製一份放回去，再從新的袋子裡抓一把⋯⋯紫色那顆被複製到的機率就會越來越低，最後整個袋子裡只剩下紅黃綠藍。
在語言模型裡，「紫色糖果」可能是某個地方的特殊用法、某個領域的邊緣知識、某種少見但合法的句法。它們在原始資料中占比很低，但在遞迴訓練中，它們被抽到的機率會一代比一代低，最後徹底消失。
機制二：功能近似誤差（模型表達能力的天花板）
就算資料完美無缺，模型本身也不是萬能的。神經網路是一個有限的函數逼近器，它只能在自己的參數容量範圍內去逼近真實世界的複雜分布。這叫做「功能近似誤差」。
換句話說，模型輸出的是它「理解的世界」，而不是世界本身。當你把這個「理解版本」當成新的真實，再訓練一次，模型就是在學習一個已經被簡化過的世界的簡化版本。每經過一代，簡化就被疊加一層。
這就像影印機的「影印再影印」：第一代影印還很清晰，第二代開始有點模糊，第十代之後只剩下黑塊。你不會覺得中間哪一步「錯得離譜」，但結果就是徹底失真。
機制三：資料污染與「回音室效應」
前兩個機制是「訓練方式」造成的，第三個則是「資料環境」造成的，而且在真實世界中往往更致命。
現在的網際網路，已經有大量內容是 AI 生成的：社群貼文、產品評論、SEO 文章、客服回覆、程式碼片段、插畫、音樂。當下一代模型去爬取網路資料時，它無法完全區分「人類寫的」和「AI 寫的」。於是它把 AI 的輸出當成真實世界的證據重新學習。
這就形成了回音室：AI 說話，網路記錄下來，下一代 AI 讀到自己的話，再放大、再輸出。整個網路逐漸變成一場大型的自我對話，而真實人類的聲音在其中被稀釋。
打個比方：這就像一個小鎮，原本每個人都有自己的意見。後來鎮上裝了一個大喇叭，大家開始聽喇叭說話、複述喇叭的話。久而久之，鎮上只剩下喇叭的聲音，而且喇叭還以為那就是「民意」。
為什麼是「尾部」先消失？
你可能會問：為什麼崩潰總是從罕見的東西開始？因為從統計角度來看，高頻模式的訊號強，低頻模式的訊號弱。在取樣、壓縮、近似的過程中，弱訊號最先被雜訊淹沒。而恰恰是這些「弱訊號」，構成了世界的豐富性與驚喜感——那個讓你覺得 AI「懂我」的冷門梗、那個只有內行人才知道的術語、那個微妙的情緒轉折。
所以模式崩潰最直接的體感不是「AI 變笨」，而是「AI 變無聊」。它講話越來越像公關稿，越來越不敢冒險，越來越像每一個人——也就是說，誰都不像。
三、真實世界的證據：從論文到社群平台的崩塌
Nature 論文的實驗設計與結論
模式崩潰不是理論猜想，它在 2023 年到 2024 年間被嚴謹地實驗驗證。相關研究（早期以〈The Curse of Recursion〉為題，後續正式發表於《Nature》）做了一件很關鍵的事：把「遞迴訓練」這個過程搬到實驗室裡，一代一代地重現。
研究團隊用預訓練語言模型（例如 OPT-125m）當作起點，讓它在真實資料上微調，然後用這個模型生成新資料，再用新資料訓練下一代模型，如此反覆。同時，他們也設計了「把一部分原始資料混回去」的對照組。
結果非常清楚：
純合成資料的模型，在幾代之後就出現明顯退化，輸出趨向重複、語法鬆散，甚至出現無意義的句子。
只要保留一定比例的原始真實資料，退化速度就會大幅減慢，甚至能維持穩定。
這個結論對產業的衝擊很大，因為它意味著：「用 AI 產生的資料來訓練更強的 AI」這條路，在沒有節制的情況下是走不通的。而這正是過去幾年許多團隊默認的成長策略。
不只文字：圖像、程式碼與推薦系統的崩潰
模式崩潰不是語言模型專屬。只要涉及「生成—回收—再訓練」的循環，就可能發生：
那些「越調越差」的產品體驗
一般使用者未必讀過論文，但他們感受到了。常見的抱怨包括：
客服機器人講話越來越制式，來回三輪還在同一個迴圈裡。
社群平台的內容越來越像，標題、語氣、排版都一模一樣。
某些工具型 AI 在改版後「變笨了」，回答變短、變保守、變不敢下判斷。
AI 生成的圖片開始有種說不出的「同一個味道」。
這些現象有些來自模式崩潰，有些來自安全對齊、成本壓縮或產品策略。但它們共同指向一件事：AI 的品質不是單調上升的，它會因為訓練方式與資料環境的變化而波動，甚至倒退。
四、為什麼「合成資料」不是萬靈丹？
合成資料的價值與邊界
先說公道話：合成資料不是壞東西，它在很多場景下非常有用。例如：
稀有情境的補充（醫療、自駕、極端氣候的模擬）。
標註成本太高的任務（用強模型生成標註，再由人工抽檢）。
隱私敏感資料的替代（用合成資料取代真實個資）。
特定格式或語言的擴增（低資源語言的資料生成）。
問題不在「用不用」，而在「用多少、怎麼用、混什麼」。研究已經指出，合成資料的價值有一個明確的邊界：它可以是真實資料的補充，但不能是替代。一旦合成資料成為訓練集的主體，而且缺乏真實資料錨定，退化就會開始。
「資料配比」的藝術：多少合成資料才安全？
這是目前業界最實際的問題，而誠實的答案是：沒有單一數字。安全比例取決於任務、模型大小、生成品質、原始資料的多樣性，以及你是否能持續取得新鮮的真實資料。
但有一些原則是可以把握的：
五、越訓練越笨的五個常見誤區
在實務現場，很多團隊不是不知道模式崩潰，而是掉進了幾種似是而非的想法。以下五個誤區特別常見。
誤區一：只要資料量夠大就沒事
錯。模式崩潰的核心不是「資料不夠多」，而是「資料不夠真」。一百億筆合成資料，仍然是一百億筆對同一個簡化世界的描述。數量可以延緩崩潰，但不能逆轉它。
誤區二：用更強的模型來生成就安全了
不一定。更強的模型生成品質更好，但它同時也把「自己的偏誤」包裝得更精緻、更難察覺。用強模型生成的資料去訓練小模型，短期有效，但如果這個流程長期循環，偏誤仍然會累積，只是潛伏期更長。
誤區三：多加多樣性提示詞就能解決
提示詞能增加表面的多樣性，但無法恢復被丟失的分布尾部。模型不會因為你叫它「多樣一點」，就突然知道那些它從未學過的罕見模式。
誤區四：模式崩潰就是災難性遺忘
兩者不同。災難性遺忘（Catastrophic Forgetting）是指模型學新任務時忘掉舊任務，通常發生在微調階段；模式崩潰是指整個輸出分布向狹窄區域坍縮，是資料來源與遞迴訓練造成的系統性退化。兩者可能同時發生，但解法不同。
誤區五：人工篩一遍就沒事了
人工篩選能擋掉明顯的低品質內容，但擋不住「統計偏誤」。人類審稿者很難察覺「這批資料少了某種罕見句型」這種分布層級的問題。真正有效的做法是制度化的資料治理與自動化多樣性監測，而不是靠人力硬扛。
六、實務解方：如何避免模型自我吞噬
講完問題，該講解法了。以下是目前業界相對成熟的三層防線。
資料層面的防線
訓練策略層面的防線
評估層面的防線
七、對產業的啟示：乾淨資料與「真實世界」的新價值
乾淨資料成為新的護城河
過去十年，AI 的競爭力主要來自模型架構與算力。但模式崩潰讓遊戲規則出現變化：當網路上充滿 AI 生成的內容，「未被污染的資料」會變成極度稀缺的資源。擁有長期、可信、有人類真實活動記錄的資料集（例如經過授權的專業文獻、醫療紀錄、對話日誌、原創作品），將成為下一代模型的關鍵優勢。
資料授權與溯源會變成標準配備
當「資料從哪裡來」直接影響模型會不會崩潰，資料治理就不再只是法務問題，而是技術問題。可以預期，資料授權、來源標記、內容憑證（例如內容真實性標章）會逐漸成為產業標準。
對小團隊的意義：不是壞消息
聽起來好像只有大公司玩得起，但其實相反。模式崩潰讓「資料品質」的權重上升、 「資料數量」的權重下降，這對擁有特定領域深度資料的小團隊反而是機會。一個專注於某個垂直領域、握有大量真實專家資料的十人團隊，有機會訓練出比通用大模型更「不笨」的專業模型。
八、結語：聰明的模型，需要真實世界的養分
模式崩潰聽起來像一個技術細節，但它其實在提醒我們一件很樸素的事：智慧不是自我循環出來的，它需要與真實世界持續碰撞。
人類也會有「模式崩潰」的時刻——當我們只看同溫層的資訊、只跟想法相同的人對話、只用自己熟悉的框架解釋一切，我們的認知也會慢慢坍縮，最後只剩下幾句口號。AI 的困境，某種程度上是我們自己的鏡子。
所以，下一次當你覺得「AI 好像變笨了」，不妨多想一層：它可能不是能力退步，而是它吃的東西出了問題。而解決的關鍵，不在於把模型調得更大，而在於讓它重新接觸那些粗糙的、意外的、不完美的、真正來自人類世界的資料。
那才是讓模型保持聰明的養分，也是我們在這個 AI 時代最不該弄丟的東西。
本文由雅寶社區 · 頂客論壇 AI 趨勢版整理，歡迎在討論區分享你觀察到的「AI 變笨」案例。