AI 的訓練資料枯竭：為什麼網路文本快被用完
資料枯竭不是單一因素造成的，而是好幾股力量同時作用的結果。以下五個原因，是我認為最能解釋「為什麼網路文本快被用完」的關鍵。
原因一：可用高品質語料的總量有限
前面提過，高品質文本是稀缺資源。Epoch AI 的研究曾估算，全球公開可用的高品質語言資料存量約在 300 兆 token 量級。這個數字聽起來還是很大，但別忘了，這是以「存量」計算，而模型的訓練是「一次吃很多、而且要不斷重複」。當你考慮到訓練資料不能與測試集重疊、需要多語言、需要避免版權爭議、需要去除重複內容，實際可用量會再打上好幾折。
更現實的是，開發者不會一次就把所有資料吃完——他們會保留一部分作為驗證集，也會持續尋找「新鮮」資料來避免模型過擬合（overfitting，也就是只會背答案卻不會舉一反三）。這種「必須不斷換新菜色」的需求，加速了優質語料的消耗。
原因二：平台圍牆花園與資料封閉化
過去，開發者可以透過爬蟲自由抓取網頁內容。但這幾年情況丕變。大型平台紛紛築起「圍牆花園」：社群媒體限制 API、新聞網站導入付費牆、論壇改採封閉社團、影音平台禁止下載。許多最有價值的「人類真實對話」與「專業討論」，正被鎖在平台內部，外部模型廠商根本拿不到。
更關鍵的是 robots.txt 的態度轉變。愈來愈多網站經營者意識到，自己的內容被 AI 公司免費拿去訓練，卻沒有換回任何流量或收益，於是紛紛封鎖 AI 爬蟲。這讓「公開網頁」這個過去最大的語料水庫，正在快速縮小。
原因三：AI 生成內容的「自我污染」
這可能是最諷刺的一點：AI 開始用 AI 生成的內容來訓練自己。當網路上充斥著生成式 AI 產出的文章、留言、評論，這些內容又被下一輪的爬蟲抓回去當訓練資料，就會出現所謂的「模型崩壞」（model collapse）現象。
研究顯示，當模型持續在自我生成的資料上訓練，會逐漸喪失多樣性，出現輸出品質退化、語句重複、邏輯僵化的問題。這就像是近親繁殖——資料血緣太近，反而削弱了模型的能耐。於是開發者必須更嚴格地「去 AI 化」，把疑似機器生成的內容排除，這又進一步壓縮了可用資料量。
換言之，AI 越普及，網路上的「乾淨人類文本」比例就越低，資料枯竭的速度就越快。這是一個自我強化的惡性循環。
原因四：版權訴訟與授權成本上升
2023 年以來，全球多地出現針對 AI 公司的著作權訴訟。從《紐約時報》控告 OpenAI，到作家、攝影師、圖庫公司集體提告，核心爭議都是：AI 公司是否可以不經授權、不付費，就用他人作品訓練模型？
這些訴訟即使尚未全部定讞，已經產生寒蟬效應。許多開發者為了避免法律風險，開始主動排除某些來源，或轉向與內容方簽署授權協議。授權本身不是壞事，但它意味著資料從「免費」變成「要錢」——成本上升、取得變慢，可用量自然被限縮。對於資源有限的中小型開發者而言，這幾乎是宣告「免費高品質語料時代的終結」。
原因五：去重之後，實際可用量遠低於帳面數字
最後一個常被忽略的因素是「重複」。網路上有大量內容是轉載、複製、鏡像備份、同文多貼。同一篇新聞可能出現在幾十個網站，同一則笑話在論壇被貼了上百次。開發者在訓練前必須做「去重」（deduplication），否則模型會過度學習這些重複片段。
去重之後的資料量，往往比原始抓取量少了一大截，某些資料集甚至會縮水三到五成。再加上語言過濾、毒性內容過濾、低品質內容過濾，真正能餵進模型的「精華」，可能只剩原始爬取量的十分之一。帳面上看起來「網路上文字很多」，但重新算過之後，真正可用的部分其實相當有限。
三、資料枯竭對 AI 產業的實際衝擊
資料枯竭不是抽象的學術問題，它已經開始改變產業的遊戲規則。以下三個層面的衝擊，值得特別關注。
模型能力成長曲線可能放緩
過去幾年的模型進步，很大一部分來自「規模法則」（scaling law）：更多資料加更多算力，等於更強能力。但當資料見底，這條曲線就會遇到瓶頸。業界逐漸發現，單純堆資料帶來的邊際效益正在遞減——同樣的資料增量，能換到的能力提升越來越少。
這不代表 AI 會停止進步，而是進步的動力會從「量」轉向「質」與「方法」。未來的突破可能來自更好的訓練演算法、更聰明的資料選取、更強的推理架構，而不是單純把資料庫塞滿。對開發者而言，這是思維的轉換，也是技術門檻的重新洗牌。
成本結構與商業模式的改變
當高品質語料從免費變稀缺，資料本身就成了一種資產。這會帶動幾個變化：資料授權市場開始成形、內容業者議價能力提升、資料清理與策展成為專業服務。對 AI 公司來說，資料成本將從「幾乎為零」變成營運支出的一大塊，這會壓縮毛利，也會促使業者更積極地尋找替代資料來源。
另一方面，資料相對豐富的巨頭會更有優勢。他們可以付費取得授權、可以自建資料標註團隊、可以透過自家產品生態收集使用者資料。這讓 AI 競爭從單純的技術賽，變成「誰握有資料」的資源賽。
大廠與新創的資源差距擴大
資料枯竭對大小公司的衝擊並不對等。大型實驗室有資本可以簽授權、有工程團隊可以自建資料管線、有產品可以收集回饋資料；而新創往往只能在公開資料庫裡打轉，或仰賴少量的合成資料。當公開語料越來越擁擠、越來越貴，新創的入場門檻就越高。
這未必是壞消息——它反而可能催生「專精化」的新創：不在通用模型上硬碰硬，而是針對特定領域（法律、醫療、金融、程式）累積深度私有資料，做出差異化。資源差距擴大的同時，也會逼出更聰明的定位策略。
四、產業正在怎麼解？六條可能的突圍路線
面對資料枯竭，產業並沒有坐以待斃。目前至少有六條明確的突圍路線正在被嘗試，各有優缺點，也各有風險。
路線一：合成資料與自我對弈
最直接的解方，就是「自己生資料」。讓大型模型生成高品質的問答、推理過程、程式碼，再用這些合成資料來訓練下一代模型。微軟的 Phi 系列、Google 的部分小型模型，都大量使用合成資料，並宣稱效果不俗。
問題在於，合成資料終究源自既有資料，無法憑空創造「新的知識」。它能放大資料的使用效率，卻無法完全取代人類寫作帶來的新鮮與多樣。更嚴重的是前面提過的「模型崩壞」風險——如果合成資料的品質把關不嚴，模型會越訓練越退步。因此，合成資料只能視為「稀釋劑」，不能當成「主食」。
路線二：多模態資料——影音、感測與行為軌跡
既然文本快被用完，那就往文字以外的領域找。影片、音訊、圖片、感測器讀數、使用者行為軌跡，都是尚未被充分開發的資料金礦。影片尤其珍貴——它同時包含視覺、語音、字幕與時序邏輯，資訊密度極高，而且存量龐大。
這也是為什麼近兩年各家巨頭積極發展影片理解模型。不過，影音資料的處理成本遠高於純文本：需要更大的算力、更複雜的標註、更嚴格的隱私審查。資料量的天花板雖然被拉高，但「可用率」與「成本效益」仍是難題。
路線三：私有資料與授權交易市場
公開網頁已經擁擠，那就往「非公開」走。企業內部文件、醫療紀錄、法律判決、客服對話、工廠感測日誌——這些資料過去很少被用於訓練，現在卻成了搶手貨。只要處理好隱私與去識別化，它們能提供公開網路完全沒有的深度與專業性。
這也催生了「資料授權」的新商業模式：內容業者把資料打包授權給 AI 公司，換取授權金或收益分潤。這條路的好處是雙贏——內容方獲得補償，模型方獲得合法資料；壞處是交易成本高、標準不統一，而且中小型開發者恐怕難以負擔。
路線四：資料效率革命——小模型與蒸餾
與其追求「更多資料」，不如追求「更少資料也能學好」。知識蒸餾（distillation）、課程學習（curriculum learning）、資料選取（data selection）等技術，目標都是讓模型用更少的資料達到同樣的效果。研究顯示，經過精心挑選的 10% 資料，有時能達到使用全部資料 90% 以上的成效。
這條路線的意義在於：把問題從「資料不夠」轉成「資料效率不夠」。如果我們能讓每個 token 發揮數倍的價值，資料枯竭的壓力就能得到緩解。這也是小型模型近年快速崛起的原因之一——它們不只要跑得省，連訓練資料都要吃得省。
路線五：資料策展——品質比數量更重要
過去業界迷思是「資料越多越好」，現在則轉向「資料越對越好」。資料策展（data curation）變成一門顯學：怎麼判斷一段文字是否具備推理價值？怎麼平衡不同語言、領域、風格的比重？怎麼排除有毒內容又不傷害多樣性？
微軟的 Phi 系列曾提出一個很有說服力的論點：高品質的「教科書級」資料，能讓小模型展現出遠超其規模的能力。換句話說，與其餵模型吃一百萬篇農場文，不如餵它一萬篇結構嚴謹的教材。資料枯竭逼著產業重新思考「什麼才是有價值的資料」，這其實是好事。
路線六：邊緣資料與個人化語料
最後一條路，是把資料收集的重心從「網路」轉向「個人裝置」。手機、電腦、穿戴裝置每天都在產生大量個人化的文字與行為資料。透過聯邦學習（federated learning）等隱私保護技術，模型可以在不把資料上傳雲端的前提下，從使用者端學習。
這條路的潛力很大，但爭議也最大——隱私、同意權、資料主權都是難解的習題。它不會是短期內的主流解方，卻可能是長期最可持續的方向：讓資料的生產與使用回到使用者手中。
五、繁體中文世界的機會與隱憂
把鏡頭拉回台灣與繁體中文圈。資料枯竭對我們而言，既是警訊，也是機會。
繁體中文語料的相對稀缺
全球高品質語料本來就稀缺，繁體中文更是稀缺中的稀缺。以母語人口計算，繁體中文使用者遠少於簡體中文、英文，公開的高品質繁體語料（書籍、新聞、學術、論壇優質討論）數量相當有限。多數大型語言模型的繁體中文能力，是靠簡體中文資料「轉換」或「混合」而來，這使得繁體中文的語氣、用詞、文化脈絡常常不夠道地。
這意味著，繁體中文的優質語料具有很高的「相對價值」。對國際模型廠商而言，取得乾淨、合法、高品質的繁體中文資料並不容易；對本地團隊而言，這反而是一個可以深耕的利基。誰能系統性地整理、授權、策展繁體中文語料，誰就握有一項別人難以複製的資產。
本地資料治理與授權機制
不過，機會伴隨責任。台灣目前對於「AI 訓練資料」的治理框架仍不完整：著作權法如何適用於模型訓練？內容業者如何主張權利？授權市場如何建立合理定價？這些問題若不解決，要嘛導致業者不敢用本地資料，要嘛導致內容創作者被無償利用。
我認為，比較務實的方向是建立「資料信託」或「集體授權」機制：由中介組織代表內容創作者與模型業者談判，讓授權變得可規模化、可追溯、可分潤。這不只是法律問題，更是產業基礎建設。誰先把這套機制做起來，誰就能在資料枯竭的時代，把「稀缺」轉化成「優勢」。
六、結論：資料枯竭不是終點，而是轉折點
回到最初的問題：網路文本為什麼快被用完？答案並不神祕——因為模型的胃口是指數級的，而人類優質文字的產出是線性的；因為平台封閉化、版權意識抬頭、AI 內容自我污染、去重與過濾層層損耗，讓「真正可用」的資料遠比帳面數字少。
但我不認為這意味著 AI 的進步會就此停滯。歷史上每一次資源瓶頸，都會逼出新的方法論。石油快用完，人類開發出再生能源與電動車；摩爾定律放緩，產業轉向架構創新與專用晶片。資料枯竭也一樣，它會把 AI 產業從「堆量」推向「提質」，從「野蠻生長」推向「精耕細作」。
對開發者而言，未來的競爭力不在於誰能爬最多網頁，而在於誰能選對資料、用對方法、建立合法的資料供應鏈。對內容創作者而言，這是一個重新議價的契機——你的文字不再只是流量，而是訓練下一代 AI 的原料。對一般讀者而言，理解這件事，能讓你更清醒地看待「AI 無所不能」的敘事背後的現實限制。
網路文本快被用完了嗎？某種意義上，是的。但這不是故事的結尾，而是 AI 從「吃飽」走向「吃好」的轉折點。真正的較量，才正要開始。
常見問題 FAQ
Q1：資料枯竭會讓 AI 停止進步嗎？
不會直接停止，但成長曲線會改變。過去靠「更多資料」帶來的暴力式進步會放緩，未來進步將更多來自演算法改良、資料效率提升、合成資料運用與多模態資料開發。換句話說，AI 會從「重量」轉向「重質」。
Q2：一般網路使用者的貼文也會被拿去訓練嗎？
很可能會。公開的社群貼文、論壇留言、部落格文章，過去經常被爬蟲抓取用於訓練。不過隨著平台封閉化與著作權意識抬頭，這類「免費抓取」的空間正在縮小。如果你在意自己的內容被使用，可以留意平台的授權條款與 robots.txt 設定。
Q3：合成資料能不能完全解決資料枯竭？
不能完全解決。合成資料能放大既有資料的價值、提升訓練效率，但它無法憑空創造新知識，且若品質把關不嚴，還可能導致「模型崩壞」。比較合理的定位是「輔助資料」，而非「替代資料」。
Q4：繁體中文使用者該擔心嗎？
該關心，但不必恐慌。繁體中文語料稀缺是事實，但也因此更具價值。本地團隊若能建立合法的語料授權與策展機制，反而能在這波資料轉型中找到獨特定位。關鍵是把「稀缺」轉化成「品質」與「信任」的優勢。
Q5：企業該如何因應資料枯竭？
三個方向：第一，盤點並保護自家私有資料，這是未來最有價值的資產；第二，建立資料治理與授權機制，避免法律風險；第三，投資資料策展與小模型技術，用更少的資料達到更好的效果。資料不再只是 IT 議題，而是策略議題。
```