AI 的災難性遺忘：為什麼學新的忘舊的
很多人會誤以為災難性遺忘是「記憶體不足」或「模型太小」造成的，因此直覺的解法是「把模型做大一點」。但事實上，參數變多只能延緩、無法根治。真正的原因是干擾（Interference）：新任務的梯度更新方向與舊任務所依賴的權重配置相互衝突，導致舊任務的特徵表徵被破壞。
這也解釋了一個反直覺的現象：有時候模型越大，遺忘反而越不容易被察覺，因為大模型有更多冗餘容量可以吸納新任務，但一旦超出容量邊界，崩壞就會突然發生。這種「表面正常、實則瀕臨懸崖」的狀態，對企業而言其實更危險，因為它會讓問題延後爆發，等到發現時已經難以追溯。
二、為什麼會發生？災難性遺忘的四大成因
要對症下藥，就必須先理解病根。災難性遺忘不是單一原因造成的，而是多個結構性因素疊加的結果。以下從表徵、優化、資料與架構四個層面拆解。
成因一：權重共享與表徵干擾
深度神經網路最大的優勢，就是它能學到可重用的抽象表徵。同一個卷積核可能同時負責偵測「邊緣」，這些邊緣特徵在不同任務中都會被用到。這種共享機制讓模型效率極高，卻也埋下了遺忘的種子。因為一旦某個權重被新任務大幅修改，所有依賴該權重的舊任務都會連帶受害。
打個比方：這就像一家公司所有部門共用同一組 Excel 巨集。當業務部為了新流程改了巨集裡的一個變數，財務部的舊報表可能就全部算錯。權重共享越徹底、耦合越深，干擾就越嚴重。這也是為什麼研究者會嘗試「參數隔離」——讓不同任務使用部分獨立的參數，以降低耦合。
更棘手的是，表徵干擾往往不是線性的。你很難預測「改動這個權重會影響哪些舊任務」，因為深度網路是一個高度非線性的系統。這種不可預測性，使得工程師在微調模型時，很難只靠經驗判斷安全性。
成因二：梯度更新與資料分佈偏移
標準的訓練流程是：用當前批次的資料計算損失，再用反向傳播更新權重。這個過程完全以「當前批次」為中心，數學上並沒有任何「保護舊知識」的約束項。當新資料的分佈與舊資料差異很大（也就是所謂的資料分佈偏移，Distribution Shift），梯度方向就會與舊任務的最佳化方向嚴重衝突。
以金融業為例，如果一個信用風險模型原本主要學習的是個人信貸資料，突然改用中小企業放款資料重新訓練，模型會把大量權重調整到「企業財務比率」這類特徵上，原本學到的「個人收入穩定性」判斷邏輯就會被稀釋甚至覆蓋。結果就是新業務表現還行，舊業務的準確率卻崩跌。
此外，學習率（Learning Rate）的設定也扮演關鍵角色。學習率越大，權重移動越劇烈，遺忘越容易發生；但學習率太小，模型又學不動新任務。這種「既要學得快、又不能忘得多」的矛盾，是持續學習研究長年無法迴避的核心張力。
成因三：資料不平衡與舊樣本缺席
在很多實務情境中，模型更新時只拿得到新資料，舊資料因為隱私法規、儲存成本、或單純的資料治理缺失而無法保留。這稱為「無回放」（Rehearsal-free）情境。在這種條件下，模型等於被要求「用一本完全不同的教科書重新學習，而且不准翻閱舊課本」，遺忘幾乎是必然的。
即使舊資料還在，如果新舊資料的比例嚴重失衡（例如 95% 是新資料、5% 是舊資料），模型也會傾向犧牲舊任務來換取新任務的表現。這在企業導入新產品線、新語言、新地區市場時特別常見。
成因四：模型容量與架構限制
有限容量的模型必然面臨「取捨」。當新任務所需要的表徵空間超過剩餘容量時，模型只能挪用舊任務的資源。這在邊緣裝置、嵌入式 AI、小型模型上尤其明顯，因為它們的參數量被嚴格限制。
相對地，近年流行的「參數高效微調」（PEFT）技術，如 LoRA（低秩適配），本質上就是透過凍結主模型、只訓練少量額外參數，來降低對原有權重的干擾。這是一種架構層面的「避險設計」，也是目前實務上最常見的折衷方案之一。
三、災難性遺忘的真實代價：不只是掉幾趴準確率
如果災難性遺忘只是「準確率從 95% 掉到 90%」，那它可能不值得如此大費周章。但真實世界的代價，往往遠比數字難看。以下從企業營運、安全對齊與信任成本三個角度來看。
企業場景：模型更新後的效能崩壞與回溯困難
想像一家電商的推薦系統。團隊為了納入新的季節性商品，每週重新訓練模型。某一次更新後，新品的點擊率確實提升了，但舊品類的推薦品質卻悄悄下滑，導致整體營收下降。由於線上指標是漸進式變化，團隊可能兩三週後才發現異常，回頭追查時，資料版本、模型版本、訓練設定早已混在一起，難以釐清是哪一次更新造成。
這類案例在實務上非常普遍。災難性遺忘最麻煩的地方，在於它是「隱性退化」——模型不會報錯，服務不會中斷，它只是安靜地變笨。對於高度依賴模型的金融風控、醫療輔助診斷、工業瑕疵檢測等領域，這種靜默失效可能造成實質損失甚至法律責任。
安全與對齊風險：被遺忘的往往是護欄
在大型語言模型的場景裡，災難性遺忘還有一個更少被討論、但更危險的面貌：模型在被微調以學習新能力時，可能會遺忘原本的「安全對齊」行為。也就是說，一個原本會拒絕回答危險指令的模型，在經過特定領域的微調後，可能變得更容易被誘導、更難拒絕不當請求。
這種現象有時被稱為「對齊稅」（Alignment Tax）的反向版本——為了提升特定任務表現，安全護欄被犧牲。對企業而言，這意味著每次微調都必須重新驗證安全性，而不能假設「原本安全，微調後仍然安全」。
成本與信任：重訓的隱形成本被嚴重低估
面對遺忘，最直覺的解法是「把新舊資料合在一起重新訓練」。這在技術上可行，但成本極高：資料儲存、算力、標註、驗證、部署，每一項都是持續性支出。對於動輒數十億參數的模型，一次完整重訓的費用可能是數萬美元的等級，而且無法做到高頻更新。
更深層的代價是信任。當使用者發現 AI 系統「昨天還會的事，今天不會了」，他們對系統的信任會快速流失。企業內部也會對 AI 團隊產生質疑：「你們上次不是說已經優化過了嗎？」這種組織層面的信任損耗，往往比技術債更難修補。
四、對抗災難性遺忘的主流方法
學術界與產業界提出了多條技術路線，彼此並非互斥，實務上經常混用。以下介紹四種最主流的策略，並說明各自的適用情境與限制。
方法一：經驗回放與資料重播
最直觀也最有效的做法，是在訓練新任務時，混入一部分舊任務的樣本。這種做法稱為「經驗回放」（Experience Replay）。研究顯示，即使只保留極少量的舊資料（例如每類幾十張影像），就能大幅降低遺忘程度。這是目前工業界最普遍採用的基線方法。
進階版本包括「生成式回放」：用生成模型合成舊資料的近似樣本，以避免儲存原始資料造成的隱私問題。不過生成樣本的保真度會直接影響回放效果，且本身也可能引入新的偏差。
限制在於：回放需要能取得舊資料，且需要額外儲存與訓練成本。在資料無法保留的情境（如醫療、金融隱私資料）下，這個方法會受到很大限制。
方法二：正則化方法與權重保護
另一條路線是不保存舊資料，而是在損失函數中加入懲罰項，限制重要權重的變動幅度。最著名的是「彈性權重整合」（Elastic Weight Consolidation，EWC）。它的核心概念是：先估計每個參數對舊任務的重要性，越重要的參數，在學習新任務時越不允許被大幅修改。
這個思路與人類大腦的「突觸鞏固」機制有相似之處，因此在學術上很受青睞。然而 EWC 在大型深度網路上效果有限，且需要計算 Fisher 資訊矩陣，成本不低。實務上較常用於中小型模型或作為輔助手段。
方法三：參數隔離與模組化架構
如果干擾來自「共用參數」，那最直接的解法就是「不要共用」。模組化架構嘗試讓不同任務使用不同的參數子集，例如動態擴展網路、專家混合（Mixture of Experts）、或是前面提到的 LoRA 這類低秩適配器。
以 LoRA 為例，它凍結主模型權重，只訓練少量額外的低秩矩陣。不同任務可以各自掛載不同的適配器，彼此互不干擾。這在實務上是一個非常實用的折衷：既能快速客製化，又不會破壞基礎能力。
限制在於：隨著任務數量增加，額外參數與管理複雜度也會上升，且不同適配器之間的知識無法自動共享，容易形成「任務孤島」。
方法四：知識蒸餾與終身學習框架
知識蒸餾（Knowledge Distillation）的思路是：讓新模型模仿舊模型的輸出，而不只是學習新資料的標籤。具體做法是先讓舊模型對新資料產生「軟標籤」，再讓新模型同時學習真實標籤與舊模型的預測分佈。這能在一定程度上保留舊模型的行為模式。
在此基礎上發展出的終身學習框架，會結合回放、正則化與蒸餾，形成多層防護。實務上，這種「組合拳」往往比單一方法有效，因為不同方法處理的是不同層面的遺忘機制。
五、大型語言模型時代：遺忘問題變得更隱蔽、更難防
許多人以為，大型語言模型因為參數量龐大、預訓練資料海量，應該比較不容易遺忘。這個直覺部分正確，但只對了一半。事實上，LLM 時代的遺忘問題，反而以更複雜的形式存在。
預訓練加微調的兩階段範式：護欄與能力的拉鋸
現代 LLM 的標準流程是「大規模預訓練 → 指令微調 → 人類偏好對齊」。這種範式的好處是，通用知識在預訓練階段就已經固化，微調只需要調整行為風格與任務能力。但這也意味著，微調階段所改動的，往往正是最關鍵的行為層——包括安全拒絕、語氣、格式遵循等。
研究與實務觀察都指出，過度微調會導致模型「遺忘」原本的指令遵循能力，甚至出現「災難性遺忘式」的行為退化。這也是為什麼許多團隊在微調後，必須進行大規模的回歸測試，確認原本的能力沒有被犧牲。
因此，業界逐漸形成一個共識：微調應該「輕」而不是「重」。能用提示工程（Prompt Engineering）或檢索增強解決的問題，就不要動權重。這個原則背後，正是對災難性遺忘的務實回應。
RAG 與外部記憶：把知識存在模型之外
檢索增強生成（Retrieval-Augmented Generation，RAG）之所以在近年爆紅，除了能解決幻覺與時效性問題，另一個重要原因就是它繞開了遺忘問題。與其把新知識塞進權重，不如把知識放在外部資料庫，需要時再檢索出來。
這種「模型負責推理、資料庫負責記憶」的分工，本質上是一種架構層面的解耦。它讓知識更新變得便宜且安全——更新文件即可，不必重新訓練模型。對於需要高頻更新知識的企業場景（如產品手冊、法規查詢、客服知識庫），RAG 幾乎已成標準配備。
但 RAG 並非萬靈丹。它無法取代模型本身的推理能力與語言理解能力，而且檢索品質、文件切分策略、向量索引維護，都是新的工程挑戰。更重要的是，RAG 解決的是「事實性知識」的更新，對於「行為模式」的調整（例如語氣、任務流程），仍然需要透過微調處理。
持續學習的取捨：穩定性與可塑性的永恆拉鋸
在持續學習研究中，有一個核心概念叫做「穩定性—可塑性困境」（Stability-Plasticity Dilemma）。穩定性指的是保留舊知識的能力，可塑性指的是學習新知識的能力。兩者本質上互相衝突：模型越是牢牢記住舊知識，就越難吸收新資訊；越是積極學習，就越容易遺忘。
這個困境沒有完美的解，只有因地制宜的取捨。對醫療診斷系統而言，穩定性遠比可塑性重要，寧可更新慢，也不能誤診；對社群平台的內容審核模型而言，可塑性可能更重要，因為新型態的違規手法層出不窮，必須快速適應。
因此，成熟的 AI 團隊不會問「如何完全消除遺忘」，而是問「在這個場景下，我們能容忍多少遺忘、需要多快的適應速度、以及願意付出多少成本」。這是一個工程與商業的綜合判斷，而非單純的技術問題。
六、給台灣與華語企業的實務建議
理解了原理之後，真正的問題是：企業該怎麼做？以下從流程、資料治理與技術選型三個層面，提出具體可執行的建議。
建立模型更新的回歸驗證機制
最基本也最常被忽略的一步：每次模型更新前，建立一套涵蓋「舊任務」的回歸測試集。這套測試集應該包含歷史上的代表性案例，並定期擴充。更新後，必須同時比較新任務與舊任務的表現，而不是只看新任務的指標。
進階做法是建立「能力儀表板」，持續追蹤模型在數十項關鍵能力上的表現趨勢。一旦發現某項能力出現非預期下滑，就能及早介入，而不是等到業務端反映客訴才發現。
落實資料治理與版本控管
能夠回放舊資料，是對抗遺忘最有效的手段。因此，企業應該在合法合規的前提下，盡可能保留訓練資料的版本紀錄，並建立資料血緣（Data Lineage）追蹤。哪些資料訓練了哪個版本的模型，必須清楚可查。
同時，應區分「核心資料」與「增量資料」。核心資料是構成模型基礎能力的骨幹，應長期保留；增量資料則是近期新增的內容。訓練時，兩者應以適當比例混合，避免增量資料完全壓過核心資料。
技術選型的務實原則：能用檢索就別動權重
在架構選擇上，建議遵循一個簡單的原則：能用外部記憶解決的，就不要用微調解決；能用品質微調解決的，就不要用全量重訓解決。這個原則可以有效降低遺忘風險與維護成本。
具體而言，知識性、時效性的內容優先採用 RAG；行為風格與格式要求優先採用提示工程或少樣本示範；只有在需要深度領域適應時，才考慮微調，並搭配 LoRA 等參數高效方法。每次微調後，都要重新驗證安全護欄與既有能力。
此外，建議企業在導入任何持續學習方案前，先量化「遺忘的可接受程度」。是允許舊任務掉 2% 準確率？還是完全不能掉？這個問題的答案，會直接決定技術路線與預算規模。
結語：遺忘不是缺陷，而是需要被管理的特性
災難性遺忘之所以讓人困擾，是因為我們習慣用人類的學習模式去想像 AI。但神經網路本來就不是為「終身累積」而設計的，它是一個以當前目標為導向的最佳化系統。遺忘，某種程度上是它高效學習的副作用，而不是單純的 bug。
真正成熟的 AI 工程，不是幻想找到一個「絕不忘記」的完美演算法，而是承認遺忘必然存在，並透過架構設計、資料治理、驗證流程與技術選型，把遺忘控制在可接受的範圍內。就像人類社會不會因為人會遺忘就放棄教育，而是透過筆記、制度與反覆練習來對抗遺忘一樣。
當企業能把「遺忘」當成一個必須被管理的工程變數，而不是一個令人措手不及的意外，AI 系統的可靠性與信任度，才真正有機會跨過那道門檻。而這，或許比追求更大的模型、更炫的功能，更值得我們投入心力。
```