AI 的終身學習：為什麼它不會忘記舊任務
1-3 終身學習與人類學習的類比
人類的學習有一個很聰明的特性：我們學會騎腳踏車之後，就算十年不騎，重新跨上車也很快就能找回感覺。這是因為大腦不是用「覆寫」的方式儲存記憶，而是透過神經連結的強弱調整、以及不同腦區的分工來保留多種技能。
AI 的終身學習，某種程度上就是在模仿這種機制。研究人員嘗試用「保護重要權重」、「保留部分舊樣本」、「為新任務開闢專屬模組」等策略，讓神經網路也能做到「舊技能不被新技能擠掉」。這也是為什麼終身學習常被視為通往「通用人工智慧」的必經之路——一個只會做單一任務的模型，再強也稱不上通用。
二、「災難性遺忘」：AI 學習路上的最大絆腳石
要談「AI 為什麼不會忘記」，就得先搞清楚「AI 為什麼會忘記」。這個問題的答案，藏在神經網路的數學結構裡。
2-1 什麼是災難性遺忘？
災難性遺忘這個詞，最早可以追溯到 1989 年由 McCloskey 與 Cohen 發表的論文。他們發現，當一個已經學會某項任務的神經網路，被訓練去學另一項新任務時，它在舊任務上的表現會急遽下降，甚至降到接近隨機猜測的水準。
舉個具體例子：假設你訓練一個模型辨識貓與狗，表現達到 98% 準確率。接著你拿同一批參數，繼續訓練它辨識汽車與機車。訓練完成後，新任務表現很好，但你回頭測試貓狗分類，準確率可能掉到 50% 左右——等於完全不會了。模型並沒有「儲存空間不足」的問題，它只是把權重調整成適合新任務的樣子，而舊任務需要的權重配置被破壞了。
2-2 為什麼神經網路會忘記舊任務？三大成因
災難性遺忘不是單一原因造成的，而是幾個機制共同作用的結果：
值得注意的是，遺忘並不等於模型變笨。模型對新任務的學習能力往往很好，問題在於它缺少「同時容納多種任務」的結構設計。理解這點，後面的各種解法就比較容易看懂。
2-3 遺忘的代價：從自駕車到醫療診斷
災難性遺忘不是實驗室裡的學術問題，它在真實世界造成的風險可能非常具體：
正因為遺忘的代價這麼高，學界才會發展出一整套「抗遺忘」的技術路線。
三、AI 不會忘記的關鍵技術：六大主流解方
目前對抗災難性遺忘的方法，大致可以分成「資料層面」、「參數層面」與「架構層面」三大類。以下整理六種最具代表性的技術路線，並說明它們各自的思路與限制。
3-1 經驗回放（Experience Replay）與記憶庫機制
經驗回放是最直覺、也最常被使用的方法。它的核心想法很簡單：在學新任務時，順便複習一點舊任務的樣本。實作上，系統會維護一個「記憶庫」（Memory Buffer），儲存少量過去任務的代表性資料。當模型訓練新任務時，每一批資料中會混入一定比例的舊樣本，讓模型同時最小化新舊任務的損失。
這個方法的效果通常很好，因為它直接提供舊任務的「錨點」。但它有兩個明顯缺點：第一，需要額外儲存資料，若涉及個資或敏感資料，可能觸犯隱私法規；第二，記憶庫容量有限，當任務數量非常多時，能保留的樣本比例會越來越低，效果也隨之衰減。
3-2 正則化方法：彈性權重整合 EWC
如果說經驗回放是「複習舊教材」，那正則化方法就是「保護重要筆記」。最具代表性的技術是彈性權重整合（Elastic Weight Consolidation, EWC）。
EWC 的思路是：先評估每個權重對舊任務的重要性，重要性越高的權重，在學習新任務時就越不允許被大幅修改。數學上，它會在損失函數中加入一個懲罰項，懲罰「對舊任務重要的權重偏離原值」。這樣一來，模型可以在不重要的權重上自由學習新知識，同時牢牢守住關鍵參數。
EWC 的優點是不需要儲存舊資料，對隱私友善；缺點是它只能「減緩」遺忘，無法完全避免，而且當任務數量增加時，計算每個權重的重要性會越來越複雜，擴展性有限。
3-3 參數隔離與動態擴張架構
另一條思路是「分區管理」：既然共用權重會互相干擾，那就讓不同任務使用不同部分的參數。這類方法稱為參數隔離（Parameter Isolation）或動態架構擴張。
例如 Progressive Neural Networks 會為每個新任務新增一組網路分支，並保留舊分支不動；新分支可以透過側向連結參考舊任務的特徵。這種做法的抗遺忘能力極強，因為舊任務的參數根本沒被改動。但代價是模型會越長越大，推論成本也隨之上升，對於資源有限的部署環境並不友善。
3-4 知識蒸餾與老師—學生模型
知識蒸餾（Knowledge Distillation）原本用於模型壓縮，但也被廣泛應用在終身學習上。做法是：把「舊模型」當作老師，「新模型」當作學生，訓練學生時除了要學會新任務，還要模仿老師在舊任務上的輸出分布。
這種「軟標籤」比單純的硬標籤包含更多資訊，能幫助學生保留舊任務的知識結構。實務上，許多模型更新流程會採用「舊模型輸出 + 新資料」的組合來微調，這正是知識蒸餾與經驗回放的混合策略。
3-5 提示學習與參數高效微調（PEFT / LoRA）
進入大型語言模型時代後，終身學習的技術重心也跟著轉移。由於完整微調一個千億參數模型成本太高，而且極易造成災難性遺忘，研究人員發展出參數高效微調（Parameter-Efficient Fine-Tuning, PEFT），其中最知名的就是 LoRA（Low-Rank Adaptation）。
LoRA 的做法是凍結原始模型的權重，只額外訓練一組低秩矩陣作為「任務適配器」。這樣一來，每個新任務只需要儲存一小組額外參數，原始模型的通用能力完全不受影響。要切換任務時，只要載入對應的適配器即可。
這等於是把「不忘記」的問題，轉化成「不覆寫」的架構設計——舊任務的參數根本沒被動到，自然不會遺忘。這也是目前業界在實務上最常採用的策略之一。
3-6 混合專家模型（MoE）與模組化學習
混合專家模型（Mixture of Experts, MoE）是另一種「分而治之」的思路。它把模型拆成多個「專家」子網路，並透過一個路由機制，根據輸入決定要啟動哪些專家。不同的專家可以專精於不同的任務或資料分布，彼此干擾較小。
在終身學習的場景中，MoE 可以透過新增專家來吸收新知識，而不必大幅改動既有專家。這讓模型在擴充能力的同時，仍能保留舊任務的表現。不過，MoE 的訓練穩定性、路由平衡與推論效率，仍是工程上的挑戰。
四、大型語言模型時代的終身學習新戰場
上述技術多半源自小型網路的時代，但當模型規模來到數千億參數，遊戲規則也跟著改變。大型語言模型（LLM）的終身學習，有幾個獨特的課題。
4-1 從預訓練到持續預訓練
LLM 的知識主要來自預訓練階段。當模型上線後，世界仍在變化——新的事件、新的用語、新的法規——模型卻停留在訓練當時的知識快照。這就產生了「知識過時」的問題。
其中一種解法是持續預訓練（Continual Pre-training）：用新的語料繼續訓練模型，讓它吸收最新知識。但研究發現，持續預訓練若處理不當，會導致模型在舊有基準測試上的表現下降，甚至出現語言能力退化的現象。因此，學界開始研究如何在新舊語料之間取得平衡，例如混入一定比例的原始訓練資料，或使用學習率衰減與權重凍結策略。
4-2 微調、對齊與遺忘的三角習題
除了知識過時，LLM 還面臨另一個更細緻的遺忘問題：對齊微調（Alignment Fine-tuning）可能侵蝕模型的通用能力。當我們用大量指令資料微調模型，讓它更符合人類偏好時，模型有時會在其他能力上出現退化，這種現象被稱為「對齊稅」（Alignment Tax）。
這也是為什麼現代 LLM 的訓練流程越來越講究「資料配比」與「階段式訓練」：先預訓練打好基礎，再進行指令微調與偏好對齊，中間穿插少量的原始資料以維持通用能力。這本質上就是一種終身學習的工程實踐。
4-3 RAG 與外部記憶：另一種「不忘記」的思路
有趣的是，面對「模型會不會忘記」這個問題，業界也發展出一條完全不同的路線：與其讓模型記住，不如讓模型去查。這就是檢索增強生成（Retrieval-Augmented Generation, RAG）。
RAG 的做法是把知識存放在外部資料庫中，模型在回答問題時即時檢索相關文件，再把檢索結果放進提示中。這樣一來，知識的更新只需替換資料庫內容，不必重新訓練模型，自然也不會有遺忘問題。
不過，RAG 並不能完全取代終身學習。它解決的是「事實性知識」的更新，卻無法讓模型學會新的推理模式、新的技能或新的語言能力。真正強大的 AI，仍需要在參數層面具備持續學習的能力。這也是為什麼「RAG + 參數高效微調」的混合架構，正成為目前最被看好的實務路線。
五、實際應用：終身學習正在改變哪些產業？
談完技術，我們回到現實層面。終身學習不是紙上談兵，它已經在幾個關鍵領域產生實際價值：
從這些例子可以看出，終身學習的價值不只在「省成本」，更在於讓 AI 系統具備長期陪伴與持續成長的能力。這正是它被視為下一代 AI 關鍵能力的原因。
六、挑戰與限制：AI 終身學習還沒解決的難題
儘管技術進展快速，終身學習仍有幾個根本性的挑戰尚未完全克服。
6-1 穩定性與可塑性的兩難
這是終身學習最核心的矛盾，學術上稱為穩定性—可塑性困境（Stability-Plasticity Dilemma）。穩定性指的是保留舊知識的能力，可塑性指的是學習新知識的能力。兩者天生衝突：模型越穩定，就越難學新東西；越有可塑性，就越容易遺忘。
目前沒有一種方法能完美兼顧兩者，多數技術都是在這個光譜上取得某種平衡。如何動態調整這個平衡，甚至讓模型自己判斷「什麼時候該守、什麼時候該學」，仍是活躍的研究方向。
6-2 隱私、安全與資料治理
經驗回放需要儲存舊資料，這在醫療、金融等高度監管的領域會遇到隱私法規的阻礙。此外，持續學習也帶來安全風險：如果模型會不斷吸收新資料，惡意使用者就可能透過「資料投毒」的方式，逐步汙染模型的行為。
因此，終身學習系統必須搭配完善的資料治理機制，包括資料來源驗證、異常偵測、模型行為監控，以及可回溯的版本管理。這些工程配套往往比演算法本身更耗費心力。
6-3 評估基準與可解釋性
目前學界用來衡量終身學習效果的基準測試，多半是簡化過的實驗環境，與真實世界的複雜度仍有落差。真實應用中的任務邊界模糊、資料分布持續漂移，很難用標準化的方式評估模型是否「真的沒有忘記」。
此外，當模型持續演化後，它的決策邏輯也變得難以解釋。對於醫療、金融等高風險場景，可解釋性是不可妥協的要求。如何在持續學習的同時維持透明度，是實務落地的一大門檻。
七、未來展望：離「真正不忘記的 AI」還有多遠？
回到文章標題的問題：AI 為什麼不會忘記舊任務？
嚴格來說，現在的 AI 並不是「天生不會忘記」，而是透過一連串精巧的工程設計——經驗回放、權重保護、參數隔離、模組化架構、參數高效微調——把遺忘的風險降到可控範圍。這些方法各有取捨，也還沒有一種能通吃所有場景的萬靈丹。
但趨勢是明確的。隨著模型規模擴大、應用場景複雜化，「一次訓練、終身使用」的模式已經走到盡頭。未來的 AI 系統，必然需要具備持續吸收新資訊、同時守住既有能力的基本素養。這不僅是技術問題，更牽涉到資料治理、模型安全與使用者信任。
可以預見的是，接下來幾年會出現更多混合式架構：用 RAG 處理快速變動的事實知識，用 LoRA 等參數高效方法吸收新技能，用記憶庫與正則化守住核心能力，再用完善的監控機制確保模型行為不偏離軌道。這套組合拳，正是讓 AI「學而不忘」的現實解方。
對一般讀者而言，理解終身學習的意義在於：下次當你看到某個 AI 服務「越用越聰明」時，可以多想一層——它背後可能正在進行一場關於記憶與遺忘的精密工程。而這場工程，才剛剛開始。
AI 不會忘記舊任務，不是因為它天生記性好，而是因為人類替它設計了一套懂得「珍惜記憶」的學習方式。這或許也是終身學習這個概念最迷人的地方：我們在研究如何讓機器不忘記的同時，其實也在重新思考，人類自己是怎麼記住那些重要的事的。
```