殘差連接：為什麼深層網路不會退化
2016 年，Veit 等人發表了一項有趣的研究，指出殘差網路可以被視為多個不同深度子網路的集成（Ensemble）。這是因為每一個殘差塊都可以選擇「啟用」或「跳過」：若啟用，資訊經過殘差分支；若跳過，資訊直接通過恆等路徑。一個有 n 個殘差塊的網路，隱含了 2n 條可能的資訊流路徑，每條路徑對應一個不同深度的子網路。
在訓練與推理時，梯度與資訊會流經這些路徑的各種組合，效果類似於對多個淺層網路進行集成。這也解釋了為什麼殘差網路對單個殘差塊的刪除具有相當的魯棒性——刪掉一個塊，相當於集成中少了一個成員，性能通常只會溫和下降，而不會崩潰。這種「隱式集成」的特性，讓殘差網路在面對雜訊與擾動時更加穩定。
損失地貌的平滑化
2018 年，Li 等人發表了《Visualizing the Loss Landscape of Neural Nets》，利用可視化技術比較了有無殘差連接的網路之損失地貌。結果顯示：殘差連接讓損失函數的地貌更加平滑，極小值區域更寬廣、更平坦。在平坦的極小值附近，隨機梯度下降更容易找到好的解，模型對超參數與初始化的敏感度也顯著降低。
相對地，沒有殘差連接的深層網路，其損失地貌往往崎嶇不平，充滿尖銳的山谷與局部極小值，優化演算法很容易卡住或震盪。殘差連接透過提供恆等路徑，實質上重塑了優化問題的幾何結構，讓訓練過程更加穩定可靠。
破碎梯度問題的緩解
2017 年，Balduzzi 等人提出了「破碎梯度」（Shattered Gradients）的概念，用來描述深層網路中梯度場的高度不連續性。在普通深層網路中，損失函數對輸入的梯度會在相鄰區域快速變化，形成高度非凸、充滿尖銳山谷的地貌，使得優化極其困難。他們的研究表明，殘差連接透過引入恆等路徑，顯著提升了梯度場的連續性與相關性，讓相鄰輸入的梯度更加一致。這從理論上解釋了為什麼殘差網路不僅能訓練得更深，還能訓練得更穩、泛化得更好。
四、從 ResNet 到 Transformer：殘差連接的廣泛應用
殘差連接最初是為了解決影像辨識中的深層卷積網路問題而設計的，但其影響力早已跨越單一領域，成為現代深度學習架構的通用語言。
ResNet 的誕生與影響
2015 年，何愷明團隊發表《Deep Residual Learning for Image Recognition》，在 ImageNet 競賽中以 152 層的 ResNet 取得 3.57% 的 top-5 錯誤率，大幅超越人類水平的 5.1%。這篇論文成為深度學習歷史上被引用次數最多的論文之一，ResNet 也成為電腦視覺領域最經典的骨幹網路（Backbone）。無論是物件偵測、語義分割、姿態估計，還是醫學影像分析，ResNet 及其變體都廣泛被採用。
更重要的是，ResNet 證明了「深度」本身可以是強大的表徵學習工具，只要解決了優化障礙。這個觀念上的突破，直接推動了後續更複雜架構的誕生。
Transformer 中的殘差連接
2017 年，Vaswani 等人在《Attention Is All You Need》中提出了 Transformer 架構。在 Transformer 中，每一個子層（多頭注意力機制、前饋神經網路）都被包裹在殘差連接與層正規化之中，形式大致為：
x = LayerNorm(x + Sublayer(x))
沒有殘差連接，數十層甚至上百層的 Transformer 根本無法訓練。今日主流的 GPT、BERT、LLaMA 等大型語言模型，其骨幹皆由數十到上百個這樣的殘差區塊堆疊而成。殘差連接讓這些模型能夠穩定地學習極深層的語義表徵，是大型語言模型得以成功的關鍵基礎設施之一。
其他變體與延伸
殘差連接的設計啟發了大量變體。Highway Network（2015 年，Srivastava 等人）用門控機制控制跳躍連接的資訊流，可以視為殘差連接的推廣；DenseNet（2017 年）讓每一層連接到前面所有層，是殘差連接的極端版本，進一步促進了特徵重用。此外，還有殘差縮放（Residual Scaling）、ReZero、Fixup 等改進方案，專門用於訓練極深網路或穩定大型模型的訓練。
在擴散模型（Diffusion Model）中，網路學習的是雜訊殘差；在狀態空間模型（如 Mamba）中，殘差連接同樣被保留下來以維持資訊流。可以說，殘差連接已經從一個具體的架構技巧，昇華為深度學習的通用設計原則。
五、實作細節與常見陷阱
理解原理之後，實際動手實作時仍有許多細節需要注意。這些實作經驗往往決定了模型能否真正訓練起來。
維度不匹配的處理
當殘差分支的輸入與輸出維度不一致時（例如通道數從 64 變成 128，或空間解析度減半），恆等路徑無法直接相加。常見的處理方式有三種：一是用 1×1 卷積做線性投影，將輸入映射到目標維度；二是對通道維度補零（Zero Padding）；三是使用步長為 2 的卷積同時完成下採樣與維度調整。何愷明的實驗顯示，投影版本僅略優於補零版本，說明恆等映射的暢通性比投影的表達能力更重要。
Pre-activation 與 Post-activation
原始 ResNet 採用的是「卷積—批次正規化—ReLU」的堆疊，殘差相加之後再經過激活函數，稱為後激活（Post-activation）。這種結構的問題在於，恆等路徑上會經過 ReLU，資訊流並非完全乾淨。2016 年何愷明團隊提出的預激活（Pre-activation）結構，改為「批次正規化—ReLU—卷積」，殘差相加後直接輸出，確保恆等路徑上沒有任何非線性操作。實驗證明，預激活結構訓練更穩定，可以支撐到 1001 層的極深網路，是更深模型的首選設計。
與正規化的搭配
殘差連接會影響正則化策略的選擇。例如在殘差塊中，最後一個批次正規化之後通常不再加 Dropout，以免破壞恆等路徑的資訊流；或者改用隨機深度（Stochastic Depth），在訓練時隨機丟棄整個殘差塊，作為一種結構化的正則化手段。此外，權重衰減（Weight Decay）的設置也需要考慮殘差連接的影響，過強的衰減可能干擾恆等路徑的穩定性。
六、殘差連接的未來與延伸思考
殘差連接問世至今已近十年，但其影響力仍在持續擴大。研究者不斷探索更高效的連接方式，而殘差連接背後的思想也正在滲透到更廣泛的 AI 領域。
超越殘差：更高效的連接方式
近年來，學界提出了多種殘差連接的改進方案。門控殘差（Gated Residual）用學習到的門控係數動態調節殘差分支的貢獻；注意力殘差讓網路根據輸入內容決定跳躍連接的權重；部分殘差（Partial Residual）則嘗試在恆等路徑上引入輕量的變換。這些方案各有取捨，但核心思想仍是「保持資訊流的暢通，同時賦予網路調節能力」。
在大模型時代，如何以更低的計算成本維持深層網路的穩定性，成為新的研究熱點。例如，一些研究嘗試用可學習的縮放因子來控制殘差分支的貢獻，避免深層網路中殘差累積過大導致的不穩定。這些探索都延續了殘差連接的基本精神。
對 AI 發展的啟示
殘差連接的意義早已超越單一架構。它告訴我們一個深刻的道理：與其讓神經網路從零開始學習複雜的映射，不如讓它學習對現有表示的「修正」或「增量」。這種增量學習的思想，在遷移學習、參數高效微調（如 LoRA 低秩適配）、以及擴散模型的殘差預測中都有明顯的體現。
從更抽象的層面來看，殘差連接體現了一種「尊重恆等、允許修正」的設計哲學。它承認深度網路的預設行為應該是保留資訊，而不是強行變換；網路只在必要時才進行調整。這種哲學不僅適用於神經網路架構設計，也為我們理解深層學習的本質提供了新的視角。
結語
殘差連接看似只是加了個「+ x」，卻從根本上改變了深層神經網路的可訓練性。它透過提供恆等路徑，讓梯度得以順暢流動，讓損失地貌更加平滑，讓網路可以選擇「跳過」多餘的層，從而解決了困擾深度學習多年的退化問題。從 ResNet 到 Transformer，從電腦視覺到自然語言處理，殘差連接已成為現代 AI 架構的標準配備。
回顧這段發展歷程，我們可以看到：深度學習的進步往往不是來自更複雜的模型，而是來自對優化問題更深刻的理解與更巧妙的結構設計。殘差連接正是這樣一個典範——它用最簡單的形式，解決了最深層的困難，並持續啟發著後來的研究者。對於任何想要理解現代深度學習的人來說，殘差連接都是不可不讀的一課。