HBM 的記憶體牆：為什麼 AI 晶片被記憶體頻寬卡住
除了權重，還有一個常被低估的吃頻寬怪獸：KV Cache。在自回歸生成中，模型需要保留先前所有 token 的 Key 與 Value 向量，避免重複計算。序列越長、批次越大，KV Cache 就越龐大。以長上下文應用為例，KV Cache 的讀取量甚至可能超過權重本身。這也是為什麼「支援 100 萬 token 上下文」這種規格，背後真正的門檻往往不是算力，而是記憶體容量與頻寬。
此外，訓練階段的瓶頸位置和推論不同。訓練需要儲存梯度、優化器狀態（Adam 需要兩份動量估計）、激活值（activation），這些都是推論時不存在的額外記憶體開銷。一個模型在推論時可能只要 80 GB，訓練時卻可能需要數百 GB 甚至更多。因此訓練更常撞到「容量牆」，推論更常撞到「頻寬牆」，而兩者都屬於廣義的記憶體牆。
二、HBM 是什麼？把記憶體從平面搬到立體
面對頻寬不足，最直覺的解法是把記憶體做快一點。但 DRAM 的資料速率提升有物理與功耗的天花板，而且傳統的 DDR 或 GDDR 是透過 PCB 走線連到處理器，走線越長、訊號完整性越難維持、功耗也越高。HBM 的思路不是「把單通道做更快」，而是「把通道做多、把距離做短」。
2-1 從平面到立體：HBM 的架構原理
HBM 的第一個關鍵字是「堆疊」。它把多層 DRAM 晶粒（die）垂直疊起來，用矽穿孔（Through-Silicon Via，TSV）貫穿連接，形成一個高高的記憶體塔。第二個關鍵字是「寬匯流排」。傳統 GDDR 的匯流排可能是 32-bit 或 64-bit，靠極高的時脈取勝；HBM 則是反過來，用 1,024-bit 甚至 2,048-bit 的超寬介面，即使時脈不算特別高，總頻寬依然驚人。
第三個關鍵字是「靠近」。HBM 不是插在主板插槽上，而是和 GPU 或 AI 加速器一起，透過中介層（interposer）封裝在同一個晶片上，這就是所謂的 2.5D 先進封裝。走線從原本的數公分縮短到毫米等級，訊號衰減大幅降低，功耗也跟著下降。這對資料中心特別重要：在動輒數百瓦、上千瓦的加速器裡，記憶體 I/O 的功耗占比相當可觀，HBM 每 bit 傳輸的能耗大約只有傳統 GDDR 的幾分之一，這個差距在大型叢集裡會被放大成非常實際的電費與散熱成本。
用一個比喻來理解：GDDR 像是把倉庫蓋在工廠外面，靠一條高速公路運貨，車速可以很快，但路程長、耗油；HBM 則是把倉庫直接蓋在工廠旁邊，並且開了几十條平行的輸送帶，每一條的速度未必最快，但同時搬運的量大，總吞吐量反而更高。
也因為採用了堆疊與先進封裝，HBM 的單位容量成本遠高於傳統 DRAM。這是它最根本的取捨：用成本換頻寬與功耗效率。这也解釋了為什麼 HBM 幾乎只出現在高階 AI 加速器、超級電腦與高階網通晶片上，而不會出現在一般消費級顯卡或手機裡——至少在目前的成本結構下不會。
2-2 世代演進：從 HBM2 到 HBM4
HBM 自 2015 年正式商用（HBM1 搭配 AMD Fiji 架構顯卡）以來，已經演進了好幾個世代。每一次改版，主要都在推高頻寬、容量與能效。以下是一個簡化的對照，數字為各世代的代表性規格，實際產品會依廠商實作有所差異：
從表中可以看出兩個趨勢。第一，頻寬成長的速度並不慢，但每一代的推進幅度大約是 1.3 到 1.5 倍，而且需要更複雜的封裝與更高的成本。第二，HBM4 把匯流排寬度直接翻倍到 2,048-bit，這是一個相當大的架構轉折，因為它同時帶動了「基底晶粒（base die）由邏輯代工廠製造」的新分工模式——記憶體不再只是記憶體，而是開始和邏輯製程深度結合。
還有一個容易被忽略的演進方向是「層數」。堆疊層數從 8 層走向 12 層、16 層，意味著單一堆疊的容量可以從 16 GB、24 GB 推到 36 GB 甚至更高。對於容量受限的訓練場景來說，這個方向的意義不亞於頻寬。只是層數越多，散熱與良率的挑戰也越大——堆在中間的晶粒散熱最困難，而 TSV 的對準與接合良率會隨著層數增加而下降。
三、HBM 解了什麼、又解不乾淨什麼
HBM 確實大幅推高了頻寬，但如果你以為有了 HBM 就從此沒有記憶體牆，那就太天真了。HBM 是把牆往外推，不是把牆拆掉。原因在於頻寬、容量與功耗之間存在著很難同時滿足的三角關係。
3-1 頻寬、容量、功耗的三重取捨
第一個取捨是頻寬與容量。HBM 的容量取決於堆疊層數與單層容量，而頻寬取決於匯流排寬度與資料速率。要同時拉高兩者，就要增加堆疊數與層數，而這又受限於中介層面積與封裝能力。中介層能容納的 HBM 堆疊數量有限（常見是 4 到 8 個），這直接決定了單一加速器的容量上限。這也是為什麼我們看到高階 AI 加速器的記憶體容量大多落在 80 GB 到 200 GB 之間，很少有更大的突破。
第二個取捨是頻寬與功耗。雖然 HBM 的每 bit 能耗優於 GDDR，但當頻寬推到每秒數 TB，總功耗依然可觀。而這些功耗會轉換成熱，堆疊內部的散熱又特別困難。於是散熱設計、封裝材料、甚至系統層級的冷卻方案（從氣冷走向液冷）都必須跟著升級。也就是說，HBM 讓我們能用更少的能量搬更多資料，但搬的資料量成長得更快，總帳還是往上走。
第三個取捨是成本與良率。HBM 的製造成本包含 DRAM 晶粒本身、TSV 鑽孔與填充、晶粒薄化、堆疊接合，再加上與 GPU 共同封裝的先進封裝費用。其中任何一個環節的良率損失，都會被層層放大。這也是為什麼 HBM 的價格長期居高不下，而先進封裝產能（尤其是 CoWoS 這類 2.5D 方案）成為整個 AI 供應鏈最緊繃的環節之一。
換句話說，HBM 讓「每瓦頻寬」與「每平方毫米頻寬」大幅改善，但它沒有改變一個根本事實：頻寬永遠不夠，因為模型規模與應用需求成長得更快。這就是為什麼我們每年都覺得記憶體牆被推開了，但每年又在新模型上撞到新的牆。
3-2 成本、良率與封裝產能
在先進封裝環節，2.5D 方案（如 CoWoS）把 GPU 與多顆 HBM 放在同一塊中介層上，中介層的尺寸與層數決定了能放多少東西。中介層越大，良率越難控制，成本也越高。業界目前的擴產方向是往更大尺寸的中介層與更多層的堆疊走，但這需要時間與資本支出，而 AI 需求幾乎是階梯式跳升，供給自然跟不上。
這造成一個有趣的產業現象：AI 晶片的出貨量，很多時候不是被晶圓產能限制，也不是被 HBM 晶粒產能限制，而是被「先進封裝產能」限制。這也是為什麼記憶體廠與晶圓代工廠之間的合作越來越緊密——從標準品的買賣關係，走向共同設計、共同驗證的深度綁定。
四、記憶體牆在真實世界的影響
談完原理，我們來看看這道牆在實務上長什麼樣子。不同的應用場景，撞牆的方式並不相同。
4-1 訓練與推論的不同瓶頸
訓練階段通常採用大批次（large batch）來提高資料重用率，因此運算強度較高，比較不容易被頻寬卡住；但它對容量極度敏感，因為除了權重，還要存放梯度、優化器狀態與激活值。當模型大到單卡放不下時，就得靠資料平行、張量平行、流水線平行等技術把模型切開，跨卡通訊於是成為新的瓶頸——這可以視為記憶體牆的「外溢版本」：牆從晶片內部延伸到節點之間，甚至延伸到整個叢集的網路架構。
推論階段則相反。單筆請求時批次很小，運算強度低，頻寬成為主要限制；而要提高吞吐量就得加大批次，但批次一大，KV Cache 就跟著膨脹，又回頭壓縮可用容量。這是一個典型的兩難：批次太小浪費頻寬，批次太大爆記憶體。實務上工程師會用分頁式 KV Cache、連續批次（continuous batching）、KV Cache 量化、快取卸載到 CPU 記憶體等手段來折衷，每一種手段本質上都是在跟記憶體牆討價還價。
這也是為什麼「推論成本」在 AI 商業模式裡佔了這麼重的分量。模型的單位 token 成本，很大程度取決於你能多有效率地使用頻寬，而不是取決於峰值算力有多高。
4-2 從資料中心到邊緣裝置
在資料中心，記憶體牆表現為機櫃功耗、冷卻能力與資本支出的三重壓力。當單一機櫃的功率密度從十幾 kW 推到數十 kW 甚至上百 kW，電力與散熱就成為選址與建置的硬限制。HBM 的高能效在這裡是優勢，但整體系統的能耗曲線依然陡峭。
在邊緣與終端裝置上，情況又不同。手機、筆電、車用系統沒有資料中心那樣的電力與散熱預算，也不太可能採用昂貴的 2.5D 封裝。因此這些場景多半使用 LPDDR 或統一記憶體架構（如 Apple Silicon 的 unified memory），追求的是「每瓦頻寬」與容量，而不是絕對峰值。未來的折衷方案可能是把 HBM 的部分概念（例如更寬的介面、更短的走線）下放，或是採用封装内記憶體（on-package memory）的形式，但成本仍是主要障礙。
值得一提的是，邊緣裝置還有一個資料中心沒有的限制：記憶體容量通常是固定的，無法像伺服器那樣更換或擴充。這使得「模型能不能塞進去」變成產品定義的一部分，而不是部署後才調整的參數。這也是為什麼終端 AI 模型普遍偏向小模型、量化與混合專家架構——這些技術本質上都是在壓縮記憶體牆的壓力。
五、產業鏈視角：HBM 之爭
HBM 從一個小眾的 HPC 零件，變成全球半導體最搶手的資源之一，這個轉折本身就是一個值得理解的產業故事。
5-1 三大原廠與先進封裝
目前全球能穩定供應 HBM 的廠商主要是 SK 海力士、三星與美光三家。其中 SK 海力士在 HBM3 與 HBM3E 世代取得明顯的領先地位，並成為主要 AI 加速器廠商的核心供應商；三星積極追趕，試圖以產能與垂直整合（同時擁有記憶體與晶圓代工）取得優勢；美光則以差異化路線切入，強調能效與特定客戶的合作。
這場競爭的關鍵不只在 DRAM 製程，更在「封裝與驗證」。HBM 不是買來插上就能用的標準品，它必須和 GPU 的記憶體控制器、中介層設計、電源完整性、散熱方案一起驗證。因此記憶體廠與晶片設計公司之間的合作深度，往往決定了誰能拿到下一代產品的入場券。這也解釋了為什麼 HBM4 世代會出現「基底晶粒交給邏輯代工廠製造」的分工——記憶體與邏輯的界線正在模糊。
另一個關鍵是產能配置。HBM 消耗的 DRAM 晶圓面積遠大於同容量的傳統 DRAM，因為堆疊需要額外的 TSV 區域與良率損失。當記憶體廠把產能轉向 HBM，傳統 DRAM 的供給就會受到排擠，這也是近年一般記憶體價格波動的原因之一。AI 的記憶體需求，正在從根本上改變整個 DRAM 產業的資源分配。
5-2 台灣供應鏈的位置
對台灣讀者來說，這場競爭最直接的關聯在先進封裝。HBM 要能和 GPU 放在一起，靠的是 2.5D 或 3D 封裝能力，而台灣在先進封裝的代工與載板、測試環節扮演關鍵角色。當 AI 晶片需求暴增，先進封裝產能成為出貨瓶頸時，擴產的速度就決定了整個產業的節奏。
除了封裝，還有幾個環節值得注意：高階載板（ABF 載板）的需求隨著封裝尺寸放大而增加；測試環節因為 HBM 堆疊的良率篩選而變得更複雜；散熱與電源模組則因功率密度上升而升級。這些環節單看都不如 GPU 本身顯眼，但任何一個卡住，整條鏈都動不了。這是理解 AI 供應鏈時很重要的一個視角：瓶頸永遠在最脆弱的那一環，而不是最貴的那一環。
對一般讀者與投資人而言，與其只盯著算力規格，不如多關注「每瓦頻寬」、「封裝產能」、「HBM 層數與良率」這些比較不性感的指標。它們才是決定 AI 系統實際交付能力的變數。
六、下一步：推倒還是繞過記憶體牆
面對記憶體牆，業界其實有兩條路線：一條是把牆推得更遠（更快的記憶體），另一條是繞過牆（改變運算架構，減少搬資料的需求）。兩條路線目前都在進行。
6-1 HBM4 與客製化 HBM
最直接的路線當然是繼續推進 HBM。HBM4 把匯流排加倍到 2,048-bit，單堆疊頻寬推向 2 TB/s 等級，同時透過更先進的製程與更多層堆疊來提升容量。與此同時，「客製化 HBM」（Custom HBM）的概念開始出現：讓記憶體廠針對特定客戶的加速器架構，調整基底晶粒的邏輯、介面與功能，把部分記憶體控制或運算功能下放到記憶體端。這代表 HBM 從標準化零件，走向半客製化的系統元件。
這條路線的天花板在哪裡？主要是物理與經濟。匯流排越寬，中介層走線越複雜，封裝難度與成本越高；堆疊越高，散熱與良率越難。所以即使 HBM4、HBM5 持續推進，我們大概還是會看到「頻寬成長落後於算力成長」的結構性落差。牆會被推遠，但不會消失。
6-2 近記憶體運算、CXL 與光互連
第二條路線更有意思：既然搬資料這麼貴，那就少搬一點。這就是近記憶體運算（Near-Memory Computing）與記憶體內運算（Computing-in-Memory）的思路——把部分運算搬到記憶體旁邊甚至記憶體內部執行，減少資料在匯流排上的往返。學術界與業界都有不少嘗試，例如在 DRAM 或 SRAM 陣列旁加裝簡單的運算單元，處理矩陣乘加這類規則性高的工作。挑戰在於製程相容性、精度、以及通用性不足。
另一條路是擴充記憶體池。CXL（Compute Express Link）協定讓多個裝置可以共享記憶體池，把「容量」與「頻寬」解耦：HBM 負責高頻寬的熱資料，CXL 連接的 DRAM 或儲存裝置則負責大容量但較低頻寬的冷資料。這種階層式設計很像 CPU 的快取階層，只是尺度放大到整個機櫃。它的價值在於讓系統不必為每一 GB 容量都付出 HBM 的成本。
還有一個長期方向是光互連。用光訊號取代部分電訊號，可以大幅降低長距離傳輸的能耗與損耗，對於跨晶片、跨機櫃的通訊特別有吸引力。目前仍在早期階段，成本與整合難度都很高，但如果記憶體牆繼續惡化，光互連的重要性只會上升。
把這些路線放在一起看，會發現一個共同的哲學：未來的效能提升，不會只來自「算得更快」，而會來自「更聰明地搬資料」。這也是軟硬體協同設計（co-design）愈來愈重要的原因——模型架構、編譯器、記憶體階層、封裝方式，必須一起設計，才能把牆的影響降到最低。
七、實務總結：讀者該怎麼理解與判斷
回到實用層面。如果你是在評估 AI 硬體、規劃模型部署，或只是想看懂產業新聞，以下幾個判斷原則會比死記規格更有用。
第一，先看「每 byte 成本」與「每瓦頻寬」，再看峰值算力。峰值算力是理想值，實際效能往往被頻寬與容量決定。一個頻寬不足的系統，算力再高也發揮不出來。
第二，區分訓練與推論的需求。訓練看容量與跨卡通訊，推論看頻寬與批次效率。用訓練的規格去評估推論成本，或用推論的經驗去規劃訓練，都是常見的誤判。
第三，注意模型架構對記憶體的影響。混合專家（MoE）架構透過稀疏啟動降低每次運算的權重讀取量，本質上是在繞過記憶體牆；量化（FP8、FP4）則是直接壓縮資料量，等於變相提高有效頻寬。這些技術的進展，往往比硬體規格更直接影響單位成本。
第四，把供應鏈瓶頸納入考量。HBM 與先進封裝的產能不是短期能擴出來的，這意味著交期、價格與分配都會有波動。理解這一點，就不會對「為什麼有錢也買不到」感到意外。
最後，保持對「牆」的敏感度。摩爾定律減速、記憶體頻寬成長趨緩、模型規模持續擴張，這三條曲線的交叉點就是記憶體牆的位置。它會隨技術進步移動，但不會消失。真正決定 AI 產業節奏的，往往不是誰的算力最高，而是誰能最有效率地把資料送到需要它的地方。
結語
HBM 是過去十年記憶體架構最重要的創新之一。它用立體堆疊、超寬匯流排與先進封裝，把記憶體頻寬推到了傳統 DRAM 難以想像的水準，也讓大型 AI 模型得以從實驗室走進資料中心。但它終究是一帖強效止痛藥，而不是根治方案。只要算力成長快於頻寬成長，只要模型規模持續膨脹，記憶體牆就會以新的形式重新出現——從晶片內部，到封裝之間，再到整個叢集的網路。
理解記憶體牆，其實就是理解現代運算的一個核心矛盾：我們有能力製造極快的計算單元，卻始終難以同樣快的速度餵飽它們。AI 的進步，很大程度是一場關於「如何更有效率地搬資料」的工程競賽。HBM 是這場競賽目前最亮眼的選手，但絕不會是最後一個。對科技讀者而言，學會用頻寬、容量、能效與成本這四個維度去看待 AI 硬體，會比追逐任何一個單一規格數字，都更接近真相。