記憶體封裝：為什麼 HBM 要跟 GPU 住在一起
二、HBM 是什麼？把 DRAM 蓋成垂直公寓
HBM 全名是 High Bandwidth Memory，中文常譯為「高頻寬記憶體」。它最早由 AMD 與 SK 海力士共同推動，並在 2013 年由 JEDEC 制定標準。它的核心概念說穿了很簡單：既然橫向擴張匯流排會碰到極限，那就改從垂直方向解決。
2-1 平面排列的極限
傳統 DRAM 顆粒是一顆一顆平鋪在電路板上的。每多一顆，就多幾十條訊號線要拉，PCB 的層數、面積、佈線難度都跟著上升。當你要做到 512 位元、1024 位元的匯流排寬度時，PCB 根本吃不消——不是做不出來，而是做出來的板子會大到荒謬，而且訊號衰減與串音（crosstalk）會嚴重到無法補救。
HBM 的解法是：不要把記憶體攤平，而是疊起來。一顆 HBM 堆疊（stack）通常由 8 層、12 層甚至 16 層 DRAM 晶粒垂直堆疊而成，底層再放一顆邏輯晶粒（Logic Die / Base Die）負責控制與介面轉換。這些晶粒之間透過直徑僅數微米的矽穿孔（TSV）貫通連接，訊號不必繞到晶片邊緣再拉出去，而是直接垂直穿透。
2-2 TSV：垂直貫穿矽晶片的電梯
TSV（Through-Silicon Via）是 HBM 技術的靈魂。想像一棟二十層樓的公寓：如果沒有電梯，住戶要上下樓只能走外牆的樓梯，又慢又危險；有了 TSV 這種「垂直電梯」，訊號就能以最短距離在樓層間穿梭。
製作 TSV 的難度極高。工程師必須先在矽晶圓上蝕刻出深達數十微米、直徑僅 5 到 10 微米的孔洞，接著填入銅等導電材料，還要確保填充均勻、沒有空隙、沒有應力破裂。更麻煩的是，每一層晶粒都必須研磨到極薄（通常只有 30 到 50 微米），才能疊出足夠的層數而不至於過厚。堆疊完成後，還要經過精密的對位與鍵合，任何一層歪掉，整顆報廢。
這也解釋了為什麼 HBM 的價格遠高於同等容量的 GDDR——它貴的不是 DRAM 本身，而是這一整套「垂直建築工程」。
2-3 HBM 的世代演進
從 2013 年至今，HBM 已經演進了好幾個世代，每一代的重點都是「更高的頻寬、更大的容量、更好的能源效率」。
HBM 第一代採用 1024 位元匯流排，每顆堆疊提供約每秒 128GB 的頻寬，當時主要用在 AMD 的 Fiji 系列顯示卡上。雖然規格領先，但因為成本過高、生態系不成熟，市場反應有限。
HBM2 將頻寬提升到每堆疊每秒 256GB 左右，並支援更大的單顆容量，開始被用在專業繪圖卡與早期的 AI 加速器上。這個階段，HBM 的定位還是「高階小眾」。
HBM2E 進一步把資料速率拉高，單一堆疊頻寬突破每秒 400GB，成為 2020 年前後高階 AI 訓練晶片的主流選擇。
HBM3 是真正的轉折點。隨著大型語言模型爆發，HBM3 把單一堆疊頻寬推到每秒 800GB 以上，並且改進了通道架構（分為多個獨立通道，可平行存取）。NVIDIA 的 H100 就是採用 HBM3，搭配六顆堆疊，總頻寬達到每秒 3TB 等級。
HBM3E 則是目前的量產主力，透過提高資料速率，單一堆疊頻寬可達每秒 1.2TB，讓單顆 GPU 的記憶體頻寬站上每秒 8TB 的門檻。這也是為什麼新一代 AI 晶片的規格表看起來越來越像科幻小說。
HBM4 則準備把匯流排從 1024 位元一舉放大到 2048 位元，並改由晶圓代工廠負責製造底層邏輯晶粒（Base Die），讓記憶體與運算晶片的整合度更高。業界普遍預期，HBM4 將是「客製化 HBM」時代的開端。
三、封裝才是主戰場：2.5D、3D 與 CoWoS
到這裡，你可能會有個疑問：HBM 疊得再高、TSV 做得再好，它終究是一顆獨立的元件，要怎麼跟 GPU 溝通？答案就是先進封裝。如果說 HBM 是「垂直公寓」，那封裝就是「把公寓和辦公室蓋在同一個社區裡」的都市計畫。
3-1 矽中介層：GPU 與 HBM 的共同地板
目前主流的做法稱為 2.5D 封裝。所謂「2.5D」，是指晶片本身沒有垂直堆疊，但它們被放在一塊中介層（Interposer）上，透過中介層內部的超細線路互相連接。
這塊中介層通常是矽材質，上面佈滿了密度極高的金屬佈線與微凸塊（Micro-bump）。GPU 晶粒與 HBM 堆疊並排放在中介層上，彼此之間的距離可以縮短到毫米等級甚至更小。由於中介層是用半導體製程製作的，它的線路密度遠高於傳統 PCB，能承載上千條平行的訊號線，同時保持極佳的訊號完整性。
換句話說，矽中介層就像是 GPU 與 HBM 共用的「高級地板」：所有管線都埋在地板裡，兩邊的房間只要打開門就能直接連通，不必繞到室外。這正是「住在一起」在物理上的具體實現。
3-2 CoWoS 家族拆解
提到 2.5D 封裝，就不能不談台積電的 CoWoS（Chip-on-Wafer-on-Substrate）。這個技術名稱看起來很嚇人，但拆開來理解並不難：先把晶片（Chip）放到晶圓（Wafer）上，再把整組放到基板（Substrate）上。目前 CoWoS 已經發展出幾個不同分支，各有適用場景。
CoWoS-S 是最經典的矽中介層版本，也是 HBM 搭配 GPU 最常見的組合。它的優點是線路密度最高、訊號品質最好，缺點是矽中介層的尺寸受限於曝光機的照射場（Reticle）大小，大型晶片需要拼接，成本極高。目前業界正努力把中介層從 3 倍光罩面積推向 6 倍甚至更大，以容納更多 HBM 堆疊。
CoWoS-R 則改用有機材質的中介層，成本較低、彈性較大，但線路密度不如矽中介層，適合對頻寬要求沒那麼極端的應用。
CoWoS-L 是近年最受注目的方案。它結合了「局部矽橋（LSI）」與有機重分佈層，也就是說，只在需要高速連接的地方嵌入小塊矽橋，其餘區域用較便宜的有機材料。這種折衷設計讓封裝面積可以做得更大，同時兼顧成本與效能，被視為下一代 AI 晶片的主力封裝方案。
3-3 從微凸塊到混合鍵合
除了 2.5D，業界也正在往真正的 3D 堆疊邁進。過去的晶片連接依賴「凸塊」（Bump）——在晶片表面長出微小的錫球或銅柱，加熱後讓兩顆晶片黏合。但凸塊有物理極限，間距難以縮小到 10 微米以下，這限制了連接密度。
新一代技術叫做混合鍵合（Hybrid Bonding），又稱銅對銅直接鍵合。它不需要凸塊，而是把兩片晶圓的表面研磨到極度平整，讓銅墊直接接觸、原子級貼合。這種做法可以把連接間距縮小到 1 微米以下，連接密度提升一個數量級，同時降低訊號延遲與功耗。
混合鍵合目前已經應用在部分 CMOS 影像感測器與 3D 堆疊記憶體上，未來將成為 HBM4 之後、甚至「記憶體直接疊在 GPU 上」的關鍵技術。台積電的 SoIC、英特爾的 Foveros、三星的 X-Cube，本質上都在搶這個位置。
四、為什麼「住在一起」會比較快？拆解物理與電氣層面
前面講了這麼多技術名詞，現在回到最核心的問題：把 HBM 搬到 GPU 旁邊，到底解決了什麼？我們可以從三個層面來看。
4-1 頻寬 ＝ 匯流排寬度 × 速度
頻寬的計算公式很簡單：匯流排寬度（位元數）乘以資料速率（每秒傳輸次數），再除以八，就是每秒位元組數。傳統 GDDR 的匯流排寬度是 256 或 384 位元，而 HBM 光是單一堆疊就有 1024 位元，HBM4 更達到 2048 位元。
問題是，這麼寬的匯流排如果走 PCB，需要上千條平行走線，佈線空間、阻抗匹配、串音干擾全部會失控。矽中介層的出現，讓這些走線可以「埋」在晶片下方，以半導體製程的精度製作，才讓超寬匯流排成為可能。這是一個典型的「互相成就」：沒有 HBM，中介層無用；沒有中介層，HBM 也發揮不了。
4-2 走線短，訊號完整性就高
訊號在導線中傳遞時會衰減，頻率越高衰減越嚴重。GDDR 走的是 PCB，距離以公分計；HBM 走的是中介層，距離以毫米甚至微米計。距離縮短幾十倍，訊號就能用更低的驅動電壓、更少的補償電路，跑在更高的頻率上。
這也解釋了一個常被誤解的現象：HBM 的「時脈」其實不算特別高，但它的頻寬卻很驚人。原因就在於它靠的是「寬」而不是「快」——用上千條平行通道同時搬資料，比讓單一通道跑到極速有效率得多。
4-3 功耗與能源效率的差距
前面提過，傳輸距離越長，耗電越兇。HBM 與 GPU 之間的距離從公分級縮短到毫米級，驅動這些訊號所需的能量大幅下降。有研究估計，同樣搬運一位元的資料，HBM 架構的能源效率可以比 GDDR 架構好上數倍。
對資料中心來說，這個差距會直接反映在電費與冷卻成本上。當一座機櫃的功耗動輒數十千瓦，每瓦效能（Performance per Watt）就是採購決策的核心指標。這也說明了為什麼 AI 伺服器願意忍受 HBM 的高價格——長期下來的營運成本節省，足以抵銷初期投資。
以下用一個簡化的對照表，幫助你快速掌握兩者的差異：
比較項目
GDDR（傳統方案）
HBM（同封裝方案）
連接方式
PCB 走線
矽中介層 / 3D 堆疊
匯流排寬度
256～384 位元
1024～2048 位元
與運算晶片距離
公分等級
毫米以下
單位頻寬能耗
較高
較低
封裝成本
極高
適用場景
消費級顯卡、遊戲
AI 訓練、HPC、資料中心
五、天下沒有白吃的午餐：住在一起的代價
說到這裡，HBM 好像完美無缺。但實際上，任何工程選擇都是取捨。把記憶體跟 GPU 綁在同一個封裝裡，換來的是頻寬，付出的是良率、散熱與成本。
5-1 良率：一顆壞掉，整塊報廢
這是先進封裝最痛的地方。傳統顯示卡上，記憶體顆粒壞了一顆，換掉就好；GPU 壞了，換 GPU。但在 2.5D 封裝中，GPU 與六顆、八顆 HBM 堆疊绑在一起，只要其中任何一顆有問題，整個封裝體就報廢，而且幾乎無法修復。
這衍生出一個關鍵概念：已知良好晶粒（Known Good Die, KGD）。封裝之前，每一顆晶粒都必須經過嚴格測試，確認功能正常才能進入封裝流程。問題是，HBM 是由十幾層晶粒堆疊而成，任何一層有瑕疵，整顆堆疊就毀了。層數越多，良率越低，這正是 HBM 產能難以快速擴張的根本原因。
更麻煩的是，封裝完成後如果才發現問題，前面投入的 GPU 晶粒、中介層、基板全部付諸流水。這也是為什麼先進封裝的測試流程越來越複雜、成本越來越高。
5-2 散熱：熱源疊在一起
第二個難題是散熱。GPU 本來就是高發熱元件，HBM 堆疊在運作時也會產生熱量，而且堆疊內部的晶粒被層層包覆，散熱路徑極差。更糟的是，HBM 對溫度非常敏感——溫度越高，資料保存時間越短，錯誤率越高，嚴重時甚至會導致資料遺失。
這讓封裝設計變得非常棘手：既要讓 GPU 與 HBM 靠得近以縮短訊號路徑，又要設法把熱量導出去。目前常見的做法包括使用高導熱的封裝材料、均熱片、以及更複雜的液冷方案。在資料中心，HBM 的散熱設計往往決定了一整台伺服器的機構設計。
5-3 成本與產能瓶頸
最後是成本。HBM 的價格本來就比同等容量的 GDDR 高出數倍，再加上先進封裝的費用，一顆高階 AI 晶片的成本可能高達數千美元。而且，先進封裝的產能不是說擴就擴——需要昂貴的設備、長期的製程調校、以及足夠的技術人力。
2023 年以來，CoWoS 產能一度成為全球 AI 產業的瓶頸，各大晶片設計公司都得排隊等封裝產能。這說明了在先進封裝時代，晶片設計能力已經不是唯一門檻，「誰能拿到封裝产能」才是真正的生死線。
六、產業現況：誰在做、誰在用
了解了技術原理，我們再把視角拉高，看看這條產業鏈的實際樣貌。
6-1 記憶體端的三強競賽
全球 HBM 市場基本上由三家韓國與美國廠商主導：SK 海力士、三星、美光。其中 SK 海力士因為早期押注 HBM 並與 NVIDIA 深度合作，在 HBM3 與 HBM3E 世代取得領先地位；三星則挾帶龐大的 DRAM 產能急起直追；美光則以較高的能源效率與差異化規格切入市場。
這場競賽的關鍵不只是製程節點，還包括 TSV 良率、堆疊層數、以及與晶圓代工廠的封裝協同能力。換句話說，HBM 廠商賣的不只是記憶體，而是「記憶體加上封裝解決方案」的整體能力。
6-2 晶圓代工與封測的角色
在封裝端，台積電憑藉 CoWoS 技術幾乎成為 AI 晶片的必經之路；英特爾則以 EMIB 與 Foveros 技術發展自家的晶片整合方案；三星同時擁有記憶體與晶圓代工能力，試圖打造從 DRAM 到封裝的一條龍服務。至於傳統封測廠，則在 2.5D 與 3D 封裝的浪潮下面臨轉型壓力。
值得注意的是，HBM4 世代將出現一個結構性變化：底層邏輯晶粒可能改由晶圓代工廠以先進製程製造，再交由記憶體廠完成堆疊。這意味著記憶體與邏輯晶片的界線正在模糊，未來的合作模式會更接近「共同設計」而非單純的「買賣」。這也讓「客製化 HBM」成為下一波競爭焦點——不同的 AI 晶片可以搭載不同規格的 HBM，針對特定工作負載最佳化。
七、下一步：HBM4、客製化與光電共封裝
展望未來，有幾條技術路線值得關注。
第一是 HBM4 的 2048 位元匯流排。 匯流排寬度加倍，意味著每顆堆疊的頻寬直接翻倍，但同時也對中介層的佈線密度與封裝精度提出更高要求。這將進一步拉大「有先進封裝能力」與「沒有」之間的差距。
第二是客製化 HBM。 過去 HBM 是標準化產品，各家廠商規格一致；未來則可能出現針對特定 AI 架構設計的專用版本，例如調整頻寬與容量的比例、改變通道配置、甚至整合特定運算單元。這對記憶體廠商來說是提高附加價值的好機會，對晶片設計公司來說則能換取更好的效能功耗比。
第三是光電共封裝（CPO）。 當電訊號傳輸逐漸逼近物理極限，業界開始研究用光訊號取代部分電訊號。把光收發模組直接整合進封裝體，可以大幅降低傳輸損耗與功耗。雖然這項技術目前還在早期階段，但它被視為解決「資料搬運」問題的終極方案之一。
第四是真正的 3D 堆疊 GPU。 目前的 2.5D 架構還是把晶片並排放在中介層上；未來透過混合鍵合，可能把運算晶粒與記憶體晶粒直接垂直堆疊，讓連接密度再提升一個數量級。這將徹底改變晶片架構的設計邏輯。
八、結語：這不叫封裝，這叫重新定義電腦架構
回到文章開頭的問題：為什麼 HBM 要跟 GPU 住在一起？
表面上的答案是「為了縮短距離、提高頻寬、降低功耗」。但更深的意義是：當摩爾定律逐漸放緩，單靠製程微縮已經無法帶來足夠的效能提升時，封裝技術成了新的效能引擎。HBM 與 GPU 的同居，不只是一種記憶體配置方式，而是整個電腦架構從「以晶片為單位」轉向「以封裝為單位」的縮影。
過去我們買電腦，看的是 CPU 時脈、GPU 核心數、記憶體容量；未來我們可能要看的是封裝面積、中介層層數、HBM 堆疊數與混合鍵合間距。這些名詞對一般消費者或許陌生，但它們正默默決定著 AI 時代的算力上限。
所以下次當你看到規格表上寫著「192GB HBM3E、8TB/s 頻寬」時，不妨想像一下：在那塊小小的封裝基板上，有一顆 GPU 與八顆垂直堆疊的記憶體，透過數以萬計的矽穿孔與中介層線路緊緊相連，像一座高效運轉的垂直城市。那，就是 HBM 與 GPU 同居的模樣。
而這座城市還在不斷長高、長大。下一次的技術突破，或許就藏在你從未注意過的「封裝」兩個字裡。
```