HBM 堆疊
3 秒看懂
HBM Stack（高頻寬記憶體堆疊）是一種三維封裝的記憶體技術，將 8 層或 12 層 DRAM 晶片像樓房一樣垂直堆疊，通過矽通孔（TSV）上下貫通，再與底部的邏輯控制晶片整體封裝成一個完整模組。它安裝在與 GPU 或 AI 加速晶片共用的矽中介層上，物理距離僅有微米級，能以 1024 位的極端寬匯流排提供每秒接近甚至超過 1 TB 的資料傳輸量，同時每位元能耗遠低於傳統 DDR 或 GDDR 記憶體。這在 AI 大型模型訓練和高效能運算（HPC）中，意味著數百 GB 的模型引數可以全部駐留在緊貼計算核心的“貼身記憶體”裡，無需頻繁跨卡搬運資料。
3 分鐘產業解釋
HBM Stack 與普通記憶體條的底層邏輯完全不同。傳統記憶體控制器和資料通路位於主機板、插槽和 PCB 走線上，受限於聯結器引腳數量和訊號完整性問題，單條位寬通常只有 64 位（DDR）或 32 位（GDDR）。HBM 則將記憶體與處理器緊緊耦合在一起：4 層、8 層或 12 層經過極薄研磨的 DRAM 核心 die（每片厚度通常小於 50μm）垂直堆疊，層與層之間通過成千上萬個 TSV 實現電氣導通；最下方是一片邏輯 die，負責向處理器側輸出物理層介面、管理測試和修復邏輯。整個堆疊通過微凸點連線至矽中介層或嵌入式橋接片，而中介層的另一端就是 GPU 或 AI ASIC 的計算 die。
這種“短距、寬匯流排、三維堆疊”的架構，使 IO 埠位寬一舉提升至 1024 位，是傳統 DDR5 單通道的 16 倍，並行傳輸時能跑出 TB/s 級頻寬。在 AI 訓練集群裡，一片加速卡通常搭載 4–8 個 HBM 堆疊，單卡總頻寬橫跨 3–8 TB/s，總容量達 96–288 GB。當前全球大規模量產的主力為 HBM3 和 HBM3E，單堆疊最大容量分別為 24 GB 和 36 GB，資料速率從 6 Gbps 向 9.6 Gbps 演進。因製造鏈條涵蓋 DRAM 晶圓精加工、TSV 刻蝕與填充、晶圓減薄、多層堆疊鍵合以及先進封裝中介層，任一環節良率控制不當都會拉低最終產品可用性，使 HBM 長期成為 AI 加速卡供貨的關鍵瓶頸。
技術原理
HBM Stack 將傳統記憶體模組中分散在 PCB 上的功能高度壓縮到一個三維封裝內。單個堆疊按通道劃分為 8 個或 16 個完全獨立的偽通道，每個通道擁有獨立的命令、地址和資料匯流排，能同時處理不同的讀寫事務。物理層基於源同步的 DDR 方式傳輸，但並行資料線數量遠超傳統架構。
以 HBM3/HBM3E 為例，邏輯 die 與處理器之間通過中介層實現大量等長佈線，所承載的訊號包括若干高速差分對用於時鐘/命令/地址，以及 1024 位以上的單端 DQ 資料線。HBM3 的資料速率約 6.0–6.4 Gbps/pin，位寬 × 速率換算後單堆疊原始頻寬可達 800 GB/s 以上；HBM3E 提速至約 8.0–9.6 Gbps/pin 區間（各供應商口徑略有差異），單堆疊頻寬朝 1.0–1.2 TB/s 上升。
內部讀寫流程（簡化）：
- 寫入：GPU 側的 HBM 控制器將訪存請求打包，經寬匯流排併發傳送至邏輯 die 的指定通道；邏輯 die 內的控制電路將其譯為 DRAM 的行啟用、列讀寫命令，在對應的 Core Die 上執行電荷儲存。
- 讀取：邏輯 die 從 Core Die 取出資料，經 TSV 回傳至 PHY 層，再通過中介層返回 GPU。
- 多通道同時服務不同事務，硬體排程粒度大幅細於傳統記憶體模組，因此在頻寬接近 TB/s 的情況下仍可將平均訪問延遲控制在合理範圍。
物理實現的三大核心挑戰：
- TSV 與機械完整性：垂直導電孔穿過被減薄至微米級的 DRAM 晶片，熱膨脹係數差異易產生機械應力，影響可靠性；堆疊層數和高度提升也使質量篩分難度非線性增長。
- 訊號與電源完整性：超寬並行匯流排在每 pin 數 Gbps 速率下，中介層佈線需嚴格等長、串擾受控；同時 1024 位同步翻轉帶來的瞬態電流噪聲需要在 die 上佈設密集的去耦電容和智慧電源網路。
- 散熱‑厚度博弈：增大層數可增容量，但堆疊 z 高度增加使上層 die 散熱路徑變長，尤其在伺服器液冷場景對器件高度有硬約束，必須在層數和總厚度間尋求平衡。
關鍵引數
| 引數 | 典型取值 / 代際演進 | 說明與來源 |
|---|---|---|
| 堆疊層數 | HBM2E：8 層；HBM3：可選 8/12 層；HBM3E：8 層（24 GB）/ 12 層（36 GB）；HBM4（預計 2025–2026）：12 層起步，文獻提及 16 層探索 | 各廠商產品說明（SK 海力士 2024 新聞稿、三星 2024 技術日公開資料）；層數越高，TSV 總數和堆疊良率壓力越大 |
| 每層 DRAM 容量 | HBM3：約 2 GB/層（12 層 → 24 GB）；HBM3E：約 3 GB/層（12 層 → 36 GB） | 容量口徑為 die 標稱值；實際可用容量受 ECC 和修復機制影響，各家略有差異 |
| 介面位寬 | 1024 位/堆疊（HBM2/HBM3/HBM3E 一致） | JEDEC JESD235 系列標準；HBM4 擬擴充套件至 2048 位（據 TrendForce 2024 行業報告推測），公開資料尚未正式確認 |
| 單 pin 資料速率 | HBM3：6.0–6.4 Gbps；HBM3E：約 8.0–9.6 Gbps（各供應商略有不同）；HBM4：預期突破 10 Gbps | 速率資料取自供應商產品釋出和行業研究機構測算；HBM4 為預測值 |
| 單堆疊頻寬 | HBM3：≥819 GB/s（8 層 6.4 Gbps 規格）；HBM3E：約 1.0–1.2 TB/s；HBM4：參考目標 >1.5 TB/s | 計算公式：位寬 × 資料速率 / 8；最終可用頻寬因 ECC 開銷降低約 5%–8% |
| 功耗效率 | HBM2E 約 7 pJ/bit，HBM3/HBM3E 進一步最佳化至 4–6 pJ/bit 區間 | 行業公開論文和廠商自述；實際功耗效率與散熱設計、工作速率強相關 |
| ECC 與修復 | 片上 ECC、透明行修復、TSV 冗餘電路（典型冗餘 TSV 佔比約 5%–8%） | 各廠商可靠性白皮書；具體冗餘策略屬工藝機密，公開資料未見完整資料 |
| 封裝相容性 | 需矽中介層或嵌入式橋接（如台積電 CoWoS-S/R/L、英特爾 EMIB、三星 I‑Cube） | 台積電技術研討會 2023–2024 公開資料 |
注：HBM3E 速率因廠商迭代和特定 GPU 整合版本出現細微差異，以上為行業慣用區間值。
技術路線
| 記憶體型別 | 典型位寬 | 單通道/單介面頻寬（典型值） | 功耗效率（pJ/bit 量級） | 面積效率 | 是否可以獨立部署 | 主要應用場景 |
|---|---|---|---|---|---|---|
| HBM Stack（HBM3/3E/4） | 1024，預期擴充套件到 2048 | 數百 GB/s～1.2 TB/s | 約 4–7（數值越低越優） | 極高 | 否，必須與主晶片合封 | AI 訓練 GPU/ASIC、HPC |
| GDDR6/6X/7 | 32–64 | 數十～約百 GB/s/晶片 | 約 10–15 | 中 | 是 | 消費級 GPU、推論卡、遊戲主機 |
| DDR5（伺服器 RDIMM） | 64 | 單通道理論 < 50 GB/s | >15 | 低 | 是 | CPU 通用伺服器、記憶體密集負載 |
| LPDDR5X | 32 | 數十 GB/s | 約 10–14 | 中 | 是（PoP 或板貼） | 行動端推論、邊緣計算 |
| CXL 記憶體擴充套件 | 基於 PCIe/CXL 協議 | 理論 < 100 GB/s（PCIe 5.0 x16 下約 64 GB/s） | 高（含協議開銷） | 低 | 是 | 記憶體池化、容量彈性擴充套件 |
HBM 的壓倒性優勢在於單位面積頻寬和極致能效：同一卡面積下，頻寬可達 GDDR 方案的 5–10 倍以上，每位元能耗僅為三分之一到一半。但其代價是成本極高（約為同等容量 DDR5 的 3–5 倍，Yole 2024 年行業研究報告估算）、不可事後增減容量，且必須繫結先進封裝。在 AI 訓練領域尚無直接替代品；在推論領域，GDDR 和 LPDDR 仍分別憑藉單晶片低成本、低功耗佔據一定份額。
上游
DRAM 晶圓製造與堆疊整合
- SK 海力士：HBM3 先發者，2023–2024 期間 HBM3E 佔據主要 AI GPU 訂單份額。擁有覆蓋 DRAM 全製程到 TSV、堆疊鍵合的一體化產線，2024 年公告在韓國清州和美國印第安納擴大先進封裝產能（來源：SK 海力士 2024 年投資者報告）。
- 三星電子：HBM3 和 HBM3E 同代供貨，以自家晶圓代工及先進封裝（I‑Cube）提供“記憶體+封裝”一站式方案。2024 年宣佈計劃在韓國天安增建 HBM 專用封裝線（來源：三星半導體 2024 年新聞通稿）。
- 美光科技：跳過 HBM3，直攻 HBM3E 配合 1-β DRAM 工藝，2024 年進入客戶驗證批次供貨階段。封裝端藉助其在新加坡及臺灣地區的先進封裝線（來源：美光 2024 財年報告及分析師日活動）。
中介層與先進封裝平台
- 台積電：CoWoS-S/R/L 系列幾乎承接全球主要 AI GPU 的 HBM 整合封裝，是目前最緊缺的環節。2023–2025 多次宣佈大幅擴充 CoWoS 產能，2024 年月產能估算約 3 萬片晶圓當量（來源：台積電法人說明會 2023–2024）。
- 英特爾：通過 EMIB（嵌入式多晶片互連橋）為 Gaudi 系列等提供合封能力，亦向外部客戶提供先進封裝代工（來源：Intel IFS 2024 技術簡報）。
- 三星代工：I‑Cube/X‑Cube 平台具備矽中介層至無中介層方案，2024 年起積極爭取外部客戶（來源：三星代工 2024 論壇資料）。
關鍵裝置與材料
- TSV 刻蝕/沉積裝置：應用材料、科林研發集團（Lam Research）；深孔銅填充用 PVD/CVD 裝置由頭部半導體裝置商主導（公開資料未見單一供應商份額）。
- 臨時鍵合/解鍵合材料與裝置：Brewer Science、3M、TEL、EVG 等；熱介面材料和底部填充膠主要由日本、美國化學材料企業經營（如長瀨產業、信越化學、Henkel），完整份額資料在公開渠道未見。
- 微凸點製備：電鍍及焊球工藝涉及千住金屬、安美特等精細化學品及裝置商。
下游
AI 及 HPC 加速器
- NVIDIA：A100（HBM2E）、H100（HBM3）、H200（HBM3E）、B200（HBM3E）系列均搭載 4–8 個堆疊，單卡總頻寬從 2 TB/s 逐步遞增至 8 TB/s 級。2024 年 B200 正式引入 8 個 8 層 HBM3E 堆疊，總容量達 192 GB（來源：NVIDIA GTC 2024）。
- AMD：Instinct MI250X 採用 HBM2E，MI300X 升級至 8 個 HBM3 堆疊共計 192 GB 容量，頻寬超 5.3 TB/s（來源：AMD 2023–2024 產品釋出）。
- Intel：Gaudi 2 使用 HBM2E，Gaudi 3 升級至 HBM3E；GPU Max（Ponte Vecchio）採用 HBM2E 多堆疊方案（來源：Intel Data Center 產品頁 2024）。
- 自研 ASIC 廠商：Google TPU v5p 系列普遍使用 HBM2E/HBM3 級別記憶體（基於公開技術論文推斷，未揭露具體堆疊數量）；亞馬遜 Trainium 2、微軟 Maia 等自研訓練/推論晶片亦宣佈或傳聞採用 HBM（各廠商釋出通稿 2023–2024）。
資料中心與超算
- 截至 2024 年，全球 TOP500 排名前列的超級計算機中有相當比例採用搭載 HBM 的加速卡，AI 訓練叢集更是將其視作標配。
- CSP（雲端服務廠商）大規模訓練叢集的招標和硬體選型檔案顯示，HBM 容量和頻寬是加速卡選型關鍵指標（來源：各廠商資本支出電話會、產業調研）。
受益公司
- SK 海力士：作為 HBM3/3E 階段最主要供應商，直接受益於 AI GPU 出貨量擴張。2024 年第一季度 DRAM 業務中 HBM 營收佔比估算已達雙位數（來源：SK 海力士 2024 Q1 財報電話會議）。正在大規模投資擴大 HBM 封裝產能，資本支出增長顯著。
- 三星電子：在 HBM 領域加速追趕，2024 年公告 HBM3E 12 層版本進展，欲以“記憶體+代工+封裝”組合優勢爭取更多 GPU 平台認證和份額（來源：三星電子 2024 Q2 財報新聞稿）。
- 美光科技：以 HBM3E 切入主流賽道，產能處於爬坡階段，2024 年陸續獲得多家客戶認證。HBM 等高附加值產品拉昇其 ASP 和毛利率（來源：美光 2024 財年 Q3 報告及展望）。
- 台積電：先進封裝業務營收近年來高速增長，CoWoS 產能緊缺推高其議價能力和客戶粘性，是 HBM 產業鏈中“賣鏟人”角色。封測子公司及生態夥伴（如日月光投控、Amkor 等）同步受益於外包封裝需求外溢（來源：台積電 2024 法說會）。
- IP 與 EDA 廠商：Rambus 和 Synopsys、Cadence 提供 HBM 控制器和 PHY IP，受益於自研 AI 晶片客戶對 HBM 介面授權需求井噴。Rambus 2023–2024 HBM 相關 IP 營收年增率增長顯著（來源：Rambus 2024 年季度財報）。
- 裝置與材料群體：上述上游所列關鍵裝置和材料供應商因 HBM 產能擴建持續受益，產業鏈資本支出具高度相關性（公開資料未見各標的與 HBM 單品的直接營收拆分）。
市場規模
根據 TrendForce 2024 年儲存產業季度報告估算，2023 年全球 HBM 市場規模約 44 億美元（DRAM 整體約 500 億美元），預計 2024 年因 AI 訓練需求爆發將增至約 120–140 億美元（口徑：出貨金額，含各代際 HBM2E/HBM3/HBM3E）；HBM 在 DRAM 市場金額佔比將從 2023 年不足 10% 躍升至 2024 年的 20% 以上。
Yole Group 2024 年先進封裝行業報告中指出，HBM 相關封裝及中介層市場 2024 年規模約 65 億美元，2028 年有望超過 200 億美元（口徑：含 TSV 堆疊和中介層工藝的封裝服務營收）。這些預測均基於 AI 加速卡出貨持續增長、訓練叢集規模不斷擴大的假設。
必須指出，上述機構資料通常為付費報告摘要或估算區間，非精確統計值；且各機構覆蓋口徑（是否包含中介層、是否計入自用部分）存在差異。公開資料未見官方權威的全球精確出貨量統計。產能方面，2024 年 SK 海力士和三星 HBM 產能較 2023 年提升約 2–3 倍（來源：兩公司 2024 年投資者報告），2025 年產能規劃繼續大幅增長。
玩家對比
當前 HBM 市場競爭呈“一超兩強”局面：
| 維度 | SK 海力士 | 三星電子 | 美光科技 |
|---|---|---|---|
| 主力出貨代際（2024） | HBM3E（8 層和 12 層） | HBM3、HBM3E（8 層為主） | HBM3E（8 層） |
| 2024 年預估出貨份額 | 約 50%–55%（行業估算，TrendForce 2024） | 約 35%–40% | 約 5%–10% |
| 量產進度 | 最早量產出貨 HBM3E，鎖定主要 AI GPU 平台 | 2024 年內 HBM3E 多產品線起步，12 層處於客戶驗證 | 跳過 HBM3，HBM3E 2024 逐步放量 |
| 先進封裝協同 | 依賴外部台積電 CoWoS 等，同時自建 TSV 和堆疊線 | 三星代工 I‑Cube 可內部完成“記憶體+封裝”全鏈條 | 依賴外部封裝廠，同時在新加坡和臺灣建設自有先進封裝能力 |
| 技術路線差異 | 先進 MR-MUF（Mass Reflow‑Molded Underfill）鍵合工藝 | TC-NCF（Thermal Compression Non‑Conductive Film）方案 | 引入混合鍵合（Hybrid Bonding）研發，2024 釋出相關技術論文 |
競爭關鍵變數：各代際驗證速度、先進封裝產能繫結程度、與 AI GPU 平台協同認證週期。由於 HBM 在 AI 加速卡中的認證週期長達 6–12 個月，率先通過認證者通常能鎖定一年以上的供貨份額。
風險
- 技術良率與爬坡風險：12 層乃至未來 16 層堆疊良率爬坡存在不確定性，單一批次 TSV 失效可能導致整棧報廢，產能擴張進度易因良率問題延遲。
- 封裝產能瓶頸：CoWoS 等先進封裝擴產週期長達 1.5–2 年，若封裝產能擴張不及 HBM 產出增幅，可能形成新的卡點。
- 替代路徑競爭：GDDR7、LPDDR6 等頻寬持續提升，小模型推論和部分定製邊緣訓練晶片存在切換可能；CXL 等記憶體池化技術在特定大數據場景下對容量擴充套件有補充效應，但短期內無法替代近存高頻寬方案。
- 地緣政治與供應鏈：AI 晶片出口管制升級，可能改變記憶體與封裝產能的地域分佈格局，影響各供應商的終端客戶可達性。擴產集中在特定地區還可能受貿易政策波動衝擊。
- 技術迭代風險：HBM4 預計 2025–2026 年推出，若某家廠商在下一代競爭中失利，固化格局可能被打破。
誤讀糾偏
-
誤區 1：“HBM 就是幾層 DRAM 晶片粘在一起，和普通記憶體條本質一樣。” 糾偏：普通記憶體條通過 PCB 走線連線到記憶體插槽，IO 匯流排受限於聯結器引腳和板級訊號完整性，位寬僅 64 位左右。HBM 利用 TSV 實現晶片級垂直互連，位寬拓展至 1024 位，物理距離壓縮到微米級，功耗和延遲均大幅最佳化，屬於系統級架構變革，不是簡單的物理堆疊。
-
誤區 2：“增加堆疊層數就能線性提升容量和頻寬。” 糾偏：層數增加帶來堆疊高度攀升和散熱惡化，TSV 製造良率亦可能指數式下滑。同時邏輯 die 驅動更多通道將抬高 IO 功耗，單位效能增益遞減。每一代 HBM 都在層數、每層容量、資料速率和熱管理方案之間折中平衡，並非簡單累加。
-
誤區 3：“HBM 容量比 GDDR 大得多。” 糾偏：單個堆疊容量 24 GB 或 36 GB，低於高階 GDDR 顯示卡的總視訊記憶體（例如 RTX 4090 為 24 GB GDDR6X，RTX 6000 Ada 為 48 GB）。但 HBM 可將 4–8 個堆疊集成於一張加速卡，總容量可達 96–288 GB，遠超過單 GPU 搭配 GDDR 方案所能獲得的容量上限。容量優勢來自多堆疊並行整合，而非單堆疊本身的絕對容量。
-
誤區 4：“HBM 的出現意味著 GDDR 和 DDR 將被完全淘汰。” 糾偏：不同記憶體型別服務於不同場景。GDDR 和 LPDDR 在消費級 GPU、行動端和邊緣推論領域因成本和靈活性優勢仍有廣闊空間；DDR5 在大容量伺服器和通用計算場景不可替代。HBM 聚焦於頻寬密度要求最高的 AI 訓練和超算應用，多種記憶體將長期並存。
最新事件
- 2025 年初（公開資訊截至 2025 年初）：SK 海力士宣佈 12 層 HBM3E 已通過某頭部客戶認證，進入批次供貨階段，36 GB/堆疊版本將率先應用於下一代 AI 訓練加速器（來源：SK 海力士 2024 年末新聞稿）。
- 2024 年 Q4：三星電子釋出 12 層 HBM3E 樣品，資料速率達 9.6 Gbps/pin，預計 2025 年上半年進入量產（來源：三星半導體 2024 年技術日）。
- 2024 年 Q3：美光科技公告 HBM3E 已匯入多家客戶，8 層 24 GB 版本實現規模營收，並計劃於 2025 年推出 12 層版本（來源：美光 2024 財年 Q4 報告）。
- 2024 年 Q3：台積電表示 CoWoS 先進封裝產能在 2024 年月產能較 2023 年同期提升超過一倍，計劃 2025 年繼續倍增，其中 HBM 整合封裝為主要驅動力（來源：台積電 2024 Q3 法說會）。
- HBM4 進展：JEDEC 初步確定 HBM4 規範架構，介面位寬有望擴充套件至 2048 位，並探索邏輯 die 與計算 die 的更緊密整合方案。各主要記憶體廠商均已宣佈 HBM4 開發計劃，目標量產時間普遍指向 2025 年末至 2026 年中（來源：JEDEC 公告、行業分析報道）。
追蹤指標
| 指標 | 頻率 | 獲取方式 | 說明 |
|---|---|---|---|
| HBM 供應商出貨量/份額 | 季度 | 各記憶體廠商財報、TrendForce 季度報告 | 關注 HBM 營收佔比、各代際出貨比例變化 |
| 先進封裝產能利用率與擴張計劃 | 季度 | 台積電法說會、英特爾/Samsung 投資者報告 | CoWoS/EMIB/I‑Cube 產能爬坡進度直接影響 HBM 供需平衡 |
| HBM 代際切換節點 | 半年/年度 | JEDEC 標準釋出、NVIDIA/AMD/Intel 新品釋出會 | HBM3→HBM3E→HBM4 切換將重塑各供應商份額 |
| AI 加速卡出貨量 | 季度 | 輝達、AMD 財報；IDC/TrendForce 伺服器報告 | 直接拉動 HBM 需求 |
| CapEx 及擴產公告 | 不定期 | 記憶體廠商及封裝廠官方新聞 | 衡量未來 1–2 年供給增量 |
| TSV/堆疊良率展望 | 季度/不定期 | 廠商財報問答環節 | 良率改善是供給釋放的領先訊號 |
| HBM 價格趨勢 | 季度 | 業內調查和報價平台 | 供需關係的最直觀指標（公開免費資料有限，多數需專業訂閱） |
信源
- JEDEC 標準文件 JESD235 系列（HBM, HBM2, HBM2E, HBM3）——行業標準規範。
- SK 海力士 2024 年投資者報告及新聞稿，https://news.skhynix.com 。
- 三星半導體技術日 2024 年公開演示材料，https://semiconductor.samsung.com 。
- 美光科技 2024 財年年報及季度財務報告，https://www.micron.com/about/investors 。
- 台積電 2023–2024 年季度法說會紀要，https://investor.tsmc.com 。
- NVIDIA GTC 2024 主題演講及白皮書，https://www.nvidia.com/gtc 。
- AMD 2023–2024 年 Instinct 產品釋出技術部落格，https://www.amd.com 。
- Intel Data Center 產品線 2024 年公開文件，https://www.intel.com/datacenter 。
- TrendForce 2024 年儲存產業季度追蹤報告，https://www.trendforce.com 。
- Yole Group 2024 年先進封裝行業研究報告，https://www.yolegroup.com 。
- IEEE IEDM、VLSI Technology 相關論文（檢索關鍵詞：TSV reliability, HBM packaging, hybrid bonding）。
- Rambus 2024 年季度財報與投資者演示材料，https://investor.rambus.com 。
- Synopsys/Cadence 2024 年 IP 產品線公開資料手冊。
注：部分資料來源為付費研究報告摘要，免費渠道可獲取的資訊以摘要和行業分析為主，完整資料建議訂閱原始報告。所有財務資料和份額資料均儘可能標示原始釋出方和年份。