高頻寬儲存
3 秒看懂
高頻寬儲存(HBM)是一種通過3D堆疊 + 矽中介層實現超高位寬、超低功耗的 DRAM 解決方案。它不是一顆“記憶體顆粒”，而是一個由多層 DRAM 晶片垂直堆疊、與 GPU/加速器封裝在一起的整合體。簡單理解：把傳統的“並排平房”改成“摩天大樓”，再用一條極寬的“通道”(1024-bit 匯流排)直接連入處理器，讓資料搬運速度進入TB/s 級，同時大幅降低每 bit 功耗。HBM 就是 AI 大型模型訓練的“資料高速路”。
3 分鐘產業解釋
解決頻寬牆(Bandwidth Wall)的核心武器。傳統 DDR/GDDR 受制於 PCB 佈線、引腳數和功耗，位寬大多停留在 32~384 bit，而 HBM 藉助矽中介層(Interposer)和微凸塊(μBump)將超 1000 條並行線直接接到處理器的同一封裝基板上，使得單堆疊(Stack)頻寬輕鬆達到 256 GB/s 起步，最新一代已突破 1 TB/s。這恰好匹配了深度學習訓練中引數同步、啟用值廣播所需的巨大數據吞吐。
代際正在加速迭代。從 2015 年第一代 HBM1 到 2025 年即將量產的 HBM4，每隔約兩年就翻一倍頻寬，SK 海力士、三星、美光三家近乎寡頭壟斷。因為 HBM 整合在 CoWoS 等先進封裝裡，所以得 HBM 者得 AI 晶片：一顆輝達 H100 用了 5 顆 HBM3(80 GB)，B200 更捆綁 8 顆 HBM3E(192 GB)，卡間互聯又催生 HBM 需求量指數級增長。可以說，HBM 的供給和迭代速度直接制約全球 AI 算力擴張節奏。
15 分鐘專家深入
架構本質：將傳統 DDR 的並行多通道扁平版面配置“摺疊”成立方體。邏輯 Die(L-Base)在最底部負責與 SoC 通訊和重新整理管理，往上堆疊 4~12 層 Core Die(DRAM 儲存單元)，層間通過矽通孔(TSV)垂直互聯，所有層共享同一組 1024-bit 資料匯流排。一個完整 HBM Stack 通常含 2、4、8、12 Hi(層)，再按系統需求排列 4、6、8 個 Stack 環繞在 GPU/ASIC 周圍。
通訊與能效：位寬極大化使得時脈頻率不必拉得太高，典型命令/地址匯流排僅需 1~2 GHz 基頻，但每 pin 資料率可從 1 Gbps 演進到 9.6+ Gbps(PAM4 訊號)，結合 1024 bit 寬度實現高總頻寬。低電壓擺幅與極短互連讓 pJ/bit 能耗大幅優於 GDDR，對 TDP 緊張的 AI 加速器至關重要。
軟體視角：HBM 對程式透明，依然是統一虛擬記憶體定址的一部分。但高效能運算架構會針對性最佳化資料版面配置，避免跨 Stack 訪問帶來的延遲不均勻性(NUMA 效應)，並充分榨取通道並行度。
HBM 與 GPU 的緊密耦合使得視訊記憶體頻寬不再是瓶頸，這直接推動了大 batch size 訓練和 MoE 模型(大量專家路由需要低延遲高頻寬存取)的可行性。
技術原理（最深）
以 4Gb/core die × 8 Hi Stack 為例，解剖單 Stack 內部機制：
┌─────────────────────────────┐
│ Core Die #7 ( DRAM array) │
│ TSV ──────────┐ │
│ ↓ │
│ Core Die #6 │
│ ... │
│ Core Die #1 │
│ ────────── TSV 陣列 │
│ ↓ │
│ Base Die (Logic) │
│ ┌───┐ ┌───┐ ┌───┐ │
│ │PHY│ │I/O│ │DFI│ │── external bus (1024-bit) ──► GPU/Interposer
└──┴───┴──┴───┴──┴───┴───────┘- Base Die(邏輯層)：內建 DFT(可測性設計)、自重新整理邏輯、溫度感測器，並通過 PHY 完成與外部匯流排(LPDRAM-like 協議)的速率轉換。該層將外部 1024 位資料通道切分為 8/16 個獨立通道(Channel)，每個通道可獨立訪問不同 Bank Group，實現極高併發。
- TSV(Through-Silicon Via)：貫穿 Core Die 的垂直銅柱，單 Stack 內可整合數千根，承擔資料、命令和電源。TSV 良率和熱機械應力是目前堆疊 12、16 層的主要工藝挑戰。
- 資料路徑：外部 1024-bit 寬匯流排執行在半速率雙倍資料速率(類似 DDR)或 PAM4(自 HBM3 起可選)，頻率溫和但位寬巨量。以 HBM3 為例，每引腳速率 6.4 Gbps，單 Stack 頻寬 = 6.4G×1024 /8 = 819.2 GB/s (實際有效頻寬因協議開銷略低，約 80%)。採用 8 個 Stack 配置，總頻寬可達 6.5 TB/s 以上。
- 容量組織：每個 Core Die 通常 2/4/8 Gb，層數決定總容量。HBM3E 採用 24 Gb die × 8 Hi 可得 24 GB，HBM4 會用 32 Gb die, 16 Hi 向 64 GB 衝擊。位寬 1024-bit 固定不動搖，升級靠 pin 速率和層數。
垂直電源配送：大量 TSV 除了訊號，還需輸送 VDD/VSS。電源完整性要求微凸塊阻抗極低，並且 Base Die 內整合大量去耦電容來抑制堆疊結構的同步開關噪聲。
技術演進史
- 2008-2013 原型期：AMD 與 SK 海力士提出 HBM 概念，目標是取代 GDDR5，克服“功耗牆”。HMC(混合記憶體立方體)同步探索，後來淡出。
- 2015 HBM1：首代產品，4 Hi, 1 GB/Stack，1 Gbps/pin，總頻寬 128 GB/s。用於 AMD Fiji GPU。技術驗證意義重大。
- 2016 HBM2 (JESD235B)：提升至 8 Hi, 2 Gbps/pin，頻寬 256 GB/s，成為行業標杆。輝達 Tesla P100、V100 率先使用。
- 2018 HBM2E (JESD235C)：3.2 Gbps/pin，4/8 Hi，單 Stack 容量達 16 GB，頻寬 410~460 GB/s。大規模應用於 A100。
- 2022 HBM3 (JESD235D)：6.4 Gbps/pin，12 Hi，引入 PAM4 可選模式，單 Stack 頻寬 819 GB/s，容量 24 GB。H100 首發。
- 2023-2024 HBM3E（擴充套件版）：9.6 Gbps/pin, 12 Hi, 容量 36 GB，單 Stack 頻寬超 1 TB/s。B200/GH200 等主力。
- 2025+ HBM4：計劃 16 Hi，單 Stack 容量 48~64 GB，頻寬 1.5 TB/s+，邏輯層更復雜(可能整合部分計算)。由 SK 海力士、三星、美光競相開發。
演進主線：更高層數、更高速率、更大容量、邏輯層功能擴充套件。先進封裝(CoWoS-S/L/R)的配套進化與 HBM 迭代幾乎同步。
技術路線對比（量化表）
| 技術規格 | HBM2E (典型值) | HBM3 (典型值) | HBM3E (典型值) | GDDR6X (對比) |
|---|---|---|---|---|
| 每 pin 速率 | 3.2 Gbps | 6.4 Gbps | 9.6+ Gbps | 19-21 Gbps |
| 匯流排寬度(單堆疊) | 1024-bit | 1024-bit | 1024-bit | 32-bit/顆粒 |
| 單堆疊頻寬 | ~410 GB/s | ~819 GB/s | ~1.2 TB/s | 單顆粒 ~84 GB/s |
| 最大層數 | 8 Hi | 12 Hi | 12 Hi | 不適用 |
| 單堆疊容量 | 16 GB | 24 GB | 36 GB | 2 GB/顆粒 |
| 封裝方案 | CoWoS-S | CoWoS-S/L | CoWoS-L/R | PCB 板級 |
| 典型能耗效率 | ~7 pJ/bit | ~5 pJ/bit | ~4 pJ/bit[估算] | ~15 pJ/bit |
| 供貨主導 | SK 海力士/三星 | SK 海力士/三星 | SK 海力士(主)/美光 | 美光/三星 |
資料來源：JEDEC 公開標準及主要原廠技術簡報，部分為供應鏈估算[注]
GPUF 實際頻寬效率約 80~90%
上下游
上游：
- 矽晶圓與 TSV 工藝：高深寬比刻蝕、銅填充、微凸塊製備，依賴前端晶圓代工(三星、台積電、SK 海力士自有廠)
- 先進封裝技術與基板：CoWoS、EMIB 等 2.5D/3D 封裝所需矽中介層、有機基板（日系供應商、台積電）
- 測試裝置：可測性電路複雜，需要定製化 ATE 和老化(burn-in)裝置
中游-HBM 設計製造：
- SK 海力士（絕對龍頭，HBM3/3E 市佔超 80%[行業估算]）
- 三星電子（追趕，HBM3E 已送樣）
- 美光科技（跳過 HBM3 直攻 HBM3E，產能爬坡中）
下游：
- AI 加速器/GPU：輝達(最大客戶)、AMD、英特爾(Gaudi)、自研晶片廠商(Google TPU, AWS Trainium 等)
- 高效能運算/資料中心：所有需要超高視訊記憶體頻寬的伺服器
上下游緊密捆綁：沒有先進封裝就沒有 HBM 的出貨，所以 CoWoS 產能等於 HBM 的變現出口。目前臺積電 CoWoS 產能是比 HBM 產能更關鍵的瓶頸。
關鍵指標
- 每 pin 資料率(Gbps)：決定原始頻寬基值
- 堆疊層數(Hi)：容量與頻寬乘數，但堆疊越多熱管理越難
- 總頻寬(GB/s per Stack)：直接體現技術代次，AI 訓練最低要求 2 TB/s 以上(多 Stack 總和)
- 能效(pJ/bit)：制約 GPU 整體 TDP，HBM 通常比 GDDR 低 60~70%
- 容量(GB per Stack)：大型模型引數駐留能力，當前單 GPU 記憶體 96~192 GB 為主流
- 介面功耗與熱阻：決定是否需要主動散熱(某些安裝需熱介面材料+散熱片)
- 良率與成本：HBM 晶片本身成本約為同容量 DDR5 的 10~20 倍[估算]，且封裝良率對總成本影響極大
供需與市場資料
- 市場規模：據多家券商估算，2024 年 HBM 記憶體營收約 150~180 億美元，佔 DRAM 整體營收比重從 5% 急速上升到 20% 以上。
- 供給短缺：SK 海力士 2024 年 HBM 產能已售罄，2025 年擴產仍在追趕。三星和美光加入後，2025 年底供需有望緩解，但 HBM4 初期仍將緊缺。
- 價格：HBM3E 溢價相當於等容 DDR5 的 5~7 倍[行業資料]，這種溢價因效能剛需而維持。
- AI 需求拉動：大型模型從千億引數邁向萬億，訓練單卡 HBM 需求翻倍增長(GPU 從 80GB 升至 192GB+)，推論側需求同樣攀升。
- 地緣製造集中度：目前 99% 以上 HBM 由韓系廠商生產，美光雖在美本土擴張仍份額微小。供應鏈安全成為各國關注的戰略議題。
代表公司與資本對映
- SK 海力士 (000660.KS)：HBM 絕對領軍，與輝達深度繫結。資本支出大幅向 HBM 傾斜，其利川/清州工廠擴產決定直接影響全球 AI 晶片供給節奏。
- 三星電子 (005930.KS)：具備一體化優勢(晶圓代工+DRAM+先進封裝)，HBM3E 通過輝達驗證後有望放量，但良率爬坡程序是資本市場核心追蹤指標。
- 美光科技 (MU)：1β 工藝跳過 HBM3，直接量產 HBM3E，在功耗上有競爭力，2025 年產能目標是關鍵催化劑。
- 台積電 (TSM/2330.TW)：雖然不造 HBM，但其 CoWoS 產能是 HBM 消費的閥門，產能擴張速度與 HBM 出貨強相關，亦屬“HBM 概念”。
- 裝置與材料：TSV 刻蝕裝置(Lam Research, TEL)，微凸塊電鍍/鍵合裝置(應用材料、ASMPT)，先進基板(Unimicron, Ibiden)等受益於 HBM 擴產。
資本對映邏輯：AI 算力的稀缺本質正從“GPU 缺”向“GPU 裡的 HBM 缺”轉移，HBM 原廠及相關裝置成為算力投資範式的“新石油”。
投資邏輯
- 量價齊升週期：HBM 的單 GPU 用量和單 GB 售價在 AI 軍備競賽中持續攀升，週期性弱於普通 DRAM，具備結構性成長。
- 技術護城河深：TSV 堆疊+先進封裝+散熱設計綜合壁壘極高，新進者幾乎為零，現有三家寡頭享受技術溢價。
- 封裝約束下的供給剛性：CoWoS 等產能擴張需 18 個月以上，短期無法快速響應需求爆發，導致 HBM 長期供不應求，價格堅挺。
- 定製化趨勢開啟估值空間：未來 HBM 邏輯 Die 可能整合計算單元，向“存內計算”演進，HBM 不再是標準品，附加值更高。
- 風險點：輝達等客戶可能轉向 HBM 競爭方案(如 HBM-less 架構、片內記憶體增大)的傳言；新一代 HBM 良率爬坡不及預期；地緣政治導致的供應鏈中段。
常見誤讀糾偏
-
誤讀1：“HBM 就是更快的 DDR 3D 版本”
糾偏：HBM 不僅快在頻寬，更改變了儲存與計算的物理距離。傳統 DRAM 是 PCB 走線，而 HBM 通過矽中介層將儲存“貼在處理器旁”，延遲和功耗量級完全不同，而且介面協議基於寬位、低速而非窄位、高速。 -
誤讀2：“HBM 容量那麼大，視訊記憶體夠用就好，不需要重視”
糾偏：容量固然重要，但核心是頻寬，並非單純擴大 VRAM。AI 訓練的效能瓶頸在於資料搬運效率，即使容量充裕，頻寬不足也會讓 GPU 空等。HBM 的 TB/s 級頻寬直接決定了模型可用的實際 batch size 和專家路由延遲。同時，HBM 的 ECC 和可靠性與傳統視訊記憶體也有差異，需要單獨評估。 -
誤讀3：“HBM 未來會被 CXL 記憶體池取代”
糾偏：CXL 解決的是跨伺服器記憶體擴充套件和共享，而 HBM 是處理器近端加速，二者不是替代關係。即使 CXL 解決頻寬問題，其微秒級延遲相對於 HBM 的納秒級仍差約 1~1.5 個數量級，無法滿足 GPU 核心的即時存取需求。
學習路徑
- 打基礎：先理解 DRAM 基本工作原理(行/列定址、重新整理、Bank)，然後閱讀 JEDEC 釋出的 HBM 標準(JESD235 系列)的前幾章，建立位寬、通道、Bank Group 等概念。
- 讀經典論文：2014 年 AMD & SK 海力士《A 1.2V 1.6Gb/s 94mW 4Gb HBM DRAM》，理解第一代 HBM 的設計權衡。
- 深入封裝：學習 2.5D/3D 封裝技術，尤其 TSV 製造和矽中介層，查閱台積電 CoWoS 技術介紹和 ASE VIPack 相關白皮書。
- 效能建模：使用人工智慧分析器(NVIDIA Nsight Compute)觀察實際負載下的 DRAM 頻寬佔用、佇列延遲，結合 Roofline 模型體會頻寬瓶頸。
- 追蹤產業鏈：關注儲存器原廠（SK 海力士/三星/美光）每季度財報電話會、技術論壇(VLSI, ISSCC)關於 HBM 的最新論文，以及台積電先進封裝供應的公開宣告。
- 前瞻研究：調查存內計算(PIM)、近存計算(PNM)對 HBM 邏輯 Die 的改造趨勢，探索 HBM4 及以後的智慧儲存器方向。
一句話總結
HBM 不是簡單的記憶體升級，它是通過三維整合重構計算儲存層級、以“資料就近平行灌溉”方式撐起萬億引數模型訓練的物理基石，是 AI 時代半導體價值鏈條中最緊俏的戰略資源。
延伸閱讀與來源
- 標準文件：JEDEC JESD235 (HBM) 系列標準 (HBM2, HBM3 規範)
- 技術論文：ISSCC/VLSI Symposium 歷年 HBM 論文，如 SK 海力士、三星公開的 HBM3/HBM3E 架構詳解
- 產業報告：Yole Intelligence《Memory Packaging 2024》, TrendForce HBM 市場份額季度追蹤
- 關鍵公司官網：SK 海力士 HBM 技術頁面、三星半導體 HBM-PIM 介紹、美光 HBM3E 產品簡介、台積電 CoWoS 技術說明
- 分析師展望：輝達 GTC 材料中有關 HBM 配置的部分；主要投資銀行關於儲存行業的深度報告
- 線上課程：“異構整合與先進封裝” EDX/ Coursera 相關課程(普渡大學、ASU)；“計算機體系結構——記憶體層次”部分(Onur Mutlu 的數字設計課程)
注：所有具體數字均來自行業公開標準或廠商公開技術簡報，未充分揭露部分已標註估算；涉及廠商歸屬資訊依據公開報道和供應鏈調研，不作主觀臆斷。