高带宽存储

3 秒看懂

高带宽存储(HBM)是一种通过3D堆叠 + 硅中介层实现超高位宽、超低功耗的 DRAM 解决方案。它不是一颗“内存颗粒”，而是一个由多层 DRAM 芯片垂直堆叠、与 GPU/加速器封装在一起的集成体。简单理解：把传统的“并排平房”改成“摩天大楼”，再用一条极宽的“通道”(1024-bit 总线)直接连入处理器，让数据搬运速度进入TB/s 级，同时大幅降低每 bit 功耗。HBM 就是 AI 大模型训练的“数据高速路”。

3 分钟产业解释

解决带宽墙(Bandwidth Wall)的核心武器。传统 DDR/GDDR 受制于 PCB 布线、引脚数和功耗，位宽大多停留在 32~384 bit，而 HBM 借助硅中介层(Interposer)和微凸块(μBump)将超 1000 条并行线直接接到处理器的同一封装基板上，使得单堆栈(Stack)带宽轻松达到 256 GB/s 起步，最新一代已突破 1 TB/s。这恰好匹配了深度学习训练中参数同步、激活值广播所需的巨大数据吞吐。

代际正在加速迭代。从 2015 年第一代 HBM1 到 2025 年即将量产的 HBM4，每隔约两年就翻一倍带宽，SK 海力士、三星、美光三家近乎寡头垄断。因为 HBM 集成在 CoWoS 等先进封装里，所以得 HBM 者得 AI 芯片：一颗英伟达 H100 用了 5 颗 HBM3(80 GB)，B200 更捆绑 8 颗 HBM3E(192 GB)，卡间互联又催生 HBM 需求量指数级增长。可以说，HBM 的供给和迭代速度直接制约全球 AI 算力扩张节奏。

15 分钟专家深入

架构本质：将传统 DDR 的并行多通道扁平布局“折叠”成立方体。逻辑 Die(L-Base)在最底部负责与 SoC 通信和刷新管理，往上堆叠 4~12 层 Core Die(DRAM 存储单元)，层间通过硅通孔(TSV)垂直互联，所有层共享同一组 1024-bit 数据总线。一个完整 HBM Stack 通常含 2、4、8、12 Hi(层)，再按系统需求排列 4、6、8 个 Stack 环绕在 GPU/ASIC 周围。

通信与能效：位宽极大化使得时钟频率不必拉得太高，典型命令/地址总线仅需 1~2 GHz 基频，但每 pin 数据率可从 1 Gbps 演进到 9.6+ Gbps(PAM4 信号)，结合 1024 bit 宽度实现高总带宽。低电压摆幅与极短互连让 pJ/bit 能耗大幅优于 GDDR，对 TDP 紧张的 AI 加速器至关重要。

软件视角：HBM 对程序透明，依然是统一虚拟内存寻址的一部分。但高性能计算框架会针对性优化数据布局，避免跨 Stack 访问带来的延迟不均匀性(NUMA 效应)，并充分榨取通道并行度。

HBM 与 GPU 的紧密耦合使得显存带宽不再是瓶颈，这直接推动了大 batch size 训练和 MoE 模型(大量专家路由需要低延迟高带宽存取)的可行性。

技术原理（最深）

以 4Gb/core die × 8 Hi Stack 为例，解剖单 Stack 内部机制：

            ┌─────────────────────────────┐
            │ Core Die #7    ( DRAM array) │
            │  TSV ──────────┐            │
            │               ↓            │
            │ Core Die #6                 │
            │   ...                       │
            │ Core Die #1                 │
            │   ──────────  TSV 阵列      │
            │               ↓            │
            │  Base Die (Logic)           │
            │  ┌───┐  ┌───┐  ┌───┐       │
            │  │PHY│  │I/O│  │DFI│       │── external bus (1024-bit) ──► GPU/Interposer
            └──┴───┴──┴───┴──┴───┴───────┘

• Base Die(逻辑层)：内置 DFT(可测性设计)、自刷新逻辑、温度传感器，并通过 PHY 完成与外部总线(LPDRAM-like 协议)的速率转换。该层将外部 1024 位数据通道切分为 8/16 个独立通道(Channel)，每个通道可独立访问不同 Bank Group，实现极高并发。
• TSV(Through-Silicon Via)：贯穿 Core Die 的垂直铜柱，单 Stack 内可集成数千根，承担数据、命令和电源。TSV 良率和热机械应力是目前堆叠 12、16 层的主要工艺挑战。
• 数据路径：外部 1024-bit 宽总线运行在半速率双倍数据速率(类似 DDR)或 PAM4(自 HBM3 起可选)，频率温和但位宽巨量。以 HBM3 为例，每引脚速率 6.4 Gbps，单 Stack 带宽 = 6.4G×1024 /8 = 819.2 GB/s (实际有效带宽因协议开销略低，约 80%)。采用 8 个 Stack 配置，总带宽可达 6.5 TB/s 以上。
• 容量组织：每个 Core Die 通常 2/4/8 Gb，层数决定总容量。HBM3E 采用 24 Gb die × 8 Hi 可得 24 GB，HBM4 会用 32 Gb die, 16 Hi 向 64 GB 冲击。位宽 1024-bit 固定不动摇，升级靠 pin 速率和层数。

垂直电源配送：大量 TSV 除了信号，还需输送 VDD/VSS。电源完整性要求微凸块阻抗极低，并且 Base Die 内集成大量去耦电容来抑制堆叠结构的同步开关噪声。

技术演进史

• 2008-2013 原型期：AMD 与 SK 海力士提出 HBM 概念，目标是取代 GDDR5，克服“功耗墙”。HMC(混合内存立方体)同步探索，后来淡出。
• 2015 HBM1：首代产品，4 Hi, 1 GB/Stack，1 Gbps/pin，总带宽 128 GB/s。用于 AMD Fiji GPU。技术验证意义重大。
• 2016 HBM2 (JESD235B)：提升至 8 Hi, 2 Gbps/pin，带宽 256 GB/s，成为行业标杆。英伟达 Tesla P100、V100 率先使用。
• 2018 HBM2E (JESD235C)：3.2 Gbps/pin，4/8 Hi，单 Stack 容量达 16 GB，带宽 410~460 GB/s。大规模应用于 A100。
• 2022 HBM3 (JESD235D)：6.4 Gbps/pin，12 Hi，引入 PAM4 可选模式，单 Stack 带宽 819 GB/s，容量 24 GB。H100 首发。
• 2023-2024 HBM3E（扩展版）：9.6 Gbps/pin, 12 Hi, 容量 36 GB，单 Stack 带宽超 1 TB/s。B200/GH200 等主力。
• 2025+ HBM4：计划 16 Hi，单 Stack 容量 48~64 GB，带宽 1.5 TB/s+，逻辑层更复杂(可能集成部分计算)。由 SK 海力士、三星、美光竞相开发。

演进主线：更高层数、更高速率、更大容量、逻辑层功能扩展。先进封装(CoWoS-S/L/R)的配套进化与 HBM 迭代几乎同步。

技术路线对比（量化表）

数据来源：JEDEC 公开标准及主要原厂技术简报，部分为供应链估算[注]
GPUF 实际带宽效率约 80~90%

上下游

上游：

• 硅晶圆与 TSV 工艺：高深宽比刻蚀、铜填充、微凸块制备，依赖前端晶圆代工(三星、台积电、SK 海力士自有厂)
• 先进封装技术与基板：CoWoS、EMIB 等 2.5D/3D 封装所需硅中介层、有机基板（日系供应商、台积电）
• 测试设备：可测性电路复杂，需要定制化 ATE 和老化(burn-in)设备

中游-HBM 设计制造：

• SK 海力士（绝对龙头，HBM3/3E 市占超 80%[行业估算]）
• 三星电子（追赶，HBM3E 已送样）
• 美光科技（跳过 HBM3 直攻 HBM3E，产能爬坡中）

下游：

• AI 加速器/GPU：英伟达(最大客户)、AMD、英特尔(Gaudi)、自研芯片厂商(Google TPU, AWS Trainium 等)
• 高性能计算/数据中心：所有需要超高显存带宽的服务器

上下游紧密捆绑：没有先进封装就没有 HBM 的出货，所以 CoWoS 产能等于 HBM 的变现出口。目前台积电 CoWoS 产能是比 HBM 产能更关键的瓶颈。

关键指标

• 每 pin 数据率(Gbps)：决定原始带宽基值
• 堆叠层数(Hi)：容量与带宽乘数，但堆叠越多热管理越难
• 总带宽(GB/s per Stack)：直接体现技术代次，AI 训练最低要求 2 TB/s 以上(多 Stack 总和)
• 能效(pJ/bit)：制约 GPU 整体 TDP，HBM 通常比 GDDR 低 60~70%
• 容量(GB per Stack)：大模型参数驻留能力，当前单 GPU 内存 96~192 GB 为主流
• 接口功耗与热阻：决定是否需要主动散热(某些安装需热界面材料+散热片)
• 良率与成本：HBM 芯片本身成本约为同容量 DDR5 的 10~20 倍[估算]，且封装良率对总成本影响极大

供需与市场数据

• 市场规模：据多家券商估算，2024 年 HBM 内存收入约 150~180 亿美元，占 DRAM 整体收入比重从 5% 急速上升到 20% 以上。
• 供给短缺：SK 海力士 2024 年 HBM 产能已售罄，2025 年扩产仍在追赶。三星和美光加入后，2025 年底供需有望缓解，但 HBM4 初期仍将紧缺。
• 价格：HBM3E 溢价相当于等容 DDR5 的 5~7 倍[行业数据]，这种溢价因性能刚需而维持。
• AI 需求拉动：大模型从千亿参数迈向万亿，训练单卡 HBM 需求翻倍增长(GPU 从 80GB 升至 192GB+)，推理侧需求同样攀升。
• 地缘制造集中度：目前 99% 以上 HBM 由韩系厂商生产，美光虽在美本土扩张仍份额微小。供应链安全成为各国关注的战略议题。

代表公司与资本映射

• SK 海力士 (000660.KS)：HBM 绝对领军，与英伟达深度绑定。资本开支大幅向 HBM 倾斜，其利川/清州工厂扩产决定直接影响全球 AI 芯片供给节奏。
• 三星电子 (005930.KS)：具备一体化优势(晶圆代工+DRAM+先进封装)，HBM3E 通过英伟达验证后有望放量，但良率爬坡进程是资本市场核心跟踪指标。
• 美光科技 (MU)：1β 工艺跳过 HBM3，直接量产 HBM3E，在功耗上有竞争力，2025 年产能目标是关键催化剂。
• 台积电 (TSM/2330.TW)：虽然不造 HBM，但其 CoWoS 产能是 HBM 消费的阀门，产能扩张速度与 HBM 出货强相关，亦属“HBM 概念”。
• 设备与材料：TSV 刻蚀设备(Lam Research, TEL)，微凸块电镀/键合设备(应用材料、ASMPT)，先进基板(Unimicron, Ibiden)等受益于 HBM 扩产。

资本映射逻辑：AI 算力的稀缺本质正从“GPU 缺”向“GPU 里的 HBM 缺”转移，HBM 原厂及相关设备成为算力投资范式的“新石油”。

投资逻辑

1. 量价齐升周期：HBM 的单 GPU 用量和单 GB 售价在 AI 军备竞赛中持续攀升，周期性弱于普通 DRAM，具备结构性成长。
2. 技术护城河深：TSV 堆叠+先进封装+散热设计综合壁垒极高，新进者几乎为零，现有三家寡头享受技术溢价。
3. 封装约束下的供给刚性：CoWoS 等产能扩张需 18 个月以上，短期无法快速响应需求爆发，导致 HBM 长期供不应求，价格坚挺。
4. 定制化趋势打开估值空间：未来 HBM 逻辑 Die 可能集成计算单元，向“存内计算”演进，HBM 不再是标准品，附加值更高。
5. 风险点：英伟达等客户可能转向 HBM 竞争方案(如 HBM-less 架构、片内内存增大)的传言；新一代 HBM 良率爬坡不及预期；地缘政治导致的供应链中段。

常见误读纠偏

• 误读1：“HBM 就是更快的 DDR 3D 版本”
  纠偏：HBM 不仅快在带宽，更改变了存储与计算的物理距离。传统 DRAM 是 PCB 走线，而 HBM 通过硅中介层将存储“贴在处理器旁”，延迟和功耗量级完全不同，而且接口协议基于宽位、低速而非窄位、高速。

• 误读2：“HBM 容量那么大，显存够用就好，不需要重视”
  纠偏：容量固然重要，但核心是带宽，并非单纯扩大 VRAM。AI 训练的性能瓶颈在于数据搬运效率，即使容量充裕，带宽不足也会让 GPU 空等。HBM 的 TB/s 级带宽直接决定了模型可用的实际 batch size 和专家路由延迟。同时，HBM 的 ECC 和可靠性与传统显存也有差异，需要单独评估。

• 误读3：“HBM 未来会被 CXL 内存池取代”
  纠偏：CXL 解决的是跨服务器内存扩展和共享，而 HBM 是处理器近端加速，二者不是替代关系。即使 CXL 解决带宽问题，其微秒级延迟相对于 HBM 的纳秒级仍差约 1~1.5 个数量级，无法满足 GPU 内核的即时存取需求。

学习路径

1. 打基础：先理解 DRAM 基本工作原理(行/列寻址、刷新、Bank)，然后阅读 JEDEC 发布的 HBM 标准(JESD235 系列)的前几章，建立位宽、通道、Bank Group 等概念。
2. 读经典论文：2014 年 AMD & SK 海力士《A 1.2V 1.6Gb/s 94mW 4Gb HBM DRAM》，理解第一代 HBM 的设计权衡。
3. 深入封装：学习 2.5D/3D 封装技术，尤其 TSV 制造和硅中介层，查阅台积电 CoWoS 技术介绍和 ASE VIPack 相关白皮书。
4. 性能建模：使用人工智能分析器(NVIDIA Nsight Compute)观察实际负载下的 DRAM 带宽占用、队列延迟，结合 Roofline 模型体会带宽瓶颈。
5. 跟踪产业链：关注存储器原厂（SK 海力士/三星/美光）每季度财报电话会、技术论坛(VLSI, ISSCC)关于 HBM 的最新论文，以及台积电先进封装供应的公开声明。
6. 前瞻研究：调查存内计算(PIM)、近存计算(PNM)对 HBM 逻辑 Die 的改造趋势，探索 HBM4 及以后的智能存储器方向。

一句话总结

HBM 不是简单的内存升级，它是通过三维集成重构计算存储层级、以“数据就近平行灌溉”方式撑起万亿参数模型训练的物理基石，是 AI 时代半导体价值链条中最紧俏的战略资源。

延伸阅读与来源

• 标准文档：JEDEC JESD235 (HBM) 系列标准 (HBM2, HBM3 规范)
• 技术论文：ISSCC/VLSI Symposium 历年 HBM 论文，如 SK 海力士、三星公开的 HBM3/HBM3E 架构详解
• 产业报告：Yole Intelligence《Memory Packaging 2024》, TrendForce HBM 市场份额季度追踪
• 关键公司官网：SK 海力士 HBM 技术页面、三星半导体 HBM-PIM 介绍、美光 HBM3E 产品简介、台积电 CoWoS 技术说明
• 分析师指引：英伟达 GTC 材料中有关 HBM 配置的部分；主要投资银行关于存储行业的深度报告
• 在线课程：“异构集成与先进封装” EDX/ Coursera 相关课程(普渡大学、ASU)；“计算机体系结构——内存层次”部分(Onur Mutlu 的数字设计课程)

注：所有具体数字均来自行业公开标准或厂商公开技术简报，未充分披露部分已标注估算；涉及厂商归属信息依据公开报道和供应链调研，不作主观臆断。