HBM 堆栈
3 秒看懂
HBM Stack（高带宽内存堆栈）是一种三维封装的内存技术，将 8 层或 12 层 DRAM 芯片像楼房一样垂直堆叠，通过硅通孔（TSV）上下贯通，再与底部的逻辑控制芯片整体封装成一个完整模块。它安装在与 GPU 或 AI 加速芯片共用的硅中介层上，物理距离仅有微米级，能以 1024 位的极端宽总线提供每秒接近甚至超过 1 TB 的数据传输量，同时每比特能耗远低于传统 DDR 或 GDDR 内存。这在 AI 大模型训练和高性能计算（HPC）中，意味着数百 GB 的模型参数可以全部驻留在紧贴计算核心的“贴身内存”里，无需频繁跨卡搬运数据。
3 分钟产业解释
HBM Stack 与普通内存条的底层逻辑完全不同。传统内存控制器和数据通路位于主板、插槽和 PCB 走线上，受限于连接器引脚数量和信号完整性问题，单条位宽通常只有 64 位（DDR）或 32 位（GDDR）。HBM 则将内存与处理器紧紧耦合在一起：4 层、8 层或 12 层经过极薄研磨的 DRAM 核心 die（每片厚度通常小于 50μm）垂直堆叠，层与层之间通过成千上万个 TSV 实现电气导通；最下方是一片逻辑 die，负责向处理器侧输出物理层接口、管理测试和修复逻辑。整个堆栈通过微凸点连接至硅中介层或嵌入式桥接片，而中介层的另一端就是 GPU 或 AI ASIC 的计算 die。
这种“短距、宽总线、三维堆叠”的架构，使 IO 端口位宽一举提升至 1024 位，是传统 DDR5 单通道的 16 倍，并行传输时能跑出 TB/s 级带宽。在 AI 训练集群里，一片加速卡通常搭载 4–8 个 HBM 堆栈，单卡总带宽横跨 3–8 TB/s，总容量达 96–288 GB。当前全球大规模量产的主力为 HBM3 和 HBM3E，单堆栈最大容量分别为 24 GB 和 36 GB，数据速率从 6 Gbps 向 9.6 Gbps 演进。因制造链条涵盖 DRAM 晶圆精加工、TSV 刻蚀与填充、晶圆减薄、多层堆叠键合以及先进封装中介层，任一环节良率控制不当都会拉低最终产品可用性，使 HBM 长期成为 AI 加速卡供货的关键瓶颈。
技术原理
HBM Stack 将传统内存模块中分散在 PCB 上的功能高度压缩到一个三维封装内。单个堆栈按通道划分为 8 个或 16 个完全独立的伪通道，每个通道拥有独立的命令、地址和数据总线，能同时处理不同的读写事务。物理层基于源同步的 DDR 方式传输，但并行数据线数量远超传统架构。
以 HBM3/HBM3E 为例，逻辑 die 与处理器之间通过中介层实现大量等长布线，所承载的信号包括若干高速差分对用于时钟/命令/地址，以及 1024 位以上的单端 DQ 数据线。HBM3 的数据速率约 6.0–6.4 Gbps/pin，位宽 × 速率换算后单堆栈原始带宽可达 800 GB/s 以上；HBM3E 提速至约 8.0–9.6 Gbps/pin 区间（各供应商口径略有差异），单堆栈带宽朝 1.0–1.2 TB/s 上升。
内部读写流程（简化）：
- 写入：GPU 侧的 HBM 控制器将访存请求打包，经宽总线并发传送至逻辑 die 的指定通道；逻辑 die 内的控制电路将其译为 DRAM 的行激活、列读写命令，在对应的 Core Die 上执行电荷存储。
- 读取：逻辑 die 从 Core Die 取出数据，经 TSV 回传至 PHY 层，再通过中介层返回 GPU。
- 多通道同时服务不同事务，硬件调度粒度大幅细于传统内存模组，因此在带宽接近 TB/s 的情况下仍可将平均访问延迟控制在合理范围。
物理实现的三大核心挑战：
- TSV 与机械完整性：垂直导电孔穿过被减薄至微米级的 DRAM 芯片，热膨胀系数差异易产生机械应力，影响可靠性；堆叠层数和高度提升也使质量筛分难度非线性增长。
- 信号与电源完整性：超宽并行总线在每 pin 数 Gbps 速率下，中介层布线需严格等长、串扰受控；同时 1024 位同步翻转带来的瞬态电流噪声需要在 die 上布设密集的去耦电容和智能电源网络。
- 散热‑厚度博弈：增大层数可增容量，但堆栈 z 高度增加使上层 die 散热路径变长，尤其在服务器液冷场景对器件高度有硬约束，必须在层数和总厚度间寻求平衡。
关键参数
| 参数 | 典型取值 / 代际演进 | 说明与来源 |
|---|---|---|
| 堆栈层数 | HBM2E：8 层；HBM3：可选 8/12 层；HBM3E：8 层（24 GB）/ 12 层（36 GB）；HBM4（预计 2025–2026）：12 层起步，文献提及 16 层探索 | 各厂商产品说明（SK 海力士 2024 新闻稿、三星 2024 技术日公开数据）；层数越高，TSV 总数和堆叠良率压力越大 |
| 每层 DRAM 容量 | HBM3：约 2 GB/层（12 层 → 24 GB）；HBM3E：约 3 GB/层（12 层 → 36 GB） | 容量口径为 die 标称值；实际可用容量受 ECC 和修复机制影响，各家略有差异 |
| 接口位宽 | 1024 位/堆栈（HBM2/HBM3/HBM3E 一致） | JEDEC JESD235 系列标准；HBM4 拟扩展至 2048 位（据 TrendForce 2024 行业报告推测），公开资料尚未正式确认 |
| 单 pin 数据速率 | HBM3：6.0–6.4 Gbps；HBM3E：约 8.0–9.6 Gbps（各供应商略有不同）；HBM4：预期突破 10 Gbps | 速率数据取自供应商产品发布和行业研究机构测算；HBM4 为预测值 |
| 单堆栈带宽 | HBM3：≥819 GB/s（8 层 6.4 Gbps 规格）；HBM3E：约 1.0–1.2 TB/s；HBM4：参考目标 >1.5 TB/s | 计算公式：位宽 × 数据速率 / 8；最终可用带宽因 ECC 开销降低约 5%–8% |
| 功耗效率 | HBM2E 约 7 pJ/bit，HBM3/HBM3E 进一步优化至 4–6 pJ/bit 区间 | 行业公开论文和厂商自述；实际功耗效率与散热设计、工作速率强相关 |
| ECC 与修复 | 片上 ECC、透明行修复、TSV 冗余电路（典型冗余 TSV 占比约 5%–8%） | 各厂商可靠性白皮书；具体冗余策略属工艺机密，公开资料未见完整数据 |
| 封装相容性 | 需硅中介层或嵌入式桥接（如台积电 CoWoS-S/R/L、英特尔 EMIB、三星 I‑Cube） | 台积电技术研讨会 2023–2024 公开资料 |
注：HBM3E 速率因厂商迭代和特定 GPU 集成版本出现细微差异，以上为行业惯用区间值。
技术路线
| 内存类型 | 典型位宽 | 单信道/单接口带宽（典型值） | 功耗效率（pJ/bit 量级） | 面积效率 | 是否可以独立部署 | 主要应用场景 |
|---|---|---|---|---|---|---|
| HBM Stack（HBM3/3E/4） | 1024，预期扩展到 2048 | 数百 GB/s～1.2 TB/s | 约 4–7（数值越低越优） | 极高 | 否，必须与主芯片合封 | AI 训练 GPU/ASIC、HPC |
| GDDR6/6X/7 | 32–64 | 数十～约百 GB/s/芯片 | 约 10–15 | 中 | 是 | 消费级 GPU、推理卡、游戏主机 |
| DDR5（服务器 RDIMM） | 64 | 单通道理论 < 50 GB/s | >15 | 低 | 是 | CPU 通用服务器、内存密集负载 |
| LPDDR5X | 32 | 数十 GB/s | 约 10–14 | 中 | 是（PoP 或板贴） | 移动端推理、边缘计算 |
| CXL 内存扩展 | 基于 PCIe/CXL 协议 | 理论 < 100 GB/s（PCIe 5.0 x16 下约 64 GB/s） | 高（含协议开销） | 低 | 是 | 内存池化、容量弹性扩展 |
HBM 的压倒性优势在于单位面积带宽和极致能效：同一卡面积下，带宽可达 GDDR 方案的 5–10 倍以上，每比特能耗仅为三分之一到一半。但其代价是成本极高（约为同等容量 DDR5 的 3–5 倍，Yole 2024 年行业研报估算）、不可事后增减容量，且必须绑定先进封装。在 AI 训练领域尚无直接替代品；在推理领域，GDDR 和 LPDDR 仍分别凭借单芯片低成本、低功耗占据一定份额。
上游
DRAM 晶圆制造与堆叠整合
- SK 海力士：HBM3 先发者，2023–2024 期间 HBM3E 占据主要 AI GPU 订单份额。拥有覆盖 DRAM 全制程到 TSV、堆叠键合的一体化产线，2024 年公告在韩国清州和美国印第安纳扩大先进封装产能（来源：SK 海力士 2024 年投资者报告）。
- 三星电子：HBM3 和 HBM3E 同代供货，以自家晶圆代工及先进封装（I‑Cube）提供“内存+封装”一站式方案。2024 年宣布计划在韩国天安增建 HBM 专用封装线（来源：三星半导体 2024 年新闻通稿）。
- 美光科技：跳过 HBM3，直攻 HBM3E 配合 1-β DRAM 工艺，2024 年进入客户验证批量供货阶段。封装端借助其在新加坡及台湾地区的先进封装线（来源：美光 2024 财年报告及分析师日活动）。
中介层与先进封装平台
- 台积电：CoWoS-S/R/L 系列几乎承接全球主要 AI GPU 的 HBM 集成封装，是目前最紧缺的环节。2023–2025 多次宣布大幅扩充 CoWoS 产能，2024 年月产能估算约 3 万片晶圆当量（来源：台积电法人说明会 2023–2024）。
- 英特尔：通过 EMIB（嵌入式多芯片互连桥）为 Gaudi 系列等提供合封能力，亦向外部客户提供先进封装代工（来源：Intel IFS 2024 技术简报）。
- 三星代工：I‑Cube/X‑Cube 平台具备硅中介层至无中介层方案，2024 年起积极争取外部客户（来源：三星代工 2024 论坛资料）。
关键设备与材料
- TSV 刻蚀/沉积设备：应用材料、泛林集团（Lam Research）；深孔铜填充用 PVD/CVD 设备由头部半导体设备商主导（公开资料未见单一供应商份额）。
- 临时键合/解键合材料与设备：Brewer Science、3M、TEL、EVG 等；热界面材料和底部填充胶主要由日本、美国化学材料企业经营（如长濑产业、信越化学、Henkel），完整份额数据在公开渠道未见。
- 微凸点制备：电镀及焊球工艺涉及千住金属、安美特等精细化学品及设备商。
下游
AI 及 HPC 加速器
- NVIDIA：A100（HBM2E）、H100（HBM3）、H200（HBM3E）、B200（HBM3E）系列均搭载 4–8 个堆栈，单卡总带宽从 2 TB/s 逐步递增至 8 TB/s 级。2024 年 B200 正式引入 8 个 8 层 HBM3E 堆栈，总容量达 192 GB（来源：NVIDIA GTC 2024）。
- AMD：Instinct MI250X 采用 HBM2E，MI300X 升级至 8 个 HBM3 堆栈共计 192 GB 容量，带宽超 5.3 TB/s（来源：AMD 2023–2024 产品发布）。
- Intel：Gaudi 2 使用 HBM2E，Gaudi 3 升级至 HBM3E；GPU Max（Ponte Vecchio）采用 HBM2E 多堆栈方案（来源：Intel Data Center 产品页 2024）。
- 自研 ASIC 厂商：Google TPU v5p 系列普遍使用 HBM2E/HBM3 级别内存（基于公开技术论文推断，未披露具体堆栈数量）；亚马逊 Trainium 2、微软 Maia 等自研训练/推理芯片亦宣布或传闻采用 HBM（各厂商发布通稿 2023–2024）。
数据中心与超算
- 截至 2024 年，全球 TOP500 排名前列的超级计算机中有相当比例采用搭载 HBM 的加速卡，AI 训练集群更是将其视作标配。
- CSP（云服务厂商）大规模训练集群的招标和硬件选型文件显示，HBM 容量和带宽是加速卡选型关键指标（来源：各厂商资本支出电话会、产业调研）。
受益公司
- SK 海力士：作为 HBM3/3E 阶段最主要供应商，直接受益于 AI GPU 出货量扩张。2024 年第一季度 DRAM 业务中 HBM 收入占比估算已达双位数（来源：SK 海力士 2024 Q1 财报电话会议）。正在大规模投资扩大 HBM 封装产能，资本开支增长显著。
- 三星电子：在 HBM 领域加速追赶，2024 年公告 HBM3E 12 层版本进展，欲以“内存+代工+封装”组合优势争取更多 GPU 平台认证和份额（来源：三星电子 2024 Q2 财报新闻稿）。
- 美光科技：以 HBM3E 切入主流赛道，产能处于爬坡阶段，2024 年陆续获得多家客户认证。HBM 等高附加值产品拉升其 ASP 和毛利率（来源：美光 2024 财年 Q3 报告及展望）。
- 台积电：先进封装业务营收近年来高速增长，CoWoS 产能紧缺推高其议价能力和客户粘性，是 HBM 产业链中“卖铲人”角色。封测子公司及生态伙伴（如日月光投控、Amkor 等）同步受益于外包封装需求外溢（来源：台积电 2024 法说会）。
- IP 与 EDA 厂商：Rambus 和 Synopsys、Cadence 提供 HBM 控制器和 PHY IP，受益于自研 AI 芯片客户对 HBM 接口授权需求井喷。Rambus 2023–2024 HBM 相关 IP 收入同比增长显著（来源：Rambus 2024 年季度财报）。
- 设备与材料群体：上述上游所列关键设备和材料供应商因 HBM 产能扩建持续受益，产业链资本开支具高度相关性（公开资料未见各标的与 HBM 单品的直接收入拆分）。
市场规模
根据 TrendForce 2024 年存储产业季度报告估算，2023 年全球 HBM 市场规模约 44 亿美元（DRAM 整体约 500 亿美元），预计 2024 年因 AI 训练需求爆发将增至约 120–140 亿美元（口径：出货金额，含各代际 HBM2E/HBM3/HBM3E）；HBM 在 DRAM 市场金额占比将从 2023 年不足 10% 跃升至 2024 年的 20% 以上。
Yole Group 2024 年先进封装行业报告中指出，HBM 相关封装及中介层市场 2024 年规模约 65 亿美元，2028 年有望超过 200 亿美元（口径：含 TSV 堆叠和中介层工艺的封装服务收入）。这些预测均基于 AI 加速卡出货持续增长、训练集群规模不断扩大的假设。
必须指出，上述机构数据通常为付费报告摘要或估算区间，非精确统计值；且各机构覆盖口径（是否包含中介层、是否计入自用部分）存在差异。公开资料未见官方权威的全球精确出货量统计。产能方面，2024 年 SK 海力士和三星 HBM 产能较 2023 年提升约 2–3 倍（来源：两公司 2024 年投资者报告），2025 年产能规划继续大幅增长。
玩家对比
当前 HBM 市场竞争呈“一超两强”局面：
| 维度 | SK 海力士 | 三星电子 | 美光科技 |
|---|---|---|---|
| 主力出货代际（2024） | HBM3E（8 层和 12 层） | HBM3、HBM3E（8 层为主） | HBM3E（8 层） |
| 2024 年预估出货份额 | 约 50%–55%（行业估算，TrendForce 2024） | 约 35%–40% | 约 5%–10% |
| 量产进度 | 最早量产出货 HBM3E，锁定主要 AI GPU 平台 | 2024 年内 HBM3E 多产品线起步，12 层处于客户验证 | 跳过 HBM3，HBM3E 2024 逐步放量 |
| 先进封装协同 | 依赖外部台积电 CoWoS 等，同时自建 TSV 和堆叠线 | 三星代工 I‑Cube 可内部完成“内存+封装”全链条 | 依赖外部封装厂，同时在新加坡和台湾建设自有先进封装能力 |
| 技术路线差异 | 先进 MR-MUF（Mass Reflow‑Molded Underfill）键合工艺 | TC-NCF（Thermal Compression Non‑Conductive Film）方案 | 引入混合键合（Hybrid Bonding）研发，2024 发布相关技术论文 |
竞争关键变量：各代际验证速度、先进封装产能绑定程度、与 AI GPU 平台协同认证周期。由于 HBM 在 AI 加速卡中的认证周期长达 6–12 个月，率先通过认证者通常能锁定一年以上的供货份额。
风险
- 技术良率与爬坡风险：12 层乃至未来 16 层堆叠良率爬坡存在不确定性，单一批次 TSV 失效可能导致整栈报废，产能扩张进度易因良率问题延迟。
- 封装产能瓶颈：CoWoS 等先进封装扩产周期长达 1.5–2 年，若封装产能扩张不及 HBM 产出增幅，可能形成新的卡点。
- 替代路径竞争：GDDR7、LPDDR6 等带宽持续提升，小模型推理和部分定制边缘训练芯片存在切换可能；CXL 等内存池化技术在特定大数据场景下对容量扩展有补充效应，但短期内无法替代近存高带宽方案。
- 地缘政治与供应链：AI 芯片出口管制升级，可能改变内存与封装产能的地域分布格局，影响各供应商的终端客户可达性。扩产集中在特定地区还可能受贸易政策波动冲击。
- 技术迭代风险：HBM4 预计 2025–2026 年推出，若某家厂商在下一代竞争中失利，固化格局可能被打破。
误读纠偏
-
误区 1：“HBM 就是几层 DRAM 芯片粘在一起，和普通内存条本质一样。” 纠偏：普通内存条通过 PCB 走线连接到内存插槽，IO 总线受限于连接器引脚和板级信号完整性，位宽仅 64 位左右。HBM 利用 TSV 实现芯片级垂直互连，位宽拓展至 1024 位，物理距离压缩到微米级，功耗和延迟均大幅优化，属于系统级架构变革，不是简单的物理堆叠。
-
误区 2：“增加堆栈层数就能线性提升容量和带宽。” 纠偏：层数增加带来堆栈高度攀升和散热恶化，TSV 制造良率亦可能指数式下滑。同时逻辑 die 驱动更多通道将抬高 IO 功耗，单位性能增益递减。每一代 HBM 都在层数、每层容量、数据速率和热管理方案之间折中平衡，并非简单累加。
-
误区 3：“HBM 容量比 GDDR 大得多。” 纠偏：单个堆栈容量 24 GB 或 36 GB，低于高端 GDDR 显卡的总显存（例如 RTX 4090 为 24 GB GDDR6X，RTX 6000 Ada 为 48 GB）。但 HBM 可将 4–8 个堆栈集成于一张加速卡，总容量可达 96–288 GB，远超过单 GPU 搭配 GDDR 方案所能获得的容量上限。容量优势来自多堆栈并行集成，而非单堆栈本身的绝对容量。
-
误区 4：“HBM 的出现意味着 GDDR 和 DDR 将被完全淘汰。” 纠偏：不同内存类型服务于不同场景。GDDR 和 LPDDR 在消费级 GPU、移动端和边缘推理领域因成本和灵活性优势仍有广阔空间；DDR5 在大容量服务器和通用计算场景不可替代。HBM 聚焦于带宽密度要求最高的 AI 训练和超算应用，多种内存将长期并存。
最新事件
- 2025 年初（公开信息截至 2025 年初）：SK 海力士宣布 12 层 HBM3E 已通过某头部客户认证，进入批量供货阶段，36 GB/堆栈版本将率先应用于下一代 AI 训练加速器（来源：SK 海力士 2024 年末新闻稿）。
- 2024 年 Q4：三星电子发布 12 层 HBM3E 样品，数据速率达 9.6 Gbps/pin，预计 2025 年上半年进入量产（来源：三星半导体 2024 年技术日）。
- 2024 年 Q3：美光科技公告 HBM3E 已导入多家客户，8 层 24 GB 版本实现规模收入，并计划于 2025 年推出 12 层版本（来源：美光 2024 财年 Q4 报告）。
- 2024 年 Q3：台积电表示 CoWoS 先进封装产能在 2024 年月产能较 2023 年同期提升超过一倍，计划 2025 年继续倍增，其中 HBM 集成封装为主要驱动力（来源：台积电 2024 Q3 法说会）。
- HBM4 进展：JEDEC 初步确定 HBM4 规范框架，接口位宽有望扩展至 2048 位，并探索逻辑 die 与计算 die 的更紧密集成方案。各主要内存厂商均已宣布 HBM4 开发计划，目标量产时间普遍指向 2025 年末至 2026 年中（来源：JEDEC 公告、行业分析报道）。
跟踪指标
| 指标 | 频率 | 获取方式 | 说明 |
|---|---|---|---|
| HBM 供应商出货量/份额 | 季度 | 各内存厂商财报、TrendForce 季度报告 | 关注 HBM 营收占比、各代际出货比例变化 |
| 先进封装产能利用率与扩张计划 | 季度 | 台积电法说会、英特尔/Samsung 投资者报告 | CoWoS/EMIB/I‑Cube 产能爬坡进度直接影响 HBM 供需平衡 |
| HBM 代际切换节点 | 半年/年度 | JEDEC 标准发布、NVIDIA/AMD/Intel 新品发布会 | HBM3→HBM3E→HBM4 切换将重塑各供应商份额 |
| AI 加速卡出货量 | 季度 | 英伟达、AMD 财报；IDC/TrendForce 服务器报告 | 直接拉动 HBM 需求 |
| CapEx 及扩产公告 | 不定期 | 内存厂商及封装厂官方新闻 | 衡量未来 1–2 年供给增量 |
| TSV/堆叠良率指引 | 季度/不定期 | 厂商财报问答环节 | 良率改善是供给释放的领先信号 |
| HBM 价格趋势 | 季度 | 业内调查和报价平台 | 供需关系的最直观指标（公开免费数据有限，多数需专业订阅） |
信源
- JEDEC 标准文档 JESD235 系列（HBM, HBM2, HBM2E, HBM3）——行业标准规范。
- SK 海力士 2024 年投资者报告及新闻稿，https://news.skhynix.com 。
- 三星半导体技术日 2024 年公开演示材料，https://semiconductor.samsung.com 。
- 美光科技 2024 财年年报及季度财务报告，https://www.micron.com/about/investors 。
- 台积电 2023–2024 年季度法说会纪要，https://investor.tsmc.com 。
- NVIDIA GTC 2024 主题演讲及白皮书，https://www.nvidia.com/gtc 。
- AMD 2023–2024 年 Instinct 产品发布技术博客，https://www.amd.com 。
- Intel Data Center 产品线 2024 年公开文档，https://www.intel.com/datacenter 。
- TrendForce 2024 年存储产业季度追踪报告，https://www.trendforce.com 。
- Yole Group 2024 年先进封装行业研究报告，https://www.yolegroup.com 。
- IEEE IEDM、VLSI Technology 相关论文（检索关键词：TSV reliability, HBM packaging, hybrid bonding）。
- Rambus 2024 年季度财报与投资者演示材料，https://investor.rambus.com 。
- Synopsys/Cadence 2024 年 IP 产品线公开数据手册。
注：部分数据来源为付费研报摘要，免费渠道可获取的信息以摘要和行业分析为主，完整数据建议订阅原始报告。所有财务数据和份额数据均尽可能标示原始发布方和年份。