HBM 与 GPU 共封装

3 秒看懂

HBM 与 GPU 共封装是将高带宽内存堆栈与 GPU 芯片通过先进封装（典型方案为 2.5D 硅中介层）紧密集成在同一基板上，用极短、极宽的并行线路取代传统 PCB 走线。其直接效果是：在几乎不增加功耗的情况下，将 GPU 可用的显存带宽提升至传统分立方案（如 GDDR）的数倍，同时大幅缩减系统占用面积。当前这已是所有顶级 AI 训练/推理加速器的标准架构。

3 分钟产业解释

为什么需要共封装？

大模型训练和推理对显存带宽需求激增，而传统 GDDR 颗粒只能围绕 GPU 布置，受制于 PCB 布线密度和信号完整性，带宽提升进入瓶颈。HBM（高带宽存储器）本质是 3D 堆叠的 DRAM，底部逻辑 Die 负责与处理器互联，整栈通过数千根微凸块将数据通道垂直引出。将这样的 HBM 堆栈与 GPU 放置在硅中介层上，就能用微米级硅片内的细密金属线代替厘米级 PCB 走线，实现“超宽体”近存通信。

产业落地情况

• 头部 AI GPU 全面采用：NVIDIA 的 A100/H100/B200 系列、AMD 的 MI300 系列均基于此类共封装架构。
• 封装产能是核心瓶颈：台积电的基础 2.5D 封装产能（如 CoWoS）持续满载，成为限制 AI 芯片供给的关键节点。
• 供应链高度集中：HBM 由 SK 海力士、三星、美光三巨头供应；先进封装由台积电主导，三星、Intel 等竞相追赶；GPU 设计端由 NVIDIA 领跑。

一句话核心价值

以先进封装实现的 HBM-GPU 一体化，是当下突破“存储墙”、支撑千亿参数大模型训练的唯一量产路径。

15 分钟专家深入

从存储墙到近存计算

在传统异构系统中，GPU 计算需要的数据要从板载 DRAM 经 PCB 走线、内存控制器、PHY 等长链路搬运，这带来两大问题：

1. 带宽极限：GDDR 颗粒的位宽有限，提升颗粒数和频率有物理约束。
2. 功耗失控：长距离高速信号传输需要消耗大量能量，且需要复杂的信号完整性和散热设计。

HBM 与 GPU 共封装将内存物理位置拉至处理器芯片近旁，将互连长度缩短至极短（毫米级甚至微米级），等效于用极低的每比特每毫米能耗获取极高的带宽密度。这本质是 “近存计算” 在工程上的一次跃迁。

互连结构的决定性作用

不是简单地把两颗芯片“粘”在一起，而是通过以下多层技术组合实现：

• 硅中介层：提供高密度布线（通常为数次金属层），承载 GPU Die 与多颗 HBM 堆栈。
• 微凸块与 TSV：HBM 内部各层 DRAM 由硅通孔（TSV）贯穿，数据汇至底部逻辑 Die；逻辑 Die 再通过微凸块阵列连接到中介层，进而通往 GPU。
• 物理层接口：采用极低摆幅的并行信号，超大位宽（每个 HBM 堆栈可达上千个数据引脚）保证每引脚速率不必推到极致，从而兼顾带宽与功耗。

正因如此，共封装方案的总带宽目前可达 TB/s 级，且能效（每比特传输能耗）显著优于分立 GDDR 方案，是数据中心 GPU 实现“多卡 Scale-up”的关键。

产业关注的核心矛盾

• 良率与成本：中介层面积相当于 GPU + 多个 HBM 栈的总和，大尺寸硅中介层的良率直接决定封装成本。
• 热管理：HBM 与 GPU 紧密耦合，热源集中，对散热设计提出极高要求。
• 标准化与演进：HBM 自身遵循 JEDEC 标准不断迭代，但 GPU 与 HBM 的互连界面目前仍是专有设计，不同 GPU 厂商的封装方案互不通用，这决定了其高度绑定于具体产品的竞争格局。

技术原理（最深）

本段深入解析 HBM-GPU 共封装从存储单元到系统互连的工程机理，仅出现定性描述与公开概念，不标注未经验证的硬性规格。

1. HBM 堆栈内部结构

HBM 堆栈由若干个 DRAM 核心 Die 和一个底部逻辑 Die 垂直堆叠而成：

• 存储层：每层是传统的 DRAM 单元阵列，但设计上调整了行列结构以适配宽 I/O 输出。
• 硅通孔 (TSV)：垂直贯穿所有 DRAM Die，将各层的存储位线信号汇总至底部。
• 逻辑基座 Die：负责通道控制、PHY（物理层）、DFT/BIST 测试功能，对外提供宽并行接口，对内承担各层 DRAM 的调度与刷新。

2. 2.5D 硅中介层互连

        +----------------------------------------------------------------+
        |                      硅中介层 (Interposer)                     |
        |  微细金属布线层（通常为多层 RDL）                                 |
        |                                                                |
        |  +------------+   +------------+   +------------+              |
        |  |   GPU Die  |   |  HBM Stack |   |  HBM Stack |              |
        |  |            |   |  (DRAM+TSV)|   |  (DRAM+TSV)|              |
        |  +-----+------+   +-----+------+   +-----+------+              |
        |        |                |                                  |
        |        |    微凸块阵列  |                                  |
        +--------+----------------+----------------------------------+
              |                     |
             基板 (Package Substrate)

关键信号路径：GPU 发出的读写请求经片上内存控制器，驱动 PHY 并通过微凸块进入中介层金属线，抵达 HBM 逻辑 Die 的 PHY，再经内部逻辑分配到具体 DRAM 层的 Bank。数据回传路径对称。整个链路不使用传统的 PCB 长线，而是采用低延迟的片间并行总线，通常在封装内部使用无端接或简约端接技术以节省功耗。

3. 物理层与协议

• 通道结构：HBM 接口以“通道”为基本独立单元，每个堆栈内部有多个完全独立的通道（例如 HBM2/3 标准的典型设计是 8 或 16 个独立通道），每个通道又细分为多个伪通道，从而实现极高并行度的命令与数据流，减少排队冲突。
• 低摆幅并行信号：不同于 GDDR 通过提高每引脚数据速率来获取更高总带宽，HBM 与 GPU 互连采用极宽的并行位宽，将每引脚速率保持在适中水平，从而降低对信号完整性的苛刻要求。这大幅节省了高速 PHY 设计所带来的功耗开销。
• 电源网络：中介层底部或基板内集成多路电源平面，为 GPU 和 HBM 分别供电。HBM 工作电压通常比 GDDR 更低，且通过精细的电源管理可动态调整电压以降低待机功耗。

4. 面积与带宽的折衷

共封装优势的本质来源于所用物理介质的特征尺寸：中介层金属线的线宽/间距远小于 PCB 走线，允许在 GPU 边缘有限的周长内引出更多的数据线。然而这也意味着系统总带宽受限于：

• GPU 周边可布置的微凸块数量（与 GPU 芯片的边长及微凸块间距相关）
• 中介层金属层可扇出的线路容量
• HBM 堆栈自身的最大位宽封装能力

这些因素决定了最终 GPU 最多可集成的 HBM 堆栈数及每堆栈实际可实现带宽的上限，是产品定义中最关键的参数平衡点。

技术演进史

1. 前 HBM 时代：GDDR 分立布局

• GPU 周围排列多颗 GDDR 颗粒，各颗粒通过 PCB 走线直连。
• 随着带宽需求增长，颗粒数和 I/O 速率不断提升，但 PCB 布局、信号完整性和功耗矛盾日益尖锐。

2. HBM 诞生与早期共封装（约 2013‐2015）

• JEDEC 发布 HBM 标准，AMD 率先在其 GPU 中采用 HBM1 与硅中介层共封装（Fiji 架构）。
• 业界初次验证了 2.5D 硅中介层将 GPU 与 HBM 紧密结合的可行性，带宽相比同期 GDDR5 大幅跃升。

3. HBM2/HBM2E 规模化（2016‐2021）

• NVIDIA 将 HBM2 引入数据中心加速器（如 V100/P100），标志着 HBM 从高端图形卡进入 HPC/AI 主战场。
• 封装技术走向成熟，中介层面积持续增大，支持更多 HBM 堆栈（如 4 栈、6 栈）。
• 三星、海力士、美光竞争加速 HBM2E 的容量与带宽，成为 AI 训练卡的标配。

4. HBM3 与 HBM3E 时代（2022‐至今）

• HBM3 标准进一步提高每栈容量和通道数，并引入更高速度的 TSV 与接口。
• HBM3E 作为扩展版，在速率和能效上再进阶，成为 NVIDIA H200/B200 等最新产品的核心伙伴。
• 封装方案向更大中介层、更高凸块密度以及潜在的 3D 混合键合方向演进。

5. 未来趋势：3D 集成与存算融合

• 业界正在探索跳过硅中介层，直接通过 混合键合 将 HBM 堆栈垂直集成在 GPU 逻辑芯片上方，实现真正的 3D 近存集成，可进一步缩短互连距离。
• 同时，存内计算（PIM）技术出现，在 HBM 逻辑 Die 或 DRAM 层中加入计算单元，将部分简单操作卸载至内存端，HBM-GPU 共封装可为此提供理想的物理载体。

技术路线对比

下表以定性方式给出不同存储互连方案在 AI 加速器中的关键特性对比。（“+”表示此项更优或更高）

上下游

上游：材料与设备

• 硅中介层与封装基板：大尺寸硅晶圆、高精度微凸块制造（UBM/Cu Pillar）、TSV 刻蚀与填充设备、先进键合设备（热压键合、混合键合）。
• HBM 材料：超薄 DRAM 晶圆、高深宽比 TSV 介质、先进模塑底部填充材料。
• GPU 相关：先进逻辑制程晶圆（如 4nm 级 FinFET）、高密度封装所需的凸块下金属与焊料。

中游：设计、制造与封装

• HBM 设计与生产：存储 IDM（SK 海力士、三星、美光）负责 HBM 堆栈的全流程，从 DRAM 设计到 TSV 制造与堆叠组装。
• 先进封装服务：主要由晶圆代工厂（如台积电 CoWoS、InFO 系列等）或 OSAT 将 GPU 与 HBM 一完成 2.5D 集成。部分 GPU 大厂定制独有封装方案。
• GPU 设计公司：决定 HBM 控制器 IP、接口通道数、中介层拓扑与系统级电源/热管理，对外输出最终集成的加速卡或模组。

下游：系统集成与应用

• 服务器/集群组装：将模组集成到基板、安装液冷或风冷散热器，组装成 AI 服务器主板。
• 云与超算客户：超大规模云厂商、国家超算中心、AI 公司为最终用户，对共封装方案的带宽、容量和可靠性实施验证与调优。

关键指标

以下指标定义了 HBM-GPU 共封装方案的竞争力，所有数值仅以定性或趋势方式描述，未使用未公开的精确规格。

• 总带宽：所有 HBM 堆栈的合计数据吞吐量，以 TB/s 为单位，决定 GPU 处理大张量的上限。
• 容量：所有 HBM 堆栈的总容量，决定模型能否完全驻留在显存中。
• 封装互连能效 (pJ/bit)：从 GPU 到 HBM 的数据搬运能耗，直接影响 TCO 和卡热设计。
• 中介层面积与线密度：越大、线越细，能支持的 HBM 堆栈越多，但成本呈超线性增长。
• 凸块密度/间距：决定信号引脚数量，密度越高带宽潜力越大。
• HBM 堆栈高度与热阻：影响散热能力，往往是限制堆栈层数和功耗的物理墙。
• 可用通道数/堆栈：影响内存并发性和有效带宽利用率。
• 信号完整性 (eye-opening)：限制每引脚数据速率的上限，好的共封装设计能提供更优裕量。

供需与市场数据

（本部分因未检索到实时数据，仅作定性市场态势描述）

• 需求侧：大规模语言模型、多模态模型训练对高带宽显存的需求增速远超传统摩尔定律推动的带宽提升。头部客户（北美云厂商等）对 HBM-GPU 整机采购量激增，带动共封装器件需求成倍增长。
• 供给侧：
  • HBM 产能：集中在 SK 海力士、三星、美光，当前及下一年度产能已被主要 GPU 客户预订一空。
  • 先进封装产能：台积电 2.5D 先进封装产线利用率持续接近满负荷，扩产计划需提前数年规划并受土地、设备交期制约，成为整个 AI 芯片供给链中的最硬约束。
• 价格趋势：由于供需紧张，HBM 及先进封装代工价格有持续上调压力，最终影响 AI 加速卡的单价。
• 区域动态：各国对 HBM 技术与相关封装产能的战略重视度空前提升，部分国家展开自主可控投资，未来供给格局可能从高度集中向多元化微调。

代表公司与资本映射

关键角色（定性配置）

• HBM 供应三巨头：SK 海力士（市场份额领先）、三星电子（具备 HBM + 先进封装一体化能力）、美光科技（后起追赶）。它们直接受益于 HBM 的规格升级与量价齐升。
• 先进封装龙头：台积电占据 2.5D 封装最大市场份额，其 CoWoS 系列技术的产能释放直接关联 NVIDIA 等客户的出货量。三星、Intel 等也在推进等效方案（如 I-Cube、EMIB 等）。
• GPU/加速器设计厂商：NVIDIA 领跑数据中心 GPU，AMD 的 Instinct 系列及 Intel 的 Gaudi/Falcon Shores 等亦采用共封装 HBM。公司股价表现极度锚定 AI 算力需求的预期。
• 封装设备与材料：硅中介层、TSV、键合、临时键合/解键合设备商（如应用材料、KLA、Besi 等）从产能扩张中持续获益。

资本映射逻辑

• 产能扩张期，投资“卖铲人”思路：设备、材料、封测代工是确定性较高的受益环节。
• 产品迭代期，拥有领先 HBM 和封装技术协同的厂商可获更大溢价，例如能够在同一平台同时提供 HBM3E 和下一代封装的 IDM 或代工厂。
• 高关联性的供应链断点成为资本关注焦点：例如先进封装产能限制导致 GPU 交付延迟，映射出封装环节的战略价值，引发市场重新定价。

投资逻辑

1. 短中期看产能分配：谁能拿到更多的 HBM 和先进封装产能，谁就决定了 AI 芯片的出货量，需紧密跟踪代工厂和存储厂的资本支出指引与产能爬坡进度。
2. 长期看技术迭代与价格弹性：从 HBM2E 到 HBM3/HBM3E 再到未来 HBM4/3D 集成，每代技术升级都伴随着单价提升，存储与封装价值链会进一步扩大。重点关注同时布局 HBM 和封装的整合型巨头。
3. 地缘与供应链韧性：先进封装和 HBM 产能高度集中于东亚，地缘风险为其提供了溢价逻辑，本土替代投资有时会获得主题性加持。
4. 衍生应用渗透：除 GPU 外，AI 专用 ASIC、FPGA 也在逐步引入 HBM 共封装，若渗透率提升，将进一步拓宽市场天花板，创造新的封装和存储需求。
5. 成本与散热解决方案：高功耗密度的共封装模组带动高端散热（液冷、浸没式）和电源管理市场成长，可形成跨环节产业链研究线索。

常见误读纠偏

误读 1：HBM 与 GPU 共封装就是把 HBM 集成到了 GPU 芯片里面，二者在制造时就融为一体。
纠正：HBM 和 GPU 仍是物理上独立的芯片，分别采用完全不同的工艺（DRAM 工艺 vs 逻辑制程）。共封装是指它们通过硅中介层上的互连被封装在同一个封装基体内，类似于将多颗独立 IC 高密度组合，而非单芯片集成。因此二者的发展仍遵循各自的工艺路线图与产能节奏。

误读 2：HBM 共封装只适用于 GPU，其他计算芯片用不上。
纠正：虽然当前最显眼的用例是 AI GPU，但 HBM 共封装也同样可用于 FPGA、AI 定制 ASIC、高性能 CPU/DPU 等对带宽极度饥渴的计算器件。赛灵思、英特尔等公司都已有或规划带有 HBM 共封装的非 GPU 产品。该技术的本质是解决“高带宽存储近存计算”的通用工程难题，并不绑定于某类计算架构。

误读 3：共封装后内存带宽无限大，不再有瓶颈。
纠正：共封装解决了物理互连的部分带宽和功耗问题，但带宽仍受限于内存自身的时延特性、Bank 冲突、通道利用率等 DRAM 固有约束，以及 GPU 片上内存控制器和其调度策略。实际应用中的有效带宽通常远低于理论峰值带宽，需要软件和架构的协同优化。

学习路径

1. 基础：
   • 学习 DRAM 工作原理、Bank 与刷新机制。
   • 理解 JEDEC HBM 标准的基本架构（通道、伪通道、TSV 概念）。
2. 先进封装：
   • 掌握 2.5D 及 3D 封装技术群：硅通孔（TSV）、微凸块、临时键合/解键合、硅中介层制程步骤。
   • 阅读业界领先代工厂的先进封装技术白皮书（如台积电 CoWoS、三星 I-Cube 资料）。
3. GPU 内存子系统：
   • 研究现代 GPU 架构的内存控制器设计，以及现代计算中“存储墙”的分析模型。
   • 实践用 Profiler 观察显存带宽利用率、延迟与事务数据，理解有效带宽概念。
4. 前沿探索：
   • 阅读关于存内计算、近存计算以及 3D 混合键合技术的论文（如 IEEE ISSCC、VLSI Symposium 相关文章）。
   • 跟踪头部公司投资者会议、相关行业报告中对 HBM 及封装产能的说法，建立产业感知。

一句话总结

HBM 与 GPU 共封装是 AI 时代解决存储带宽危机的核心方案——用极高的集成密度换取 TB/s 级带宽和大幅能效提升，实现高性能计算与内存的超级近耦合，已成为大模型时代的算力基石。

延伸阅读与来源

• 标准规范: JEDEC 高带宽存储器 (HBM) 标准文档，公开提供技术框架。
• 技术文献: 台积电、三星电子、英特尔的先进封装技术白皮书；IEEE ISSCC、ECTC 会议论文中关于 2.5D/3D 互连与 HBM 接口设计的专题报告。
• 行业分析: 主要半导体调研机构（如 IHS Markit、Yole、TrendForce）关于 HBM 与先进封装的市场预测与分析（可通过官网获取摘要）。
• 公司公开披露: NVIDIA、AMD、SK 海力士、三星等公司的投资者演讲与产品技术简报，是对架构选择和产能规划最直接的印证。

注：本文基于公开定性信息与行业共识进行编写，因检索工具限制未获取实时数据，所有技术参数采用定性与趋势化描述，不对任何厂商或产品的具体规格做硬性断言。内容仅供深度学习与技术理解参考，不构成任何投资建议。