显存带宽

3 秒看懂

显存带宽是 GPU 与显存之间每秒能够传输的数据量，单位通常为 GB/s 或 TB/s。它直接决定计算单元能多快拿到数据——“吞吐上限”远比许多人想象的更重要。在 AI 大模型训练和推理中，模型权重、梯度、优化器状态、KV Cache 等全部需要在 GPU 芯片与 HBM/GDDR 之间持续搬运。带宽一旦不足，即使计算单元的理论 TFLOPS 再高，大量时钟周期也只能空转等数据，实际的模型计算利用率（MFU）会急剧下降。

核心公式（简化）： 显存带宽 = 显存等效频率 × 接口位宽 ÷ 8 典型量级：消费级 GDDR6X 可达 1 TB/s 附近；数据中心 HBM3 多堆栈方案可超过 3 TB/s，新一代 HBM3E 则直指 4.8 TB/s 乃至 8 TB/s（厂商公开规格）。

3 分钟产业解释

在深度学习训练或大模型推理的每一笔算子中，无论是前向传播的矩阵乘法，还是反向传播的梯度计算，亦或 MoE 的 All‑to‑All 路由分发，都要求数据先从显存搬迁到 GPU 的片上缓存和寄存器。产业界长期关注“算力 TOPS”，但真正的系统瓶颈常常是内存墙——计算能力的提升速度远超显存带宽的增长幅度。这种“供数不足”会使昂贵的 AI 加速器有效利用率大幅低于理论值，尤其在大 batch size、长序列、大模型场景下更为突出。

产业链通过以下路径持续缓解带宽瓶颈：

• 更快的信号速率：从 HBM2 时代约 2 Gbps/pin 演进至 HBM3 的 6.4 Gbps/pin 以上（[JEDEC 标准与厂商公开资料]），GDDR6X 引入 PAM4 信号将等效频率大幅提高，而即将登场的 GDDR7 更将进一步拉升每根数据线的传输速率；
• 更宽的总线接口：HBM 单堆栈固定 1024 位位宽，数据中心 GPU 通过硅中介层（interposer）集成 4/6/8 堆栈，总位宽可达 4096 位～6144 位；消费级 GPU 则依靠多颗 GDDR 芯片并联实现 128 位至 512 位；
• 更近的物理距离：HBM 堆栈通过微凸块和硅中介层紧贴 GPU 核心，走线长度仅为毫米级别，显著降低功耗和延迟。相比之下，GDDR 通过 PCB 走线，物理距离长，功耗代价更大；
• 先进封装：台积电的 CoWoS‑S/L/R、三星的 I‑Cube、英特尔的 EMIB 等 2.5D/3D 封装技术，正是为容纳多堆栈 HBM 和实现高密度互连而进化，直接决定了单卡能集成多少带宽与容量。

以上手段使单卡带宽从 Pascal 世代的 P100（732 GB/s）提升至 H100 SXM（约 3.35 TB/s）乃至 B200（约 8 TB/s，[NVIDIA 官方发布]）。即便如此，在训练 GPT‑3 或更大规模模型时，单卡显存带宽仍远远不够，必须通过张量并行、流水线并行、序列并行等多维并行策略，将带宽压力分散到数千张加速器上。

技术原理

物理层与带宽构成

一个典型的 HBM 带宽通道可以抽象为：

[GPU Core] ↔ [Memory Controller] ↔ PHY ↔ Interposer Traces ↔ HBM Stack
                │                               │
                ├─ cmd/addr lane                 ├─ 多层 DRAM 芯片 TSV 堆叠
                └─ DQ lane × N

每根 DQ（数据 I/O）线在一个时钟周期内可传输 2 次数据（DDR 模式），若采用 PAM4 或多级信号调制，等效传输速率倍增。最终的理论峰值带宽：

BW_{theory} = frac(DataRate_{perPin} \times BusWidth_{total}){8}

其中 DataRate_{perPin} 单位为 Gbps，BusWidth_{total} 为所有内存控制器并行的 DQ 线数量。以 HBM3 为例，若单堆栈 1024 条 DQ，速率 6.4 Gbps/pin，则单堆栈理论带宽 = 6.4 × 1024 ÷ 8 = 819.2 GB/s。实际产品会因编码开销（如 16n 预取、伪通道结构）、信号完整性和温度保护等因素，略低于此理论值。

内存控制器与调度策略

GPU 内存控制器负责将宏观的访存请求分解为 bank、row、column 级操作。HBM2 每堆栈内部划分为 8 个独立通道，HBM3/HBM3E 进一步扩展至 16 通道，通道间可并行调度，以掩盖行周期延迟（tRC、tRCD）和 bank 冲突。配合大容量的 L2 缓存和预取器，GPU 尽量将随机访问转化为流式传输，维持较高的有效带宽。

带宽与缓存层级

现代 GPU 在流式多处理器（SM）内配备大量寄存器文件和可编程共享内存（SMEM），外加多层 L1/L2 缓存，其设计初衷就是尽可能捕捉数据局部性，减少对显存带宽的依赖。优秀的 kernel（如 cutlass 模板、FlashAttention）会通过分块计算、算子融合将中间数据保留在片上，显著降低往返 HBM 的次数。然而，大语言模型的参数规模已达数百 GB 乃至 TB 级别，远超片上缓存总容量，每一层权重前向/反向时至少都要从 HBM 搬运一次，因此显存带宽仍然是硬性约束。

算术强度与 Roofline 模型

学术界用于判断负载受限于计算还是带宽的经典工具是 Roofline 模型（Williams 等, 2009）。定义算术强度 AI = frac(FLOPs){Bytes}（浮点运算次数 / 总访存字节数）。当某个 kernel 的 AI 低于硬件的“最大计算吞吐 / 峰值带宽”拐点时，性能便完全受显存带宽限制。大批量推理的解码阶段每生成一个 token 都需遍历全部模型权重（内存受限），此时 AI 极低，GPU 计算单元利用率往往不到 10%，更凸显高带宽的价值。

关键参数

技术路线

GDDR 路线

面向消费级与中端专业市场。从 GDDR5、GDDR6 演化到 GDDR6X（PAM4 调制）以及最新的 GDDR7（预计 2024‑2025 年落地）。单颗颗粒位宽 32 位，通过多颗并联可达成 128 位到 512 位总线。GDDR6X 已能将单卡带宽推至接近 1 TB/s，而 GDDR7 据行业初步规划，可在 384 位接口上实现超 1.5 TB/s 的带宽（微米、三星等路线图）。但由于 PCB 长走线、功耗和信号完整性限制，很难像 HBM 那样持续大幅扩宽位宽。

HBM 路线

目前 AI/HPC 核心方案。HBM1 于 2015 年在 AMD Fiji GPU 上首发；后续 HBM2（P100 等）、HBM2E（A100 等）代际提升约 1.5‑2 倍带宽。2023‑2024 年 HBM3 全面普及（H100、MI300 系列）。HBM3E 将每堆栈带宽从 819 GB/s 提升至 1 TB/s 以上，NVIDIA H200、B200 和 AMD MI325X 均宣布采用。下一代 HBM4 已经进入行业联合研发阶段，预计 2026 年左右推出，每堆栈带宽有望再翻倍，且逻辑接口可能迁至更先进的工艺，并引入更大容量（[JEDEC HBM4 早期公开信息]）。

近存计算与存内计算

学术界和部分企业正在开发 Processing‑in‑Memory (PIM) 或 Processing‑Near‑Memory 方案，将简单的算数逻辑单元置入 HBM 堆栈内部，以彻底消除数据搬运。三星的 HBM‑PIM、SK 海力士的 AiM 等原型已在某些超算和 AI 加速器上测试，但因其编程模型和生态尚不成熟，距大规模替代传统方案仍有数年距离。

封装支撑

2.5D 封装（如 CoWoS‑S）是 HBM 落地的基石，更先进的 CoWoS‑L/R 和混合键合等 3D 技术将进一步增加 die‑to‑die 互连密度，使未来单封装能容纳 12 堆栈甚至更多 HBM，持续推动带宽翻倍。

上游

• 存储器设计与制造：SK 海力士、三星电子、美光科技，三家主导 HBM 颗粒供应。SK 海力士凭借率先量产 HBM2E/HBM3/HBM3E 暂时领先，三星与美光正奋力追赶；
• 先进封装与基板：台积电（CoWoS 产能，2024‑2025 年持续扩产）、三星（I‑Cube 2.5D/3D 封装）、英特尔（EMIB、Foveros），以及日月光、安靠等 OSAT 企业也参与部分环节。ABF 基板、硅中介层等材料供应商亦属于该环节；
• 接口 IP 与物理层 PHY：Synopsys、Cadence、Rambus 提供符合 JEDEC 标准的 HBM 控制器和 PHY IP，授权给自研芯片厂商；部分 GPU 巨头自研定制 PHY；
• 设备与工具：TSV 刻蚀、微凸块、临时键合/解键合、晶圆级检测等设备由应用材料、泛林、东京电子、BESI 等支撑，先进封装光刻机与检测设备同样不可或缺。

下游

• 云计算与 AI 平台：亚马逊 AWS（自研 Trainium/Inferentia 使用 HBM）、微软 Azure、谷歌云（TPU 采用 HBM）、甲骨文云等，向市场提供大规模训练与推理服务，直接承受显存带宽瓶颈，也是高端加速器的最大买方；
• AI 实验室与大型科技公司：OpenAI、Anthropic、Meta、xAI 等自建或租用超大规模集群进行前沿模型训练，对带宽的需求最为极致，经常推动下一代 HBM 的首批应用；
• 行业解决方案商：自动驾驶公司（Waymo、特斯拉、小鹏等）、生物制药（分子模拟）、气象与能源仿真领域的高性能计算系统，也依赖高带宽显存来缩短求解时间；
• 消费级市场：PC OEM、显卡品牌商以及游戏玩家购买搭载 GDDR 的消费级 GPU，满足游戏、内容创作、中小模型微调等需求，虽然单位价值低，但总量庞大。

受益公司

免责声明：本节仅客观描述产业链中各环节因显存带宽需求增长而获得商业机会的公司，不构成任何投资、买卖建议。所有信息均来源于公开资料。

• 存储原厂：SK 海力士（HBM 市场主力，HBM3E 率先通过大客户认证）、三星电子（HBM 与先进封装全面推进）、美光科技（HBM3E 加速渗透，2024 年起在 AI 客户中的份额有望提升）直接受益于带宽要求带来的高价 HBM 放量。据 TrendForce（2024 年）数据，HBM 在三星、海力士 DRAM 营收中的占比正在快速提升；
• 先进封装链：台积电的 CoWoS 产能持续满载，2024‑2025 年规划大幅扩产，带动相关设备、基板与测试需求。日月光等 OSAT 亦通过 Chiplet 架构参与封装环节；
• AI 加速器设计厂商：NVIDIA 凭借 NVLink、NVSwitch 和最新 HBM 代际推出高带宽方案，AMD 通过 MI300 系列以“更多 HBM 堆栈”策略实现更大容量与带宽，英特尔则在 Gaudi 系列和 Falcon Shores 中集成 HBM，这些都使它们得以向客户提供更优的 AI 训练和推理效能；
• IP 与 EDA 供应商：Synopsys、Cadence 等提供 HBM 控制器和验证 IP，随着自研芯片趋势，向其支付许可费的客户数量上升；
• 设备与材料：TSV、微凸块、临时键合等设备公司及先进封装材料供应商，因 HBM 复杂度和产量激增而获得持续订单。

市场规模

以下数据均来自第三方研究机构公开报告及 DRAM 原厂业绩说明，已标注年份与来源。未注明口径的为粗略行业均值。

• HBM 整体市场：据 TrendForce 2024 年 5 月预测，全球 HBM 市场规模 2023 年约 43.5 亿美元，2024 年因 AI 服务器出货猛增预计将跃升至 169 亿美元，2025 年有望突破 200 亿美元，占整体 DRAM 行业的比重从个位数迅速上升至 20% 以上（[TrendForce, 2024/05]）；
• HBM 出货量（以 bit 计）：同一机构估计，2024 年 HBM 在整体 DRAM 位元出货量中的占比约为 5%，2025 年可能超过 10%。由于 HBM 单位价格数倍于标准 DDR，其销售额占比远高于出货量占比；
• 带宽需求增长：2023‑2026 年，每台 AI 服务器所需显存带宽总量平均年增长率预计超过 50%（[IDC, 2024 年早期预测]），受大语言模型参数膨胀、多模态发展及长上下文需求拉动。单张加速卡的带宽从 2 TB/s 级别迈向 8 TB/s 甚至更高；
• 供需缺口：2024 年 HBM 产能几乎被主要客户锁单至 2025 年，SK 海力士、三星、美光均表示 HBM 产线利用率接近 100%（[各公司 FY2024Q1‑Q2 财报电话会]）。先进封装（尤其是 CoWoS）产能同期供应紧张，成为制约 HBM 有效供给的又一瓶颈，台积电已宣布 2024 年及未来几年加大资本支出扩产 CoWoS。

玩家对比

下表基于 2024 年已公开的厂商旗舰 AI 加速器规格（均为数据中心产品）：

注：上表中带宽值取自厂商公布的峰值规格或第三方机构（如 TechInsights）的分析，部分为近似值。不同厂家测量条件、是否启用 ECC、温度等因素会带来微小差异。

从对比可见，在同代际工艺下，显存带宽的主要驱动力是 HBM 堆栈数量与速率；AMD 倾向于使用更多堆栈换取容量和带宽优势，NVIDIA 则配合 NVLink‑Switch 构建更高效的多卡带宽扩展。消费级 GDDR 方案在带宽上落后明显，但成本和功耗更适合中小规模任务。

风险

1. 技术替代风险：存内计算（PIM）、CXL 内存池化等新技术路线若取得重大突破，可能部分降低对本地高带宽显存的依赖。例如 CXL 3.0 支持内存共享和池化，理论上可让多 GPU 通过互联访问远程大容量内存，从而改变带宽供给模式。但目前生态和延迟障碍尚未克服，短期（3 年内）威胁有限；
2. 产能与供应链风险：HBM 需要先进的 TSV 工艺、严格的散热设计和复杂的多 die 封装，产能扩张不及预期将导致交付延迟、成本上升。同时，台积电 CoWoS 产能被 AI 客户争抢，若扩产进度受阻，会间接限制 GPU 产量；
3. 地缘政治风险：HBM 主要生产商集中在韩国（SK 海力士、三星）和美国（美光），先进封装主导在台湾，地缘冲突或贸易管制可能影响供应安全和成本结构；
4. 需求波动风险：若 AI 投资热潮降温，或算法层面通过量化、压缩等技术大幅降低带宽需求，巨额 HBM 订单可能面临修正。但目前为止，大模型发展趋势仍指向更大规模、更宽带宽，尚无显著需求萎缩迹象；
5. 技术锁定与标准变更：若下一代 HBM4 标准或封装接口发生颠覆性变化，先期投资可能面临折旧压力，同时新玩家可能借机切入，行业格局可能改变。

误读纠偏

误读 1：“显存容量大就够，带宽无所谓” 容量和带宽是正交维度。即使模型可全部装入显存，若每次前向、反向、优化器更新都需遍历所有参数，高吞吐推理/训练的时间将直接与显存带宽成反比。带宽不足，GPU 会严重欠载，训练周期成倍拉长。在大模型推理的解码阶段，每生成一个 token 就需要读取全部权重，这时吞吐即为 (带宽) / (模型字节数)，与容量无关。

误读 2：“带宽只和硬件频率有关，软件优化无关紧要” 有效带宽高度依赖访存模式、算子融合和算法设计。FlashAttention 通过分块避免大量中间矩阵写出，可以将所需 HBM 访问量减少数倍；cutlass 等库采用共享内存分块和软件预取，显著提高带宽利用率。因此，软件对有效带宽的提升至少等同于硬件代际演进的一半效果。

误读 3：“HBM 的 1024 位位宽就是 GPU 内存总线的宽度” 1024 位特指一个 HBM 堆栈的接口位宽。单个 HBM 堆栈内部由多层 DRAM 芯片通过 TSV 垂直互联组成，共享这一 1024 位通道。一张数据中心 GPU 通常集成 4‑8 个这样的堆栈，因此总位宽为 4096 位到 8192 位。消费级 GDDR 则采用独立的 32 位颗粒并联，设计逻辑不同。

误读 4：“只要堆叠更多 HBM 就能无限增加带宽” 增加堆栈数面临信号完整性、功耗散逸、封装翘曲和成本约束。每增加一个堆栈，硅中介层面积需要增大，封装难度和成本非线性上升。因此带宽的提升是架构、散热、电源管理和制造成本的综合权衡，不能无限扩展。

最新事件

以下事件均来源于 2024 年间全球公开的行业公告、财报与产品发布，仅供参考，不构成任何投资判断。

• 2024 年 3 月，NVIDIA GTC 发布 Blackwell B200：搭载 192 GB HBM3E，带宽 8 TB/s，采用双 die 设计，预计 2024 下半年供货。同时宣布 H200 于 2024 Q2 开始发货，将 HBM3E 首发带入量产（[NVIDIA Newsroom]）。
• 2024 年，SK 海力士宣布 HBM3E 量产并开始供应：作为目前唯一大规模供应 HBM3E 的厂商，率先向 NVIDIA 等客户出货 8 层和 12 层堆叠产品，预计 2024 年 HBM 营收贡献大幅增长（[SK hynix 2024Q1 财报及新闻]）。
• 美光科技 HBM3E 通过 NVIDIA 认证：2024 年 2 月美光宣布其 8 层 HBM3E 样品已通过 NVIDIA GPU 平台的认证，计划 2024 年加入 H200/B200 的第二供应商，标志着其在 AI 内存领域打破了 SK 海力士的独占格局（[Micron 新闻稿]）。
• 三星电子 HBM3E 完成 NVIDIA 认证并开始供货：经过多轮送样，三星 2024 年 Q3 获得 NVIDIA 订单，开始批量出货，逐步纳入 HBM 供应链，同时加速 12 层堆叠产品开发（[Samsung 2024 公告及产业消息]）。
• AMD 发布 MI325X：2024 年 Computex 上，AMD 宣布 MI325X 搭载 288 GB HBM3E，带宽 6 TB/s，计划 2024 Q4 推出，进一步推高显存带宽竞赛（[AMD 新闻稿]）。
• 台积电 CoWoS 产能扩张：2024 年台积电大幅上调先进封装资本开支，预期 2024 年底 CoWoS 月产能较 2023 年翻倍以上，但仍供不应求，扩产计划延续至 2025‑2026 年（[台积电 2024Q2 法说会]）。
• HBM 定制化趋势：据报道，一些头部云厂商（如 Google、AWS）正与存储原厂合作开发定制化 HBM，以适配其自研 AI 芯片，推动带宽规格走向更加分化。

跟踪指标

要持续理解显存带宽赛道的动态，可定期关注以下公开数据与指标：

• DRAM 原厂季度财报：重点关注 HBM 营收占比、HBM 出货量环比增速、ASP 变化（如 SK 海力士、三星半导体事业部、美光“计算与网络”事业群披露数据），以了解供需景气度；
• 先进封装产能跟踪：台积电月度与季度法说会上披露的 CoWoS 产能建设进度、资本支出指引，以及 OSAT 厂商（日月光等）的 Chiplet 封装产能利用率；
• 主要 GPU 新品发布规格：NVIDIA、AMD、Intel 下一代加速器的显存规格（堆栈数、带宽、容量），这些参数直接反映 HBM 代际和封装技术的演进方向；
• HBM 标准路线图：关注 JEDEC 发布的 HBM4 乃至后续标准更新，以及三星、海力士、美光在其技术日上公布的数据速率提升计划；
• 行业第三方报告：定期查阅 TrendForce、IDC、Omdia 等机构的 DRAM 与 AI 芯片市场预测，特别留意 HBM 渗透率、供需缺口预测；
• AI 实验室需求信号：头部大模型训练/推理对算力集群的订单趋势，以及自研芯片的显存架构选择（如采用 CXL 混合方案），可间接判断高带宽方案的短期需求强度；
• 替代技术进展：跟踪存内计算初创公司、CXL 联盟最新规范落地，以及学术会议（如 ISCA、Hot Chips）上有关内存墙突破的论文，以评估中长期的风险窗口。

信源

以下为本文参考的主要公开信息与推荐延伸阅读（不构成投资建议，仅用于知识溯源）：

• JEDEC 官方发布的 HBM2、HBM3 标准文件及技术更新；
• NVIDIA A100、H100、H200、B200 白皮书与架构介绍（nvidianews.nvidia.com）；
• AMD Instinct MI300X、MI325X 产品页面与技术文档（amd.com）；
• Intel Gaudi 2、Gaudi 3 产品技术概述（intel.com）；
• SK 海力士、三星、美光官方新闻稿及投资者关系材料（2023‑2024）；
• TrendForce, “HBM and AI Server Market Insights”, 2024 年 5 月更新；
• IDC, “Worldwide AI Server and Memory Forecast”, 2024 早期发布；
• TechInsights 对 HBM 产品结构与制程的拆解分析；
• Williams, S., Waterman, A., & Patterson, D. (2009). Roofline: An Insightful Visual Performance Model for Multicore Architectures. Communications of the ACM;
• Dao, T., et al. (2022). FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. NeurIPS;
• 台积电 2024Q2 线上法说会会议纪要（公开披露）；
• Hot Chips 历年会议中关于内存子系统的演讲论文集。