显存

1 3 秒看懂

显存（VRAM，Video/Graphics Memory）是专门为图形处理器及 AI 加速器服务的近端高速暂存区。如果把 GPU 比作一个拥有数千名工人的巨型工厂，那显存就是工位旁边唯一能跟上他们手速的货架——CPU 那边的系统内存（DDR）好比厂区后方的总仓库，距离远、搬运慢，远水救不了近火。

一句话定性：显存容量决定能”装”多大的模型，显存带宽决定多快能”喂饱”算力核心。

在生成式 AI 时代，大语言模型动辄数千亿甚至万亿参数，单次训练需要存储的不仅是权重，还有激活值和优化器状态，三者叠加远超芯片裸容量。由此演化出的模型切分（Tensor Parallelism）、流水线并行（Pipeline Parallelism）、激活检查点（Activation Checkpointing）和显存卸载（Offloading）等手段，本质上都是在用通信开销或计算开销换取显存空间。显存，已经成为算力之外最硬性的资源约束，也是 AI 基础设施总拥有成本（TCO）的关键变量。

2 3 分钟产业解释

显存与系统内存（CPU 侧的 DDR/LPDDR）并非同一类物种。二者核心分野在于带宽量级与封装架构：

• 系统内存：独立 DIMM 插槽，PCB 走线连接，典型带宽约 50–100 GB/s（DDR5 双通道），延迟优化优先。
• 显存：通过硅中介层（Interposer）或晶圆级封装与 GPU 计算 Die 紧耦合，物理距离压缩至亚毫米级，带宽可达每秒数百 GB 乃至 TB 级，吞吐优先。代价是成本急剧攀升——一片先进封装基板的价格可能抵得上一颗主流 CPU。

当前 AI 显存的主流技术路线已清晰分为两大阵营：

生成式 AI 爆发以来，HBM 已成为数据中心 GPU 的默认选项。英伟达 A100 配备 80GB HBM2E，H100 配备 80GB HBM3，B200（2024 年 3 月发布）据公开资料配备 192GB HBM3E，呈现每代 1.5–2 倍容量跃升（来源：英伟达官方产品规格页面及 GTC 2024 主题演讲，具体参数以正式技术白皮书为准）。SK 海力士、三星电子、美光科技三家存储巨头几乎垄断 HBM 供给，而台积电 CoWoS 先进封装则构成产能瓶颈的第二层约束。

从产业逻辑看，显存已从”GPU 的配角”升格为”AI 产业链的战略节点”。一家存储厂的 HBM 良率波动，可直接动摇万卡集群的交付节奏；一种新封装工艺的导入，可以决定下一代 AI 芯片能否问世。

3 技术原理

3.1 存储器层次：从寄存器到 HBM 的六层金字塔

GPU/加速器的存储子系统是一个严格的金字塔，越靠近计算单元，速度越快、容量越小：

层级               技术实现          典型带宽（聚合）       粒度            访问延迟
───────────────  ────────────────  ──────────────────  ──────────────  ────────────
L0：寄存器文件     每 SM/CU 私有      ~TB/s（片上聚合）    线程级           1 周期
L1：共享内存/SRAM   片上               数十 TB/s            线程块级         约 20–30 周期
L2：Cache           片上               数 TB/s             全局             约 200–300 周期
L3：HBM/GDDR 显存  片外紧耦合         数百 GB/s–TB/s      全局             数百 ns
L4：系统内存 (DDR)  PCIe/NVLink 连接   50–100 GB/s        页               微秒级
L5：本地存储 (SSD)  NVMe/网络          数 GB/s             文件            毫秒级

说明：上表中带宽和延迟为定性范围和数量级，具体数值因代际、厂商和配置而异（如 H100 的 HBM3 峰值带宽约 3.35 TB/s，引用来源：英伟达 H100 数据表，2023 年）。

3.2 HBM 的工作机制：3D 堆叠为何能突破带宽瓶颈

传统显存（GDDR）沿 PCB 走线，以独立封装焊球连接，数据路径要穿越芯片→封装→PCB→封装→芯片四段，物理距离长、信号损耗大，总线位宽只能做 256–384 位，再往上开成本陡增。

HBM 做了三件事彻底改变了格局（技术解析，来源综合 JEDEC HBM 标准及厂商公开资料）：

1. TSV 垂直互联：将 4–12 层 DRAM Die 通过硅通孔（Through-Silicon Via）垂直穿接，数据从底层到顶层沿 TSV 短路径传输，层间距离仅数十微米。
2. 硅中介层桥接：所有 DRAM Die 堆叠后，底部连接一个有源或无源逻辑 Die（Base Die），再通过硅中介层的微凸块（μBump）连接到 GPU 计算 Die，物理距离压缩至毫米以下。
3. 超宽接口：每 Stack 位宽可达 1024 位（HBM3），分为 8 或 16 个独立通道（Pseudo Channel），每个通道又有多个 Bank Group 并行操作，实现每秒数 TB 聚合带宽。

类比理解：GDDR 好比在相邻写字楼之间用卡车拉货——路远、车道有限。HBM 则是在同一栋楼的各层之间装了专用货梯，每层多个出入口，垂直运输速度极快。把楼盖得更高（增层）、货梯更快（升代），就能同时满足容量和带宽的双重追求。

3.3 显存占用的三笔账：为什么大模型总是”显存饥渴”

训练一个千亿参数大模型，显存占用由三部分叠加（定性公式）：

三项累加轻松突破 1TB，而当前最先进的单颗 GPU 显存约 192GB（B200 HBM3E 配置）。因此，万亿参数模型不可能放入单卡，必须”拆”开——分割后的碎片由多卡协同承担，额外引入通信开销。这就是为什么模型越大，对显存容量和显存间互联带宽的双重需求越强烈。

4 关键参数

行业评估显存性能的核心指标有如下六个维度，各自与 AI 负载的关系如下：

① 容量（GB）

• 定义：单颗加速器上可用的显存总量
• 影响：决定模型的”最大可训尺寸”和单卡可支撑的 batch size
• 趋势（来源：英伟达/SK 海力士/三星 2023–2024 年产品发布信息）：A100（80GB）→ H100（80GB/94GB）→ B200（192GB），约两年翻一倍；HBM4 目标单 Stack 容量进一步提升，公开资料中有提及 36GB/Stack 以上探索方向，具体数值待 JEDEC 标准定稿

② 带宽（GB/s 或 TB/s）

• 定义：峰值数据吞吐速率 = 数据速率 × IO 位宽
• 影响：决定计算核心的”吃饱程度”。大模型推理的自回归 token 生成阶段极度带宽敏感，计算密度低、数据搬运多，实际算力利用率（MFU）常远低于峰值
• 趋势：HBM3 提供约 3.35 TB/s（H100），HBM3E 进一步推高，具体速率由厂商公开资料确认

③ 功耗（W 或 pJ/bit）

• 定义：显存子系统（含 IO 接口、刷新、控制器）的耗电
• 影响：HBM 占整卡功耗的比例逐渐上升，直接影响数据中心 PUE 和散热设计。据厂商公开热设计指引，高端 GPU 的显存子系统可占总功耗的 10%–20%，精确数值因型号而异

④ 延迟（ns）

• 定义：从发起读请求到数据返回的耗时
• 影响：影响随机访问模式（如哈希表查找、稀疏算子）的效率。HBM 对 GDDR 略优（封装路径短），但远不及片上 SRAM。大模型多数算子是规则的矩阵运算，对延迟的敏感度低于带宽

⑤ ECC 与可靠性

• 定义：错误校验码（Error Correction Code），可实现单比特纠错、多比特检错
• 影响：大规模训练持续数周至数月，原始误码率叠加使 ECC 成为必需。HBM2 及以上普遍支持片上 ECC

⑥ 有效带宽利用率

• 定义：实际传输效率 = 实际数据量 / （理论带宽 × 时间）
• 影响：受访问模式（合并访问 vs 随机访问）、Bank 冲突、刷新策略影响。合理访问模式下可达 70–90%，设计不合理的算子可能骤降至 30% 以下

5 技术路线

5.1 主流路线对比（定性，基于公开产业认知，2023–2024 年）

来源：上述对比基于英伟达、AMD、SK 海力士、三星、美光、JEDEC 等公开技术路线图与产品发布信息，不含具体未公开参数。

5.2 路线之争的关键变量

当前显存技术路线并非”谁淘汰谁”，而是按场景分化。扰动格局的变量包括：

• 推理市场的结构性转变：传统认知中推理对显存要求低于训练，但 CoT（思维链）、长上下文推理等范式兴起后，推理的 KV 缓存（Key-Value Cache）对显存容量和带宽的需求急剧上升。如 128K token 上下文、batch=8 的推理单卡 KV 缓存可能占用数十 GB，部分场景开始逼近训练级需求。
• 成本曲线的交叉点：HBM 成本若因产能扩张大幅下降，可能侵蚀部分 GDDR 推理市场。公开资料未见准确成本交叉预测，仅作逻辑推演。
• PIM（存内计算）的试探：三星 2021 年推出的 HBM-PIM 在存储层嵌入计算单元，SK 海力士也在 ISSCC 2024 发表类似方向论文（来源：ISSCC 2024 会议日程及厂商摘要）。若 PIM 能在特定算子上实现显著加速和功耗节约，显存与计算的关系将从”被动被读”转为”主动运算”，但量产和大规模生态适配时间线未定。

6 上游

显存产业链的上游环节涉及材料、设备、工具三大板块，技术壁垒和资本密度极高：

6.1 核心材料

6.2 关键设备

• TSV 刻蚀与填充：深硅刻蚀（BOSCH 工艺），深宽比达 10:1 以上；电化学沉积（ECD）设备
• 晶圆减薄与键合：多层堆叠中每层 DRAM Die 厚度仅数十微米，需高精度研磨和临时键合/解键合设备
• 先进封装线：台积电 CoWoS、三星 I-Cube、英特尔 EMIB 等均需专用封装设备（贴片机、回流焊、底填胶等）。2023–2024 年 CoWoS 设备交期一度拉长至 12 个月以上（来源：台积电投资者会议及供应链媒体报道，具体数字由厂商确认）

6.3 EDA 与 IP

HBM 的 3D 堆叠设计需专用 EDA 工具链支持热-电-应力多物理场仿真。Synopsys 和 Cadence 等厂商提供 3D IC 设计平台和 HBM PHY IP，供计算芯片集成。

7 下游

HBM 下游需求的增长由 AI 大模型驱动，但实际消费结构可细分如下：

7.1 需求结构分层（2023–2024 年定性观察）

7.2 下游需求的显存弹性

下游场景对显存规格的需求差异明显：

• 千亿参数级预训练（如 GPT-4 量级）：需求 HBM3E 最大容量版本 + 高速互联，单集群万卡以上，是最”吞”显存的场景
• 指令微调（SFT/RLHF）：百亿到千亿参数，需数十至数百 GB 显存，对容量要求稍低于预训练但带宽仍敏感
• 大模型推理：长上下文场景（如 128K token 窗口）KV 缓存占大量显存，正推动推理专用 GPU 向更大 HBM 容量迭代
• 推荐系统训练：传统表格特征模型转 Embedding 密集型，对 HBM 容量要求可达数百 GB 级别，带宽要求持续攀升

8 受益公司

本节仅客观梳理产业链关键环节代表企业及其业务关联，不构成任何投资建议，不预测股价走向。

8.1 存储晶粒供应商（DRAM 原厂）

• SK 海力士（KRX: 000660）：HBM 市场先行者，HBM3 量产最早，与英伟达深度绑定。据 TrendForce 及多方媒体报道，SK 海力士 2023 年在 HBM 市场份额超 50%（来源：TrendForce 2024 年 3 月 HBM 市场报告，具体份额以最新发布数据为准）。2024 年 3 月开始量产 HBM3E 12 层产品，供应英伟达 B200
• 三星电子（KRX: 005930）：以制程和封装技术追赶，开发热管理强化方案（冰晶/Icebolt），2024 年通过英伟达 HBM3E 质量验证并签署供货协议（来源：三星半导体 2024 年 7 月新闻发布及英伟达 CEO 公开声明）
• 美光科技（NASDAQ: MU）：跳过 HBM3 直接导入 HBM3E，2024 年初公告已通过英伟达认证并量产供货。据美光 2024 财年 Q2 财报电话会，管理层表示 HBM 产品线 2024 年全年产能已售罄

8.2 先进封装服务商与设备/材料

• 台积电（TSMC, NYSE: TSM；TWSE: 2330）：CoWoS 封装是 HBM 集成 GPU 的关键技术，产能多年供不应求。台积电在 2023 年 Q4 法说会表示 CoWoS 产能 2024 年将翻倍，2025 年继续扩张。具体产能数字由公司后续披露
• 日月光、Amkor 等 OSAT 厂商在 CoWoS 环节后段封装中参与
• 先进封装设备和基板（载板）供应链：如 DISCO（晶圆切割）、东京电子、应用材料、景硕科技（TWSE: 3189）、欣兴电子（TWSE: 3037）等，受 CoWoS 扩产带动

8.3 计算芯片集成商

• 英伟达（NASDAQ: NVDA）：当前 AI GPU 和 HBM 需求的最直接受益者，产品线（H100/B200）定义了 HBM 规格的方向。英伟达 2025 财年 Q1 数据中心业务收入创新高（来源：英伟达 FY2025 Q1 财报，2024 年 5 月），其中 HBM 采购是核心成本项
• AMD（NASDAQ: AMD）：Instinct MI300X（2023 年 12 月发布）配备 192GB HBM3，显存配置为同时期竞品中较高水平，2024 年正在推进云厂商验证和部署

8.4 云服务与算力运营

• 微软 Azure、Amazon AWS、Google Cloud、Oracle Cloud Infrastructure 等大规模采购 HBM 服务器，向上游传导需求，同时通过算力租赁业务将显存成本向下游摊销

9 市场规模

本节数据引用第三方机构公开报告，所有数字标注年份、口径和来源。未找到更新数据则明示。

9.1 HBM 市场规模与增长

• TrendForce（2024 年 3 月）：2023 年全球 HBM 市场约 43.5 亿美元，预计 2024 年增长至约 169 亿美元，同比增速约 289%。HBM 在整体 DRAM 市场中的营收占比从 2023 年的约 8% 跃升至 2024 年约 20%
• Yole Intelligence（2023 年 11 月报告）：2023 年先进封装市场约 440 亿美元，其中 2.5D/3D 封装（含 CoWoS 等）增速最快，与 HBM 产业链高度相关。具体 CAGR 以报告原文为准
• 公开资料未见 HBM 2025 年及之后年份的精确市场预测数字出处清晰者，暂不采用。请读者以 TrendForce、Counterpoint、Gartner 等机构最新发布的年度存储器市场报告为参考

9.2 规模的结构性特征

• 量的约束：HBM 产能不只看 DRAM 晶粒产出，还受限于先进封装线。即便 DRAM 原厂扩产晶圆，CoWoS 等封装线跟不上也无法交付完整 HBM Stacks
• 价的刚性：供需紧张下，HBM 单 GB 价格远高于 DDR5（约为后者的 5–10 倍，来源：Digitimes 2023 年估算，精确价差因合约谈判而异），且价格下行周期因供不应求而持续推迟
• 结构升级推高 ASP：HBM 代际从 HBM2E 到 HBM3E，同一 Stack 的 GB 数增加、单价上升，即使出货量增速温和，营收也会因产品升级而显著增长

10 玩家对比

10.1 三大 HBM 原厂竞争力对比（截至 2024 年公开信息）

注：上述市场份额数据引用自 TrendForce 2024 年 3 月报告，具体百分比以报告原文为准。各厂动态来自公司官方财报电话会和新闻发布。

10.2 计算芯片商的显存策略对比

• 英伟达：以显存定义产品代际，每代新 GPU 几乎必配最新 HBM 代次，通过高显存容量/带宽区隔训练和推理产品线。软件栈（如 FlashAttention 系列算子）深度针对 HBM 特性优化，最大化有效带宽利用率
• AMD：MI300X 战略选择更大的显存（192GB）与 H100 的 80GB 形成差异化竞争，意图在容量敏感场景（大模型推理长上下文、小批量高吞吐推理）打开空间
• 自研芯片云厂商（如亚马逊 Trainium/Inferentia、谷歌 TPU）：定制 HBM 规格，按自身模型特征裁量容量和带宽配比，减少通用冗余，降低 TCO；出货量规模暂难与英伟达匹敌

11 风险

以下风险因素基于产业逻辑推演和公开报道，不构成操作建议，不做风险等级排序。

11.1 技术风险

• 3D 堆叠良率瓶颈：HBM 层数从 8 层向 12 层、16 层扩张时，单 Stack 良率面临非线性的挑战。一旦批量良率不及预期，产能爬坡将大幅延后。SK 海力士 CEO 在 2024 年 CES 期间公开表示 12 层 HBM3E 良率在持续改善中，未披露具体数字
• 热密度危机：更多层数堆叠导致单位面积功耗密度上升，局部热点可能触发降频，影响有效带宽。三星”冰晶”、SK 海力士 MR-MUF 等热方案的实际效果有待大规模部署验证
• PIM/替代架构的潜在颠覆：存内计算、近存计算若在特定模型（如 MoE 稀疏专家）上实现规模优势，可能改变显存的传统”被动存储”定位，重新定义显存和计算的边界

11.2 供应链风险

• 先进封装产能集中：台积电 CoWoS 几乎垄断高端 HBM 集成封装，三星 I-Cube 和英特尔 EMIB 尚未形成等量替代。若 CoWoS 产能扩张不及预期，则全行业 HBM 出货受限
• 地缘政治与出口管制：2023 年 10 月美国更新对华出口管制规则后，HBM 等高性能存储器对特定实体的出口受到限制（来源：BIS 公开文件）。这可能改变 HBM 需求的地理分布和市场格局。浪潮、中芯国际等中国实体因被列入实体清单，相关供应受限
• 设备交付周期长：TSV 刻蚀、晶圆减薄、先进封装贴片等核心设备交期长达 12–18 个月，扩张决策与投产之间的时滞带来供需错配风险

11.3 需求风险

• AI 资本开支拐点：若大模型应用变现速度不及基础设施投入增速，云厂商可能阶段性放缓 AI 服务器采购，HBM 需求可能出现阶段性降温。2024 年下半年已有分析师讨论相关可能性（来源：多家券商研报，具体观点以报告原文为准）
• 应用繁荣度错配：若 AI 训练需求增速放缓而推理需求接棒不力，高配置 HBM 训练卡的采购节奏可能出现结构性变化

11.4 竞争风险

• 原厂价格竞争：三星、美光的快速扩产可能导致供给在某时间点超过需求，触发价格下行，对高成本结构的先发者形成挤压
• 客户自研替代：部分超大规模云厂商已组建自研芯片团队，长期可能降低对商业 GPU 的依赖度，间接影响商业 HBM 需求结构

12 误读纠偏

12.1 “显存不够，加两条内存就行”

事实：GPU 的显存与系统内存物理隔离，不可混用。HBM 由多颗 DRAM Die 堆叠并与 GPU 共同封装在同一基板上，即使用户购买了 24GB 版本的消费显卡，也不可能像插内存条一样”扩容”。数据中心 GPU 亦是如此——采购时即固定显存规格，无法后期独立升级。

12.2 “显存带宽已经超过 CPU 内存，未来 HBM 会替代 DDR 成为主存”

事实：HBM 是”快而贵、小而短命”的专用存储器，其设计哲学与主存截然相反。DDR 追求容量/成本比和普适性，HBM 追求极限带宽和与其配对的紧耦合。用 HBM 替代 DDR 不但成本是数量级的攀升，而且通用 MMU 的页面管理和虚拟化支持远不如 DDR 生态成熟。两者将持续共存，而不是替代。

12.3 “显存越大越好，训练一定能更快”

事实：显存容量和训练速度之间并非单调正比。如果模型本身较小，多余的显存通常闲置，不会自动加速训练。反之，若因显存容量较大而盲目加大 batch size，可能反而导致模型收敛变慢或需调整学习率，最终的总训练时间可能不降反升。容量和带宽是配合关系，瘸腿即拖累。

12.4 “GDDR 已死，HBM 一统天下”

事实：消费级 GPU（如英伟达 GeForce RTX 系列）2024 年主流产品仍使用 GDDR6/GDDR6X，AMD Radeon 系列同步持续采用 GDDR。边缘推理、小型微调、工作站等场景对 HBM 的极端带宽需求不强，GDDR 性价比较高。两路线至少在可见未来仍分层并存。

13 最新事件

以下为截至 2025 年初的公开重大事件摘要，参考价值取决于时间远近，请以各公司官网和权威信源的最新公告为准。

• 2024 年 3 月 | GTC 2024 英伟达发布 B200：配备 192GB HBM3E（8 层 24GB×8 Stack），宣称 AI 推理性能较 H100 大幅提升。B200 是英伟达首个使用 HBM3E 的产品，SK 海力士为主要供应商。（来源：英伟达 GTC 2024 主题演讲及产品页面）
• 2024 年 7 月 | 三星宣布 HBM3E 通过英伟达认证：三星电子发布公告，其 HBM3E 8 层产品已通过英伟达质量认证，双方签署供货协议，打破此前 SK 海力士一家独大的供给格局。（来源：三星半导体官方新闻发布）
• 2024 年 9 月 | SK 海力士率先量产 12 层 HBM3E：SK 海力士宣布 12 层 HBM3E 正式量产，单 Stack 容量 36GB，带宽较 8 层版本进一步提升。首批供应英伟达 Blackwell 平台。（来源：SK 海力士官方新闻发布）
• 2024 年 Q4 | 美光报告 HBM 产品线全年产能售罄：美光在 FY2024 Q4 财报电话会中表示，2024 和 2025 日历年的 HBM 产能已全部预订一空，产能扩张计划持续进行中。（来源：美光科技 FY2024 Q4 财报电话会纪要）
• 2024 年全年 | CoWoS 产能持续紧张：台积电多次上调 CoWoS 产能目标，从 2023 年的月产约 12,000 片晶圆扩至 2024 年底超 30,000 片，2025 年继续扩大（来源：台积电 2023Q4、2024Q1 法说会及供应链媒体报道，具体数字为分析师估算）
• 2025 年初 | HBM4 路线图逐渐明朗：SK 海力士和三星分别在 ISSCC 2025 和投资者大会上展示 HBM4 初步方案，目标更高带宽和更大容量，预计 2025–2026 年进入量产阶段。具体规格以 JEDEC 最终标准和厂商宣布为准

14 跟踪指标

要持续追踪显存产业链的变化，建议关注以下维度的公开数据和事件：

14.1 供给端指标

14.2 需求端指标

14.3 技术端指标

14.4 价格端与库存端

• 合约价与现货价：DRAMeXchange 月度报价，HBM 通常以非公开合约形式定价，公开报价仅作参考
• 渠道库存水位：原厂库存天数（DIO）为同步指标，可在季度财报中找到

15 信源

以下为本文涉及的核心信源类别，均可在公开渠道检索：

• 标准文档：JEDEC HBM 标准（JESD235 系列，含 HBM、HBM2、HBM2E、HBM3），JEDEC GDDR 标准（JESD250 等）
• 行业论文与会议：“ZeRO: Memory Optimizations Toward Training Trillion Parameter Models”（Rajbhandari 等，SC 2020）；Megatron-LM 系列论文（NVIDIA）；ISSCC、Hot Chips 历年存储与封装专题
• 厂商白皮书与规格表：英伟达 A100/H100/B200 架构白皮书和规格页；AMD CDNA 系列架构介绍；SK 海力士/三星/美光产品发布新闻与技术博客
• 市场数据机构：TrendForce（2024 年 3 月 HBM 市场报告及存储器季度跟踪）、Yole Intelligence（先进封装市场年度报告）、Counterpoint、DRAMeXchange
• 公司财报与电话会议纪要：英伟达（季度 10-Q/10-K，GTC 主题演讲）、SK 海力士（季度财报及 IR 材料）、三星电子（DRAM 业务部门指引）、美光科技（季度财报）、台积电（法说会纪要及 CoWoS 产能指引）
• 监管与政策文件：美国商务部工业安全局（BIS）出口管制清单与修订公告

免责声明：本文仅为技术与产业链知识梳理，内容基于公开资料整理。文中所有涉及公司、技术路线的描述均不作为投资建议。涉及市场规模、供需状况和公司财务的数据以各机构最新发布报告、公司正式公告和监管披露为准。作者对因信息时效性或理解偏误可能导致的任何后果不承担责任。