显存层级

3 秒看懂

显存层级是把 GPU 芯片内外的存储系统按“离计算单元远近、容量、速度、单位成本”划分的阶梯。从离 SM（流多处理器）最近的寄存器/L1 一路向外到片外 HBM，构成“快而小，慢而大”的层次。AI 大模型能塞进多少参数、训练推理多快、总成本多低，都直接由这一层级的布局决定。

3 分钟产业解释

大模型训练等同于一次超大规模脑力运算，显存层级的根本任务是让数据以尽可能低的能耗和延迟，被馈送到计算核心。层级大致可分为：计算单元内部（寄存器、L0/L1 缓存、共享内存）→ 片上共享（L2 缓存）→ 片外高速显存（HBM/GDDR）→ 跨卡互联（NVLink/Infinity Fabric 访问远端显存）→ 主机内存（CPU DDR/统一内存）。AI 场景中，参数量、优化器状态、激活、中间梯度被精心分配在各层：HBM 容量的提升决定模型能装下多大，HBM 带宽与计算吞吐量的比值决定训练是否“喂得饱”计算单元。近年来 HBM 堆叠、先进封装（如 CoWoS）、大容量 L2 等技术使得这一层级的边界不断外扩，但仍无法完全跟上算力增长，形成著名的“内存墙”。因此业内衍生出模型并行（张量/流水线/序列）、ZeRO 冗余消除、激活重计算、FlashAttention 等策略，本质上都是在显存层级约束下对访存带宽与容量的精细调度。

15 分钟专家深入

从系统工程角度看，显存层级不仅是硬件规格问题，更是分布式训练框架、编译器、算子库协同优化的核心对象。

• 容量瓶颈驱动模型切分：当单卡 HBM 无法存下模型时，必须将参数与计算切分到多 GPU（张量并行、流水线并行）或借助 CPU 内存（ZeRO-Offload）。张量并行需要高频的 AllReduce 通信，每一步都要在 GPU 的 L2/HBM 和 NVLink 间搬运数据；流水线并行则减少通信频率，但需处理跨卡激活传输。
• 带宽瓶颈决定计算效率：训练每个 token 的浮点运算量（FLOPs）与所需数据搬运量（Byte）的比值称为算术强度。若 HBM 带宽不足，GPU 大量时间空转等待数据（内存受限），强制要求提升批次尺寸或使用内核融合优化。典型优化如 FlashAttention 通过将注意力矩阵计算保留在 SRAM（共享内存/L1）内不写回 HBM，大幅降低对 HBM 带宽的压力。
• 延迟对推理尤为关键：推理时单次请求延迟受制于依次访问各层级的延迟。大模型 KV Cache 占用大量 HBM 容量，层与层之间的 L2 缓存命中率、数据预取策略都直接决定用户体验。
• 层级耦合给系统带来的挑战：寄存器/共享内存通常由编译器静态分配，而 L2 和 HBM 由 GPU 的动态调度管理。程序员/框架需要通过 Tiling、向量化访存、避免 Bank Conflict 等手段充分利用高速内存，否则即使 HBM 带宽表面光鲜，有效带宽也可能大幅下降。

核心洞察：未来 AI 芯片竞争力的衡量维度，已从单纯 TFLOPS 转向“算力密度 + 显存层级综合效能（容量 × 带宽/算力 × 单位功耗）”。谁能在有限的硅面积和功耗预算下构建出更靠近计算的、容量够大带宽够高的层级，谁就掌握了大模型时代的定价权。

技术原理

层级结构示意（以当前主流数据中心 GPU 为参考）

每个 SM 内部：
 ┌─────────────┐  
 │ 寄存器文件 (Register File)    ← 容量：每线程数百字节，延迟 0 周期 (在指令可调度范围内)
 ├─────────────┤  
 │ L0 指令缓存                   
 ├─────────────┤  
 │ L1 数据缓存 / 共享内存        ← 可配置合计约 128‑256 KB/SM，延迟 ~30 cycles
 │ (统一 SRAM, 极高带宽, 编程管理)  
 └──────┬──────┘  
        │  片上网络 (Crossbar / Mesh)
 ┌──────┴──────────────────┐
 │     L2 缓存 (Unified)   ← 容量 40–60 MB (现代数据中心 GPU)，延迟 ~200 cycles
 │     对所有 SM 共享        │  
 └──────┬──────────────────┘  
        │ 内存控制器 + 硅中介层/先进封装 (如 CoWoS-S)
 ┌──────┴──────────────────┐
 │ HBM 堆栈 (显存)         ← 容量 80–192 GB/GPU，带宽 2–3+ TB/s
 │ 多堆栈、1024‑bit 每堆栈   │  
 └─────────────────────────┘  
        │ NVLink/NVSwitch (跨 GPU 直接访存)
 ┌──────┴─────────────┐
 │ 远端 GPU 的 HBM     │ ← NUMA 特性，带宽数百 GB/s，延迟略增
 └────────────────────┘  
        │ PCIe / CXL / NVLink-C2C
 ┌──────┴─────────────┐
 │ 系统 DRAM (CPU 内存) │ ← 容量 TB 级，带宽~100 GB/s，延迟数微秒
 └────────────────────┘  

关键机制：

• 寄存器与 L1/共享内存：编译器将最热的局部变量、小矩阵分块映射到这里。共享内存可被同一线程块所有线程访问，编写 CUDA kernel 时需显式分配并同步。Bank 冲突会显著折损带宽。
• L2 缓存：对全局内存读写起缓冲和合并作用。L2 驻留策略（residency control）可将部分数据锁存在 L2 中不被淘汰，提升数据重用率。较大 L2 可降低对 HBM 的访问压力，提高能效。
• HBM 架构：通过 TSV（硅通孔）将多层 DRAM 芯片垂直堆叠，并与 GPU 芯片封装在同一基板上。宽位宽（标准为 1024‑bit）辅以适度频率，实现低功耗下的极高带宽。最新 HBM3e 每堆栈带宽已逾 1 TB/s（基于 HBM3 的行业扩展，由存储厂商推动）。
• 统一内存与地址转换：GPU 页表可映射系统内存，使 GPU 代码透明访问 CPU 内存（有页面错误迁移机制），消除显式拷贝。虽然方便，但隐藏的迁移延迟可能成为性能陷阱。

关键参数（定性/基于公开架构）

注：具体数字因 GPU 型号和代际而异，此处仅给出量级范围，反映层级特性。

技术演进史

• 远古时期（Fermi/Kepler 时代，2010‑2014）：GPU 开始重视可配置 L1/共享内存，显存以 GDDR5 为主，带宽和容量增长缓慢。内存层级概念主要停留在 CUDA 编程手册。
• HBM 诞生与 AI 萌芽：2015 年 AMD Fiji 首次商用 HBM 1（4 层堆栈，带宽 512 GB/s），大幅降低显存功耗。NVIDIA 随后在 P100 中采用 HBM2（2016，带宽 720 GB/s），搭配 NVLink 1.0，数据中心 GPU 显存带宽大幅提升。首个带宽达到 TB/s 级别的数据中心 GPU 是 A100（2020 年）。
• Volta 架构（2017）：统一内存（自 CUDA 6 起引入）继续得到支持，引入独立线程调度，且 HBM2 容量达到 32 GB，开始支撑深度学习中 Batch Size 增大。Tensor Core 出现，对数据搬运提出更高要求。
• Ampere 架构（2020）：A100 配备 40/80 GB HBM2e，带宽 2 TB/s，并大幅增加 L2 缓存至 40 MB，搭载第二代 NVSwitch 实现多卡全互联（NVSwitch 首次在 2018 年 Volta 架构 DGX‑2 中引入）。显存层级与多 GPU 拓扑深度绑定。
• Hopper 架构（2022‑2023）：H100 采用 HBM3，带宽 3.35 TB/s，L2 缓存扩充至 50 MB，并应用新的 TMA（Tensor Memory Accelerator）异步拷贝引擎，有效减轻寄存器/共享内存管理负担。HBM3e 随后问世，带宽更上层楼，使得 192 GB 单卡成为可能。
• 封装革命与未来：CoWoS 封装成为显存层级物理基石，将逻辑芯片与 HBM 堆栈集成在同一硅中介层上，大幅缩短互连，提升能效。未来方向包括更紧密的 3D 堆叠（如 SoIC）、存算一体（PIM），甚至将部分计算直接迁入 HBM 堆栈内，从根本上颠覆层级概念。

技术路线对比（量化表）

关键趋势：HBM 已从“高成本可选”变为 AI 训练标配，成本占比持续攀升，推动 TSV 和先进封装持续扩产。边缘场景则更倾向高带宽 LPDDR 或缩小版 GDDR。

上下游

上游—原材料与设备：

• TSV 刻蚀、硅中介层、微凸点等先进封装设备与材料供应商（刻蚀/沉积设备、临时键合/解键合、CVD/PVD）
• DRAM 芯片晶圆厂（先进 1α/1β/1γ 工艺）
• 高密度基板（ABF）与热界面材料

中游—设计与集成：

• 显存颗粒设计（SK 海力士、三星、美光）与控制器 IP
• GPU/ASIC 芯片设计（NVIDIA、AMD、Intel、自研芯片厂商如 Google TPU 团队）
• 先进封装与集成（台积电 CoWoS、三星 I-Cube、英特尔 EMIB）
• 连接技术（NVLink、CXL、Infinity Fabric 等）

下游—系统与应用：

• 服务器/超算（DGX、HGX、自定义训练服务器）
• AI 云服务（AWS、Azure、GCP、CoreWeave 等）对显存配置的定制需求
• 自动驾驶（LPDDR/GDDR）与边缘推理盒子
• 消费硬件（游戏显卡）

价值流动：显存层级直接驱动先进封装和 HBM 量价齐升，成为 AI 产业链中价值密度最高的环节之一。瓶颈在于 CoWoS 产能与 HBM 产能的匹配。

关键指标

1. 显存带宽 (Memory Bandwidth)：单位 TB/s，决定数据喂给计算单元的上限。常对比单卡理论带宽和实际有效带宽（通过 STREAM 或 AI 算子测试）。
2. 字节/FLOP 比 (B/F 比)：每 FLOP 访存字节数。训练时典型优化器状态和激活导致 B/F 较高，需确保显存层级能提供足够带宽维持计算单元利用率。
3. 模型最大容纳规模：大致近似为 HBM 容量的一半到三分之二（视 ZeRO 阶段和重计算而定）。单卡可容纳的模型参数量是架构选型的硬门槛。
4. 缓存命中率与 L2 驻留控制：大模型推理的 KV Cache 若常驻 L2 可大幅加速，L2 miss 率直接影响延迟。
5. 跨卡互联带宽/延迟：在多 GPU 系统中，远端访问显存的带宽常成为扩展瓶颈，NVLink 带宽和 GPU 拓扑决定强扩展性。
6. 能效比（pJ/bit）：衡量每搬运一个 bit 数据消耗的能量，HBM 远低于 GDDR，这是大规模训练重视 HBM 的关键原因之一。

供需与市场数据

由于检索源不可用，本节以定性趋势描述为主，数据参考行业常识性认知（[基于行业普遍观点，非精确检索]）：

• 需求端：大模型参数从千亿迈向万亿，训练单次所需总显存容量线性甚至超线性增长。推理侧，多租户、长上下文带来巨大 KV Cache 需求，单卡 HBM 容量已从 80 GB 快速增至 141 GB/192 GB。AI 服务器出货量强劲，预计未来数年 HBM 需求 CAGR 维持高位。
• 供给端：HBM 产能高度集中在 SK 海力士、三星、美光三家，扩产受制于 TSV 产能、先进封装线产能、良率爬坡周期。台积电 CoWoS 产能不仅是 AI 芯片的瓶颈，也间接决定了 HBM 的出海口。目前持续处于供不应求状态，导致 HBM 价格坚挺，预付款锁定产能成为常态。
• 市场影响：HBM 占 GPU 物料成本比例大幅上升（估算超 50%），直接影响 AI 服务器毛利率。GDDR 产能相对宽裕，但主要用于中低端推理和消费市场，无法填补高端缺口。这一供需失衡使 HBM 成为 AI 硬件投资中最确定的瓶颈赛道。

代表公司与资本映射

• 显存层级技术主导者：
  • SK 海力士：HBM 市场份额领先，率先量产 HBM3e，是英伟达主要供应商。
  • 三星：提供 HBM2e/HBM3，拥有从晶圆到封装的 IDM 优势，并试图通过定制化 PIM 芯片差异化竞争。
  • 美光：HBM2e 后起直追，HBM3e 已送样，加快融入数据中心生态。
• GPU/AI 芯片设计：
  • NVIDIA：通过 Ampere/Hopper/Blackwell 架构定义显存层级范式，搭配 NVLink/NVSwitch/CoWoS 构建系统级层级。
  • AMD：MI300 系列采用 HBM3 与先进封装，主打统一内存架构与显存容量卖点。
  • Google（TPU）、AWS（Trainium） 等自研芯片同样重度依赖 HBM，其显存层级定制化程度渐高。
• 封装与制造：
  • 台积电：CoWoS 产能是关键资源，直接决定高端 GPU 和 HBM 的整合产出。
  • 英特尔：EMIB 和 Foveros 封装试图切入，但 AI 领域主阵地仍在台积电。
  • 国内产业链：通富微电、长电科技等在先进封装上有所布局，HBM 国产替代尚在早期。
• 产业链映射：HBM、先进封装设备（如东京电子、ASM Pacific）、ABF 基板（如欣兴、南亚）、测试接口等环节与显存层级升级高度相关，可作为理解 AI 硬件供给瓶颈的产业观察入口。

产业影响

1. 显存是“算力的影子”：算力增长的幂律规律要求相应显存带宽同步扩张，但带宽提升速度慢于算力，形成结构性缺口。
2. 产能约束：HBM 供给受 TSV、良率、先进封装和客户认证节奏约束，SK 海力士、三星、美光及台积电 CoWoS 扩张节奏会影响 AI 加速器交付。
3. 架构替代风险（远期）：存算一体、PIM、光互联等可能改变现有层级，但在规模化部署前仍需验证软件栈、成本和可靠性。
4. 大模型推理放量：长上下文、多模态和高并发推理会提升显存容量与带宽需求，使大容量 HBM 从训练侧扩展到推理侧。
5. 价值量向封装倾斜：随着 HBM 堆叠层数增加和逻辑 die 介入，先进封装价值占比不断提升，相关设备、材料、测试环节的重要性随之上升。

常见误读纠偏

误读 1：“显存越大，模型训练越快”
纠正：模型训练吞吐量主要由带宽决定而非单纯容量。小模型在过大的显存中不会明显变快，反而可能因不必要的数据迁移或系统开销拖累性能。容量决定了能否装下模型，而带宽决定了训练速度。对于分布式训练，还需关注跨卡互联带宽，总网络带宽有时比单卡容量更重要。

误读 2：“所有的内存层级由硬件一次性确定，软件不用管”
纠正：显存层级并非对上层代码完全透明。高训练效率需要显式管理数据在层级的驻留：比如将注意力矩阵计算塞进共享内存，使用 L2 锁存策略优先保留常驻数据，通过 CUDA Graph 减少发射开销。优秀的 AI 框架与编译器深度参与层级调度，否则接近 80% 的有效带宽可能被浪费。

误读 3：“HBM 等于所有的显存层级”
纠正：HBM 只是片外显存的实现方式。完整的显存层级包含大量片上 SRAM（L1/L2/共享内存），模型推理时 FlashAttention、MQA/GQA 等策略的核心就是节省 HBM 访问，善用片上 SRAM。忽视片上内存层级的优化，将无法释放芯片真实潜力。

学习路径

1. 硬核基础：阅读 CUDA 编程指南的“内存层级”章节，理解全局内存、共享内存、寄存器、常量内存的访问模式与生命周期。
2. 架构白皮书：研读 NVIDIA A100/H100 Whitepaper，重点关注 L2 Cache、TMA、NVLink 规格；同时阅读 HBM 标准文档（JEDEC 公开摘要）。
3. 系统突破论文：
   • 《Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism》了解张量/流水线并行中的通信与内存分配。
   • 《ZeRO: Memory Optimizations Toward Training Trillion Parameter Models》理解状态切分与层级卸载。
   • 《FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness》领会基于内存层级的算法设计。
4. 工具测通：使用 NVIDIA Nsight Compute 分析 kernel 的 L1/共享内存、L2、HBM 命中率与带宽利用率，亲手调优一个矩阵乘案例。
5. 产业跟踪：跟踪 HBM 市场动态（财报电话会、TrendForce/MIC 报告）和先进封装路线图（台积电技术论坛），将技术指标与供给约束、产品节奏对应起来。

一句话总结

显存层级是 AI 芯片的“血管与仓库”，内存墙决定了算力能做什么、多快、多便宜——它不仅是硬件规格表上的数字，更是编译框架、算法创新和产业定价权的交汇战场。

延伸阅读与来源

• NVIDIA H100 Tensor Core GPU Architecture Whitepaper：详尽介绍 SM 内部层级、L2 缓存和 HBM3 集成方式。
• JEDEC High Bandwidth Memory (HBM) Standard：HBM3 电性与时序特性官方来源。
• SK hynix HBM3e Product Brief：堆栈容量与带宽的最新宣传数据。
• NVIDIA CUDA C++ Programming Guide, Chapter 5 (Memory Hierarchy)：程序员视角的各层级访问详情与优化准则。
• 论文：FlashAttention (Dao et al., 2022)：经典的 IO‑Aware 显存利用实现。
• IEEE/ISSCC 相关论文：TSV、CoWoS 封装及 HBM 能效研究（如三星 PIM 演示）。
• 行业分析：TrendForce、Omdia 关于 HBM 市场供需与资本开支的定期报告（具体数字请以最新付费报告为准，本文基于共识性方向总结）。