芯片层 开放阅读

显存容量

Memory Capacity

概念 ID
memory-capacity
更新时间
2026-05-29
来源数量
待补

显存容量

3 秒看懂

显存容量直接决定了一块 AI 加速卡在单次计算中能同时驻留的模型参数、优化器状态、中间激活与 KV 缓存的总量上限。容量一旦不够,无论芯片内部算力多高,大模型都无法直接运行,必须引入模型切分、激活重计算、Offload 等补救手段,这些手段几乎总会牺牲计算效率或显著增加工程复杂度。

3 分钟产业解释

在千亿乃至万亿参数级的大模型时代,显存容量已与计算算力并列为首要硬件约束。一片 AI 加速卡上的显存,通常被以下几类数据占用:模型权重(Weights)、优化器状态(如 Adam 的一阶动量 m 与二阶方差 v)、梯度(Gradients),以及前向传播产生的中间激活(Activations)。

随着 GPT-4、Claude 3.5、Gemini Ultra 等大语言模型(LLM)的规模从数百亿参数向数千亿甚至万亿迈进,完整训练过程所需的显存总量急剧膨胀。以千亿参数模型、混合精度训练为例,仅权重、优化器状态与梯度三项,合计便可达 1.4–1.8 TB 之巨,单卡物理显存(目前最高约 192 GB HBM3e 量级)无法承载千亿参数模型的完整训练状态。

当单卡显存不足时,就必须引入分布式训练策略:张量并行(Tensor Parallelism)、流水线并行(Pipeline Parallelism)、数据并行(Data Parallelism),以及 DeepSpeed ZeRO 等显存优化技术。这些策略的共同代价是引入额外的卡间通信,降低 GPU 的有效计算利用率(Model FLOPS Utilization,MFU)。根据公开文献(如 Megatron-LM 相关论文与 NVIDIA 技术博客),当张量并行跨越节点边界时,通信开销会使 MFU 从 50%+ 跌落至 30% 甚至更低。因此,在制造成本可接受的前提下,显存更大的 GPU 往往能支撑更高效率的大模型训练。在推理场景中,大显存则允许在单卡或少量卡上部署更大的模型,进而降低部署成本、延迟与系统复杂度。

当前产业界的格局是:数据中心 AI 加速卡普遍采用 HBM(High Bandwidth Memory,高带宽内存)堆叠方案来同时达成高容量与高带宽;而消费级与工作站级显卡仍以 GDDR 为主。HBM 的理论带宽可达数 TB/s 量级(具体因代际而异),其位宽、堆叠层数、单颗 DRAM die 密度共同决定了单堆栈的容量。每代 HBM 在这三个维度上均有演进,但量产往往面临良率、封装翘曲、热管理等系统级限制。原厂代际规格以 JEDEC 标准文档以及 SK 海力士、三星、美光的官方产品手册为权威来源。

技术原理

1. AI 加速器存储层次与基本约束

现代 AI 加速器(GPU/ASIC)的显存系统呈现严格的层次结构:

┌───────────────────────────────────────────┐
│              SM / Compute Unit 阵列        │
│  ┌──────────┐ 寄存器 (Registers)           │
│  │ 计算单元  │ L1 / 共享内存 / 本地暂存器   │
│  └──────────┘                              │
└───────────────────────────────────────────┘
           │ 片上高速 Crossbar/NoC
┌───────────────────────────────────────────┐
│          L2 Cache / 系统级缓存              │
└───────────────────────────────────────────┘
           │ 外部内存控制器 (Memory Controller)
┌───────────────────────────────────────────┐
│   HBM 堆栈 [DRAM Die × N 层]               │
│   或 GDDR 颗粒 × 多通道                     │
└───────────────────────────────────────────┘
           │ PCIe / NVLink / Infinity Fabric / CXL
┌───────────────────────────────────────────┐
│      其他加速器显存 / CPU 主存 / 远程节点    │
└───────────────────────────────────────────┘

容量最大的物理存储位于最底层的 HBM/GDDR,但其带宽相比片上缓存通常低 10 倍以上。因此芯片架构设计追求“数据复用最大化”:将矩阵乘法(GEMM)、卷积等能够高度分块的计算,映射到寄存器和共享内存中完成,力求每次从显存读入的数据能在片上复用尽可能多次。然而,模型的全量状态(权重、优化器状态、梯度)必须在显存级别驻留,无法绕过容量底线。

2. 典型训练场景的显存占用分解

以非 MoE 的基础 Transformer 模型、fp16/bf16 混合精度、Adam 优化器为例,每个参数的近似显存占用如下(数据源自 DeepSpeed ZeRO 论文、Hugging Face 技术文档,并经公开验证):

数据类别精度单位参数字节数
模型权重 (Parameters)fp16/bf162 字节
梯度 (Gradients)fp16/bf162 字节
优化器状态:一阶动量 (m)fp324 字节
优化器状态:二阶方差 (v)fp324 字节
优化器状态:master weights (可选)fp324 字节
合计(不含激活)16–20 字节

另需加上激活值(Activations)。激活值显存占用与批量大小(Batch Size)、序列长度(Sequence Length)、隐藏维度(Hidden Dimension)、Transformer 层数正相关。对于一个 175B(1750 亿)参数的 GPT-3 规模模型,仅参数、梯度与优化器状态就需 175 × 10⁹ × 16 ≈ 2.8 TB 以上的显存,远超当前单卡物理容量极限。这意味着必须通过模型切分等手段,将状态分散到数十至上百张加速卡上。

3. 显存带宽与容量的耦合:算术强度视角

显存的容量和带宽并非独立。从 Roofline 模型来看,一个计算任务的 算术强度(Operational Intensity,FLOP/Byte) 决定了它是受限于计算还是受限于带宽:

  • 计算受限(Compute Bound):算术强度高,如大矩阵乘法,受限于芯片 FLOPS;
  • 带宽受限(Memory Bound):算术强度低,如逐元素激活函数、归一化操作,受限于显存带宽。

大语言模型的自注意力计算、大规模 GEMM 偏向计算受限,而 LayerNorm、Dropout、短序列推理等操作则偏向带宽受限。因此,若显存容量大幅增加但带宽提升不成比例,部分内核会因“喂不饱”计算单元而成为瓶颈,降低整体吞吐。反之亦然,仅带宽高而容量小,就会频繁触发显存溢出,导致分布式切割加剧、通信开销攀升。

4. 激活重计算与 Offload:以时间/传输换空间

为在有限显存内训练更大模型,业界广泛采用以下技术:

  • 激活重计算(Activation Recomputation / Gradient Checkpointing):在前向传播中丢弃部分中间激活,反向传播时重新计算。根据 Megatron-LM 论文和公开基准,重计算可减少约 40% 的激活显存占用,但会增加约 33%–50% 的前向计算开销。显存容量越小,重计算需求越激进,有效吞吐等比例下降。
  • 参数/优化器 Offload:DeepSpeed ZeRO-Offload 等技术将优化器状态甚至参数卸载到 CPU 主存,需要时通过 PCIe 换入换出。此举大幅降低 GPU 显存占用,但引入 PCIe 带宽瓶颈——典型 PCIe 5.0 ×16 带宽约 64 GB/s,不及 HBM 带宽的十分之一,对训练速度影响显著。
  • KV Cache Offload:在长上下文推理中,KV 缓存可能成为显存主要消耗者,将其卸载到 CPU 内存或 NVMe 有助于支持更长上下文,但同时增加了首次 Token 延迟。

这些技术的本质都是在显存容量不足时,用计算或 IO 置换容量,代价是有效吞吐下降或延迟上升,最终影响训练效率或推理体验。

关键参数

  • 总物理容量(GB):产品规格书标称值。主流数据中心 GPU 在 2024–2025 年处在 80 GB(HBM2e)、141 GB / 192 GB(HBM3/HBM3e)等级别(具体容量来源于 NVIDIA、AMD 官方数据手册及行业通报)。
  • 有效可用容量(GB):扣除 ECC 保护预留、帧缓冲区等系统保留区域后的实际用户可用容量,通常比标称值低 3%–8%。在大规模长时间分布式训练中,ECC 保护区域不可挪用,否则静默数据损坏(Silent Data Corruption)风险急剧上升。
  • 显存带宽(GB/s 或 TB/s):理论峰值带宽计算方式为:接口位宽 × 数据速率 × 通道数 / 8。例如 6 堆栈 HBM3e,每堆栈 1024-bit,数据速率 8 Gbps/pin 量级,理论峰值带宽接近 6 TB/s。
  • 内存总线宽度与堆栈/颗粒数量:HBM 单堆栈位宽常为 1024 位,芯片通过中介层整合 4–8 个堆栈;GDDR 则通过 32 位×N 颗粒颗粒扩展。总线宽度直接决定了容量扩展的上限边界。
  • 每瓦特带宽与容量比:对万卡级集群而言,HBM 堆栈的功耗可达加速卡总功耗的 15%–25%(行业经验值,具体比例常不公开)。高能效显存方案可显著影响数据中心冷却成本与总拥有成本。
  • 卡间互联聚合显存容量:通过 NVLink、NVSwitch、Infinity Fabric 或 Ultra Ethernet 等技术,多卡可在逻辑上构建共享或统一内存空间。NVIDIA Grace Hopper 等方案更将 CPU LPDDR5X 内存纳入统一地址空间,虽带宽不对称,但可在特定访问模式下扩大有效模型容纳能力。

技术路线

当前 AI 加速器显存方案主要由两条迥异的技术路线主导。

维度HBM 系列(HBM2e/HBM3/HBM3e)GDDR 系列(GDDR6/GDDR6X/GDDR7)
典型带宽1.2–6+ TB/s(堆栈数×位宽×速率)数百 GB/s 至约 1.5 TB/s(颗粒数×32 位×速率)
典型单器件容量16–36 GB/堆栈(HBM3e 可更高)1–3 GB/颗粒,通过多颗粒可组合至 24–48 GB 总量
封装方案硅中介层 2.5D(CoWoS、EMIB、I-Cube 等),近存计算传统 PCB 走线,芯片封装周围或两侧放置颗粒
功耗效率(pJ/bit)通常更优,短物理走线带来低每比特能耗相对较高,长 PCB 走线与较高频率带来更大功耗
成本极高,涉及 TSV、中介层、热压键合等多个高成本工序相对较低,成熟 CMOS 工艺与 PCB 封装
容量扩展灵活度受堆叠层数与中介层面积严格约束,扩展不灵活可通过增加颗粒数量与通道数灵活扩展,上限由电路板空间与散热约束决定
主要应用场景数据中心 AI 训练/推理 GPU、高端 HPC 加速器消费级/工作站显卡、边缘推理、游戏、部分车载

注:上表中具体带宽与容量数值随产品代际变化,未列精确数字,请以原厂规格为准。

路线分化的深层逻辑:HBM 追求“带宽 × 容量密度”的极致,为 AI/HPC 而生,但产能受制于 DRAM 堆叠良率与先进封装产能;GDDR 走向成熟与低成本,满足成本敏感型市场。近年来的一个趋势是,推理侧开始出现基于 GDDR 的大容量方案(如部分推理专用加速卡),以期在大模型推理中挑战 HBM 方案的成本优势。然而其对带宽敏感型内核的影响仍需结合具体模型做性能评估,尚未形成统一替代。

上游

显存容量产业链的上游核心节点包括:

  1. DRAM 晶圆与堆叠制造:全球 HBM 所用 DRAM die 的供应商主要集中在 SK 海力士、三星电子、美光科技三家。2023–2024 年,SK 海力士率先量产 HBM3e 12 层堆叠产品,三星与美光加速追赶(各公司财报电话会、新闻稿,2024 年 Q1–Q3)。HBM 用 DRAM 在容量密度、数据速率、功耗控制上与手机/PC 用 DRAM 存在工艺差异,需要特殊的电路设计与散热考量。

  2. 先进封装与中介层:台积电 CoWoS(Chip-on-Wafer-on-Substrate)是目前产能最大、应用最广的 HBM 中介层方案,是 NVIDIA H100/H200/B200 等的显存封装基础。三星推出 I-Cube 与 X-Cube 方案,英特尔则有 EMIB(Embedded Multi-die Interconnect Bridge)。先进封装的产能,特别是 CoWoS 产能,已成为制约高容量 AI GPU 出货的核心瓶颈。根据 TrendForce(2024 年 Q3 估算),2024 全年 CoWoS 产能同比增长超 100%,但供需缺口仍然显著。

  3. 热界面与基板材料:高密度 HBM 堆栈的散热与翘曲控制对封装材料、底部填充胶、热界面材料提出了极高要求,直接关系到高容量方案的成品良率与可靠性。

  4. 测试与键合设备:HBM 堆叠过程中的热压键合(TCB,Thermal Compression Bonding)及堆栈后测试(如已知良好堆栈测试)设备由少数厂商提供,产能扩张节奏会间接制约 HBM 总产出。

  5. IP 与 EDA 工具:HBM PHY、控制器 IP(如 Synopsys、Cadence、Rambus 提供的设计方案)是芯片集成显存的关键模块,其物理实现与中介层互联设计需要深度协同优化。

下游

下游需求端对显存容量的影响主要体现在采购标准与实际部署方式上:

  1. 云服务厂商(CSP,Cloud Service Providers):AWS、Microsoft Azure、Google Cloud、Oracle Cloud 等是 AI 训练与推理 GPU 的最大采购方。在制定采购规格时,这些厂商将单卡显存容量作为核心评估维度之一——足以容纳特定规模模型、减少多卡通信开销的一方往往优先胜出。CSP 在万亿参数级大模型的前沿探索中,尤其倾向于采购显存容量最大的 GPU SKU。

  2. 大型 AI 实验室与模型开发商:OpenAI、Anthropic、Google DeepMind、Meta AI、xAI 等机构往往是定义 GPU 高容量 SKU 需求的先行者,公开技术报告(如 Llama 3 训练报告、DeepSeek 技术报告)中不时透露显存占用分析,这些资料加速了行业对大容量显存的认知与需求。

  3. 推理服务提供商:对于大语言模型推理,KV 缓存对显存的消耗随序列长度线性增长,而大显存允许在单卡上实现更大的批处理尺寸(Batch Size),从而摊薄每次推理请求的单位算力成本。Groq、Together AI、Fireworks 等推理托管平台,以及企业内部私有化部署的推理集群,正逐渐将显存容量作为硬件选型的重要参数。

  4. 服务器 OEM/ODM:超微、戴尔、惠普企业、联想、浪潮、新华三等品牌,以及广达、纬颖、英业达等 ODM,其 AI 服务器产品线的定义与竞争焦点高度围绕 GPU 显存容量和带宽配置展开。

  5. 受监管与垂直行业用户:金融、医疗、政务等需要私有化部署大模型的行业,出于数据合规与延迟考虑,倾向于部署高容量单卡方案以降低系统复杂度与维护成本。

受益公司

以下公司均在显存容量结构性紧张的大趋势下从不同维度直接或间接受益,相关市场地位与最新动态基于公开财报及行业报告:

  • NVIDIA(NVDA):Hopper 架构的 H100(80 GB HBM2e/HBM3)和 H200(141 GB HBM3e)是 2024 年数据中心 GPU 的标杆,即将推出的 Blackwell 平台 B100/B200 预计将配置更高容量的 HBM3e(具体容量以官方发布为准)。通过垄断性整合 HBM 供应商与 CoWoS 产能,NVIDIA 目前是最大受益者。

  • AMD(AMD):Instinct MI300X 在 2023 年底亮相,配备 192 GB HBM3,公开信息中这与 H200 处于相同容量量级。AMD 以大显存作为差异化竞争策略,试图在内存容量敏感的推理负载与部分训练场景中建立优势。

  • 英特尔(INTC):Gaudi 3 继承 Gaudi 2 的大显存基因,采用 HBM2e 方案,容量在 128–144 GB 量级(具体参数以官方数据手册为准)。后续 Falcon Shores 路线图显示将继续围绕 HBM 构建大容量方案。

  • SK 海力士(000660.KS):HBM3/HBM3e 市场领先者,是 NVIDIA H200 及后续 B 系列的主要 HBM 供应商。2024 年 HBM 销售额占总 DRAM 收入的比重逐季攀升,2024 Q3 财报显示 HBM 贡献已超 30%,且资本开支继续向 HBM 产线倾斜。

  • 三星电子(005930.KS):在 HBM3 和 HBM3e 阶段追赶 SK 海力士,正积极争取 NVIDIA 等大客户认证。三星同时具备 DRAM 制造、先进封装(I-Cube)以及代工能力,组合优势使其在 HBM 生态中不可忽视。

  • 美光科技(MU):以 HBM3e 切入市场,跳过 HBM3 直接进入高容量代际。2024 年已开始向部分客户送样,量产节奏晚于 SK 海力士,但市场共享高增长红利。

  • 台积电(TSM / 2330.TW):CoWoS 先进封装产能是目前显存容量释放的最主要物理瓶颈。台积电持续扩张 CoWoS 产能,2024 年月产能已超过 3.5 万片,并规划 2025 年继续大幅扩张(公司财报电话会口径)。

市场规模与产能趋势

(本节所引数据基于公开第三方报告与厂商官方公告,未做二次处理,具体数字因多次修订可能存在差异,以各原始来源最新更新为准。)

HBM 市场规模:根据 TrendForce(2024 年 Q3 报告),2024 年全球 HBM 市场规模预计约为 150–180 亿美元,较 2023 年的约 43 亿美元增长近 250% 以上。以比特(bit)出货量计算,2024 年 HBM 占 DRAM 整体比特出货的比例约为 4%–5%,但因单价极高,HBM 占 DRAM 总产值比例已超过 20%。展望 2025 年,UBS、Morgan Stanley 等卖方研究(2024 下半年报告)预估 HBM 市场将超过 250 亿美元,且可能因为容量与层数持续升级而上调。

产能约束:HBM 的核心产能限制环节在堆叠工序(SK 海力士、三星、美光自有)与先进封装(台积电 CoWoS 为最大瓶颈),两者均缺乏短期大幅扩产弹性。TrendForce 预计 2024–2025 年 HBM 供需仍维持偏紧,大容量 HBM3e 尤甚。

容量需求驱动因素

  • 模型规模增长:从 GPT-3 的 175B 到传闻中 GPT-4 的 1.8T(MoE)、Llama 3 的 405B 稠密参数,单次训练所需的总显存量从数百 GB 推升至数十 TB 级别。
  • 上下文长度扩张:推理侧 KV 缓存随上下文长度线性增长。100 万 Token 级别的长上下文模型(如 Gemini 1.5 Pro)在单卡部署时对显存容量提出极高要求。
  • 批量大小与推理延迟:大批量推理能显著降低单 Token 成本,但需要更大容量的显存支撑。
  • 分布式效率权衡:以容量更高的单卡替代多卡完成同样任务,能降低通信开销、提高 MFU 并降低总体成本,直接驱动市场为高容量 GPU SKU 支付溢价。

价格趋势:高容量 GPU SKU 溢价历来显著。以 NVIDIA 公开价格区间观察,H100 80 GB SXM 版本与 PCIe 版本价差多在一两千美元量级,而 H200 141 GB 价格较 H100 显著抬高(来源:公开渠道的云实例按需价格、OEM 目录价区间,具体成交价因批量采购协议而异)。该溢价并非纯物料成本差异所致,更多反映了卖方市场下的大容量稀缺溢价。

玩家对比

以下从显存容量、带宽、技术路线及市场生态维度,对当前主要 AI 加速器提供商做结构性对比(数据均来源于各厂商公开发布的产品规格与官方技术文档,截止 2025 年初):

厂商/产品系列显存类型及容量显存带宽(标称)容量策略特点
NVIDIA H100 SXM80 GB HBM2e/HBM3约 3.35 TB/s主流采用,通过 NVLink/NVSwitch 聚合多卡显存
NVIDIA H200 SXM141 GB HBM3e约 4.8 TB/s容量与带宽双升级,专攻大模型推理与长上下文
NVIDIA B100/B200(预告)预计更高容量 HBM3e(未公布确切值)未公布下一代架构,预期容量进一步提升
AMD Instinct MI300X192 GB HBM3约 5.3 TB/s当前单卡容量最大之一,以显存容量作为差异化竞争维度
Intel Gaudi 3128–144 GB HBM2e 量级(官方数据手册)未公布容量在主流区间,侧重性价比与软件生态
Google TPU v5p(公开信息)未公布具体容量与类型(公开资料未见详细规格)未公布闭源方案,Google Cloud 自用,无法直接对比容量参数

注:上表未列入已退役或仅限消费级的 GPU 型号。关于未来产品的容量数据均以官方正式发布为准,此处表格不构成对预期规格的承诺性描述。

从上述对比可见,显存容量已从单纯的技术参数,演进为产品线区隔、细分场景适配乃至商业竞争的战略武器。AMD 以大容量试图削弱 NVIDIA 的软件生态优势;NVIDIA 则以带宽与生态黏性对抗容量竞争。

风险

  1. 先进封装产能超预期扩张风险:若台积电 CoWoS 及相关替代封装方案(如三星 I-Cube、英特尔 EMIB)产能扩张远超预期,HBM 供需出现阶段性宽松,高容量 GPU 的稀缺溢价可能收窄。

  2. 算法颠覆性减容风险:若出现新的训练范式(如极端量化至 1 比特或更低的有效精度、全新的参数复用方案、存内计算/近存计算商业化量产),可能降低对物理显存容量的绝对依赖。目前此类技术多处于实验室或小规模验证阶段,尚未有大规模商业化落地证据。

  3. MoE 与异构计算降容需求:MoE 架构将总参数分散到多个专家,尽管训练仍需全部驻留,但推理阶段可每次只加载少数专家参数。若 MoE 成为绝对主导架构,且推理优化成熟到可高效缓存/换入换出专家参数,推理环节对单卡绝对容量的需求可能出现结构性下降。

  4. DRAM 工艺与良率风险:HBM3e 12 层乃至 16 层堆叠的良率与热稳定性仍面临工程挑战,一旦出现重大批量良率问题,特定 SKU 的出货量将远远落后于预期,导致供给进一步紧缩,但同时也可能延长上一代产品生命周期,扭曲市场预期。

  5. 需求端周期性波动:若 AI 模型训练投资增速放缓,或模型技术路线出现阶段性瓶颈,大型 GPU 采购可能经历去库存周期,显存容量的注意力可能从“容量绝对数字”转向“容量-成本效率”。

误读纠偏

误读 1:MoE 模型的激活参数少,所以对显存容量的需求大幅降低

正确理解:MoE 模型在推理时只激活部分专家,但训练阶段,所有专家的权重参数及其对应的优化器状态(Adam m/v 等)都必须完整驻留在显存中。因此,即便激活参数比率仅为 1/N,MoE 对显存总容量的需求并未下降,反而因总参数量一般是同水平稠密模型的数倍到十余倍,所需的总显存更高。推理阶段如果要求低延迟,全部专家也须同时驻留,容量需求同样不容低估。

误读 2:显存带宽只要够高,容量小一些也可以

正确理解:容量与带宽互为必要。对于计算密集型 GEMM 而言,高带宽能确保数据供给充分;但只要某时刻所需的工作集超出物理容量,就会触发显存溢出(Out-of-Memory,OOM)或频繁的数据换入换出,此时带宽再高也无济于事。反之,容量虽大但带宽不足,数据处理速率跟不上计算单元,导致 GPU 核心利用不足。二者存在最佳匹配区间,容量与带宽不可偏废。

误读 3:ECC 只是锦上添花,可以关闭以释放容量

正确理解:在消费级场景,关闭 ECC 以释放约 6%–8% 的容量确实常见,但对于 AI 大规模训练而言,静默数据损坏可能造成参数静默偏差甚至训练崩溃,尤其是跨数百卡、持续数周的训练作业。大型 AI 实验室普遍不采纳关闭 ECC 获取额外容量的做法,可靠性优先于绝对容量。

误读 4:只要多卡互联可以“拼”出足够显存,单卡容量无所谓

正确理解:多卡互联(如 NVLink、Infinity Fabric)能构建逻辑上的大容量空间,但跨卡访问的延迟和带宽远逊于单卡内部访问。训练时的张量并行和流水线并行对跨卡通信极度敏感,通信边界带来的效率损失往往导致集群的实际有效 FLOPS 远低于标称值。因此,单卡容量越大,切分粒度越粗,通信开销越小,总体效率越高。

最新事件

(以下事件基于 2024 年 Q3–2025 年 Q1 的公开披露和行业报道。)

  • 2024 年 8 月:SK 海力士宣布其 12 层 HBM3e 已通过客户认证,计划在 2024 年下半年正式出货,成为首家量产 12 层 HBM3e 的供应商,预计单堆栈容量达到 36 GB。
  • 2024 年 10 月:台积电在 2024 Q3 法说会上表示,CoWoS 产能 2024 全年较 2023 年提升超过 100%,并计划 2025 年再翻倍。但同时也表示,客户需求增速仍超出产能扩张速度,HBM 封装产能紧张局面还将延续至 2025 年甚至更久。
  • 2024 年 11 月:AMD 在 Advancing AI 活动中透露 MI300X 已开始量产出货给多家主要云客户,其 192 GB HBM3 成为市场公开可得的单卡最大显存容量。
  • 2024 年 12 月:英伟达在 GTC 后续发布中进一步透露 B200 将搭载更高容量 HBM3e,分析师普遍预期在 192 GB 至 288 GB 区间(非官方确数),但尚未获公司证实。
  • 2025 年 1 月:三星电子在 2024 Q4 财报电话会中表示其 HBM3e 改进版已开始量产,12 层产品将在 2025 年上半年出货,正在争取主要 AI 加速器客户的认证。
  • 2025 年 2 月:美光在投资者会议上更新 HBM 路线图,确认 HBM3e 已批量出货,并计划在 2025 年下半年推进下一代的开发。

跟踪指标

为持续评估显存容量对 AI 产业的影响及供需动态,建议关注以下可观测指标:

  • HBM 季度产值与出货比特数:来源为 TrendForce、Omdia 的行业追踪报告,以及 SK 海力士、三星、美光三家原厂的财报披露。对比 HBM 产值增速与 AI 芯片市场规模增速的剪刀差,可判断容量瓶颈的相对强度。
  • CoWoS 及先进封装月度/季度产能与利用率:台积电季度法说会的产能扩张指引,与封测环节相关设备供应商的营收趋势可作为代理变量。
  • 主流 GPU SKU 云实例按需定价与可用区覆盖:AWS P5、Azure ND H100 v5、Google Cloud A3 等实例的每小时价格变化,以及新区域/新 SKU 的投放节奏,可反映供需松紧。
  • 大型 AI 实验室的训练硬件配置公开信息:Meta、Google、DeepSeek 等机构有时会发布训练集群配置,单次训练使用的 GPU 数量与容量配置均是判断行业显存需求趋势的重要参照。
  • HBM 与 GDDR 在推理加速卡中的份额变化:关注新发布的推理加速卡是否从 HBM 转向 GDDR,或以混合内存方案出现,其渗透率可衡量市场对容量的性价比权衡。
  • 开源大模型的显存分析报告:Hugging Face、EleutherAI 及各模型发布方常附带显存占用分析,从中可提取典型模型规模的显存需求趋势。
  • 行业会议与标准动态:Hot Chips、ISSCC、JEDEC 的标准更新(如 HBM4 标准定稿)与关键演讲,是判断下一代显存容量与带宽的关键信号。

信源

  • NVIDIA H100/H200 白皮书与数据中心 GPU 产品规格页(NVIDIA 官网)
  • AMD Instinct MI300X 数据手册与 CDNA 架构参考指南(AMD 官网)
  • SK 海力士、三星电子、美光科技季度财报与投资者演示材料(2023–2025)
  • TrendForce 存储器产业季度追踪报告(HBM 专项,2024 Q1–Q4)
  • Omdia、Yole Intelligence 相关先进封装与 HBM 市场研究报告
  • DeepSpeed ZeRO 论文(Rajbhandari et al., “ZeRO: Memory Optimizations Toward Training Trillion Parameter Models”)
  • Megatron-LM 技术报告与 NVIDIA 相关博客文章
  • Meta AI 公开 Llama 系列论文与 Llama 3 训练报告
  • Hot Chips、ISSCC 历年关于 HBM/DRAM 的论文与演讲
  • JEDEC 高带宽内存标准(HBM2e/HBM3/HBM3e)文档
  • 公开数据库与卖方研究(Morgan Stanley、UBS 等 2024–2025 年半导体/AI 产业链报告)
source: 公开披露与公开资料整理 本页仅用于产业链学习、信息检索和研究辅助;不构成投资建议,不预测涨跌,不提供买卖、仓位或目标价建议。
完整概念页 复盘 13 节结构 公司投研页 沿产业链找到受益公司 投资课 把概念转成可跟踪模型