GB200 NVL72

3 秒看懂

GB200 NVL72 是 NVIDIA 于 2024 年 GTC 大会上发布的机架级“超级芯片”AI 计算系统。它通过高速 NVLink 将 72 颗 Blackwell 架构 GPU 全互联成一个巨型 GPU，专为万亿参数大模型训练与实时推理而设计。可理解为：一个机架内拥有一台几乎无通信瓶颈的超级计算机，将原本需要整个数据中心机房才能实现的算力与显存资源压缩到数平方米空间。

3 分钟产业解释

GB200 NVL72 并非传统插在主板上的显卡，而是一套完整的机架级 AI 基础设施。其核心计算单元为“超级芯片”（Grace CPU + 双 Blackwell GPU），36 组超级芯片（总计 72 颗 Blackwell GPU）通过专用 NVLink Switch 系统实现全部高速直连，形成统一的 GPU 算力与显存资源池。

这一设计的根本目的，是解决大模型时代两个最核心的痛点：

• 显存墙：万亿参数模型单卡无法容纳，跨机通信又导致训练效率断崖式下跌。GB200 NVL72 将系统总显存扩展至 13.5 TB 以上的 HBM3e 域内可直接访问，使全模型常驻高速显存成为现实。
• 并行效率：张量并行、专家并行等对卡间带宽极其敏感的操作，以往受限于 8 卡 DGX 节点内部的 NVLink 域，跨节点必须经过InfiniBand/以太网，带宽骤降 90% 以上。NVL72 将 NVLink 高带宽域一举扩展至 72 GPU，AllReduce 和 All-to-All 等关键通信操作可在域内极低延迟完成。

产业意义上，GB200 NVL72 被定义为“AI 工厂”的最小构建单元。云服务商和大型企业可用其快速搭建数万乃至数十万张 GPU 的超大规模集群，支撑从万亿参数 MoE 大语言模型到多模态模型、科学计算、实时推理等场景，实现训推一体化，从而最大化投资回报。

技术原理

系统架构概览

GB200 NVL72 由三个物理层次组成：

• 计算底座：内置多组超级芯片，每个超级芯片包含 1 颗 Grace CPU 与 2 颗 Blackwell GPU，提供计算与本地 HBM3e 显存。
• NVLink Switch 系统：多颗大型 NVSwitch 芯片组成无阻塞交换矩阵，将所有 72 颗 GPU 的 NVLink 端口全互联，任意两 GPU 之间可实现线速通信，延迟在微秒级。
• 散热与电源：整机架功耗约 120 kW（NVIDIA 2024 年 GTC 公开披露），采用直接液体冷却方案，涵盖冷板、冷却分配单元、歧管等组件。

核心机制：从 GPU 到 NVLink 域

每颗 Blackwell GPU 配备多个 NVLink 端口，通过高速串行/并行链路连接至 NVSwitch 芯片。NVSwitch 采用无阻塞交换架构，将所有 GPU 的 NVLink 信号汇聚，实现任意两两 GPU 之间的全带宽点对点通信，无需经 CPU 或网络适配器中继。逻辑拓扑简化示意如下：

[GPU 0] ── NVLink ──↘
[GPU 1] ── NVLink ──↘
     ...              NVSwitch Fabric → 任意 GPU 全互联
[GPU 71] ── NVLink ──↗

在此拓扑下：

• AllReduce 操作（张量并行前向/反向的梯度同步）可在极短时间内完成，延迟处于微秒量级，远优于跨节点 InfiniBand 方案。
• All-to-All 操作（MoE 专家路由的 dispatch/combine）能够充分利用双向带宽，避免传统跨节点网络中的拥塞和尾部阻塞。

显存池与缓存一致性

NVL72 支持 GPU 间高效的内存访问协议，可通过 NVLink 实现低延迟、高带宽的远端显存访问。这使所有 72 颗 GPU 的 HBM3e 内存在逻辑上呈现为一个巨大的统一地址池。对万亿参数模型而言，全部参数可常驻此高速池中，无需频繁在 HBM 与主机内存或 SSD 之间进行参数换入换出，极大降低 checkpointing 和参数 offload 的延迟开销。

并行策略的重构

在 NVL72 中，张量并行、专家并行、流水线并行之间的传统边界被模糊化：

• 张量并行：以往受限于单节点 8 卡 NVLink 域，现可跨 72 GPU 实施，模型层可被更细粒度切分。
• 专家并行：支持更多专家（如 32 或 64 专家）分布在 72 卡域内，All-to-All 操作免遭跨节点瓶颈。
• 流水线并行：可将更多 micro-batch 注入域内不同阶段，减少流水线气泡。

开发者的训练/推理脚本配置复杂性因此降低，资源利用率与收敛效率提升。

关键参数

以下参数均基于 NVIDIA 于 2024 年 GTC 大会公开披露信息及官方博客，如有更新请以 NVIDIA 最新 datasheet 为准。

注：具体 TFLOPS/PFLOPS 数值、HBM 带宽、NVLink 总带宽等精确指标，以 NVIDIA Blackwell 正式白皮书为最终依据。部分数值在 GTC 2024 中以区间或对比形式披露，本文不做具体估算。

技术路线

NVL72 在 NVIDIA 系统演进中的位置

• DGX-1（2016）：基于 Pascal 架构，8 卡节点，无 NVSwitch，依赖 PCIe 通信。
• DGX-2（2018）：基于 Volta 架构，16 卡单机箱，首次引入 NVSwitch，实现 16 颗 V100 GPU 全互联。
• DGX A100/H100（2020/2022）：NVSwitch 迭代至第三代/第四代，但单 NVLink 域仍局限在 8 卡 HGX 基板内部；跨节点依赖 InfiniBand/ConnectX 网卡。
• SuperPOD：通过多台 DGX 配合 InfiniBand 网络扩展集群规模，NVLink 高带宽域仍限定于节点内 8 卡。
• GB200 NVL72（2024）：首次将 NVLink 域原生设计为 72 GPU 机架级结构，采用全液冷、高密度供电，将 NVSwitch 与计算托盘深度集成，将“巨型 GPU”域作为最小部署单元。

与其他技术路线的对比

注：性能对比为定性梳理，未做定量跑分对比。各系统正式发布日期与架构细节存在差异，此处仅呈现技术路线差异。

上游

GB200 NVL72 产业链上游涵盖半导体设计、先进制程代工、高带宽存储、先进封装、连接器件及散热组件等环节：

• 芯片 IP 与设计：NVIDIA 自研 Blackwell GPU 架构、Grace CPU（Arm 架构内核）、NVSwitch ASIC。
• 晶圆代工：GPU 与 NVSwitch 芯片的先进逻辑制程由台积电提供。根据 NVIDIA 2024 年 GTC 公开信息及行业分析，Blackwell GPU 采用 TSMC 定制化 4nm 级 FinFET 节点（具体工艺代数 NVIDIA 未官方核实）。Grace CPU 也由台积电代工。
• 高带宽存储器：Blackwell GPU 搭载 HBM3e 显存，目前主要供应商为 SK 海力士与三星电子。根据各家 2024 年公开产能规划，HBM3e 扩产正在加速，SK 海力士占据先发份额（来源：TrendForce 2024 Q2 行业简报）。
• 先进封装：GPU + HBM 通过台积电 CoWoS 系列先进封装完成。预计 Blackwell 产品使用 CoWoS-L 或更高级别封装技术（公开资料未见 NVIDIA 精确确认）。台积电 2024 年技术论坛披露计划将 CoWoS 产能在 2024 年底扩至每月 3 万片晶圆以上（台积电 2024 年 5 月技术论坛）。
• 交换机与连接部件：NVSwitch 芯片由 NVIDIA 设计、台积电代工；系统内部高速背板、高密度铜缆或有源光缆由相关连接器/线束供应商提供。NVIDIA 尚未就机架内部连接介质的具体份额分配做出详细披露。
• 散热组件：直接液体冷却的冷板、管路、冷却分配单元由散热/液冷专业厂商供应。行业分析指出 CoolIT、Boyd Corporation、台系液冷厂（如双鸿、健策）为该生态重要参与者（来源：Digitimes 2024 年 7 月报道）。

下游

GB200 NVL72 主要面向以下四类需求方：

• 超大规模云服务商：AWS、微软 Azure、谷歌 Cloud、Oracle Cloud 等均已公开表示将部署基于 Blackwell 的实例，用于提供 AI 训练与推理云服务。其中，各厂商在 2024 年下半年起陆续披露了 Blackwell 实例的上线计划（来源：各云厂商 2024 Q2-Q3 财报电话会及官方博客）。
• 大型 AI 实验室与初创公司：OpenAI、Anthropic、Meta、xAI 等聚焦万亿参数以上前沿模型训练与部署的机构，是 GB200 NVL72 的核心目标客户（来源：各公司公开技术博客与社交媒体）。
• 主权 AI 与国家级超算中心：多国政府已将 AI 算力纳入国家战略，大规模采购 GB200 NVL72 系统用于构建国家级 AI 基础设施（公开报道涉及新加坡、日本、北欧多国等）。
• 企业级推理服务商：随着万亿参数 MoE 模型在线推理需求上升，部分大型模型 API 供应商正在评估将 NVL72 作为“训推一体”单元，以提升推理吞吐与首 token 延迟表现（来源：Semianalysis 2024 年 8 月分析）。

市场反馈显示，Blackwell 系列需求远超供应，NVIDIA 分配的优先级明显倾向于超大规模云服务商及头部 AI 实验室，全球中小企业及新兴初创公司普遍面临较长等待周期（来源：The Information 2024 年 9 月报道）。

受益公司

以下梳理涉及 GB200 NVL72 产业链的上市公司及其受益逻辑，仅作客观产业分析，不构成任何投资建议：

• NVIDIA：系统直接供应商，GB200 NVL72 使其从芯片/板卡销售升级为机架级系统销售，单客户价值量大幅提升，进一步巩固在 AI 训练与推理基础设施领域的优势地位。
• 台积电：独家提供 Blackwell GPU 先进制程代工及 CoWoS 系列先进封装。NVL72 系统 GPU 芯片总面积大、封装复杂度高，对台积电先进制程及封装产能的拉动显著。台积电 2024 年财报指出 AI 相关营收占比持续提升。
• SK 海力士 / 三星电子：Blackwell 搭载 HBM3e 显存，2024-2025 年 HBM3e 供需持续偏紧。SK 海力士 2024 年 Q2 财报披露其 HBM3e 产能已售罄至 2025 年；三星电子亦在加速 HBM3e 验证与扩产。
• 散热/液冷供应链：NVL72 约 120 kW 的机架功耗强制采用直接液体冷却，推动液冷渗透率快速上升。相关上市公司包括 CoolIT（未上市）、Boyd Corporation（未上市）及台系厂商双鸿、健策、奇鋐等。
• ODM/系统组装：鸿海、纬创、广达、Supermicro 等参与 NVL72 机架系统组装与整合。其中鸿海 2024 年在 GB200 NVL72 系统的早期出货中占据较大比重（来源：DigiTimes 2024 年 7 月报道）。
• 连接器与线束：NVLink 机架内高速互连需大量高密度铜缆/有源光缆及配套连接器。公开分析提及安费诺、泰科电子、Molex 等国际连接器巨头，以及部分台系线束厂可能参与供应。NVIDIA 未正式披露供应商清单。

市场规模

以下数据均源自第三方行业研究机构，所有数字均标注年份、口径及来源：

• AI 服务器市场规模：根据 IDC 2024 年 8 月报告，2024 年全球 AI 服务器市场出货金额预计达 1,200 亿美元，同比增长约 80%；其中 GPU 服务器占据绝大多数份额。IDC 预计 2028 年 AI 服务器市场规模将超过 2,500 亿美元。
• NVIDIA 数据中心业务收入：NVIDIA FY2025 Q2（截至 2024 年 7 月）数据中心业务营收达 263 亿美元，同比增长 154%（来源：NVIDIA FY2025 Q2 财报）。分析机构普遍预计 Blackwell 系列产品的放量将成为 FY2026（2025 自然年）数据中心业务进一步增长的关键驱动力。
• GB200 NVL72 细分市场：尚未有独立第三方发布的 GB200 NVL72 专属市场规模预测。公开分析（Semianalysis 2024 年 7 月报告）粗略估算，2025 年 GB200 NVL72 及 NVL36 系统合计出货金额可能达到数百亿美元级别（此估算仅为行业分析，不作预测依据）。
• HBM 市场：TrendForce 2024 年 7 月报告预计，2024 年 HBM 市场规模将超过 160 亿美元，同比增长约 300%；2025 年有望突破 300 亿美元，主要由 HBM3e 及未来的 HBM4 出货驱动。
• 液冷数据中心市场：Dell’Oro Group 2024 年 8 月报告预测，2028 年全球数据中心液冷市场规模将超过 80 亿美元，其中以直接液体冷却为主要方案。GB200 NVL72 的全液冷方案被视为该趋势的重要推手。

重要提示：上述第三方预测均基于一定假设，存在各种不确定性，仅用于说明产业趋势，不代表对未来市场规模的确切预判。

玩家对比

目前，能提供与 GB200 NVL72 类似“单域全互联”大规模 AI 训练系统的厂商有限：

• NVIDIA：以 GB200 NVL72 将单 NVLink 域扩展至 72 GPU，是目前公开信息中单域全互联 GPU 数最多的量产设计。其软件生态（CUDA、Megatron-LM、NeMo 等）深度适配大 NVLink 域，形成生态壁垒。
• AMD：MI300X 及后续 Instinct 路线图提供了 8 卡全互联的基板设计，跨节点仍依赖 Infinity Fabric 或以太网。AMD 在 2024 年 Advancing AI 活动上宣布，将在后续架构中进一步增强域内 GPU 数量，但目前公开信息中未见与 NVL72 量级对等的单域 72 卡设计。ROCm 生态持续完善中。
• Google TPU v5p：ICI 高速互联支持较大域规模，且 TPU 为 Google 自研自用，主要服务于 Google Cloud 及内部工作负载，不向第三方直接出售芯片。v5p 集群的域规模与拓扑细节未完全公开。
• 特斯拉 Dojo：专为特斯拉自动驾驶训练优化，D1 芯片通过自研 Dojo 接口互联。目前主要服务于特斯拉内部需求，未有对外出售计划。
• 华为 Ascend：昇腾系列通过 HCCS 高速互联实现多卡域，但在域规模、生态完整性及先进制程可获得性方面与 NVIDIA 存在客观差距，且主要面向中国大陆市场。
• 其他 ASIC 厂商：如 Amazon Trainium、Meta MTIA 等，多为特定客户内部工作负载定制，单域 GPU 当量与通用性无法与 GB200 NVL72 直接对标。

总结：截至 2024 年 Q3，GB200 NVL72 在单域 GPU 数、全互联带宽及软件生态成熟度方面处于独特地位，但 AMD、Google 等竞争者正在加速追赶，2025-2026 年格局可能出现变化。

风险

以下列举与 GB200 NVL72 相关的产业与供应链风险，均基于公开信息与行业逻辑分析：

• 产能瓶颈风险：CoWoS-L 先进封装产能、HBM3e 供货能力是 Blackwell 全系列产品出货的关键约束。若台积电封装扩产进度或 SK 海力士/三星 HBM3e 良率爬坡不及预期，可能导致 NVL72 系统大量订单延迟交付。截至目前（2024 年 Q3），NVIDIA 尚未公布具体产能与订单积压数据。
• 功耗与散热挑战：120 kW 单机架对数据中心供电、冷却基础设施提出极高要求。大多数现有数据中心无法直接承载此级别功率密度，需要改造或新建，从而可能延缓部署速度。
• 系统成本高企：据行业估算，单台 NVL72 售价可能在 300 万至 400 万美元区间（来源：Semianalysis 2024 年 7 月分析），使得该系统的可及性局限于少数超大规模客户，市场需求集中度高，一旦头部客户资本开支放缓，可能对产业链造成重大影响。
• 技术路线替代风险：超大规模云服务商的自研 ASIC 趋势持续强化（如 Google TPU、Amazon Trainium、微软 Maia、Meta MTIA），若自研芯片在性能/成本上达到替代阈值，可能侵蚀通用 GPU 在部分内部工作负载中的份额。
• 出口管制与地缘政治风险：美国政府对高端 GPU 的出口管制政策已影响 NVIDIA 在中国大陆及部分中东地区的销售。若管制范围进一步扩大或力度加强，可能影响 NVL72 在特定区域的市场空间。
• 软件生态依赖：GB200 NVL72 的极致性能发挥高度依赖 CUDA 生态及优化的并行框架，任何与主流通用框架（PyTorch、JAX 等）的适配延迟或兼容性问题都可能减缓用户迁移速度。

误读纠偏

误读 1：“GB200 NVL72 只是把 72 张显卡堆在一个机架里”

纠偏：传统 72 张 GPU 若通过 PCIe 交换机或标准网络连接，带宽不仅远低于 NVLink，且延迟、一致性协议均无法保证。NVL72 通过 NVSwitch 实现全 GPU 的无阻塞交换，统一地址池与高速域内内存访问在硬件层面提供了一致性保障，本质更接近“一台拥有 72 个计算芯粒的巨型 GPU”，而非 GPU 的简单物理堆叠。

误读 2：“MoE 模型每次只激活部分专家，所以不需要这么大显存”

纠偏：虽然每 token 的激活参数量较小，但所有专家的完整参数在训练和在线推理中均需常驻高速存储（如 HBM），否则每次路由切换都将引发不可接受的延迟。NVL72 总显存 13.5 TB 的设计目标正是让万亿参数 MoE 全模型（所有专家 + 共享层）常驻在统一 HBM 池内，而非仅存入被激活的少数专家。

误读 3：“NVL72 只适合训练，推理用不到这么强的互联”

纠偏：万亿参数 MoE 模型推理时，每个解码步骤同样需要执行 All-to-All 通信进行专家路由。若将模型拆分到多个小节点，跨节点 All-to-All 将成为延迟瓶颈，直接影响用户体验（首 token 延迟、吞吐）。NVL72 作为推理单元可实现全模型域内驻留，将通信开销降至最低，从而兼顾低延迟与高吞吐。

误读 4：“GB200 NVL72 就是 Blackwell 唯一形态，其他产品没人关注”

纠偏：NVIDIA 在 Blackwell 世代同时推出 HGX B200（8 卡基板）、GB200 NVL36（36 GPU 机架）等配置，以覆盖不同规模与预算的客户需求。NVL72 是当前最高端的全互联示例，并非唯一产品形态。

最新事件

以下梳理截至 2025 年初与 GB200 NVL72 相关的最新产业动态：

• GB200 NVL72 出货进度：NVIDIA 在 FY2025 Q3 财报电话会（2024 年 11 月）中确认，GB200 NVL72 已开始向首批客户发货，预计 2025 年 Q1 起大规模爬坡。部分云服务商在 2024 年末宣布其 Blackwell 实例开启内测。
• CSP 实例上线计划：微软 Azure 于 2024 年 10 月宣布将于 2025 年初推出基于 GB200 的实例；AWS 在 re:Invent 2024 上确认将部署 Blackwell 集群；谷歌 Cloud 在 2024 年 Q4 表示 Blackwell 实例正在准备中。
• CoWoS 产能扩展：台积电在 2024 年 Q3 法说会上确认，将 2024 年 CoWoS 产能目标上调至每月 3.5 万片以上，2025 年底目标进一步扩展至 5-6 万片/月（来源：台积电 2024 Q3 法说会）。
• HBM3e 供应：SK 海力士 2024 年 Q3 财报披露，12-Hi HBM3e 已向 NVIDIA 量产出货，预计 2025 年 HBM3e 总供应量同比增长超过 200%。三星电子 12-Hi HBM3e 验证进展于 2024 年下半年加快，但截至 2024 年底尚未获得 NVIDIA 正式认证完毕的公开确认。
• 出口管制动态：美国商务部工业和安全局于 2024 年底更新出口管制规则，对部分高端 AI 芯片的全球出货实施更严格的许可要求。NVIDIA 在财报电话会中表示，相关管制短期内对收入影响有限，但长期不确定性增加。
• B300 传闻：部分产业媒体于 2025 年初报道，NVIDIA 可能在 2025 年下半年推出 Blackwell 系列的更新型号（暂称 B300），引入 8-Hi HBM3e 更多堆叠等改进。截至 2025 年初，NVIDIA 未就此传闻公开置评。

跟踪指标

以下为持续跟踪 GB200 NVL72 产业进展的核心指标：

• NVIDIA 数据中心业务营收：关注 NVIDIA 每季度财报中数据中心业务同比/环比增速及管理层对 Blackwell 的出货指引。
• Blackwell 系列出货量与客户结构：关注超大规模云厂商的资本开支指引及 Blackwell 实例上线时间表，间接推算 GB200 出货节奏。
• CoWoS/L 封装产能及利用率：台积电季度法说会中 CoWoS 产能规划与实际投产数据，为 Blackwell 全系列产品供给面的核心约束。
• HBM3e 价格与供需：SK 海力士、三星电子、美光科技的 HBM 业务营收增速及扩产计划，TrendForce 等机构发布的 HBM 供需分析报告。
• 液冷供应链营收：散热/液冷相关上市公司（如双鸿、健策、CoolIT 母公司等）的营收及订单出库数据，可作为 NVL72 实际出货的侧面验证。
• 超大规模云服务商资本开支：AWS、Azure、Google Cloud、Oracle Cloud 等厂商的季度资本开支指引与新建数据中心计划，判断 AI 基础设施投资的持续性与强度。
• 大模型参数规模趋势：关注领先 AI 实验室发布的新一代模型参数规模与架构（尤其是 MoE 专家数）变化，万亿以上参数模型的训练/推理需求是 NVL72 渗透率的重要驱动力。
• 出口管制政策变化：美国商务部 BIS 对高端 AI 芯片出口管制规则的更新频率与范围，直接决定 NVL72 在部分市场的可及性。

信源

本文所引用信息与数据主要来源于以下公开渠道，供读者交叉验证与深度研究：

• NVIDIA 官方：GTC 2024 Keynote、NVIDIA Developer Blog（Blackwell Architecture 系列文章）、NVIDIA FY2025 各季度财报及电话会记录、NVIDIA 官方新闻稿。
• 台积电官方：2024 年技术论坛、2024 年 Q2-Q4 法说会记录。
• 存储原厂官方：SK 海力士、三星电子 2024 年财报及新闻稿。
• 第三方研究与分析：
  • Semianalysis（2024 年多篇 GB200/Blackwell 深度分析）
  • IDC（2024 年 AI 服务器市场报告）
  • TrendForce（2024 年 HBM 市场报告）
  • Dell’Oro Group（2024 年液冷数据中心市场报告）
  • Next Platform（架构分析）
• 产业媒体：DigiTimes、The Information、The Verge、AnandTech 等对 GB200 及供应链的相关报道。

声明：本文所有数据均尽力标注年份、口径与来源。凡公开资料未见明确数值之处，均以“公开资料未见”如实标注，绝不编造。本文不构成任何投资建议或买卖推荐，仅提供产业事实梳理与技术逻辑分析。