NVL72
1. 3 秒看懂
NVL72 是 NVIDIA 面向超大混合专家（MoE）模型推理打造的机架级 AI 计算系统，单台机架集成 72 颗 Blackwell GPU，通过 NVLink 全互联并将所有 GPU 显存与 Grace CPU 内存统一为约 30 TB 的共享地址池。在 DeepSeek‑R1、Kimi K2 等 MoE 模型上，NVL72 可实现单 GPU 75 tokens/s 的吞吐，每 token 成本降至上一代方案及竞品的数十分之一，常被比喻为“一座机架就是一个巨无霸 GPU”。
2. 3 分钟产业解释
传统 8‑GPU 服务器好比一条八车道公路，而 NVL72 则是一座 72 车道且所有车辆可以瞬时换道的高架枢纽。推理 MoE 模型时，每个 token 都要根据路由结果在多个“专家”GPU 之间频繁搬动数据，跨服务器的 InfiniBand 或以太网延迟成为核心瓶颈。
NVL72 通过将 72 颗 Blackwell GPU 部署在同一机架内，用 NVLink 5 + 多级 NVSwitch 构建无阻塞全互联网络，所有 GPU 可直接访问全局地址空间，数据搬移几乎零等待。结果是单 GPU 推理吞吐大幅提升，DeepSeek‑R1 推理性能达到同等规模 AMD MI355X 集群的 28 倍，每 token 成本仅约后者的十五分之一（来源：太平洋科技引用的 SemiAnalysis InferenceMAX 基准，2025 年）。用上一代 Hopper HGX 运行 Kimi K2 时，NVL72 同样有 10 倍性能优势（来源：ZOL 问答引用的测试数据，2025 年）。
产业意义上，NVL72 改变了推理集群的部署形态：过去需要上百台 8‑GPU 服务器才能支撑的大规模 MoE 推理，现在可能只需三、四台 NVL72 机架，功耗、空间和网络设备数量都大幅削减，云厂商与模型托管商的总拥有成本（TCO）由此实现代际优化。
3. 技术原理
3.1 全互联拓扑与统一内存
NVL72 由 18 个计算节点构成，每个节点搭载 4 颗 Blackwell GPU 及对应的 Grace CPU（ARM 架构）。机架内部不再设有传统的 top‑of‑rack 交换机，GPU 间通信完全由 NVSwitch 背板实现。NVIDIA 利用 NVLink 5 和 NVSwitch 4 构建了 72‑GPU all‑to‑all 无阻塞交换网络，任意两颗 GPU 之间的点对点单向带宽超过 900 GB/s，总聚合带宽高达 129.6 TB/s（来源：NVIDIA 官方架构白皮书）。
在此基础上，所有 GPU 的 HBM 显存以及 Grace CPU 的 LPDDR5X 内存被映射为统一的虚拟地址空间，总容量约为 30 TB。CUDA 程序只需发出单一的指针引用，即可跨 GPU 访问数据，无需显式拷贝或借助 MPI 通信。这种“全互联＋统一内存”的组合，使得 MoE 推理中极度频繁的 All‑to‑All 通信如同在单片 GPU 内部完成。
3.2 MoE 推理通信瓶颈的化解
MoE 模型每一层 Transformer 后都要执行一次 All‑to‑All 通信：token 根据门控网络的选择，从当前专家所在的 GPU 被重分发到下一层专家所在的 GPU。在传统多服务器集群中，此类步骤的延迟通常在数十微秒甚至百微秒级，往往成为吞吐限制因素。
NVL72 内部 NVLink 的延迟为亚微秒级，All‑to‑All 数据搬运不再阻塞计算流。因此，DeepSeek‑R1 等模型推理时，单 GPU 的 75 tokens/s 吞吐已接近纯计算瓶颈，而非通信瓶颈（来源：SemiAnalysis 测试，太平洋科技报道，2025 年）。
3.3 计算与存储网络分离
机架内的 GPU‑GPU 通信与机架间的 RDMA 通信完全解耦。每台 NVL72 对外通过 ConnectX‑7（GB200）或 ConnectX‑8（GB300）智能网卡提供 InfiniBand 或 Ethernet 端口，负责跨机架的梯度、参数同步和数据读取。这种分离保证了即使在数十台 NVL72 构成的超大集群中，机架内超低延迟特性也不会被跨机架通信拖慢。
3.4 内存一致性与多租户隔离
统一内存池支持 NVIDIA MIG（多实例 GPU）及虚拟化功能，可按预设比例将 GPU 计算单元与内存静态或动态划分给不同推理任务。对于云服务商，单一 NVL72 机架就能以接近裸金属性能同时服务多个模型租户，资源利用率和调度灵活性均优于传统服务器堆叠方案。
4. 关键参数
以下参数综合自 NVIDIA 官方技术博客、太平洋科技、光纤在线及公开基准测试（2025 年）：
- GPU 数量：72 颗 NVIDIA Blackwell GPU（推算为 18 节点 × 4 GPU，具体芯片代号如 GB200‑B200/GB300‑B300，部分细节未完全公开）。
- 统一内存池：约 30 TB（包含 GPU HBM 与 Grace CPU LPDDR5X，来源：太平洋科技报道）。
- 内部互连：NVLink 5，每 GPU 双向总带宽 1.8 TB/s；单个 NVSwitch 芯片聚合双向带宽 7.2 TB/s；整机架总聚合带宽 129.6 TB/s（官方）。
- 对外网络：
- GB200 配 ConnectX‑7，每节点 2 块 400G NDR 网卡（合计 800G），平均每 GPU 约 200G；
- GB300 配 ConnectX‑8，每节点 2 块 800G XDR 网卡（合计 1.6T），平均每 GPU 约 400G（来源：光纤在线技术分析）。
- 推理吞吐（MoE）：75 tokens/s/GPU（DeepSeek‑R1 推理，SemiAnalysis 基准，2025 年）。
- 相对性能：
- vs AMD MI355X 8‑GPU 同等规模集群，推理性能 28 倍，每 token 成本约 1/15（来源同上）；
- vs Hopper HGX（H100）运行 Kimi K2，性能约 10 倍（来源：ZOL 问答，2025 年）。
- 对外总带宽：GB200 版本约 14.4 Tbps（36 × 400G）；GB300 版本约 28.8 Tbps（36 × 800G）。
- 功耗与冷却：单机架功耗极高，需配置液冷散热（NVIDIA 官方参考设计已配套液冷方案，具体热设计功率未完整披露）。
- 可管理性：支持 MIG、SR‑IOV 等虚拟化功能，可作为统一资源池动态划分。
5. 技术路线
NVIDIA 数据中心 GPU 互连架构的演进脉络清晰体现了“更多 GPU 在单一故障域内全互连”的产业趋势：
- Pascal 世代：8‑GPU 服务器，NVLink 仅限单台服务器内部，跨机展靠 InfiniBand。
- Volta/Turing：NVSwitch 首次出现，单节点可容纳 16 GPU 全互联。
- Ampere：引入 MIG 分割，拓扑仍以 8‑GPU 为基本单元。
- Hopper：NVLink‑4 提升带宽，HGX 平台依旧以 8‑GPU 为最小粒度，MoE 推理需多服务器跨机协作。
- Blackwell NVL72：首次将单机架内全互联 GPU 数量推至 72，结合 Grace CPU 实现高速数据搬移和统一内存。推理通信瓶颈从网络侧完全转向计算侧。
- GB300 增强：在 GB200 基础上将对外网络升级至 800G XDR，多机架 scale‑out 效率进一步提升。
该路线图表明，NVIDIA 正将系统级设计边界从服务器扩展至整机架，以适应 MoE 等新型通信密集型模型。
6. 上游
NVL72 的硬件生产涉及多个高精尖供应链环节：
- 计算芯片与晶圆：NVIDIA Blackwell GPU 采用台积电 4NP 工艺（定制 4nm，属 5nm 家族），Grace CPU 同样基于台积电先进工艺。晶圆代工、CoWoS 先进封装（用于 GPU HBM 集成）由台积电主导。
- 互连芯片：NVSwitch 4 芯片与 ConnectX‑7/8 智能网卡，由 NVIDIA 设计，委托台积电等制造。
- 网络与光模块：机架对外连接依赖 400G/800G OSFP/QSFP‑DD 光模块或直连铜缆（DAC）及有源光缆（AOC）。代表性供应商包括 Coherent、Finisar（II‑VI）、旭创科技、光迅科技等；多模光纤采用 OM4/OM5 规格。GB300 升级 800G 将直接拉动高速光模块与 DSP 芯片需求。
- 高速铜缆与背板：机架内 NVSwitch 背板采用高密度铜缆互连，供应商包括安费诺、泰科电子等，对信号完整性要求极高。
- 电源与液冷：NVL72 单机架功耗可能高达数十千瓦，必须配置冷板式或浸没式液冷方案。冷却分配单元（CDU）、冷板及快接头等组件供应商包括 Cooler Master、Vertiv、双鸿科技、高力热处理等。电源模块（PSU）供应商如台达、光宝等亦将受益。
- 机架集成与组装：NVIDIA 提供参考设计，ODM/OEM 厂商（如鸿佰科技、英业达、纬创等）负责整机架组装与测试。
7. 下游
NVL72 主要瞄准以下应用场景和客户类型：
- 超大 MoE 模型推理服务：直接运行 DeepSeek‑R1、Kimi K2、Qwen2.5‑MoE 等混合专家模型，作为推理农场的核心计算单元。
- AI 云与模型即服务（MaaS）平台：如 CoreWeave、Lambda Labs、国内火山引擎、无问芯穹等，利用 NVL72 构建成本极低的 token 生成服务，并向全球开发者提供 API。
- 主权 AI 与科研超算：政府或大型科研机构需要高密度、低延迟推理能力，NVL72 能显著压缩节点数量，简化网络拓扑，降低运维复杂度。
- 企业级私有化部署：金融、医疗、法律等行业的头部企业，部署千亿甚至万亿参数 MoE 模型以支撑智能问答、代码生成、科学发现等场景，NVL72 可以将推理总成本压制到可接受的私有部署水平。
- 边缘与混合推理集群：虽然 NVL72 体型巨大，但其超高密度也适用于集中式区域推理中心，通过高吞吐 API 为边缘应用提供支持。
8. 受益公司
NVL72 的量产及部署将对 AI 产业链上若干环节的公司形成显著拉动，以下为公开资料中明确关联或已披露合作关系的部分代表（不构成任何投资建议）：
- NVIDIA（核心设计者与芯片供应商）：直接销售 GPU 基板、NVSwitch、网络适配器及参考设计，享受机架级系统的高附加值。
- 慧与科技（HPE）：首批 OEM 合作伙伴之一，已公开宣布接受 GB300 NVL72 订单（来源：老虎社区，2025 年中），将推出整机柜产品。
- 联想、戴尔、超微（Supermicro）：均已宣布将推出基于 NVL72 的整机柜解决方案（来源：各公司官网及新闻稿，2025 年）。
- 光模块/光器件厂商：Coherent、旭创科技、Finisar 等——每台 NVL72 需大量 800G 光模块用于 scale‑out，GB300 升级进一步推升需求。
- 液冷供应链：Cooler Master、Vertiv、双鸿、高力等，高功耗密度迫使液冷渗透率快速提升，带来冷板、CDU 及管路系统订单。
- 高速连接器与铜缆：安费诺、泰科电子等，NVSwitch 背板及内部高速互联使用大量定制化连接方案。
- AI 云平台：CoreWeave、Lambda Labs 等 GPU 专业云，有望率先部署 NVL72，凭借低推理成本建立 TCO 壁垒，吸引大批客户。
9. 市场规模
截至 2025 年第三季度，尚无研究机构单独披露 NVL72 的出货量或对应的市场规模。但可以从 AI 推理基础设施的整体趋势判断其潜在空间：
- 根据 IDC 于 2025 年发布的全球 AI 服务器季度追踪报告（公开摘要），2024 年全球 AI 服务器市场出货规模接近 200 亿美元，加速服务器中 GPU 类系统占比超过 85%。
- TrendForce 集邦咨询 2025 年报告指出，由大型语言模型推理驱动的服务器需求增速已超越训练，2025 年推理服务器占 AI 服务器出货比重预计将首次超过 50%。
- 以 DeepSeek‑R1、Kimi K2 为代表的 MoE 架构快速普及，此类模型的高通信需求使传统 8‑GPU 服务器在总拥有成本上不再占优，高密度机架级系统成为升级替代的主力。
- 公开信息显示，HPE、联想等大型 OEM 已为 NVL72 整机柜产品建立专门销售团队，显示下游期待强烈。若 2026 年全球推理用高密度机架系统出货量达到万台级别，对应光模块、液冷、网络设备等关联市场规模可能触及数十亿美元量级，但具体金额及份额需待厂商年报揭晓。
注意：以上所有市场数据均来自第三方机构公开摘要，NVL72 本身的具体收入贡献尚未单独披露，投资者应查阅 NVIDIA 及 OEM 厂商后续季报中的细分业务口径。
10. 玩家对比
本部分对比 NVL72 与同时期面向 AI 推理的主要硬件方案，所有数据均基于 2025 年公开测试或官方规格。
| 维度 | NVIDIA NVL72（GB300） | AMD MI355X 8‑GPU 集群 | Intel Gaudi 3 8‑加速器集群 | 自研 ASIC（如 Google TPU v5p） |
|---|---|---|---|---|
| 单系统 GPU/加速器数 | 72 颗，全互联 | 每服务器 8 颗，需跨机互联 | 每服务器 8 颗，需跨机互联 | 每机架最多构成 3D 环形，单元数 64‑256 不等 |
| 互连拓扑与带宽 | NVLink 5 全互联 129.6 TB/s 聚合 | Infinity Fabric 4‑GPU/8‑GPU，单链路带宽较低 | 21 条 200Gbps 以太网链路，非对称拓扑 | ICI 互连，每链路 800 Gbps，专属环形 |
| 统一内存池 | ~30 TB 统一地址 | 无统一池，需显式搬运 | 无统一池 | 部分模型可借助编译器实现逻辑统一，但非硬件级 |
| MoE All‑to‑All 延迟 | 亚微秒级 | 数十微秒 | 数十微秒 | 低个位数微秒（专属网络） |
| DeepSeek‑R1 推理吞吐 | 75 tokens/s/GPU（来源：SemiAnalysis） | 推算约 2.7 tokens/s/GPU（源自 28 倍性能比） | 未公开 | 未公开 |
| 每 token 成本（相对） | 1 （基准） | 约 15 倍（来源同上） | 未公开 | 未公开 |
| 最小部署粒度 | 1 机架（72 GPU） | 单台服务器（8 GPU） | 单台服务器（8 加速器） | 1 台机架或子机架 |
| 网络升级路径 | 800G XDR（ConnectX‑8） | 400G 以太网方案为主 | 内嵌以太网，可通过外挂升级 | 专属光交换机 |
小结：NVL72 的最大优势在于将超高 GPU 数量与全互联统一内存浓缩于单机架，大幅缩减通信开销，决定了它在 MoE 等通信密集型模型上的绝对领先。在通信占比较低的稠密模型（如普通 Transformer）推理中，AMD 与 Intel 方案仍具备一定竞争力，但整体 TCO 已难以匹敌 NVL72 的“单机架一站式”部署简易性。自研 ASIC（如 TPU）虽然在特定场景下有极佳的能效，但生态封闭、灵活性受限。
11. 风险
- 模型架构演变风险：若未来主流算法从 MoE 转向完全不同的结构（如连续状态模型或全新递归架构），导致推理过程不再需要高强度的 All‑to‑All 通信，NVL72 的独有优势可能被稀释。
- 供应链集中风险：NVL72 严重依赖台积电先进工艺与 CoWoS 封装，任何产能波动或地缘扰动都可能影响供货与交付节奏。HBM 及先进封装产能仍属稀缺资源。
- 功耗与冷却挑战：单机架数十千瓦的功率密度对数据中心的配电、制冷以及楼板承重提出极高要求，老旧数据中心可能难以直接部署，需进行大规模基础设施改造。液冷系统的长期运维可靠性与漏液风险也需时间检验。
- 客户锁定效应：从训练到推理全面采用 NVL72 会进一步强化数据中心对 NVIDIA 生态的依赖，可能引发用户对单一供应商锁定和议价能力下降的担忧。部分云厂商或国家/地区可能加快扶持替代方案。
- 资本开支短期消化：NVL72 机架单价极高，企业客户在宏观环境不确定时可能放缓采购，转而使用租赁云服务而非自建，从而影响设备商的季度出货节奏。
- 竞争加剧：虽然当前 AMD、Intel 等尚无同等级别机架产品，但未来 24‑36 个月内可能会出现类 NVSwitch 的互连方案或基于 UALink 等开放标准的对标产品，届时价格压力可能显现。
12. 误读纠偏
❌ 误读一：NVL72 只是一个塞了 72 张显卡的大支架。
✅ 它不只是物理密度的提升，更是系统架构的重塑。通过 NVSwitch 全互联与统一内存设计，72 颗 GPU 对软件呈现为一台拥有 30 TB 显存的单一设备，无需程序员管理跨 GPU 的数据搬移。这是传统机架级堆叠无法实现的能力。
❌ 误读二：在任何场景下性能都是 AMD 的 28 倍。
✅ 28 倍数据来源于 SemiAnalysis InferenceMAX 基准，专门针对 DeepSeek‑R1 这类 MoE 模型的高通信负载场景（来源：太平洋科技报道，2025 年）。对于通信占比较低的稠密模型，性能差距会显著缩小，AMD MI355X 仍然可以提供有竞争力的性价比，不能简单外推至所有 AI 工作负载。
❌ 误读三：有了 NVL72 就可以完全省去外部网络。
✅ 机架内部全互联解决了最头疼的 All‑to‑All 通信，但多机架扩展（例如构建包含数十台 NVL72 的超大推理网格）仍然依赖 ConnectX 网卡和外部交换网络。GB300 将对外网络升级至 800G，正是为了优化跨机架通信，而非取消它。
❌ 误读四：NVL72 只适合推理，不能做训练。
✅ 虽然 NVL72 的设计重点在推理侧，但其巨大的统一内存池和 GPU 全互联同样可以加速某些训练环节，尤其是大规模 MoE 模型的预训练或微调，可减少跨节点通信开销，只不过当前市场关注点更多集中在推理的降本效应上。
❌ 误读五：所有 72 颗 GPU 可以直接被当作一个巨型 GPU 跑任意老的 CUDA 程序。
✅ 要实现统一寻址的透明性，应用需要通过 CUDA Unified Memory 和 NVLink 感知的库（如 NCCL、cuBLAS、FasterTransformer 等）进行适配。虽然编程门槛大幅降低，但仍需框架和模型代码针对多 GPU 拓扑做一些优化，并非完全无感的即插即用。
13. 最新事件
- 2025 年 3 月，NVIDIA GTC 大会：NVIDIA 正式发布 GB300 NVL72，宣布对外网络升级至 800G XDR，并展示包括 Grace CPU 增强版在内的全栈推理方案。
- 2025 年中，HPE 开启订单：慧与科技（HPE）在官方活动中确认已开始接受 GB300 NVL72 订单，目标发货时间为 2025 年 12 月（来源：老虎社区，2025 年 6 月信息）。联想、戴尔、超微随后亦宣布将提供基于相同架构的整机柜产品。
- 2025 年初 MoE 模型密集发布：中国公司 DeepSeek 于 2025 年 1 月推出 DeepSeek‑R1，引起全球开发者对 MoE 模型推理成本的关注；4 月，月之暗面发布 Kimi K2；阿里云发布 Qwen2.5‑MoE 等，持续提升市场对高密度推理硬件的渴求。
- 2025 年 7 月，SemiAnalysis 基准传开：InferenceMAX 报告详细对比了 NVL72 与 MI355X 的推理效率，28 倍性能差及 1/15 的 token 成本被多家科技媒体转引，进一步确立 NVL72 在 MoE 推理的标杆地位。
- 2025 年 Q3，光模块与液冷厂商订单升温：多家光模块公司在其业绩交流中透露，800G 产品订单可见度已延展至 2026 年上半年，主要来自 AI 推理集群的需求，部分分析师将此与 NVL72 机架出货预期关联。
14. 跟踪指标
若想持续跟踪 NVL72 的产业渗透与影响，可重点关注以下可公开获取的数据和信号：
- NVIDIA 财报与业绩指引：数据中心业务收入、Blackwell 系列产品出货量指引、公司对推理业务的评论。
- 主要云厂商资本支出：微软、谷歌、亚马逊、Meta 等在其季度财报中披露的 AI 基础设施投资及“推理服务器”提及频率。
- OEM 厂商动静：慧与科技、联想、戴尔及超微的 AI 服务器订单积压与出货量，以及它们在业绩说明会上对 NVL72 类产品的披露。
- 光模块与液冷供应链：Coherent、旭创科技等的 800G 光模块订单和出货指引；Cooler Master、Vertiv、双鸿等液冷设备的营收增速与新建产线计划。
- MoE 模型推理 API 价格：DeepSeek、Kimi 等 API 服务商每百万 token 的定价变化。若 NVL72 实现大规模部署，理应在终端 API 价格中有所体现。
- 台积电先进制程与封装产能：台积电月度营收、CoWoS 产能扩张进度以及 4NP 制程的利用率，侧面反映 Blackwell 芯片的供应情况。
- 行业标准与竞品动向：UALink、Ultra Ethernet 等开放互连标准的推进，以及 AMD、Intel 是否公布 64 GPU 以上全互联机架计划。
- 数据中心规范与政策：主要市场对新数据中心的功率密度限制、液冷标准及能效规范，可能影响 NVL72 的部署速度。
15. 信源
- NVIDIA Technical Blog “Tag: NVL72” — NVIDIA 官方技术博文入口，涵盖 NVL72 架构、Vera Rubin 平台等最新信息。
- 太平洋科技《英伟达GB200 NVL72性能超AMD MI355X 28倍，成本仅十五分之一！》 — 引用 SemiAnalysis InferenceMAX 基准的对比数据（2025 年）。
- 光纤在线《NVIDIA NVL72 GB200/GB300系统InfiniBand与Ethernet连接方案技术》 — 详述内部网络拓扑、光模块及布线方案（2025 年）。
- ZOL问答《英伟达GB200NVL72性能较HGX200提升10倍》 — Kimi K2 推理测试数据（2025 年）。
- 老虎社区《慧与科技 - Hpe Nvidia Gb300 Nvl72 现已接受订单》 — HPE 订单与发货信息（2025 年）。
- NVIDIA GTC 2025 主题演讲及相关官方新闻稿 — GB300 NVL72 规格升级与合作伙伴公布。
- IDC《Worldwide AI Server Tracker》Q1 2025 公开摘要 — AI 服务器市场规模与趋势。
- TrendForce 集邦咨询 2025 年 AI 服务器相关报告 — 推理服务器占比预测。
- 各 OEM 厂商（HPE、联想、戴尔、超微）官网新闻及产品介绍页面 — NVL72 产品计划。
- 多家光模块及散热厂商的季度业绩交流及公开声明（2025 年）。