NVLink 域

1. 3秒看懂

NVLink Domain 是 NVIDIA 通过 NVLink + NVSwitch 构筑的一组 GPU 间全互联、高带宽、低延迟通信域。域内 GPU 可以跨节点访问显存，延迟接近本地，把多块 GPU 聚合成一个逻辑巨型加速器，直接承载千亿/万亿参数大模型的张量并行和超大规模显存池。

2. 3分钟产业解释

NVLink Domain 的本质是用专用互联在 GPU 之间构建非阻塞的全对全交换网络，彻底打破传统 PCIe 树形拓扑的瓶颈。任意两块 GPU 可同时以接近峰值带宽通信，数据不经过 CPU/内存中转，令大模型训练中的张量并行通信开销大幅降低。同时，多块 GPU 的 HBM 显存在编程层面呈现出统一地址空间的雏形，开发者可以像操作单 GPU 一样申请跨卡显存。

产业上，NVLink Domain 已是高端 AI 服务器（如 HGX、DGX）的标配。一个典型的单节点域包含 8 块 GPU，通过 NVSwitch 实现所有显卡的全互联；更大型的系统通过 NVLink Switch 机架 将域扩展至 72 块甚至更多 GPU，直接支撑万亿参数 MoE 模型的训练。这种域级算力密度已成为云厂商自研芯片最难复制的护城河之一，也是 NVIDIA AI 工厂方案中锁定工作负载的核心架构。

3. 技术原理

NVLink Domain 在物理层对 PCIe 树形总线进行了彻底替代。传统 GPU 间通信即便通过 GPUDirect P2P 绕过系统内存，仍需经过 PCIe 根复合体或交换器，无法构建专用的高带宽独立通信域。NVLink 是一套与 PCIe 平级的 GPU 原生互联协议，使 GPU 可以构建独立的通信域，实现从信号物理层到编程模型的全栈定义。

3.1 物理域：NVSwitch 全互联拓扑

以单节点 8 GPU + 6 颗 NVSwitch 的典型全互联为例，每块 GPU 将自身 NVLink 端口均匀连接到每一颗 NVSwitch 芯片上。数据从源 GPU 以 包（Packet）形式 进入 NVSwitch，交换芯片根据目标地址进行 直通交换（Cut-Through），不经存储转发，转发延迟仅纳秒级。所有链路可同时并发工作，任意两块 GPU 之间通信不会阻塞其他 GPU 之间的数据交换；整域总带宽仅受物理链路数量的限制，并不存在共享总线的阻塞。

多节点域扩展时，拓扑从完全直连转为多级交换：GPU 首先连接本机架内的 NVSwitch，再由上层 NVLink Switch 实现跨机架交换。这会引入额外一跳的交换延迟，但仍远优于跨节点的 InfiniBand/RoCE。

3.2 内存域：统一地址与地址翻译服务

在 NVLink 物理链路之上，NVIDIA 通过统一内存架构和地址翻译服务（ATS） 构建内存域。GPU A 上的线程访问映射到 GPU B 的显存地址时，A 的 MMU 通过 NVLink 向 B 发起远程内存请求，B 的互联接口读取本地 HBM 后返回数据，整个过程对用户代码透明，无需显式拷贝。

但必须强调，这种统一地址空间仍然是 NUMA（非一致性内存访问） 架构。远程显存的访问延迟通常在数百纳秒（亚微秒级），远低于跨节点 RDMA 的微秒级延迟，但也显著高于本地 HBM 的数十纳秒级延迟。域内所有 GPU 的 HBM 构成 总显存 ≈ 单 GPU 显存 × 域内 GPU 数量，对模型分片和超大上下文训练至关重要。

3.3 计算域：NVSHMEM 与细粒度同步

域内 GPU 可通过 NVSHMEM 实现跨卡直接发起的原子操作和 Put/Get 语义，支持内核级细粒度同步。这让张量并行的 AllReduce 通信可以被完全隐藏在计算中，并通过类似于单 GPU 的方式在域内分发计算任务。相较基于消息传递的 RDMA 模型，NVLink 提供了硬件层面的载入/存储语义，支持缓存一致性和原子操作，大幅降低协作开销。

3.4 关键架构约束

域内所有 GPU 必须同一型号、相同显存容量；扩展时必须严格遵循 NVSwitch 的胖树或全互联拓扑限制，不可随意增减 GPU 数量或混用不同代际的 NVLink 端口。违背拓扑规则将引发带宽悬崖或路由失败。

4. 关键参数

NVLink Domain 的关键参数直接决定域内通信能力与高效训练的规模上限。以下综合 NVIDIA 官方已公布数据梳理代际核心参数（表格），并注明数据来源及年份。

数据来源：NVIDIA 各代 GPU 白皮书、GTC 主题演讲及产品规格页（P100、V100、A100、H100、B200）。域内对分带宽为理论全互联下最大值，实际可能受拓扑和功耗管理影响。

其他关键参数还包括：

• 跨 GPU 显存访问延迟：通常在亚微秒级（数百纳秒），具体依赖请求模式和页迁移策略，由硬件统一内存管理。
• 域功耗与散热：单 DGX H100 系统功耗约 10.2 kW；而 72 GPU 的 NVL72 机架级域系统总功耗可达 120 kW（NVIDIA 2024 GTC 公布），必须配套液冷。
• 域内总显存容量：由单 GPU HBM 容量 × 域内 GPU 数决定。以 8×H100（80GB）为例，总显存池为 640 GB；72×B200（192GB）可达 13.8 TB。
• 有效通信带宽利用率：依赖域内拓扑和 NCCL 通信库优化。实际 AllReduce 带宽通常可达峰值的 70%–90%（根据公开基准测试）。

部分参数（如单端口电信号速率、交换机端口容量等）未在 NVIDIA 公开资料中详细披露，标记为“公开资料未见”。

5. 技术路线

NVLink Domain 是一条“专用全互联域”的技术路线，与其他 GPU 互联方案存在本质差异。下面对比主流技术路线（截至 2024 年公开信息）：

注：AMD、Intel 具体参数来自各公司官方发布；部分细节（如 Infinity Fabric 确切端口数和拓扑）公开资料未见完全披露。

6. 上游

NVLink Domain 的上游供应链高度集中于高速信号、先进封装和高精度制造环节，核心瓶颈与技术壁垒包括：

• SerDes IP 与高速 PHY：NVLink 每通道速率从 25 Gbps 多代提升至 100 Gbps（Blackwell 代），依赖高性能 SerDes 设计。主要 IP 供应商包括博通、Marvell 及 NVIDIA 自研。
• 先进封装（CoWoS-S/L 等）：NVSwitch 芯片与 GPU 基板的大规模集成极度依赖台积电 CoWoS 封装。2023–2024 年，CoWoS 产能成为整个 AI 服务器的硬约束（台积电 2023 Q3 法说会明确指出产能紧张）。
• 高速 PCB 与背板连接器：域内 GPU 与 NVSwitch 之间需要极低损耗板材和高速连接器，以保证信号完整性。H100 HGX 基板已采用超低损耗材料，NVL72 机架则需要复杂的铜缆背板/光互连。
• 光引擎（跨机架域）：当域扩展至跨机架级别，电信号衰减促使使用光纤互联。NVIDIA 在 GTC 2024 演示中已提及未来将采用片间光互连，但批量商用时间未定（公开资料未见）。

上游各环节中，CoWoS 产能的扩张节奏对 NVLink Domain 出货量有直接决定作用。台积电 2024 年计划将 CoWoS 产能翻倍，但考虑到来自多客户的需求，供给紧张仍可能贯穿 2024–2025 年（来源：台积电法人说明会、供应链调研）。

7. 下游

NVLink Domain 直接嵌入下游 AI 计算基础设施的各个层面，并深刻影响软件栈的设计范式：

• AI 服务器整机：DGX、HGX 系列由 NVIDIA 定义基板规格，再由 Foxconn、Quanta、Supermicro 等 ODM/OEM 生产整机或节点。HGX H100 8 GPU 基板已成为超大规模云厂商主力采购形态。
• 云超算与 AI 平台：AWS（P5、P5e 实例）、Microsoft Azure（ND H100 v5）、Google Cloud（A3）等均采用 NVLink 全互联域作为最高性能训练实例的核心架构（各云厂商官方文档，2023–2024）。
• 大模型训练框架：Megatron-LM、DeepSpeed 等必须感知 NVLink Domain 拓扑，将张量并行严格限定在域内，而流水线并行和数据并行跨域执行。这使硬件域的边界直接切分模型并行策略。
• 企业级推理与微调：越来越多企业将多 GPU 域用于高吞吐推理和 LoRA 微调，以利用显存池和支持更大 batch size。

下游的发展趋势是“域”边界从单节点向整机架渗透，NVLink Domain 逐渐成为独立可调度的算力单元，催生全机架一体化交付模式。

8. 受益公司

围绕 NVLink Domain 的产业生态，以下类型公司可能直接受益于域的持续扩展与渗透（仅客观列举，不构成投资建议）：

• NVIDIA（定义者）：通过 NVLink + NVSwitch + Grace CPU 构成全栈域方案，域规模的每次扩大都直接提升更高 ASP 的 NVSwitch 及 GPU 基板需求。
• AMD（挑战者）：Instinct MI300X 等产品基于 Infinity Fabric 构建全互联域，虽域规模尚不及 NVIDIA，但在 HPC 和部分推理场景中逐步渗透。
• 博通、Marvell：作为高速 SerDes IP 和定制交换芯片的核心供应商，若 NVIDIA 或第三方未来开放 NVSwitch 标准，相关厂商可能获得更多设计机会。
• 云基础设施厂商：AWS、Azure、GCP 等通过部署 NVLink 域推出高性能实例，提升各自 AI 平台的吸引力与粘性。
• 服务器 ODM/散热方案商：NVLink 域的高集成度要求配套液冷、高功耗机架设计方案，带动散热、电源和机架系统厂商订单。
• 台积电等先进封装供应商：CoWoS 是域实现的物理基础，封装产能扩张与良率改善直接受益于域设备的放量（台积电 2023–2024 年多次公开表示 AI 相关封装需求强劲）。

上述列举源自各公司财报、产品发布及公开供应链研报，并不代表对股价或未来业绩的判断。

9. 市场规模

针对 NVLink Domain 的独立市场规模，公开资料未见专门的第三方测算。通常将其归入 AI 服务器互联组件或 NVIDIA 数据中心业务的大类中观察。以下几点可作为参考（数据均标注年份与来源）：

• NVIDIA 数据中心营收：FY2024（截至 2024 年 1 月）数据中心业务营收为 475.36 亿美元（NVIDIA 10-K 年报）。其中，计算与网络产品为整体，未单独披露 NVLink/NVSwitch 收入。
• NVIDIA 网络收入：FY2024 网络收入（包含 InfiniBand、NVLink Switch 等）为 131.6 亿美元（NVIDIA FY2024 Q4 财报演示材料），但同样未区分内部细分。分析师普遍认为 NVLink Switch 占比仍较小，但增速极快。
• CoWoS 产能与 GPU 出货：根据台积电台积电 2024 年 1 月法说会，2024 年 CoWoS 产能将同比翻倍以上，主要受 NVIDIA 等客户 AI 芯片需求拉动。这间接反映 NVLink 域相关集成芯片的出货放量。
• AI 服务器出货：据 Omdia 2023 年 Q4 报告，2023 年全球 AI 服务器出货约 100 万台，其中搭载 NVLink 全互联的高端配置占据训练服务器绝大部分份额，但具体域内产值未见披露。
• 产业链调研：Semianalysis 等机构曾估算（2023 年 8 月）H100 HGX 基板中 NVSwitch 和高速互联部分物料成本占比约 20%–25%，但该数据并非官方发布，且随代际变化。

综合判断，NVLink Domain 的市场体量与高端 AI 训练服务器交付量高度绑定。2024 年作为新一代 Blackwell 架构开始量产的年份，域的总价值量有望随单域 GPU 数增加和 ASP 提升而进一步扩大，但具体市场统计仍需等待第三方机构（如 IDC、Omdia）的独立拆分报告。

10. 玩家对比

在 GPU 全互联域赛道上，NVIDIA 处于统治地位，AMD 奋力追赶，Intel 及其他自研芯片玩家则尚未提供对等的域方案。

10.1 NVIDIA

• 产品线：从 DGX/HGX 8 GPU 基板到 NVL72 机架级域，代际演进清晰。
• 域内能力：全互联、统一内存、NVSHMEM、NCCL 深度定制，训练框架原生支持。
• 软硬件一体化：Grace CPU 通过 NVLink-C2C 与 GPU 统一一致域，进一步强化锁定了 CPU+GPU 的协同。
• 市场地位：2023–2024 年，所有主要 AI 训练集群的最高性能实例均采用 NVIDIA NVLink Domain（AWS、Azure、GCP、Meta 公开披露）。

10.2 AMD

• 代表产品：Instinct MI300X，集成 8 颗 GPU 通过 Infinity Fabric 全互联，支持统一显存池，域内带宽 896 GB/s（AMD 2023 年 12 月 Advancing AI 活动数据）。
• 优势：HBM3 容量更大，性价比有竞争力；在推理和部分 HPC 场景中崭露头角。
• 短板：软件生态（ROCm）和通信库成熟度仍然落后，域内拓扑无法轻易跨节点扩展至类似 NVL72 的超大域，公开资料未见跨节点全互联域方案。

10.3 Intel

• Gaudi 3：2024 年 4 月发布，单芯片带宽突出，但 GPU-GPU 通信依赖外部 RoCE 交换机，无类似 NVLink 的全互联统一内存域。张量并行等极致低延迟通信需跨节点，效率不及 NVLink Domain。
• Falcon Shores（未来架构）：官宣将整合多芯片，但尚未披露具体互联拓扑（截至 2024 年 6 月公开资料未见）。

10.4 自研芯片厂商

• Google TPU v5p、Amazon Trainium2 等均采用自研互联技术（如 ICI），可以实现一定规模的全互联域，但域规模、带宽和软件生态对外披露极少。公开资料未见可与 NVLink 5.0 域正面竞争的详细规格。

以上对比基于各公司 2023–2024 年官方发布、技术峰会资料以及云厂商公开实例信息。

11. 风险

NVLink Domain 在构建强大算力基座的同时，也伴随着技术、供应链和生态层面的风险，需要行业参与者审慎评估（不构成任何买卖建议）。

1. 先进封装产能瓶颈：现阶段 NVLink 域的实现极度依赖台积电 CoWoS 封装，产能紧张可能直接导致交付延迟。台积电 2023–2024 年多次表示产能扩张但仍难完全满足需求，若产能不及预期，域出货将受限。
2. 单域故障域扩大：NVLink Domain 将数十甚至 72 块 GPU 耦合为一个紧密通信单元，一旦 NVSwitch 或背板出现故障，可能连带整个机架不可用，增加训练中断概率和运维复杂度。随着域规模上升，故障对任务的影响呈非线性增长。
3. 散热与功耗挑战：NVL72 等机架级域功耗超过 100 kW，要求数据中心支持高密度液冷。现有风冷数据中心改造成本高，可能制约部署速度。
4. 供应商集中与锁定：域方案高度绑定 NVIDIA 生态，从通信库到并行框架均强依赖 CUDA。即使竞争对手在硬件带宽上追赶，软件迁移成本极高，形成事实上的独家供应格局，增加下游买家的议价弱势。
5. 技术迭代过快与资产沉没：NVLink 代际互不兼容（如 H100 域必须有 H100 GPU 和对应 NVSwitch），新建域需要全盘换新，生命周期内升级灵活性低。如果未来出现更优通信范式，已部署的域资产可能面临快速贬值。
6. 芯片出口管制风险：高端 NVLink 域设备属于出口管制对象，地缘政治因素可能再次收紧规则，影响全球市场供需和客户可得性。

上述风险基于已公开的产业链信息、技术文档及各公司财报电话会议纪要整理。

12. 误读纠偏

关于 NVLink Domain 的几个常见误读，需要明确澄清：

误读 1：“域内显存访问完全等于本地显存”
实际上，域内跨卡访问虽然硬件自动处理，但仍属于 NUMA 架构，远端延迟数百纳秒 vs 本地数十纳秒，带宽也远低于本地 HBM。大模型部署必须通过分片和通信调度来规避远端惩罚，而不能将其视为一块“连续均匀”的内存。编程模型提供抽象，但性能隔离需要开发者精心设计。

误读 2：“NVLink Domain 可以无限扩展规模”
受物理限制：NVSwitch 端口总数、背板走线和信号完整性决定单域最大 GPU 数。每扩展一级交换，延迟增加且可能引入阻塞。目前 NVL72 将单域推至 72 卡，更高规模需通过 InfiniBand/RoCE 连接多个域，域内和域间通信能力有本质差异。将域间通信当做域内通信使用将导致训练性能断崖式下降。

误读 3：“NVLink Domain 等于高带宽 RDMA”
NVLink 提供的是载入/存储语义和硬件缓存一致性，而非消息传递。它支持原子操作，允许 GPU 直接访问远端显存页，软件模型与 RDMA Send/Recv 截然不同，实现零拷贝和高效率内核协作。将域简单类比为“超级 RDMA”会掩盖其统一内存和细粒度同步的独特优势。

误读 4：“AMD 的 Infinity Fabric 完全等同于 NVLink Domain”
虽然 AMD MI300X 平台实现了 8 GPU 全互联和类似统一显存池，但域扩展能力、软件栈成熟度和跨节点域方案与 NVIDIA 仍有较大差距。两者在纸面带宽上接近，但在生态整合和规模扩展上不可直接划等号。

13. 最新事件

（以下事件基于截至 2024 年 6 月的公开报道和公司公告，日期和口径均已标注。）

• 2024 年 3 月 NVIDIA GTC 2024：发布 Blackwell 架构 GPU（B200、GB200），正式推出第五代 NVLink，单 GPU 双向总带宽跃升至 1.8 TB/s。同时发布 GB200 NVL72 机架系统，通过 NVLink Switch 实现 72 GPU 全互联域，域内总对分带宽高达 130 TB/s（NVIDIA 官方新闻稿及主题演讲）。
• 2024 年 5 月 NVIDIA 2025 财年 Q1 财报：数据中心业务营收 226 亿美元，同比增长 427%。CEO 黄仁勋表示 NVL72 系统已开始向客户送样，预计 2024 年晚些时候规模量产（NVIDIA 2025Q1 财报电话会）。
• 2023 年 12 月 AMD Advancing AI 活动：正式发布 Instinct MI300X，8 块 GPU 通过 Infinity Fabric 3.0 互联组成域，总带宽 896 GB/s，支持统一显存池（AMD 官方新闻材料）。
• 2024 年 4 月 Intel Vision 大会：发布 Gaudi 3 加速器，强调 128 GB HBMe2 和 3.7 TB/s 网络带宽，但未提及 GPU-GPU 全互联域方案（Intel 产品页及演讲）。
• 2024 年台积电 CoWoS 产能动态：2024 年 1 月法说会表示 CoWoS 年产能将同比翻倍，预计 2025 年继续大幅扩张；多家媒体（Digitimes 等）报道 NVIDIA 已预订 2024–2025 年大部分 CoWoS 产能，以备域级 AI 芯片生产。
• 云厂商实例更新：2024 年微软 Azure 正式上线 ND H100 v5 实例（8 GPU NVLink 全互联）；AWS 宣布推出 P5e 实例（H200 GPU），同样采用全互联域架构（官网文档，2024 年 3–4 月）。

所有事件均提供可查证的公司官方来源或权威科技媒体报道。若后续有更新，请以最新官方发布为准。

14. 跟踪指标

行业观察者可通过以下指标来判断 NVLink Domain 的渗透进度与产业链影响（仅作技术研判，不构成投资指引）：

1. 台积电 CoWoS 月产能及客户分配：跟踪台积电法说会披露的先进封装产能规划和主要客户预订情况，可直接映射域设备供应上限。
2. NVIDIA 网络收入同比增速与新品提法：透过 NVIDIA 财报中网络部门（包含 InfiniBand、NVLink Switch）的增速，以及管理层对 NVSwitch 系统的描述（如“NVLink Switch 出货量”“机架系统预订”），判断域份额的扩张。
3. 主要云厂商 AI 实例路线图：观察 AWS、Azure、GCP、Oracle 等推出的最新 GPU 实例是否采用全互联域架构及域大小（如是否从 8 GPU 级升级至 72 GPU 级），反映下游采纳节奏。
4. NCCL 和训练框架的域感知更新：关注 NVIDIA/nccl 仓库的 changelog，以及 Megatron-LM、DeepSpeed 中新增的 NLINK 域内并行优化。例如，是否出现针对 NVL72 的专用通信策略。
5. 竞品互联规格更新：AMD ROCm 对 Infinity Fabric 域的支持是否达到与 NCCL 可比的程度，Intel 未来架构是否引入全互联域，均会影响产业竞争格局。
6. 液冷部署与数据中心标准：机架级 NVLink 域量产依赖高功率液冷机柜的标准化，跟踪 OCP（开放计算项目）等组织发布的液冷规范，以及主要云厂商的机架电源/散热改建动态。

15. 信源

以下为本文主要信息与数据来源，建议读者查阅原始资料以获取最新细节：

• NVIDIA 官方：
  • 《NVIDIA H100 Tensor Core GPU Architecture》白皮书（2022）
  • 《NVIDIA Blackwell Architecture Technical Brief》（2024）
  • GTC 主题演讲（2023、2024）
  • NVIDIA 财报及电话会议记录（FY2024、FY2025 Q1）
• AMD 官方：
  • 《AMD Instinct MI300X Accelerator Data Sheet》（2023）
  • Advancing AI 2023 活动资料
• Intel 官方：
  • 《Intel Gaudi 3 AI Accelerator》产品页（2024）
• 台积电：
  • 2023–2024 年法人说明会简报与逐字稿
• 云厂商文档：
  • AWS EC2 P5/P5e 实例页面
  • Azure ND H100 v5 系列文档
  • Google Cloud A3 加速器优化机器系列
• 第三方分析机构（部分数据为定性或引用，需自行判断可靠性）：
  • Omdia《AI Server Market Tracker》（2023 Q4）
  • Semianalysis 关于 NVSwitch 成本与拓扑的分析文章（2023）
  • Digitimes 关于 CoWoS 产能分配报道（2024）
• 开源社区：
  • NVIDIA NCCL GitHub 仓库与文档
  • Megatron-LM、