NVSwitch
3 秒看懂
NVSwitch 是 NVIDIA 为超大规模 GPU 集群打造的高速片间交换芯片，作用是把多颗 GPU 的 NVLink 直连通道汇聚成一张全互联交换网络，让域内任一 GPU 能以满带宽直接读写任一其它 GPU 的显存。16～256 颗 GPU 被整合成一台逻辑上的巨型加速器，从根本上消除了服务器内乃至跨机架的 GPU 通信瓶颈，是 DGX、HGX 及 NVL 机架级系统的必要组件。
3 分钟产业解释
在千亿参数大模型训练中，单 GPU 显存与算力远不够用，必须将模型切分到多颗 GPU 协同计算。传统 GPU 间通信依赖 PCIe 或外部网络（InfiniBand/以太网），带宽低、延迟高，且需要 CPU 侧多次拷贝，浪费大量算力。NVIDIA 先后引入了 NVLink（GPU 间直连高速总线）和 NVSwitch（该总线的交换核心）。NVSwitch 把原本需要多级转发或 CPU 介入的数据搬运，变成一块交换芯片内的交叉调度：所有 GPU 通过独立的收发链路连到 NVSwitch，交换芯片在硬件层面解析目标 GPU 的物理地址，以数十纳秒级延迟完成数据包转发。结果就是服务器内 8 GPU 乃至 SuperPOD 中 256 GPU 形成统一的共享地址空间与内存一致域，让张量并行、专家并行等集合通信操作近乎无阻塞执行，大幅降低通信时间占比，支撑更大模型、更长时间的训练任务。
技术原理
设计目标与约束
传统 PCIe 树状拓扑中，GPU 间数据传输需要经过 CPU 的 Root Complex，不仅共享上游带宽，而且每次跨 GPU 访问都必须经历多次协议转换。NVLink + NVSwitch 的设计要求：
- 类内存访问延迟：支持 load/store 语义，端到端延迟必须接近本地显存访问的纳秒级别，以便直接对远端地址做原子操作。
- 全速率聚合带宽：随着域内 GPU 数量增加，单个 GPU 应能同时与所有对端保持全双工线速通信，总带宽 = Σ(每链路带宽 × 链路数)。
- 硬件级缓存一致性：各 GPU 的 L2 缓存与远端显存之间需要维护一致性协议，确保张量并行的权重梯度、优化器状态在 GPU 间无错误共享。
通信机制与分层栈
NVSwitch 并非孤立组件，它与 NVLink 构成机内加速器互连的两层栈：
- NVLink：链路层，提供 GPU 到 GPU / GPU 到 Switch 的高带宽、低延迟点对点连接，每个端口由多组 SerDes 差分对构成。
- NVSwitch：交换层，汇聚所有 NVLink 端口，内部基于交叉矩阵（Crossbar）或共享缓存交换结构实现完全无阻塞调度，并处理地址解析与原子操作。
实际工作流程（以 GPU 发起远程显存读取为例）：
- GPU 线程执行一条 load 指令，目标地址经页表映射为远端 GPU 显存的 NVLink 域地址。
- 请求被打包为 NVLink 事务包，通过本地 SerDes 发送至 NVSwitch。
- NVSwitch 解析目的 GPU ID 并查表转发，经过交叉矩阵无阻塞送达远端 GPU 的端口。
- 远端 GPU 的 NVLink 控制器访问本地 HBM，返回数据沿原路径反传，并完成可能的高速缓存一致性探测。
并行训练中的通信模式映射
- 张量并行：每个 Transformer 层跨 GPU 劈分，前向/反向需要高频 AllReduce。在 NVSwitch 全互联域内，AllReduce 可分解为 all-to-all 的收发操作，NVSwitch 提供无阻塞数据交换，而聚合计算由 GPU 上的 Tensor Core 或驱动库完成。
- 流水线并行：主要依赖点对点传递，对 NVSwitch 的全域交换能力占用较低。
- MoE 专家路由：专家分发与结果收集需要 all-to-all 集合通信，NVSwitch 的全互联特性使收发延迟远低于传统网络，可显著提升 MoE 层吞吐。
与传统网络交换机的本质区别
- NVSwitch 处理的是 GPU 物理地址与内存语义，支持原生原子操作、硬件一致性协议探测，数据包不包含 IP 或 MAC 头部。
- 数据中心以太网或 InfiniBand 交换机工作在 RDMA 层级，通过软件/固件模拟远端内存访问，即便采用 RoCE 或 InfiniBand RC 模式，端到端延迟往往在微秒级别，比 NVSwitch 高出约一个数量级，且无法提供字节粒度的硬件一致性。
关键参数
NVSwitch 已历经三代，核心规格持续跃升。以下参数整理自 NVIDIA A100、H100、B200 官方白皮书及 GTC 主题演讲，未单独注明的即为公开技术文件披露；未披露细节处标“公开资料未见”。
| 指标 | NVSwitch v1 (A100 系统) | NVSwitch v2 (H100/ H200 系统) | NVSwitch v3 (B100/B200/NVL72) |
|---|---|---|---|
| 配套 NVLink 版本 | NVLink 3 | NVLink 4 | NVLink 5 |
| 单端口速率（双向） | 50 GB/s | 50 GB/s | 100 GB/s（单向）×2 方向，即 200 GB/s 双向 |
| 单芯片端口数 | 18 个 | 64 个 | 72 个 |
| 单芯片交换总带宽（双向） | ~900 GB/s（18×50） | 3200 GB/s（64×50）[公开资料计算] | 14.4 TB/s（72×200） |
| 典型系统配置 | DGX A100：8 GPU + 6 颗 NVSwitch v1 | DGX H100：8 GPU + 4 颗 NVSwitch v2 | NVL72：72 GPU + 9 颗 NVSwitch v3（整机架） |
| 域内单 GPU 聚合带宽（双向） | 600 GB/s（A100，12 条 NVLink 3 链路） | 900 GB/s（H100，18 条 NVLink 4 链路） | 1.8 TB/s（B200，18 条 NVLink 5 链路） |
| 跨节点支持 | 无 | 通过 NVSwitch 二层扩展至最多 256 GPU | 原生支持 72 GPU 域，更大域通过外部网络扩展 |
| 制程/封装 | 台积电 7 nm 级别制程，CoWoS 封装 [NVIDIA 未公开具体节点，行业推测] | 台积电 4 nm 级别制程 [推测] | 台积电 4 nm 增强版，CoWoS-L/C [公开资料未见确切制程节点] |
| 交换延迟增量 | 数百纳秒级（官方宣称接近 200 ns 级交换开销） | 类似量级 | 公开资料未见具体数字，行业预期更低 |
注：GPU 聚合带宽指单颗 GPU 同时通过所有 NVLink 链路与域内其他 GPU 全速通信的双向总带宽，为 GPU 与 NVSwitch 间链路带宽之和。
技术路线
从点对点到全互联交换
- 无 NVSwitch 阶段（P100 / V100）：依靠 GPU 间直接的点对点 NVLink 构成立方网或环状拓扑，每颗 GPU 只能同时与有限的邻居满速通信，多跳转发时延迟、带宽均受影响。
- NVSwitch v1（A100）：首次实现服务器内 8 GPU 全互联交换，任一 GPU 可通过 NVSwitch 直达其他 7 颗 GPU，无需多跳，显著降低通信栈复杂度。
- NVSwitch v2（H100）：将全互联扩展到跨节点层面，通过二层 NVSwitch 架构组建 256 GPU 的 NVLink 域，同时大幅增加单芯片端口数，让单个交换机支持更多 GPU，降低每端口成本。
- NVSwitch v3（Blackwell）：进一步融入整机架系统（NVL72），原生管理多达 72 颗 GPU 的全互联域，交换容量倍增，配合 NVLink 5 和液冷机架交付，实现“机架即一台巨型 GPU”的织物。
主流 GPU 互连方案对比
| 方案 | 互连基础 | 拓扑 | 单 GPU 对域总带宽（标的） | 典型域规模 | 延迟 | 硬件缓存一致性 | 开放性 |
|---|---|---|---|---|---|---|---|
| PCIe 直连 + CPU 转发 | PCIe Gen5 | 树状 | ~128 GB/s 双向 | 1-2 GPU | 高（微秒级） | 不支持 | 完全开放 |
| NVIDIA NVLink + NVSwitch（H100） | NVLink4 + NVSwitch2 | 全互联交换 | ~900 GB/s 双向 | 8~256 GPU（跨节点） | 极低（百纳秒级） | 支持 | 封闭，NVIDIA 专有 |
| NVIDIA NVLink + NVSwitch（B200） | NVLink5 + NVSwitch3 | 全互联交换 | 1.8 TB/s 双向 | 72 GPU（整机架） | 极低 | 支持 | 封闭 |
| AMD Infinity Fabric（MI300X） | Infinity Fabric 3.0 | 全互联 | ~896 GB/s（8 卡平台，双向合计） | 8 GPU（12.8 Tb/s 节点内） | 低 | 支持 | AMD 专有 |
| Intel Gaudi 3 内部互连 | 专用 RoCE 引擎 + 内部 switch | 全互联 | 3.84 Tb/s（8 卡系统，内部 all-to-all） | 8 GPU 节点 | 略高于 NVSwitch | 有限 | Intel 专有（基于标准化 Ethernet） |
| Google TPU ICI（TPU v5p） | 光交换机 OCS | 对数/3D Torus | ~6.4 Tb/s（芯片间双向） | 8960 芯片 Pod | 低 | 支持 | 完全封闭，自用 |
| 超以太网/PCIe Switch 方案 | PCIe Gen6/7 + 兼容 Ethernet | Fat Tree / Dragonfly | 400-800 Gb/s 每网卡 | 数千 GPU | 高（微秒级） | 不支持（依赖软件） | 标准化，开放 |
表中指标根据各公司公开技术文件与行业基准整理；延迟对比为集合通信操作开销的量级参考，非精确端到端测量值。
上游
SerDes 与高速物理层
NVSwitch 的端口数量与速率依赖超高速 SerDes（当前 112G/224G PAM4），推动台积电先进制程下 SerDes IP 的迭代。未来 NVSwitch 有望迈向共封装光学（CPO），以应对交换带宽指数级增长带来的前端面板密度和功耗挑战。主要受益环节为高速 SerDes IP 供应商及光模块/硅光子企业。
先进封装与基板
单颗 NVSwitch 集成数十个高速端口和多颗芯片逻辑，需要超大尺寸封装。NVSwitch v1/v2 先后采用 CoWoS-S，v3 预计导入 CoWoS-L 或更新方案，中介层面积、ABF 载板层数持续上升。台积电 CoWoS 产能直接决定 NVSwitch 以及 GPU 的供给弹性。截至 2025 年 4 月，台积电 CoWoS 月产能已从 2023 年的 8,000 片扩至约 35,000 片（来源：DigiTimes 引述供应链消息，2025 年 2 月），但 NVSwitch 与 HBM 堆叠 GPU 共同抢占产能。
系统设计与液冷
整机架 NVL72 包含 9 颗 NVSwitch 3 及配套背板、铜缆背板连接器、电源分配架构，须由 ODM（鸿佰科技、纬颖、云达等）完成系统集成与液冷测试。NVSwitch 背板带宽密度极高，促使 PCB 材料向低损耗升级，并带动板级液冷方案渗透。
EDA 与测试
高速 SerDes 与大规模交叉矩阵的验证依赖高端 EDA 工具（Cadence、Synopsys）。ATE 设备（Advantest、Teradyne）需要支撑数百条高速通道的并行测试，机时与测试成本随端口密度提升而显著增加。
（注：上述产业链环节中的具体份额与产能数字多为行业估算，下游客户占比未获完全披露。）
下游
AI 服务器整机
NVSwitch 直接出现在 DGX 主板和 HGX 基板上。DGX H100/B200 内部集成 NVSwitch 交换模组，形成 8 GPU 全互联底座；NVL72 机架则以独立 NVSwitch 交换机盒连接 9 个计算托盘。以英业达、广达、超微电脑为代表的系统集成商交付最终整机。
云厂商 SuperPOD 与 AI 工厂
Microsoft Azure、Oracle Cloud、AWS、CoreWeave 等大型 AI 云平台均依赖 NVSwitch 组建高带宽域，再将多个域通过 InfiniBand/以太网组成万卡集群。NVSwitch 的域规模和拓扑直接影响云厂商的集合通信策略、网络架构和 CapEx 规划——域越大，跨域通信占比越低，训练效率越高。
训练框架与中间件
Megatron-LM、DeepSpeed 等分布式训练框架针对 NVSwitch 域内拓扑进行通信算法优化（如针对全互联的 Reduce-Scatter 与 AllGather 融合），NVIDIA NCCL 库深度适配 NVSwitch 的路由与多路径能力，向上暴露统一 API。
受益公司
以下仅梳理产业关联，不作为任何投资建议。
- NVIDIA（直接驱动力）：NVSwitch 是数据中心 GPU 平台锁定战略的核心，整套连接 fabric 的溢价显著高于裸 GPU 销售，带动 HGX/DGX/NVL 系统 ASP 持续攀升。FY2025（截至 2025 年 1 月 26 日）数据中心收入 1,152 亿美元（来源：NVIDIA FY2025 年报），其中 NVSwitch 贡献未单独拆分，但其内含价值随整机架交付比例提升而增加。
- 台积电：唯一负责 NVSwitch 芯片先进制造与先进封装（CoWoS/InFO）的代工方，NVSwitch 与 H200/B200 GPU 的投片共同占用大量先进制程与封装产能。
- ODM 与连接器厂商：鸿海（鸿佰）、纬创（纬颖）、广达等获得高价值整机架 NVL72 系统订单，Molex、Amphenol 等受益于高速背板连接器和铜缆组件需求。
- 测试设备商：Advantest、Teradyne 因 NVLink 高速接口测试复杂度提高，单 GPU/NVSwitch 测试机时价值增加。
- 液冷基础设施供应商：NVL72 标配液冷，带旺 CoolIT Systems、Boyd Corp.，以及服务器 OEM 内部液冷方案部门。
市场规模
NVSwitch 作为 NVIDIA 专属封闭组件，不单独零售，无直接第三方市场规模统计。行业通过以下代理指标间接衡量其市场体量：
- NVIDIA 数据中心计算收入：FY2025 全年数据中心总收入 1,152 亿美元，计算产品（含 Hopper/Blackwell GPU + NVSwitch 等内嵌部件）占比约八成以上（来源：NVIDIA 2025 财年年报及业绩说明）。据此推算，2024 日历年 NVLINK+NVSwitch 相关系统内含价值在数百亿美元量级。
- GPU 出货量与 NVSwitch 附带比例：据 Omdia 估算（2024 年 10 月报告），2024 日历年 NVIDIA Hopper 架构 GPU（H100/H200）出货量约 150 万～180 万颗。按 DGX H100 标准 8 GPU 配 4 颗 NVSwitch 2 计算，NVSwitch 2 芯片出货约 75 万～90 万颗。随着 Blackwell 平台出货爬坡，NVL72 机架（72 GPU 配 9 颗 NVSwitch 3）每 GPU 所搭载 NVSwitch 比例降至 0.125，但单颗 NVSwitch 3 交换容量和价值量大幅提升。
- 先进封装与前端晶圆消耗：台积电 CoWoS 产能中，约 60%～70% 用于 NVIDIA GPU/HBM 及 NVSwitch 相关芯片（来源：TrendForce，2024 年底）。NVSwitch 芯片的晶圆消耗量虽小于 GPU，但仍构成先进制程需求增量。
（以上第三方出货数字均为市场研究机构估计，可能与 NVIDA 实际数据存在偏差。）
玩家对比
专有交换织物路线
- NVIDIA NVSwitch：本文核心，提供硬件一致性、最低延迟和最大域规模，但完全封闭，仅与 NVIDIA GPU 协同工作。
- AMD Infinity Fabric：面向 MI300X 等 APU/GPU，片内/片间统一互连。MI300X 8 卡服务器内部基于 Infinity Fabric 实现全互联，节点内每颗 GPU 可与其他 7 颗达成约 896 GB/s 聚合带宽。目前域规模限制在单节点 8 GPU，尚未跨节点扩展出类似 NVSwitch 的二层交换系统（截至 2024 年底公开产品）。
- Intel Gaudi 3：集成 21 个 200G 内部 RoCE 端口，通过内部全互联交换机实现 8 GPU 无阻塞 all-to-all（3.84 Tb/s）。优势在于完全基于标准以太网，但缺乏硬件内存一致性，全域共享地址需通过软件支撑。
- Google TPU ICI：自研光学交换机 OCS 构成 3D 环面/对数拓扑，TPU v5p 可扩展至 8960 芯片，提供硬件一致性与极低延迟，但仅限内部使用，不对外销售。
开放替代方案
- PCIe Switching（Broadcom / Microchip）：PCIe Gen6/Gen7 交换机可以连接多个 GPU，但拓扑受限于树状结构，延迟与有效带宽远不如专用交换织物，且缺少原生一致性协议。Broadcom 等正推动 PCIe 交换机结合 CXL 3.0 实现多级共享内存，但尚未在主流训练集群中看到规模部署。
- 超以太网联盟（Ultra Ethernet）：试图通过优化以太网传输层，在胖树/蜻蜓拓扑上逼近 NVSwitch 域内的集合通信性能，目前主要用在第二层跨域网络，尚未取代机内交换芯片。
总体而言，NVSwitch 在“单域内超低延迟硬件一致性”层面尚无同等替代者，开放方案试图从更大规模的网络层蚕食其价值，但暂未撼动其在 AI 服务器底座中的地位。
风险
- 技术替代风险：Ultra Ethernet 等标准化开放互连不断演进，若未来“全网络交换”可将跨节点集合通信延迟降至与域内相当的水平，部分客户可能选择减少对 NVSwitch 封闭织物的依赖，转而扩充成本更低、生态更开放的层级。此外，CXL 3.0 内存共享方案可能在某些推理场景中替代 NVSwitch 的共享地址功能。
- 大客户自研倾向：Google 已全自研 TPU ICI，AWS 在 Trainium2 中采用自研 NeuronLink 互连，几大云巨头均有降低对 NVIDIA 专有互连依赖的长线意图。一旦第二梯队云商联合推出基于开放标准的替代 fabric，NVSwitch 的独占性将被削弱。
- 先进封装与产能瓶颈：NVSwitch 依赖台积电 CoWoS 产能，若 CoW