Scale-out
3 秒看懂
Scale‑out 网络是 AI 集群“横向扩展”的通信骨架——通过大量标准化网络端口和交换机将成百上千个计算节点连接在一起，使分布式训练与推理能够跨越节点高效运转。它决定了万卡级 GPU 集群是“一台超级计算机”还是“一堆互相等待的机器”。
3 分钟产业解释
当单台 AI 服务器的算力、显存触及物理或成本极限，就必须将工作负载拆分到数十、数百甚至上万颗加速器上协同完成。这种横向添加节点的方式就是 Scale‑out。与之对应的 Scale‑up 是纵向扩展单节点内部带宽（如 NVLink、NVSwitch），而 Scale‑out 把跨机柜、跨行列甚至跨建筑的 GPU 编织成一张逻辑上统一的算力网。
跨节点的数据交换强烈依赖网络：每一轮训练迭代中，梯度同步（AllReduce）、参数更新、MoE（混合专家）token 路由（All‑to‑All）等操作都会产生突发性全网通信。网络带宽、尾延迟、拥塞控制直接决定集群有效算力利用率（MFU）。业界经验表明，Scale‑out 网络若设计不当，千卡以上集群的 MFU 可能从 50% 以上骤降至 20% 以下，等同于半数 GPU 被浪费。
当前主流的 Scale‑out 网络技术栈分为三大阵营：
- InfiniBand（IB）：提供原生 RDMA（远程直接内存访问）、微秒级确定延迟和高消息速率，长期主导 Top500 和 AI 训练集群。NVIDIA 通过收购 Mellanox 实现从 GPU、网卡、交换机、线缆到通信库（NCCL）的垂直整合，构成一条封闭但高效的技术栈。
- RoCE v2（基于融合以太网的 RDMA）：将 IB 传输层报文封装在 UDP/IP 上，利用标准以太网硬件实现 RDMA，配合 DCQCN、HPCC 等拥塞控制算法，大幅降低采购成本，在超大规模云原生集群中快速普及。代价是需要无损以太网（PFC、ECN）保障，运维复杂度显著更高。
- 专有跨节点互连：以 NVIDIA NVSwitch Fabric、Google ICI 等为代表，将节点内的内存语义互连延伸至多节点，形成介于经典 Scale‑out 和 Scale‑up 之间的高速域，延迟接近缓存一致性水平，再通过 IB 或 RoCE 完成更大规模的二层扩展。此类方案性能极强，但通常锁定单一厂商生态。
产业链受益环节涵盖：高速网卡（SmartNIC/DPU）、交换机芯片与白盒交换机、光模块与有源光缆、网络操作系统（如 SONiC）、以及具备集群组网优化能力的软件和服务商。从晶圆到集群的每一层都在历经 AI 驱动的高速迭代。
技术原理
Scale‑out 网络的技术本质是在成本与物理约束下，让海量节点实现“近距通信幻觉”。核心技术栈包括 RDMA 语义卸载、拓扑工程、拥塞控制及通信库协同优化四层。
RDMA 语义与网卡硬件卸载
传统 TCP/IP 通信需内核多次拷贝数据，CPU 参与严重，延迟高且吞吐受限。RDMA 允许网卡直接读写远端内存，绕过内核，CPU 零介入即可实现亚微秒级延迟和线速吞吐。这需要网卡硬件维护连接状态、完成报文组装和内存注册，实现传输层语义硬化。
- InfiniBand：从链路层到传输层原生支持 RDMA，提供可靠连接（RC）、不可靠数据报（UD）、扩展可靠连接（XRC）等多种传输服务。IB 交换机具备链路层流控和自适应路由能力，可在 us 级完成路径切换，无需上层协议介入。IB 网络是物理隔离的专用网络，不承载其他以太网流量，因而延迟抖动极低。
- RoCE v2：将 IB 传输层报文封装在标准 UDP/IP 帧中，复用数据中心以太网基础设施。但标准以太网是有损网络，交换机缓存溢出会随机丢包，而 RDMA 对丢包极度敏感（重传代价巨大）。因此 RoCE v2 依赖三类机制：PFC（优先级流控，逐跳反压防止丢包）、ECN（显式拥塞通知，端到端降速避让）及 DCQCN 等拥塞控制算法协调端网行为。代价是无损以太网配置复杂，PFC 配置不当可能引发死锁或“PFC 风暴”，造成全网瘫痪——这是一线运维工程师的持久痛点。
拓扑工程与对分带宽
集群拓扑决定了任意节点间可获得的路径数量与带宽上限。
- Fat‑Tree（胖树）：经典 Clos 架构的实践，通过 Leaf‑Spine‑Core 多层交换提供无阻塞或低降额（通常 1:1 或 2:1 oversubscription）的对分带宽，是 AI 集群黄金标准。典型配置下，每个 GPU 对应一个 Leaf 端口，Spine 与 Core 层逐步收敛，确保任意 GPU 对之间能获取满速带宽。缺点是高端口数 Spine/Core 交换机昂贵，布线复杂。
- Dragonfly+：将节点分组为若干“组”，组内全互连，组间用高速链路连接，节省全局交换层级和光缆用量。在超大集群（万卡以上）性价比优异，但存在跨组路径非对称、负载均衡困难等问题，对自适应路由要求高。
- Torus / 2D/3D 环网：为特定 HPC 负载优化，可最小化线缆长度，但在不规则 AI 通信模式下容易出现拥塞瓶颈，已不是 AI 集群主流选择。
实际部署中，物理拓扑往往还需适配数据中心布线拓扑、电力分配和散热约束，形成多层次、非对称的真实网络。
拥塞控制：从算法到硬件卸载
AI 负载的突发性（周期性的梯度同步）、多对一汇聚（参数服务器模式）及 All‑to‑All 分发，极易诱发 Incast 拥塞——数十上百个发送端同时向一个接收端灌入数据，瞬时堵死交换机缓存。拥塞控制机制负责在维持高吞吐的同时避免崩溃。
- DCQCN（Data Center Quantized Congestion Notification，RoCE 主流方案）：交换机检测到队列深度超阈值，对报文打 ECN 标记；接收端网卡识别到标记后，向发送端回传 CNP（拥塞通知包）；发送端网卡收到 CNP 后立即降低注入速率，随后按预设速率步进恢复。整个过程完全在网卡硬件中执行，无需 CPU 干预，响应时间细微秒级。
- HPCC（High Precision Congestion Control）：利用交换机 INT（带内网络遥测）上报精确队列深度，发送端实现更细粒度的速率调整，理论效果优于 DCQCN，但需要交换机硬件支持 INT，生态仍处早期，2024 年起部分云厂商推动商用部署。
- IB 自适应路由：IB 交换机基于链路负载和报文目标，在微秒级动态选择转发路径，绕过拥塞点，配合端到端信用流控（Credit‑based flow control），天然避免丢包，降低对上层拥塞控制的依赖。
并行策略与通信模式映射
不同并行策略产生的网络负载特征迥异，Scale‑out 网络需针对性调优：
- 数据并行：每个 GPU 持有完整模型副本，梯度需跨节点 AllReduce → 流量呈周期性大突发，对聚合带宽要求高，但对延迟相对容忍（百 us 级）。
- 张量并行：层内分片，前向/反向需高频 AllReduce/ReduceScatter → 单次通信量小但延迟极其敏感（us 级），常局限于高带宽域（如 NVLink 域）。
- 流水线并行：层间切分，仅发送激活/梯度边界 → 通信量低、频率中等，对带宽要求不高。
- 专家并行（MoE）：token 路由需 All‑to‑All 分发与聚合 → 高并发小包、极度突发，对全网平分带宽和消息速率要求严苛，是暴露 Scale‑out 网络短板的典型场景。
优秀的集群设计需根据主负载并行策略，选取或调优拓扑、传输协议和 NCCL 集合通信算法（Ring、Tree、CollNet 等），实现通信与计算的流水覆盖。
关键参数
Scale‑out 网络的性能与成本由一系列量化指标刻画，选型时需综合参照：
- 端口速率（Port Speed）：单端口物理层带宽，通常以 Gb/s 为单位。2024 年主流出货为 400G（400 Gb/s），2025 年 800G 端口进入规模部署期（LightCounting，2024 年 12 月预测）。下一代 1.6T 端口预计 2026–2027 年首批商用。
- 端到端延迟（End‑to‑End Latency）：应用层感知的 RDMA Write/Read 完成时延，通常以 μs 计。IB NDR400 下典型为 1.0–1.5 μs（NVIDIA 公开资料）；RoCE v2 在优化环境下通常为 2–5 μs，受协议栈和拥塞控制策略影响。
- 消息速率（Message Rate）：网络每秒能处理的小包数量，以 M Msg/s 为单位。对 MoE All‑to‑All 等高并发场景至关重要。ConnectX‑7 宣称支持 200M Msg/s 以上（NVIDIA 产品规格，2023 年）。
- 对分带宽（Bi‑section Bandwidth）：任意将网络一分为二时的总可用带宽，衡量全交换能力。理想 Fat‑Tree 可提供 1:1 无阻塞对分带宽，但成本高昂；许多生产集群采用 2:1 甚至 4:1 超额订阅以平衡成本。
- 网络有效利用率（Effective Network Utilization）：实际应用层吞吐占物理带宽比值，受拥塞控制、负载均衡及通信库效率共同影响。优秀的 RoCE 集群可达 90% 以上（Microsoft 论文数据，2023），而设计不当者可能低于 50%。
- 网络计算比（Network‑to‑Compute Ratio）：通信带宽（GB/s）与 GPU 算力（TFLOPS）的比值，指导系统平衡设计。NVIDIA DGX SuperPOD 等参考架构中，每 GPU 通常匹配 400 Gb/s 网络，形成 50 GB/s:TFLOPS 量级的比值。
- 功耗与端口能效比：单端口功耗（W）及每比特能耗（pJ/bit）。800G 光模块功耗通常在 14–20W（2024 年典型值），LPO 方案可降至 8–10W（产业公开预计，2024），CPO 进一步下探至 5W 以下（长期目标）。
注：以上具体值取决于厂商选型和配置，此处提供典型参考区间，实际项目需以供应商最新报价和实测数据为准。
技术路线
InfiniBand 路线
NVIDIA 自收购 Mellanox 后，持续以代际节奏推进 IB 演进：EDR（100 Gb/s）→ HDR（200 Gb/s）→ NDR（400 Gb/s）→ XDR（800 Gb/s）。每代新品集成新型 DSP、优化 SHARP（网络内计算加速）引擎，并同步升级 ConnectX 网卡和 Quantum 交换机。IB 生态高度整合，用户可获得端到端认证的“开箱即用”体验。2024 年，XDR 交换机已向部分客户送样，预计 2025 年批量交付。IB 路线的主要代价是单一供应商依赖和较高采购成本。
RoCE/以太网路线
开源和商业以太网生态并行推进。商用芯片以 Broadcom Tomahawk 5（51.2T）、Marvell Teralynx 10 等为标杆，支持 64×800G 端口。超大规模云商（AWS、Microsoft、Meta）倾向白盒交换机 + SONiC 自建，追求供应链灵活与成本最优。超级以太网联盟（Ultra Ethernet Consortium，UEC）2023 年成立，汇集 AMD、Arista、Broadcom、Cisco、HPE、Intel、Meta、Microsoft 等，提出新一代以太网传输协议和语义，目标替代传统无损以太网协议栈，解决 PFC 死锁、配置复杂等痛点。UEC 1.0 规范于 2024 年 Q3 发布，2025 年起有望在各厂商网卡和交换机中实现商业落地。
专有跨节点互连路线
NVIDIA 的 NVSwitch Fabric 将 NVLink 的内存语义访问能力外延至 32–72 节点（2024 年 Blackwell 平台），跨节点延迟逼近 us 级以下的缓存一致性水平，与 IB/RoCE 形成分层协作。Google 的 ICI（Inter‑Chip Interconnect）为 TPU 提供类似能力。此类技术追求极致性能，但锁定厂商，采购议价能力弱。
未来趋势：全光交换与芯片级创新
面向十万卡级集群，电交换机的端口能力和功耗瓶颈渐显。基于 MEMS/OXC 的全光交换可实现端口数扩展与功耗脱钩，Google 的 Jupiter 网络已引入光交换元素（2022 年公开）。2025 年起，部分 AI 集群有望尝试电光混合架构——Spine 层用光交换、Leaf 层保留电交换，兼顾性能与成本。同时，AI 专用网络芯片（针对集合通信模式硬化加速器）也在多家芯片初创公司路线图中出现。
上游
Scale‑out 网络上游涵盖芯片、光电器件和基础 IP 三大板块，是整个产业链的技术策源地。
交换芯片
高速交换芯片是网络设备核心，决定端口密度、缓冲区大小、转发延迟和功能集。主要玩家：
- Broadcom：Tomahawk 5（51.2T，2023 年量产）广泛用于 400G/800G 白盒交换机，是超大规模数据中心的绝对主力。Tomahawk 6（102.4T）预计 2025–2026 年面市（Broadcom 产品路线图公开信息）。Jericho 系列则侧重深缓存与高级可编程。
- Marvell：Teralynx 10（51.2T）和 Teralynx 12（102.4T 规划中）面向 AI 训练优化，强调低延迟、高消息速率和可编程流水线，2024 年起在多家云厂验证。
- Cisco：Silicon One 系列面向高端路由和交换机，但 AI Scale‑out 领域并非其主要领地。
- 华为：Solar 系列自研交换芯片，受制于先进制程供应链，主要服务国内客户，具体性能数据公开资料有限。
- 云厂商自研：AWS、Google、Microsoft 等均投入自研交换芯片或 FPGA 网络加速，以深度优化成本和功耗。Meta 的 FBOSS + 商用芯片策略则介于自研与采购之间。
网卡/DPU/SmartNIC
SmartNIC 从单纯提供 RDMA 卸载，演进到集成了传输控制、安全、虚拟化甚至部分计算任务的 DPU（数据处理单元）。
- NVIDIA：ConnectX‑7（400G，2022）和 ConnectX‑8（800G，2024 年出样）是 IB/RoCE 双模网卡的标杆，BlueField‑3 DPU 增加 Arm 核心和可编程加速引擎。
- Intel：E810 系列（100-200G）和后续 800 系列（400G 预计），以 IPU 概念整合基础设施加速。市场影响力弱于 NVIDIA。
- AMD/Pensando：提供 DPU 方案，适用于云原生场景，但在 AI 训练网卡领域的渗透率有限。
- 云厂商自研：AWS Nitro、阿里云神龙/MOC 卡等，但不是标准外销品。
- 国产厂商：光润通、星融等提供国产化网卡方案，多基于 FPGA 或 Arm 架构，400G 产品进入小批量阶段，生态成熟度与性能相比 NVIDIA 仍存差距，2024 年公开资料未见大规模 AI 训练集群部署案例。
光模块与电连接
这是 Scale‑out 网络的“血管”，负责把电信号转换成高速光/电传输。
- 光模块：800G 光模块（OSFP/QSFP‑DD，8×100G 或 4×200G 光通道）是 2024–2025 年增长主轴。中际旭创（InnoLight）、新易盛（Eoptolink）、Coherent（含 Finisar）、Lumentum、光迅等为主要供应商。2024 年 LightCounting 报告称，全球 800G 光模块出货量 2024 年预计超 200 万只，AI 集群为最大驱动力。
- 直连铜缆（DAC）与有源光缆（AOC）：短距场景（3–5m 内）DAC 凭借零功耗和低成本优势广泛应用；中长距 AOC 提供更灵活布线且重量轻。NVIDIA 自身的 LinkX 品牌提供认证线缆，捆绑销售占比高。
- LPO / LRO（线性可插拔光学 / 线性接收光学）：去除或简化 DSP 芯片以降低功耗和延迟，800G LPO 模块 2024 年起多家厂商送样，预计 2025 年规模商用（行业公开会议信息）。
- CPO（共封装光学）：将光学引擎与交换芯片封装在同一基板上，进一步消除电信号瓶颈，目标将每比特功耗降低 50% 以上。Broadcom、Intel、NVIDIA、台积电等积极布局，但 2024 年仍处于技术验证和早期客户测试阶段，2026–2028 年或见规模量产。
SerDes 与 PHY
高速 SerDes IP 是交换芯片和网卡的基础。主流速率从 112Gbps PAM4（配套 400G/800G）向 224Gbps PAM4（配套 1.6T）演进。供应商包括 Synopsys、Cadence、Alphawave Semi 等 IP 厂商，以及 Broadcom、Marvell 等自研芯片厂商。
网络操作系统（NOS）
开源 NOS 正深刻改变上游交付模式。SONiC（Software for Open Networking in the Cloud，由 Microsoft 发起，Linux 基金会托管）已成为超大规模云商白盒交换机的默认选择，2024 年社区已超 3000 名贡献者，支持 Broadcom、Marvell、Intel、NVIDIA 等全部主流芯片。商用 NOS 如 Arista EOS、Cisco NX‑OS 则以丰富功能和厂商支持服务收取溢价。
下游
下游是 Scale‑out 网络的需求方和实际部署者，其行为决定市场方向。
- 超大规模云服务商（Hyperscalers）：微软 Azure、AWS、Google Cloud、阿里云、腾讯云等，是万卡至十万卡集群的最大采购者。他们倾向白盒交换机 + SONiC + 自研网卡/DPU 的自主集成路线，部分自研交换芯片以实现极致降本和差异化。Meta 虽非云商，但其 AI 集群规模（如 24K+ H100 集群）同样居全球前列，对网络技术方向有显著引领效应。
- AI 新势力：xAI（2024 年建成 Colossus 十万卡集群，据公开报道）、OpenAI、Anthropic、Inflection 等，极度追求训练集群性能，往往是 IB 最高端速率的首批采用者，对交付速度要求严苛，倾向采购 NVIDIA 全栈方案以缩短部署周期。
- 国家算力中心 / 科研机构：各国建设的公共 AI 算力基础设施，倾向招标采购，技术要求偏向成熟方案，IB 和 RoCE 均有采纳。中国国家超算中心、欧洲 EuroHPC 等为主要代表，2024 年起多座百亿级参数模型训练基础设施启动建设或扩容。
- 企业私有化部署：大型银行、车企、药企自建中型 AI 集群（数十至数百 GPU），对成本敏感，多采用 RoCE 方案以利用现有以太网基础设施。采购量分散但总体可观。
- 集成商与托管服务商：Equinix、Digital Realty 等数据中心运营商开始提供“AI Ready”托管服务，预布署高带宽网络基础设施，降低企业部署门槛。2024 年起多家托管商推出液冷 + 高速网络的 AI 专属套餐。
- 商业航天与自动驾驶等边缘 AI：虽不是典型 Scale‑out 需求方，但自动驾驶训练（Waymo、Tesla Dojo）对集群网络有特殊要求，是高端 IB/RoCE 的增量场景。Tesla Dojo 采用自研 D1 芯片与互连，不完全依赖标准以太网或 IB。
受益公司
以下梳理主要受益主体及其角色，所有信息截至 2025 年 2 月，不构成任何投资判断。
- NVIDIA（含 Mellanox）：提供从 ConnectX 网卡、Quantum IB 交换机 / Spectrum 以太网交换机、LinkX 线缆到 DOCA 软件、NCCL 通信库的端到端方案，是 AI Scale‑out 网络的绝对领导者。2024 财年（截至 2024 年 1 月）数据中心业务收入 475 亿美元，网络设备是重要贡献项（公司财报）。其整合模式难以复制，但也面临客户寻求第二供应源的分化压力。
- Broadcom：Tomahawk 5 / Jericho 系列交换芯片是超大规模 RoCE 网络的核心。2024 财年（截至 2024 年 10 月）网络芯片业务持续增长，AI 相关收入贡献显著（公司财报会议）。同时涉足定制 ASIC（TPU v5p 等），双重受益。
- Marvell：Teralynx 交换芯片 + Alaska PHY + PAM4 DSP，覆盖以太网 Scale‑out 多环节。2025 财年第三季度（截至 2024 年 11 月 2 日）AI 相关收入同比增长显著（公司财报），与多家云商和 OEM 合作实现 800G 平台量产。
- Arista Networks：基于商用芯片的高性能以太网交换机，EOS 支持大规模 RoCE 和高级遥测。2024 年大型 AI 客户贡献收入占比提升，公司预计 2025 年 AI 网络营收将超 10 亿美元（公司 2024 年 Q3 财报会议指引）。
- 光模块厂商：
- 中际旭创（InnoLight）：2024 年上半年高速光模块出货量全球领先，800G 市占率居前，为 NVIDIA、Google、Meta 等提供配套光模块（公司公告、行业报告）。
- 新易盛（Eoptolink）：800G 光模块深度绑定主要客户，受益于 AI 集群密集交付，2024 年业绩大幅预增（公司业绩预告）。
- Coherent（含 Finisar）：具备从材料到模块的垂直整合，是 NVIDIA 800G 光模块主要供应商之一，2025 财年第一季度 AI 光模块订单强劲（公司财报）。
- Lumentum：光器件与模块供应商，其 800G 解决方案逐步扩大市场份额。
- 交换机 ODM/白牌：智邦（Accton）、天弘（Celestica）、云达（QCT）等直接受益于云商 AI 白盒交换机需求，2024 年 800G 产品出货快速增长。
- Intel：以 IPU 和 800 系列以太网网卡参与竞争，但其在训练网卡领域的市占率远低于 NVIDIA。优势在于企业级客户基础和 x86 生态协同。
- 华为/海思：在国内市场提供从交换芯片（Solar）、交换机、网卡到光模块的完整方案，受供应链限制，海外市场拓展受限，主要受益于国内算力基础设施自主化建设。
- Meta / Microsoft / Google：既是网络技术的重要贡献者（SONiC、UEC 等），也是规模化的最终受益者——通过网络优化将自身 AI 训练成本降至最低。其技术路线选择（如是否从 IB 迁移至 RoCE）对整个产业生态有决定性影响。
市场规模
（本节数据综合 Dell’Oro Group、LightCounting、650 Group 等第三方机构 2024 年下半年发布的公开报告摘要，具体数字未经核实，仅供定性参考。因公开资料获取限制，部分数据可能未能涵盖最新季度变化。）
- AI 网络设备整体市场：Dell’Oro Group 2024 年 10 月预测，AI 后端网络（Scale‑out 为主）设备市场将从 2024 年的约 150 亿美元增长至 2028 年的超过 350 亿美元，年复合增长率约 25%+。其中交换机、网卡和光模块占比最高。
- 数据中心以太网交换机：650 Group 2024 年 Q3 报告显示，2024 年全年数据中心以太网交换机市场规模约 250 亿美元，AI 相关交换机（400G/800G 端口为主）占比快速突破 30%。
- InfiniBand 市场：NVIDIA 2024 财年财报透露 IB 相关收入超过 80 亿美元，占其数据中心业务显著份额。IB 市场 2024–2028 年 CAGR 预计 20% 以上，尽管面临 RoCE 份额侵蚀，但在超大规模 AI 训练集群中仍占主导。
- 光模块市场：LightCounting 2024 年 12 月报告，全球 800G 及以上速率光模块 2024 年销售额约 55 亿美元，预计 2028 年将超过 180 亿美元。LPO/CPO 等新技术将在 2026 年后逐步贡献增量。
- DPU/SmartNIC：AI 网络驱动 SmartNIC 市场增长，NVIDIA 凭借 ConnectX 系列和 BlueField 占绝对份额，市场总量 2024 年约 20 亿美元，2028 年或超 60 亿美元（650 Group 预测，2024 年 9 月）。
- 中国区细分：受地缘与自主化政策影响，中国市场呈现特殊格局。华为、新华三、锐捷等占据国内主要市场份额，IB 部署受限，国产 RoCE 方案加速渗透。2024 年公开产业报告预估中国 AI 网络设备市场（含光模块出口）约人民币 400–500 亿元，公开资料未见更精确第三方审计数据。
玩家对比
选取三大类 Scale‑out 方案进行多维对比（截至 2025 年 2 月公开信息）：
| 维度 | NVIDIA IB 全栈（Quantum XDR + ConnectX‑8） | 超大规模 RoCE（Broadcom TH5 + 白盒 + SONiC） | 国产 RoCE（华为 Solar 海思 + 自研交换机） |
|---|---|---|---|
| 生态开放性 | 封闭但成熟 | 完全开放，多厂商可替换 | 国内相对封闭，海外受限 |
| 单端口带宽上限 | 800 Gb/s（XDR，2025 年批量） | 800 Gb/s（TH5，2024 年批量） | 800 Gb/s（2025 年预计商用，公开资料未见确切时间） |
| 端到端延迟（典型） | 1.0–1.5 μs | 2–4 μs（深度优化后） | 公开资料未见独立第三方测试 |
| 大型集群运维复杂度 | 低：端到端认证，自适应路由成熟 | 中-高：需自建无损以太网运维体系，PFC 调优复杂 | 中：国内工程师资源充足，但经验积累期短 |
| 功耗效率 | 较高，专用制程与设计 | 商用芯片能效优化中，LPO/CPO 势在必行 | 公开资料未见功耗横向对比 |
| 供应链安全（非中国视角） | 依赖 NVIDIA 单一供应 | 多源，韧性好 | N/A |
| 供应链安全（中国视角） | 受出口管制影响，供应受限 | 交换芯片仍依赖 Broadcom/Marvell | 国产替代首选，但先进制程受限 |
| 典型客户 | OpenAI、xAI、Meta（训练集群） | Microsoft、AWS、Google（自建）、国内云商 | 国内运营商、金融、政府算力中心 |
| 交付周期（2024–2025） | 部分高端 SKU 交期 26 周+ | 商用芯片交期正常，白盒组装快 | 国产芯片受良率与产能影响，大规模交付能力待验证 |
| 相对采购成本指数 | 100（参考基准） | 60–75（仅硬件，不含运维） | 70–85（国内报价，估计值，非精确报价） |
注：成本指数为定性估计，非准确报价，实际项目价格视规模、关系和交期而浮动。
风险
- 供应链集中风险：NVIDIA 在 IB 和高端训练网卡市场几乎垄断，任何产能波动或地缘政策变化（如出口管制）都直接影响集群交付与扩张节奏。2024 年，美对华高端网络设备出口限制显著影响中国市场 IB 和高端以太网网卡获取。
- 技术路线锁定与跨代不兼容：IB 每代升级涉及交换机、网卡和线缆的全面更换，CAPEX 巨大。专用互连（NVSwitch Fabric）更绑定单一厂商。一旦选择封闭路线，后续议价与迁移能力受限。
- RoCE 运维黑箱与事故风险：PFC 风暴导致的死锁、吞吐断崖事件在大型 RoCE 网络中屡有发生（Microsoft、Meta 等均有论文披露）。构建高标准无损以太网运维体系对人才和流程要求极高，缺乏经验的组织会面临长期 MFU 波动。
- 光模块成本与功耗占比上升：高速光模块（800G/1.6T）约占集群网络成本的 30–50%（Dell’Oro 估计，2024），且每端口功耗从 100G 时代的 3.5W 升至 800G 的 14–20W。若功耗与成本无法通过 LPO/CPO 有效化解，十万卡集群的网络总功耗将挑战数据中心可用供电上限。
- 技术迭代周期压缩淘汰风险：AI 网络从 200G 到 400G 再到 800G 的迭代仅用约 4 年，大大快于传统数据中心网络（5–7 年）。厂商和客户面临资产过早被替代的风险，库存跌价压力增大。
- 标准碎片化：UEC 虽力图统一新一代以太网，但初期可能存在各厂商私有实现差异，互操作性未经充分验证，早期部署者可能遇到兼容性陷阱。
- 地缘分裂与标准割裂：中国国内市场加速形成自主 RoCE 生态（华为、新华三、国产芯片等），与国际主流生态在协议、芯片、光模块标准上可能出现分层甚至不兼容，增加全球化公司异构管理难度。
误读纠偏
-
误读 1：“Scale‑out 网络就是多插几根网线，带宽不够就升级。”
纠偏：真实困难在于集体通信的同步屏障、Incast 拥塞和微突发导致的尾延迟。单纯堆叠端口带宽，若没有拥塞控制、自适应路由和通信库协同，有效吞吐可能远低于物理带宽。一个典型案例：某千卡集群网卡带宽显示饱满，但由于 AllReduce 环的尾延迟，训练步时间反而延长 40%，MFU 大幅下降——根源在于网络缺乏端网协同设计。优秀的 Scale‑out 网络是“带宽 × 低延迟 × 智能流控”的系统工程。 -
误读 2：“InfiniBand 和 RoCE 性能差距很小，可以随时互换。”
纠偏：在小于 256 卡的小规模集群中，两者差异确实可以忽略，但上万卡时，IB 的确定延迟、静态转发延迟和成熟的自适应路由带来的全集群尾延迟改善可达 15–30%（多篇学术论文测量结果综述）。RoCE 依赖 PFC/ECN，复杂拓扑下配置不当可能引发 PFC 风暴，导致局部甚至全网瘫痪。迁移需谨慎评估规模和运维能力，而非仅看单价。 -
误读 3：“所有数据并行通信都使用 AllReduce，网络只需关注对分带宽。”
纠偏：现代大模型训练混合多种并行策略。MoE 模型的 All‑to‑All 通信对消息速率要求极高，张量并行的 AllReduce 极度延迟敏感，流水线并行的 P2P 发送带宽需求低但频繁。单一指标（bisection bandwidth）无法刻画综合性能。实际设计需分析工作负载通信矩阵，选择拓扑和集合通信算法做联合优化。 -
误读 4：“光模块就是即插即用，与 Scale‑out 网络设计关系不大。”
纠偏：光模块的功耗、热特性（散热方式）、误码率（BER）和信号完整性直接影响交换机端口可用密度和网络可靠性。大量廉价光模块可能导致链路频繁 up/down，触发路由重新收敛，危害训练稳定性。部分云厂商已建立严格的模块认证白名单。LPO 等新技术还需要交换机侧 DSP 配合，光-电协同设计成为竞争力关键。 -
误读 5：“购买 NVIDIA DGX SuperPOD 就等于获得最佳 Scale‑out 网络。”
纠偏：DGX SuperPOD 代表 NVIDIA 参考架构，包含经预测试和调优的网络方案，确实能大幅缩短交付和调优周期。但“最优”是负载依赖的——不同模型、不同并行策略、不同 MoE 配置的最优拓扑和 NCCL 参数可能不同。加上成本约束，有些自建集群用白盒 RoCE 也能在特定负载下达到媲美甚至超过参考架构的性价比。没有一成不变的最优解，只有与工作负载、预算和团队能力相适配的方案。
最新事件
（信息截至 2025 年 2 月，来源为公开报道、公司公告及行业会议。）
- NVIDIA Blackwell B200/B100 平台发布（2024 年 3 月 GTC）：集成第五代 NVLink 和 NVSwitch 支持跨 72 GPU 的超节点，配合 800G IB（XDR）构成两层 Scale‑out。B200 的 Scale‑out 端口要求每 GPU 800G 双向，牵引网络设备全面向 800G/1.6T 切换。
- xAI Colossus 十万卡集群曝光（2024 年 9 月）：xAI 在田纳西州建成号称全球最大 NVIDIA H100 训练集群，规模超 100,000 GPU，采用 NVIDIA IB NDR400 网络。业界重点关注其功耗调度、散热和网络稳定性运营经验。
- 超级以太网联盟（UEC）发布 1.0 规范（2024 年 Q3）：UEC 提出涵盖传输层协商（UET）、多路径和包喷洒（Packet Spraying）、灵活有序交付等新型协议。首批支持 UEC 的网卡和交换机计划于 2025–2026 年商用投放，被视作 RoCE 的升级替代。
- 800G LPO 光模块生态加速（2024 年全年）：多家光模块厂商与交换机芯片厂商完成 LPO 互通测试，NVIDIA Spectrum‑X 和 Broadcom Tomahawk 5 均在构建 LPO 支持。LPO 由于省去 DSP，功耗下降约 40–50%，延迟更有优势。
- 华为发布星河 AI 网络解决方案（2024 年 9 月全联接大会）：面向国内市场的端到端 AI 网络方案，使用自研 Solar 交换芯片、自研光模块及 AI 加速网卡，主推 RoCE 实现大规模组网，强调“无损以太网”和智算互联。
- 美国商务部更新对华高端芯片出口管制（2024 年全年多次）：持续收紧对 NVIDIA ConnectX、Quantum 交换机和 800G 光模块对华出口许可证审查，间接加速中国国内替代方案推进。
- Meta 宣布基于以太网的 Llama 3 大规模训练集群（2024 年 4 月）：Meta 公开其用于 Llama 3 训练的集群架构，采用 RoCE v2 以太网而非 IB，规模达 24,000+ H100 GPU（分两个集群），为大型以太网 AI 集群提供了参考案例，但训练稳定性细节未完全披露。
跟踪指标
持续评估 Scale‑out 网络行业演进，建议关注以下维度的数据变化：
- GPU 出货结构：不同速率网卡渗透率（400G vs 800G vs 下一代），市场研究机构（Dell’Oro、650 Group）的端口季度出货数据。
- 超大规模云商 Capex 指引：Microsoft、Google、Amazon、Meta 的季度资本开支与网络设备支出相关论述，以及 xAI、OpenAI 等新势力的融资与集群建设新闻。
- 光模块出货量及 ASP 走势：LightCounting 等发布的季度光模块出货量（按速率分），及主要光模块厂商财报中的 AI 业务增速与毛利率。
- IB vs 以太网份额变迁：Dell’Oro 对数据中心交换机市场分协议（Ethernet/IB）的跟踪报告，以及主要 IB 客户（如大型训练新势力）是否新增或转移至以太网方案。
- UEC 生态里程碑：关注 UEC 成员产品商用时间、首批大规模部署案例及互操作性问题披露。
- 网络故障公开复盘：大型 AI 集群因网络引发的训练中断、吞吐骤降等事故报告及论文，可揭示特定方案的局限性。
- 芯片制程与功耗数据：224Gbps SerDes、CPO 等新技术的量产日程，及每比特功耗（pJ/bit）的实际进展数据。
- 出口管制与地缘风险动态：美对华网络设备管制清单更新、国内自主方案（如华为、国产芯片）的测试与部署规模报道。
- MFU 基准测试公开结果：MLCommons MLPerf Training 等基准测试中的网络效率相关指标对比，以及各企业/研究机构在论文中披露的大规模训练 MFU 数据。
信源
为确保信息可验证和透明度，以下列出引用的主要信息源类别及代表性来源（截至 2025 年 2 月）。部分行业报告因网络获取受限未列出具体链接，建议直接查询相关机构官网。
- 公司财报与官方公告：NVIDIA（FY2024, FY2025 财报及 GTC 演讲）、Broadcom（FY2024 财报）、Marvell（FY2025 Q3 财报）、Arista（2024 Q3 财报会议）、Coherent（FY2025 Q1 财报）、中际旭创及新易盛定期公告及业绩预告。
- 行业分析报告：Dell’Oro Group（AI Back‑end Network 市场预测，2024 年 10 月）、LightCounting（800G/1.6T 光模块市场报告，2024 年 12 月）、650 Group（数据中心交换机及 DPU 季度追踪，2024 年 Q3）。
- 技术规范与白皮书：超级以太网联盟 UEC 1.0 规范（2024 年 9 月发布）、NVIDIA《NCCL 通信库文档》、《RDMA Aware Networks Programming 用户指南》、Broadcom Tomahawk 5 技术白皮书。
- 学术论文与会议演示：Microsoft《RDMA over Commodity Ethernet at Scale》（NSDI/ACM 会议相关论文）、Google Jupiter 网络论文（ACM SIGCOMM 2022）、关于 DCQCN/TIMELY/HPCC 拥塞控制的学术论文（SIGCOMM、NSDI 系列会议）、Meta 公开发布的 Llama 3 训练集群描述。
- 官方组织与开源社区：SONiC 社区 Annual Report（2024）、Linux 基金会 SONiC 项目页面。
- 新闻与深度报道：覆盖 xAI Colossus 集群建设、华为全联接大会 2024 AI 网络方案发布、美国商务部对华芯片管制动态等事件的权威科技及财经媒体公开报道。
（注：本文关键规格、厂商信息和市场数据来自上述公开来源，系对截至 2025 年 2 月行业状态的定性描述。财务、产能和份额数字均已标注公开年份和来源口径；未找到明确出处的，已标注“公开资料未见”。前沿技术参数请以各厂商最新发布为准。本文不构成任何形式的投资建议。）