Fabric

1. 3 秒看懂

Fabric，在数据中心与 AI 算力集群的语境中，指的是 网络矩阵——一种由 Spine（脊）与 Leaf（叶）交换机编织而成、扁平化、全互联的高速通信架构。它的存在意义只有一个：“让每一块 GPU/CPU 说话时，其他所有单元几乎在同一瞬间听到，并且没有瓶颈”。你可以把它想象成支撑千卡、万卡乃至十万卡集群的“神经系统”：带宽即氧气，尾延迟即心跳，任何一条链路的微秒级抖动都会被数百张加速卡同步等待放大为巨大的效率损失。

2. 3 分钟产业解释

传统三层树形网络的工作方式类似公司科层制——服务器→接入交换机→汇聚交换机→核心交换机，跨层通信必须逐级上报、转发，层数越多延迟越不可预测，顶层带宽极易堵塞。Network Fabric 用 “Spine‑Leaf 两阶编织” 打破这一困局：每一个 Leaf（接入交换机）连接所有 Spine（脊交换机），任一 Leaf 到另一 Leaf 只需经过一台 Spine，永远只有两跳。这让数据中心内部的通信从“树”变成了“粗网格布”，获得了三个决定性的产业收益：

• 延迟均一化与可预测：任意服务器对之间的延迟趋近常数，这对 AI 分布式训练中 AllReduce 同步操作至为关键——几百张 GPU 同时等待最后一个结果，尾部延迟即整体效率。
• 带宽无阻塞与弹性：通过 ECMP（等价多路径）等机制将数据流均匀散列到多条 Spine 链路上，实现近似无收敛的吞吐。增加 Spine 就能线性抬升全网总带宽，增加 Leaf 即可直接扩容接入端口，不必推翻基础拓扑。
• 故障韧性：单台 Spine 故障只会按比例削减上行带宽，不会造成区域隔离；配合快速路由收敛，长期运行的训练任务得以免于灾难性中断。

在 AI 产业链中，Fabric 的性能直接等同于分布式训练线性加速比的“乘法系数”。业界实践表明，当网络尾延迟恶化 1 μs，千卡集群的有效算力利用可能损失若干百分点——这就是为什么头部云服务商和 AI 实验室竞相将 Fabric 升级到 400G/800G，并探索超以太网联盟 (UEC) 等下一代协议。

3. 技术原理

3.1 基础拓扑：Spine‑Leaf 与 Clos 架构

以二层 Clos 为例：

      Spine-1      Spine-2      ...      Spine-m
        | \         /   | \       /  |
        |  \       /    |  \     /   |
        |   \     /     |   \   /    |
      Leaf-1       Leaf-2       ...      Leaf-n
        |            |                     |
    服务器组      服务器组               服务器组

• 每个 Leaf 有 m 条上行链路，分别连接至所有 m 台 Spine，Leaf 下行端口总和为 U，上行带宽总和为 D。收敛比定义为 U/D。若 D=U，则为 1:1 无收敛；若 D<U，则为有超额认购。
• 路由协议（通常是 BGP 或某种链路状态协议替换）将每个 Leaf 的前缀通过等价多路径 (ECMP) 或加权等价多路径 (WCMP) 分发到所有 Spine，使流在可用 Spine 间均匀散列。
• 故障域特征：任意 Spine 节点失效后，Leaf 仍可通过剩余 Spine 转发，只损失对应比例的上行带宽。

在超大集群中，Fabric 可进一步扩展为多阶 Clos 或 DragonFly、Torus 等拓扑，以适应数十万节点的规模。

3.2 端到端通信栈：RDMA 与拥塞控制

分布式训练依赖 GPU 间直接内存访问 (RDMA)，目前 RoCEv2（RDMA over Converged Ethernet）是 AI Fabric 中使用最广泛的协议。RoCEv2 需构造逻辑上的“无损”网络，由以下机制协同达成：

• ECN 标记与 CNP 通知：当交换机出口队列超过阈值（如 ECN 标记阈值为缓冲区深度的 1/4~1/3），IP 头部中 ECN（显式拥塞通知）位会被置位。接收端收到拥塞标记后，向发送端回传 CNP（拥塞通知包），指示降速。
• 发送端速率调节：发送方收到 CNP 后立即降低注入流量速率（如降至当前速率的 1/2），随后在无 CNP 期间按步长逐步恢复。这种机制类似汽车自适应巡航——慢下来防止追尾，前方通畅再加速。
• PFC（优先级流控）：为防止缓冲区溢出导致丢包，交换机可对特定优先级的上游设备发送暂停帧。然而，若 PFC 触发不当，会形成“拥塞树”，把某个端口的阻塞扩散至无关流，诱发 PFC 风暴，恶化全网性能。
• 负载分担与自适应路由：传统 ECMP 按流哈希，流冲突时可能部分 Spine 过载。改进方案包括 flowlet（微流）粒度切换、基于动态负载的自适应路由，甚至在交换机内实现包级喷洒（packet spraying）以平滑负载。

3.3 SDN 与遥测使能

现代 Fabric 多搭配 SDN 控制器，实现拓扑自动发现、策略脚本下发、动态负载均衡。加上高精度网络遥测（INT – In-band Network Telemetry），运维者可实时获取每跳的队列长度、延迟和丢包，将 AI 训练的集体通信行为与底层网络状态关联，快速定位“木桶效应”中的短板链路。

4. 关键参数

说明：上表中部分数值因具体部署规模、设备选型和软件版本存在差异，所列为产业界公开交流中通常引用的区间或典型值。

5. 技术路线

5.1 代际演进

5.2 主流路线对比

选择逻辑：超大规模 AI 训练集群普遍采用基于以太网的 Spine‑Leaf Fabric（配合 RoCEv2 或未来 UEC 协议），因其开放式生态、可大规模运维和弹性扩展能力；节点内部及机柜内的超短距高速通信则继续由 NVLink、Infinity Fabric 等私有接口承担。

6. 上游

• 高带宽交换芯片：提供核心 ASIC 及 SerDes IP，定义端口速率、缓冲策略、遥测能力。代表：博通 (Tomahawk 5)、英伟达 (Spectrum‑4)、思科 (Silicon One)、Marvell (Teralynx)、英特尔 (Tofino 可编程芯片)。
• 光模块与有源线缆：400G/800G 光模块（SR8/DR4/FR4 等）、800G 有源铜缆 (DAC)、有源光缆 (AOC)，以及正在验证的 1.6T 光器件。硅光芯片、EML/DML 激光器等为核心光学组件。
• 高精度时钟同步器件：在 AI Fabric 中，精准时间协议 (PTP/SyncE) 越来越不可或缺，为集体通信操作提供时间对齐和链路延迟测量基准。
• 连接器与 PCB/背板：高速、高密度连接器与低损耗覆铜板决定信号完整性，尤其 112 Gbps 以上的 PAM4 信号对阻抗匹配要求苛刻。
• SDN 控制器及网络 OS 软件：包括商业版（如 Arista EOS、Cisco NX‑OS）和开源网络操作系统（SONiC 等），以及控制器与编排平台。

7. 下游

• 云服务商 (CSP)：北美三大云厂商和国内头部云服务商是 Fabric 最大的采购和部署方，通常主导白盒/自研交换机选型，直接影响交换芯片和光模块的需求规模与技术走向。
• AI 算力基础设施集成商：面向企业、政府和科研机构提供“GPU 集群 + Fabric”一体化解决方案，对网络设备的易运维和快速部署有较高要求。
• 大型企业 HPC 中心：金融、制药、自动驾驶等行业的自建高性能计算集群，往往要求与云上架构相似的 Fabric 能力，以便跨环境任务迁移。
• 通信库与训练框架：NVIDIA NCCL、微软 MS‑AMP、PyTorch Distributed 等通信后端直接调用 Fabric 链路，其集体通信算法（AllReduce、All-to-All）的效率将物理网络特性暴露给最终用户。

8. 受益公司

该板块仅从产业链分工角度，指出在 Fabric 规模扩张和代际升级中受技术需求、产品出货驱动的关键参与者，不构成任何投资建议：

• 交换芯片领域：博通、英伟达、思科、Marvell、英特尔（可编程交换芯片）。
• 交换机整机及白盒：Arista、思科、Dell、华为、新华三；白盒 ODM（智邦、广达等）。
• 光模块与光互联：中际旭创、Coherent、光迅科技、海信宽带、Source Photonics 等；硅光领域初创企业。
• SDN/网络 OS 及服务：厂商配套控制器及开源社区（SONiC、Stratum 等）。
• 云计算部署方：自研 Fabric 的云服务商不仅受益于自身基础设施效率提升，亦通过供应链牵引上层芯片与光学器件的创新迭代。

需要指出，个别厂商的同名异义产品（如 Microsoft Fabric 数据分析平台）与本篇所述的网络 Fabric 无直接关联。

9. 市场规模

9.1 数据中心以太网交换机

• 综合 IDC《全球以太网交换机季度追踪》（2024 年 3 月发布）及 Dell’Oro Group《数据中心交换机报告》（2024 年 7 月发表），2023 年全球数据中心以太网交换机市场收入约 210 亿美元左右（不同口径下存在低个位数百分比差异）。
• 同年 AI/ML 相关的高速率端口（200GE/400GE）贡献了显著增量，多家分析机构（如 650 Group、Dell’Oro Group）预测 2024‑2028 年间该市场复合年增长率 (CAGR) 将维持在 10%–15% 区间（2024 年预测口径），主要驱动力来自超大规模云服务商 AI 训练集群的铺设。

9.2 光模块市场

• LightCounting 在 2024 年 4 月《高速光模块市场预测》中指出，2024 年全球 800G 光模块出货量预计将首次突破 900 万只，2025 年有望超过 1500 万只（预测值），AI 集群需求是核心催化剂。
• 800G 光模块的细分品类（单模/多模、SR8/DR4/FR4）份额变动受限于交换芯片端口形态和交换机面板密度，2024 年仍以多模 SR8 出货为主，但单模 DR4/FR4 占比预计在 2025 年后明显提升（公开资料对精确份额未见统一数据）。

9.3 交换芯片

• 随着 51.2T 交换芯片（Tomahawk 5、Spectrum‑4 等）在 2023–2024 年放量，以及 102.4T 芯片在 2025–2026 年规模化，交换芯片的 TAM（可寻址市场）同步扩大。有第三方分析师估算，2023 财年数据中心交换芯片市场规模约 100 亿美元（非精确公开披露），但明确数字及厂商份额需以各公司财报及专业机构追踪为准。

注：以上数据均通过公开行业报告和公司财报整理，口径为出厂/批发端金额或出货量预测，未包含未公开披露的商业订单细节；部分预测数据实际结果可能因宏观经济和 AI 需求波幅而偏离。

10. 玩家对比

本表聚焦于构筑 Fabric 的核心交换芯片/整机方案的几个关键能力差异，基于公开产品规格和产业分享整理：

此外，在整机品牌市场，Arista 凭借 EOS 和 AI 验证设计在超大规模云商中占据重要阵地；华为和新华三在中国市场具备高份额，并推出面向 AI 训练优化的全系列 Fabric 方案；白盒交换机主要由 ODM 厂商交付给自研交换机的云客户。

11. 风险

• 交换芯片供应高度集中：当前高端数据中心交换芯片市场由博通占据较大份额，英伟达、思科等争夺，但整体可选供应商有限。若产能紧张或地缘因素导致供应受限，将拖累全行业 Fabric 部署节奏。
• 标准碎片化与互操作挑战：UEC 联盟致力于开放以太网 AI 网络协议，但 InfiniBand 仍具有低延迟和现有垄断优势；UEC 1.0 规范尚在推进中，多厂商互操性和大规模验证仍需时间，可能带来技术选型风险。
• AI 算力需求增长不及预期的投资过剩：当前 Fabric 升级与 GPU 投资紧密相关。若大模型进展放缓、应用侧变现不及预期，或资本开支转向芯片侧而非网络侧，可能导致交换机、光模块库存过剩，价格承压。
• PFC 风暴与运维复杂性：RoCEv2 原生依赖 PFC 保证无丢包，但配置不当或链路故障易触发全象限拥塞扩散。即使 SDN 自动化，运维团队仍需要深厚的协议知识，人才缺口在特定市场成为部署瓶颈。
• 光模块良率与功耗瓶颈：800G/1.6T 光模块良率爬坡不及预期可能造成交付紧张和成本高企；同时，每比特功耗下降幅度若跟不上带宽增长，十万卡集群的电力预算将面临挑战，影响网络升级意愿。
• 地缘政策与供应链风险：涉及先进交换芯片和光电子器件的出口管制可能限制部分区域获得最新一代 Fabric 技术，形成地区性技术代差。

12. 误读纠偏

1. “Spine‑Leaf 就是 Fabric 的唯一形态” Fabric 是扁平、多路径、弹性扩展的设计范式。除 Spine‑Leaf 外，多阶 Clos、DragonFly+、Torus、甚至针对特定工作负载的不规则拓扑都属于 Fabric 范畴。规模、成本、物理布线条件决定最优拓扑。

2. “只要买够带宽，网络就不是瓶颈” 带宽仅决泄上限，实际瓶颈由尾延迟、丢包和拥塞控制动态行为构成。两套带宽完全相同的 Fabric，缓冲区管理策略和路由算法的细微差异可致训练吞吐量相差 10% 以上。

3. “改用 InfiniBand 就能一劳永逸” InfiniBand 同样面临拥塞控制、自适应路由、网关转换等问题，仅协议层不同。大型集群中 IB 网络仍需精心设计与遥测，不存在“免疫”网络拥堵的单一协议。

4. “Network Fabric 与 Microsoft Fabric / 纺织材料类 Fabric 是同一概念” Microsoft Fabric 是统一数据分析平台，纺织领域的“熔喷纤网”指非织造材料结构——二者均与本文所述的数据中心网络 Fabric 是不同领域、同名异义。本文讨论仅限于网络架构。

5. “网络只是连接管道，不参与计算” 分布式 AI 训练中，一次迭代内通信时间可能占 20%–40%。现代智能 Fabric 已向 In‑Network Computing（网络内计算）演进，交换机可直接执行 All‑Reduce 求和或梯度聚合，通信即计算的一部分。

13. 最新事件

• 超以太网联盟 (UEC) 推进：2024 年 Q3，UEC 发布了面向 AI/HPC 的 1.0 协议栈文献，引入包喷洒、自适应路由、端到端遥测等机制，旨在替代或增强 RoCEv2。多家主流云商、芯片商和交换厂商已宣布加入并开展互操作测试。
• 英伟达 Spectrum‑X 平台：NVIDIA 在 2024 年将 Spectrum‑4 交换芯片与 BlueField‑3 DPU 结合，推出 Spectrum‑X 以太网 Fabric 方案，声称在多租户 AI 云环境中实现媲美 InfiniBand 的性能，引起了行业对“以太网能否取代 IB”的进一步讨论。
• 博通交付 51.2T Tomahawk 5 及路线图更新：2024 年 8 月，博通宣布用于 800G 端口的 Tomahawk 5 已大规模交付，并展示了下一代 102.4T 芯片（预计支持 1.6T 端口）的初步规格，SerDes 速率翻倍至 224 Gbps PAM4。
• Arista 发布 AI 验证设计：Arista 在 2024 年晚些时候推出针对万卡 GPU 集群的 AI Leaf‑Spine 参考架构，集成端到端遥测和自动化持续验证，以降低部署风险。
• 光模块新进展：2024 年下半年，多家供应商开始向云客户送样 1.6T 光模块，基于 8x200G 通道；同时 CPO 共封装光学解决方案在部分试验平台实现功耗降低约 30% 的目标（源自 OIF 研讨会 2024）。
• 国内云服务商自研交换芯片动态：部分国内头部厂商已公开自研数据中心交换芯片的量产计划，或通过投资孵化的模式建设 Fabric 供应链，以降低对进口芯片的依赖。

（上述事件综合自行业公告、公开演讲和科技媒体，不涉及内幕信息。）

14. 跟踪指标

• 端口速率渗透率：400G / 800G 端口在数据中心交换机总出货端口的占比，特别是超大规模云服务商招标中的份额。该指标反映 Fabric 代际切换进度。数据可从 IDC、Dell’Oro 季度报告中获取。
• 云服务商资本开支指引：北美和中国头部云服务商季度财报中的资本开支（Capex）以及管理层的“网络/基础设施投资”评论，是 Fabric 市场需求的先行指标。尤其关注其中对 AI 相关基础设施的定向表述。
• 800G / 1.6T 光模块招标价格与交付周期：通过公开供应链调研（如 LightCounting、Omdia）或公司交流中了解的价格区间和 lead time，判断供需紧张关系。价格持续下降通常意味着产能爬坡顺利。
• UEC 成员清单与互操作测试进展：UEC 官方公布的新成员以及 PoC（概念验证）成功案例，衡量开放以太网 AI 网络替代 InfiniBand 的可行性。
• NCCL/通信库性能基准：在 MLPerf 或其他公开评测中，针对不同 Fabric 实现的 AllReduce 带宽和延迟，尤其是千卡/万卡环境下的总线带宽 (bus bandwidth) 和 P99 尾延迟。
• 交换机芯片制程与功耗：关注台积电等代工厂的先进制程进展（如 5nm/3nm 在交换芯片上的应用）以及芯片标注的功耗 (W/Tbps) 数值，追踪能效提升斜率。
• 自研交换机/白盒渗透率：各主要云服务商自研交换机的部署比例，及白盒 ODM 与品牌交换机的份额变化，评估产业链价值分配。
• 故障收敛与 PFC 风暴观测：在云服务商公开的系统日志、故障复盘（公开发布的大规模中断报告）中，观察 Fabric 相关故障根因，判断技术成熟度。

15. 信源

• Alizadeh, M., et al. “Data Center TCP (DCTCP).” ACM SIGCOMM, 2010.
• Zhu, Y. et al. “Congestion Control for Large-Scale RDMA Deployments (DCQCN).” ACM SIGCOMM, 2015.
• RoCEv2 and Priority Flow Control – IEEE 802.1Qbb; RoCEv2 协议草案与厂商技术白皮书。