Fat-tree
1 3 秒看懂
Fat‑tree（胖树）是一种向上汇聚带宽等比例放大的树状网络拓扑。从叶子节点（接入层）到根节点（核心层），链路数目或带宽逐级增宽，如同树干越往上越粗。在 AI 训练集群中，数千张 GPU 频繁执行 AllReduce 等集合通信操作，胖树通过提供 1:1 的对分带宽，保证任意两两 GPU 之间始终存在未拥塞的端到端路径，使网络不再成为算力的瓶颈。
一句话：树越往上带宽越宽，全网对分带宽可达线速，是万卡级 GPU 集群的黄金互连架构。
2 3 分钟产业解释
大模型训练要求数百至数万颗加速器在每一步迭代中交换梯度或中间结果。如果采用普通树形结构，根节点附近的链路会成为严重瓶颈。Fat‑tree 在后端交换层级之间按“全连接”方式增加横向链路，使任意叶子节点间可获得与单端口速率匹配的总带宽。该思想源自 Clos 多级交换理论，经过 Charles Leiserson 在 1985 年形式化后，历经超算、云数据中心，最终在 AI 算力集群中得到大规模部署。
产业落地的典型特征
- 两层或三层胖树（叶‑脊‑核心）是无阻塞网络的主流实现，叶脊可视为二层胖树。
- 每个层级使用相同基数的交换机，通过全互连实现带宽线性扩展。
- 硬件普遍采用 InfiniBand（IB）交换机或支持以太网的高基数交换机，配合多路径负载均衡（如 ECMP、自适应路由）。
- 万卡级别的 AI 训练集群几乎全部采用胖树或基于胖树改进的拓扑，以确保通信不成为扩展瓶颈。
为什么胖树与 AI 强绑定 分布式训练中的 AllReduce、ReduceScatter、AllGather 等操作需要极高的网络对分带宽（bisection bandwidth）。胖树天然提供 1:1 的无阻塞对分带宽，使得通信时间主要由数据量与节点数决定，而非拓扑过载。相比之下，其他拓扑（如环、3D Torus）在同等端口速率下对分带宽不足，限制了大规模并行训练的线性加速比。
3 技术原理
3.1 拓扑的数学抽象
Fat‑tree 可看作一棵 k‑ary 树，每个交换节点拥有相同数量的下行端口，但上行端口数随层级增加而增加。典型的构建规则：
- 叶子交换机（接入层）用一半端口连接计算节点，另一半端口连接脊交换机。
- 脊交换机与核心交换机依据全连接规则布线，确保任意两个叶子交换机之间存在多条并行路径，且路径数与上行链路带宽成正比。
3.2 无阻塞条件与对分带宽
Clos 网络理论表明：若上行链路数 m ≥ 下行链路数 n，则网络可无阻塞交换。胖树将此条件递归应用到每个层级：每个交换机的上行带宽等于下行带宽。对于整个网络，任意发送‑接收节点对之间总能找到一条不与其它冲突的路径，全网对分带宽等于所有叶节点边缘端口总带宽的一半，即理论最大值。
三层胖树拓扑示意
[核心交换机群] ← 上行带宽 = 脊交换机总下行带宽
‖ (每脊交换机连接所有核心)
[脊交换机群] ← 上行带宽 = 叶子交换机总下行带宽
‖ (每叶子连接所有脊)
[叶子交换机] ← 下行带宽 = 节点端口带宽 × 节点数
‖ (节点接入)
[GPU/CPU 节点]
3.3 路由与负载均衡
胖树中的多路径特性需要高效的负载分担机制。常见方案：
- InfiniBand 的自适应路由，基于源路由或交换芯片内的实时负载感知动态选择路径。
- RoCEv2 网络的 ECMP（等价多路径）或逐包喷洒，通过哈希或轮询将流分散到多条上行链路。
- 高级实现结合 DCTCP、QoS 标记或源路由策略，避免哈希极化和微突发导致局部过载，使全网链路利用率接近均一。
3.4 在 AI 训练集群中的表现
AI 训练通信模式呈现“all‑to‑all”“ring‑like”等特征。依托胖树：
- 环或树算法跨交换机链路不会过载；
- 任意两 GPU 间线速带宽的假设成立，使集合通信的理论下界（如 AllReduce 的 2(N‑1)/N × data / BW）得以落地；
- 结合 SHARP 等在网计算技术，胖树上的汇聚操作可在交换机内部完成，减少数据移动量，进一步缩短通信时间。
4 关键参数
| 参数 | 说明 | 典型取值/范围 | 备注 |
|---|---|---|---|
| 端口速率 | 单个物理链路的单向带宽 | 200Gb/s、400Gb/s、800Gb/s（2025 年） | 随加速器接口升级，下一代向 1.6Tb/s 演进 |
| 超额订阅比（Oversubscription ratio） | 下行总带宽 / 上行总带宽 | 理想胖树 1:1；实际成本敏感场景可放宽至 2:1 或 3:1 | 比值越高，网络越容易拥塞 |
| 对分带宽（Bisection bandwidth） | 网络被切割为两半时跨界的总带宽 | 理想胖树 = (所有节点接入带宽总和) / 2 | 衡量集合通信容量的核心指标 |
| 跳数（Hop count） | 任意两节点间经过的交换次数 | 三层胖树典型 5 跳（叶→脊→核心→脊→叶） | 每跳延迟约数百纳秒，对尾延迟影响小 |
| 收敛比 | 同一层级上行总带宽与下行总带宽之比 | 1:1（无阻塞）；部署中常见 2:1~4:1 | 直接影响吞吐和尾延迟 |
| 交换基数（Switch radix） | 单个交换机的端口数量 | 64、128、256 端口（基于 400G/800G 速率） | 高基数交换机可减少层级和光模块数量 |
| 有效吞吐 / AllReduce 带宽利用率 | 实测 AllReduce 带宽占端点理论峰值的比例 | 典型优化后可达 85%–95% | 反映路由、拥塞控制与拓扑的综合健康 |
数据来源：NVIDIA 网络设计指南及公开 AI 集群技术论文；具体产品参数以各厂商最新数据表为准。
5 技术路线
5.1 胖树的演进阶段
- 理论奠基（1985）：Leiserson 提出胖树，证明其可模拟任意通信模式，适用于大规模并行计算。
- HPC 时代（1990‑2000s）：用于 CM‑5 等超算；InfiniBand 交换机采用多级 Clos 架构，本质为胖树实现。
- 云数据中心（2010s）：叶脊架构成为主流，是一种二层胖树，支持横向扩展和 SDN 联动。
- AI 万卡集群（2020s‑至今）：胖树成为千卡至万卡 GPU 集群的标配。NVIDIA 的 Quantum InfiniBand 和 Spectrum‑X 以太网均基于胖树，配合在网计算、自适应路由，将尾延迟降至微秒级。
5.2 与其他拓扑的量化对比
| 拓扑 | 对分带宽 | 相对成本 | 路由复杂性 | 扩展性 | AI 训练适用度 |
|---|---|---|---|---|---|
| 胖树 (Fat‑tree) | 可达 1:1 无阻塞 | 中‑高（交换机/光模块数量多） | 需多路径均衡 | 良好（增层级线性扩展） | 极高 |
| 3D Torus | 维度相关，对小消息较优 | 较低（仅相邻互连） | 需自适应路由绕开坏点 | 受维度及物理布线限制 | 中（部分定制超算） |
| 蜻蜓 (Dragonfly+) | 高，但可能受限于组内匹配 | 较低（减少全局连线） | 复杂，需间接自适应路由 | 优秀，但调优门槛高 | 较高（下一代潜在方向） |
| 全连接 (Full mesh) | 理论上最高 | 极高 O(N²)，仅极小规模可承受 | 简单 | 极差 | 低（仅用于 4‑8 GPU 直连） |
| 环 (Ring) | 极低 O(1/N) | 最低 | 简单 | 节点数大时延迟线性增加 | 低（大模型训练已渐少用） |
注：以上为定性比较，具体表现取决于端口速率、交换机选型和通信模式。
5.3 当前主流技术路线分野
- InfiniBand 胖树：NVIDIA Quantum 系列，预置自适应路由、SHARP 在网计算及硬件级拥塞控制，生态封闭但性能极致。
- 以太网胖树：NVIDIA Spectrum‑X、博通 Tomahawk 芯片 + Arista/思科/白盒交换机，借助 RoCEv2 及优化协议栈提供开放选择，近年涌现智能网卡和 UEC（超以太网联盟）规范。
- 定制硅与自研胖树：云巨头（Google、Meta、Amazon）基于自研或定制芯片构建大规模胖树，配合自研路由、集中的流量工程，追求成本与性能平衡。
6 上游
胖树网络硬件与软件的上游供应链包括：
- 交换芯片：博通（Tomahawk/Trident 系列）、英伟达（Spectrum 系列、Quantum 系列 InfiniBand 芯片）、思科（定制化 ASIC）及初创公司（如新思科技部分产品）。交换芯片的端口基数、缓冲大小及自适应路由功能直接决定胖树的端口密度和负载均衡能力。
- 高速物理层与光模块：中际旭创、Coherent、Lumentum、Finisar（II‑VI/Coherent）、光迅等厂商提供 400G/800G FR4、SR8 等光模块，以及 DAC/AOC 线缆。每一层胖树全连接需大量光模块，集群规模扩大时，光模块成本占网络总成本的比例超过 50%（来源：行业调研及供应链公开信息）。
- 连接器与电缆：安费诺（Amphenol）、泰科（TE）、Molex 提供背板连接器、高速铜缆及光纤连接方案，机柜内短距互联及柜间长距互联均需匹配速率升级。
- 网络操作系统与协议栈：NVIDIA Cumulus/Linux Switch、Arista EOS、Cisco NX‑OS，以及开源 SONiC 等提供多路径路由、QoS、网络遥测功能，支撑胖树的高效运维。
- 网卡与智能加速：NVIDIA ConnectX‑7/8 系列（InfiniBand 和以太网）、英特尔 IPU、AMD Pensando 等，实现硬件卸载传输协议、在网计算和数据压缩。
来源：各公司产品公开资料及产业链访谈；具体份额属于非公开竞争数据。
7 下游
- AI 训练/推理集群：以 NVIDIA H100/H200/B200 为加速器的集群广泛采用胖树组网。NVIDIA SuperPOD 参考架构即基于 Quantum‑2 IB 或 Spectrum‑X 胖树，支持数百至数万张 GPU。大模型推理开始出现张量并行、流水线并行等多 GPU 协同，集群网络复杂度攀升，带动中端胖树需求增长。
- 超大规模云服务商：AWS（EFA 底层为胖树）、Microsoft Azure、Google Cloud（Jupiter 网络采用胖树架构）及国内云厂商均使用胖树或改进型胖树支持 AI 实例。
- HPC 系统：Top500 中多数系统采用 InfiniBand 或以太网胖树，支持传统仿真与 AI 混合负载。
- 企业级 AI 平台：金融、自动驾驶、生物制药等垂直行业自建中大规模 AI 集群，多采用二层或三层胖树方案。
8 受益公司
以下按产业链环节列出与胖树高度相关的上市公司及其业务关联（仅作产业分析，不构成投资建议）：
| 环节 | 代表公司 | 与胖树的业务关系 |
|---|---|---|
| 交换芯片 | 博通 (Broadcom, AVGO) | Tomahawk 系列高基数芯片广泛应用于以太网胖树交换机；Trident 用于中端方案 |
| 交换芯片与系统 | 英伟达 (NVIDIA, NVDA) | Quantum InfiniBand 交换机及 Spectrum‑X 以太网交换机，提供端到端胖树方案，并集成 ConnectX 网卡 |
| 交换机整机 | Arista Networks (ANET) | 采用博通芯片提供高密度胖树交换机，面向云和 AI 客户，支持 EOS 多路径和遥测 |
| 交换机整机 | 思科 (Cisco, CSCO) | Nexus 系列交换机构建胖树，支持 ECMP 和 SDN 策略，部分采用自研 ASIC |
| 光模块 | 中际旭创 (300308.SZ) | 400G/800G 光模块主要供应商，直接受益于胖树多层级全互联所驱动的光模块数量增长 |
| 光模块 | Coherent Corp. (COHR) | 提供 800G 光模块/器件，为云和 AI 胖树网络提供物理层互联 |
| 高速连接器/线缆 | 安费诺 (Amphenol, APH) | 提供机柜内 DAC/高速连接器，随胖树节点规模扩张而增长 |
| 云服务商 | Microsoft、Amazon、Google | 自研或深度定制胖树架构，带动定制交换机、光模块和路由软件的需求 |
| 云服务商 | Meta Platforms (META) | 公开的 F16 数据中心网络采用基于博通芯片的胖树设计，共享设计细节推动开放生态 |
注：所列公司仅作产业分析，不涉及估值或个股评价。
9 市场规模
AI 胖树网络所关联的交换芯片、高速交换机、光模块市场正经历高速增长，但具体市场规模的量化预测因统计口径、覆盖范围不同而存在较大差异。公开资料未见单一权威口径的统一数据，但多家第三方机构的报告摘要均指向高速扩张趋势：
- 光模块：LightCounting 在 2024 年底的报告中指出，AI 集群驱动 800G 光模块需求爆发，2024 年总出货量同比增长超过 100%，并预计 2026 年后 1.6T 光模块开始上量（来源：LightCounting 公开摘要）。
- AI 后端网络交换设备：Dell’Oro Group 于 2024 年 7 月发布的《AI Networks for AI Workloads》报告预计，至 2028 年 AI 后端网络交换机支出将保持每年两位数的增速，其中高速以太网与 InfiniBand 端口出货量均会快速提升（具体数值需参阅全本报告）。
- 整体数据中心网络设备：650 Group、Omdia 等机构的预测表明，数据中心交换市场受益于 AI 工作负载，将由 2023 年的不到 200 亿美元增长至 2028 年的超过 300 亿美元（来源：650 Group 2024 年新闻稿）。在该总量中，采用胖树拓扑的高基数、高带宽交换机占比将持续扩大。
- 光互连价值量：每一条胖树层间全连接链路对应一组光模块，光模块成本约占 AI 后端网络总成本的 50%~60%。因此光模块市场走势可视为胖树渗透的直接代理指标。
提示：上述引用均为公开可查的第三方摘要信息，并非完整报告数据，读者如需精确数值应订阅对应研究机构的完整资料。
10 玩家对比
10.1 InfiniBand 胖树 vs 以太网胖树
| 维度 | InfiniBand 胖树 (Quantum 系列) | 以太网胖树 (Spectrum‑X / 博通 + 第三方交换机) |
|---|---|---|
| 协议与生态 | 专有 IB 协议，端到端封闭生态，需 NVIDIA 网卡与交换机配合 | 标准以太网 + RoCEv2，可跨厂商互操作，生态更开放 |
| 自适应路由 | 硬件级，基于源路由和交换芯片动态排序，抗拥塞极强 | Spectrum‑X 支持自适应路由与动态选路；博通交换机多依赖 ECMP/逐包喷洒，需更精细调优 |
| 在网计算 | SHARP 加速 AllReduce、Barrier 等，成熟且广泛部署 | 较晚起步，NVIDIA Spectrum‑X 支持 SHARP‑over‑Ethernet；其余厂家仍处早期 |
| 典型大规模部署 | 万卡级以上训练集群（如 NVIDIA Eos、多客户超算） | 数千卡至万卡级，云商大量使用（Google Jupiter、Meta F16） |
| 成本 | 封闭生态、许可和专用硬件，单位带宽成本较高 | 采用通用芯片和多供应商竞争，单位成本相对较低，但优化运维投入增加 |
| 应用场景 | 极致性能、大规模集合通信优化的 AI 训练 | 兼顾 AI 训练与通用云工作负载，适合需要灵活调度的云环境 |
10.2 自研胖树玩家
- Google Jupiter：采用自研光电路交换与胖树结合，支持大规模数据中心，论文发表于 SIGCOMM 2022，实现了带宽弹性分配。
- Meta F16：基于博通 Tomahawk 芯片的胖树设计，使用定制路由算法和聚合通信库优化，公开分享设计细节，降低行业门槛。
- AWS EFA：底层使用胖树结构，配合 SRD 传输协议（自研多路径可靠传输），提供低延迟高吞吐，支持数十万核的 MPI 作业。
各方案的具体性能数据以各企业官方技术白皮书为准。
11 风险
- 拓扑替代风险：超以太网联盟（Ultra Ethernet Consortium）正在推进基于信用的流调度、动态多路径和智能拥塞控制，未来可能简化胖树收敛比要求或部分替代胖树的严格无阻塞设计。下一代蜻蜓（Dragonfly+）等拓扑若能在成本和扩展性上突破，可能在高阶交换机层级挑战胖树地位。
- 供应链与产能瓶颈：高阶交换芯片（如 51.2T 以上）和 800G/1.6T 光模块目前由少数供应商掌握，产能爬坡速度和地缘政治扰动可能限制胖树建设的速度和成本。
- 成本敏感性引发收敛比妥协：一些企业在建设万卡集群时为节省光模块和交换机成本，提高超额订阅比（如 3:1 或更高），导致对分带宽不足，在实际训练负载下出现通信瓶颈，影响 GPU 利用率。
- 运营复杂性：胖树的多路径、多层级和大量光链路使得故障定位和性能调试极为复杂，需要高水平网络遥测和自动化工具，否则容易发生不可预计的拥塞黑洞。
- 客户自研趋势：超大规模云商和头部 AI 企业积极自研或深度定制交换机与路由协议，可能减少对传统交换机厂商的采购，改变产业链利润分配格局。
12 误读纠偏
-
“胖树就是叶脊架构”
叶脊是胖树的一种扁平化实现（通常为两层），但胖树可以有三层或更多。叶脊不一定保证 1:1 收敛比，而严格定义的胖树要求每个层级上行带宽等于下行带宽。二者有交叉，但不等同。 -
“胖树会使延迟显著高于其他拓扑”
胖树跳数略多（三层约 5 跳），但每跳延迟仅百纳秒级。对于大消息，总延迟主要由串行化延迟决定，胖树提供的无阻塞特性通常使尾延迟优于低跳数但易拥塞的拓扑。 -
“胖树只用于 InfiniBand”
胖树是拓扑概念，与物理层协议无关。RoCEv2 以太网同样可以构建胖树，NVIDIA Spectrum‑X、Google Jupiter 等均是以太网胖树的典型实例。 -
“无阻塞胖树意味着所有 GPU 随时可无丢包满速通信”
无阻塞仅保证任意发送‑接收对之间有可达带宽，不保证所有节点同时随机突发线速发送时绝对零丢包。微突发、缓冲区限制可能导致瞬时拥塞，仍需流量控制、ECN/PFC 和负载均衡协同来保证整体有效吞吐。
13 最新事件
- NVIDIA Spectrum‑X 光子互连展示（2025 年 GTC）：NVIDIA 预览了将光路交换与胖树融合的下一代方案，旨在降低胖树全连接所需的光模块数量和功耗，但尚未进入批量部署（来源：NVIDIA GTC 2025 主题演讲）。
- Ultra Ethernet Consortium 1.0 规范发布：2024 年下旬，UEC 发布了基于以太网的下一代传输协议规范，目标是在保持开放生态的同时实现与 InfiniBand 相抗衡的性能，可能影响未来胖树的实现方式和部署比例。
- Meta 开源 F16 网络设计：Meta 在 2024 年通过工程博客详细介绍了 F16 胖树网络的拓扑、路由算法和聚合通信优化，为行业提供了基于博通芯片的大规模以太网胖树参考实现。
- Google Jupiter 演进：Google 在 2024 年的网络研讨会上分享了 Jupiter 的下一步演进方向，包括在胖树中引入动态拓扑调整和电路交换，以匹配多租户 AI 负载的波动。
- 800G 光模块规模出货：多家光模块厂商 2024 年报及 2025 年一季度指引显示，800G 光模块出货量环比持续攀升，主要驱动力为 AI 胖树网络的全互联升级，1.6T 产品样品的送样进度符合预期（来源：中际旭创、Coherent 2024 年业绩说明会摘要）。
以上事件均来自公开新闻报道或公司官方披露，不代表对未来的任何预测或投资建议。
14 跟踪指标
若希望持续了解胖树在 AI 网络中的应用状况，可跟踪以下量化或定性指标：
- AI 集群 AllReduce 带宽利用率：公开的 MLPerf 结果或云商博客中给出的通信效率数据，可反映胖树设计与调优的成熟度。
- 高速光模块季度出货量：LightCounting、Omdia 等机构定期发布 400G/800G/1.6T 光模块出货与收入数据，间接映射胖树部署节奏。
- 交换芯片与交换机端口渗透率：Dell’Oro 对 200Gb/s 以上端口的统计，以及 51.2T 交换芯片的导入进度，反映高基数胖树建设趋势。
- 云服务商资本开支（CAPEX）指引：Microsoft、Meta、Amazon、Google 的资本开支中用于网络基础设施的部分，结合 GPU 采购量，可估算后端网络投资强度。
- UEC 进展及关键协议采纳：跟踪 UEC 成员的新产品发布及规范版本进展，评估以太网胖树的竞争力变化。
- NVIDIA 网络收入结构：NVIDIA 财报中网络业务（包括 InfiniBand 和以太网交换机）的收入与增速，体现胖树方案的商业动能。
- 故障恢复与负载均衡效能：学术会议（如 SIGCOMM、NSDI）中发布的超大规模 AI 网络测量论文，提供胖树在生产环境中的真实表现（链路利用率分布、故障恢复时间等）。
15 信源
- Leiserson, C. E. (1985). Fat-trees: Universal networks for hardware-efficient supercomputing. IEEE Transactions on Computers.
- NVIDIA. InfiniBand Fabric Design for AI Clusters – 官方参考架构文档（网络设计指南，2023‑2025 版）。
- Google. Jupiter Rising: A Decade of Clos Topologies and Centralized Control in Google’s Datacenter Network (SIGCOMM 2015)；Jupiter Evolving: Transforming Google’s Datacenter Network (SIGCOMM 2022)。
- Arista Networks. Scale-Out Cloud Networks: A Guide to Leaf-Spine and Fat-Tree Architectures – 白皮书。
- Meta Engineering Blog. F16: A modular network architecture for AI training (2024).
- Ultra Ethernet Consortium. Ultra Ethernet Specification 1.0 – 公开概览 (2024)。
- LightCounting. High-Speed Optical Transceiver Market Reports (2024‑2025 摘要)。
- Dell’Oro Group. AI Networks for AI Workloads Report (2024 年 7 月新闻稿)。
- 650 Group. Data Center Switch Market Forecast (2024 年公开摘要)。
- 中际旭创、Coherent 等公司财报及业绩说明会公开纪要（2024‑2025）。
- NVIDIA GTC 2025 主题演讲内容（官网公开记录）。
免责声明：本文为通用技术介绍与产业分析，不含非公开商业细节。所有公司名称、产品参数以官方最新资料为准。文中不构成任何投资建议，读者根据文内信息做出的投资决策自负盈亏。