Bisection Bandwidth
1 3秒看懂
Bisection Bandwidth（对分带宽）是衡量网络在最坏分割条件下跨半区通信能力的核心指标。将计算节点划分为数量相等（或相差不超过1）的两组，跨越两组的链路带宽总和的最小值即为对分带宽。该值越大，意味着网络在处理 All-to-All、AllReduce 等全局集体通信时瓶颈越小。在大规模 AI 训练集群和超算中，对分带宽直接决定数千枚 GPU 同时高速通信的能力上限，是网络设计最“硬”的约束条件之一。
2 3分钟产业解释
想象一个有 128 张 GPU 的 AI 训练集群，它们被任意分成各 64 张的两组。把连接这两组的所有网线、交换机端口的带宽加总，就得到这个集群的对分带宽。在训练大型 Transformer 模型时，张量并行和专家并行（MoE）会产生大量“一半 GPU 向另一半发送数据”的通信模式；如果对分带宽不够，昂贵的 GPU 就只能空转等待网络，集群实际算力大打折扣。
产业界从简单的树形拓扑演进到 Fat‑Tree、Dragonfly、Clos 等复杂互连结构，本质上就是用分层、冗余链路和高基数交换芯片，在物理成本可控的前提下把对分带宽尽可能做高。顶级 AI 训练集群（如 NVIDIA DGX SuperPOD、Meta 的 AI 集群）的对分带宽通常被设计成与所有 GPU 的节点内互连总带宽处于同一数量级，以避免网络成为整个系统的“木桶短板”。
3 技术原理
3.1 图论定义与割容量
对分带宽源于互连网络的图论分析。给定一个由计算节点与网络链路构成的无向图 G=(V,E)，每条边 e 具有带宽 b(e)（通常为统一速率），将所有节点划分为两个不相交子集 S 与 V\S，且满足 ||S|–|V\S|| ≤ 1，则该划分的“割容量”为跨越两部分的边带宽之和。对分带宽定义为所有满足等分条件的割容量的最小值：
Bisection Bandwidth = min_{划分符合等分} ∑_{u∈S, v∈V\S} b(u,v)
在链路速率一致为 w 的网络中，对分带宽等于 w 乘以最小对分边数。这个“最小对分边数”纯由图的结构决定，因此对分带宽本质上是拓扑特性，而非单台设备能力。
3.2 经典拓扑的对分带宽计算
对于规则拓扑，可以直接推导最小对分边数：
- 线阵与环：一条 N 节点的线阵对分只需切断 1 条边；环（1D Torus）需切断 2 条边，与 N 无关，对分带宽恒定，伸缩性差。
- 2D Torus（k×k）：最小对分沿一维切开，因环绕连接需切断 2k 条边，对分边数为 2k = 2√N，带宽随规模亚线性增长。
- 3D Torus（k×k×k）：最小对分沿一个平面切开，需切断 2k² 条边，对分边数 = 2k² = 2N^{2/3}，伸缩性优于 2D，但仍弱于 Fat‑Tree。
- Fat‑Tree（k‑ary n‑tree）：当上联链路数足够时，对分带宽可达所有叶节点带宽总和的一半，即对分带宽 =（叶节点总数 × 单节点接入带宽）/ 2，实现“全对分带宽”（full bisection bandwidth）。此时任意等分切割的跨边带宽均可达到理论最大。
- Dragonfly：组内全对分（全互联），组间通过高基数光连接实现实质带宽很高，但最小对分带宽受到组间链路的约束，其设计目标是在成本与性能间取得平衡。
- Clos 网络（2‑tier/3‑tier）：通过叶‑脊分层互连，如果脊交换机数量与链路速率配置得当，同样可以得到接近（总叶子下行带宽）/2 的对分带宽。
3.3 对分带宽与集体通信性能
在分布式训练中，AllReduce、All‑to‑All 等集体操作的吞吐直接受制于对分带宽。以 Ring‑AllReduce 为例，在 p 个节点的理想无拥塞网络中，通信时间 T = 2(p-1)/p × (m/B)，其中 m 为消息体积，B 为单节点链路带宽。该公式隐含假设所有节点可同时满速率收发，这要求网络对分带宽 ≥ (p/2) × B。当实际对分带宽 B_bisection 小于该阈值，通信时间将转为 T ≈ 2m / B_bisection，即堵塞在对分“腰”上。
在 MoE 的 All‑to‑All 通信中，每个节点需向其余 p-1 个节点发送等量数据，瞬时网络负载极大。若对分带宽不足，有效吞吐将按 B_bisection / (p×B) 的比例恶化，延迟急剧上升。因此，对分带宽是大规模 MoE 并行能否实现线性加速的“命门”。
3.4 工程实现中的超额订阅与路由策略
物理网络中，交换机端口与光模块的成本高昂，数据中心常采用 oversubscription（超额订阅）设计，即“所有节点的接入总带宽”与“对分带宽”的比值大于 1:1。该比值越低，通信越无阻塞，但成本越高。AI 训练集群普遍追求 1:1 或最多 2:1 的 oversubscription，而传统企业数据中心可接受 3:1 甚至 10:1。
在现代 Clos 网络中，若每台叶交换机连接 n 个节点（每节点速率 R），并通过 m 条速率为 R 的上联链路连接脊交换机，叶交换机总数为 S，则对分带宽可达 (S/2) × m × R。使该值接近 (S × n × R)/2 即可实现全对分带宽。工程上通过增加脊交换机数量 m、采用高基数交换芯片（如 64×800G 端口）来满足对分带宽目标。
此外，自适应路由与负载分担技术（如 NVIDIA Spectrum‑X 的逐包喷洒、Dragonfly 的 UGAL 路由）可在微观流量分布偏离最优划分时，更好地利用物理对分带宽，使有效对分带宽接近理论值。
3.5 环网与直连拓扑的复兴
近年来，受单节点 GPU 数量迅速增加（如 8‑GPU 主板）和 NVLink 域内高带宽的背景影响，一些系统在更高层次尝试 2D/3D Torus 或全连接网格，通过直连电缆省去交换机，降低延迟和成本。这类拓扑的对分带宽虽不及 Fat‑Tree，但在特定规模下通过定制带宽设计，可恰好匹配模型并行策略，值得关注。
4 关键参数
- 最小对分带宽：在任意均等划分下跨区带宽的最小值，是系统的理论瓶颈，单位为 Tb/s 或 Pb/s。
- 对分带宽与节点总接入带宽比：即“总下行带宽”的 1/2 与对分带宽的比值（有时用 oversubscription 比倒数表达）。理想为 1:1，代表全对分带宽；实际 AI 集群常见 1:1–2:1。
- 对分带宽扩展因子：节点数量翻倍时对分带宽的增长倍数。Fat‑Tree 可达 ~2×（线性扩展），3D Torus 约 2^{2/3} ≈ 1.58×（亚线性），2D Torus 约 1.41×。
- 有效对分带宽：计及协议开销、拥塞丢包、流量不均匀后的真实可达带宽。在 RoCEv2 等无损以太网中，依赖于 PFC/ECN 和自适应路由的实现质量。
- 对分带宽延迟乘积（BDP 相关）：对分带宽高而路由跳数多，可能带来更大带宽‑延迟乘积，影响小消息集体通信的延迟。设计时需平衡。
- 超大规模 AI 集群参考范围：据 NVIDIA、Meta 等公开架构推断，数千至数万 GPU 的集群，对分带宽常设计在数百 Tb/s 乃至 Pb/s 量级，具体数值因未完全公开而标注“公开资料未见”。
5 技术路线
对分带宽的实现路线由拓扑、交换芯片和物理层技术协同决定。当前主流和新兴路线如下：
| 技术路线 | 典型拓扑 | 对分带宽特征 | 典型 oversubscription | 适用场景 |
|---|---|---|---|---|
| InfiniBand Fat‑Tree | 2‑tier/3‑tier Fat‑Tree，使用 Quantum 系列交换机 | 可达全对分，端口速率 400Gb/s NDR、800Gb/s XDR 演进中 | 1:1 或 2:1，多数无阻塞 | 大型 GPU 集群（NVIDIA DGX SuperPOD） |
| Spectrum‑X 以太网 | Leaf‑Spine/Fat‑Tree，结合 NVIDIA Spectrum 交换机与 BlueField DPU | 通过自适应路由与拥塞控制实现接近全对分的有效带宽 | 设计目标 1:1–2:1 | 多租户 AI 云，超大规模以太网集群 |
| 高基数以太网 Clos（Broadcom/Jericho） | 5‑tier Clos，使用 Jericho3‑AI 等 DDC 交换芯片 | 全对分带宽，支持分布式调度 | 1:1，可扩展至数万节点 | 云服务商自研 AI 集群（如 Google、Meta） |
| Dragonfly/Dragonfly+ | 组内全互联 + 组间光连接 | 组内全对分，组间高带宽但结构非均匀 | 大致 1:1–2:1 | 万卡级超算与 AI 集群，成本敏感 |
| 3D Torus 或网格直连 | 3D Torus、定制直连电缆 | O(N^{2/3}) 伸缩，带宽受限 | 较高，≥3:1 | 中小规模专有系统、部分 ASIC 阵列 |
| 光学电路交换（OCS） | Google TPU v4/v5p，基于 MEMS 光开关动态重配拓扑 | 逻辑上可按需提供高对分带宽，物理面向稀疏大流 | 随配置动态改变 | 稀疏大流 TPU 训练，拓扑可编程 |
演进趋势：随着 800G 端口、1.6T 光模块接近量产，单链路带宽提升，相同对分带宽所需的线缆与端口数减少，有助于降低 oversubscription 比。同时，Ultra Ethernet Consortium（UEC）正在推动以太网向更适合 AI 的传输层演化，将改善有效对分带宽。
6 上游
对分带宽的物理基础由以下上游环节决定：
- 高基数交换芯片：Broadcom Jericho3‑AI、Marvell Teralynx 家族、NVIDIA Spectrum‑4 及未来 Spectrum‑5 等。这些芯片的单芯片端口数、总吞吐和调度算法（如 DDC、逐包负载分担）直接决定可构建的拓扑层数与对分带宽。例如，64 端口 800G 芯片可支持上万节点的全对分 Fat‑Tree。
- 高速光模块与直连铜缆（DAC）：400G/800G OSFP、QSFP‑DD 及即将推出的 1.6T 光模块，是实现链路速率的物理层核心。光模块的功耗、成本和产能（如中际旭创、Coherent、Lumentum）直接影响对分带宽的规模部署。DAC 用于机架内短距连接，无源 DAC 成本低但距离受限。
- 光纤布线系统：高芯数 MTP/MPO 光纤、结构化布线槽道等，为大型 Leaf‑Spine 提供物理媒介，其密度和损耗影响可支持的链路数和拓扑规模。
- 交换机组装与 ODM：白盒交换机厂商（如 Accton、Delta）使用上述芯片制造设备，再被云厂商或系统集成商采购，形成定制网络。
7 下游
下游直接依赖对分带宽的系统与应用包括：
- AI 训练集群：NVIDIA DGX 系统、Google TPU Pod、AWS Trainium UltraCluster、Meta 的 AI 集群等。这些系统明确将“对分带宽”作为设计规格，在 RFQ 中要求交换机提供无阻塞或轻度阻塞互连。训练框架（PyTorch、JAX）通过 NCCL、RCCL 等通信库感知网络拓扑，利用对分带宽规划流水分段与数据切片。
- 超算中心：Top500 前 10 系统多采用 Fat‑Tree 或 Dragonfly 拓扑，对分带宽是 Linpack 和 HPCG 等基准测试中通信瓶颈的决定因素。超算软件栈（如 MPI AllReduce 算法）将根据网络对分带宽选择 Rabenseifner 算法或 Ring 算法。
- 多租户 AI 云服务：云厂商通过虚拟化将 GPU 集群切分给多个用户，对分带宽隔离能力决定了租户间性能干扰程度，成为服务 SLA 的隐性指标。
- 高性能存储与数据分析：大规模并行文件系统和数据框架在进行 shuffle 操作时，也会产生类似 All‑to‑All 的通信模式，受集群对分带宽制约。
8 受益公司
以下公司业务与对分带宽技术直接关联，其产品、技术方向深刻影响行业对分带宽能力：
| 公司 | 角色 | 关键产品与技术 |
|---|---|---|
| NVIDIA（含原 Mellanox） | 端到端 AI 网络方案商 | InfiniBand Quantum‑X 交换机、Spectrum‑X 以太网、BlueField DPU、NVLink Switch，定义领先的对分带宽生态 |
| Arista Networks | 高密度以太网交换机领导者 | 基于 Broadcom 芯片的 7800/7800R 系列，支持 800G 端口密度，广泛应用于 Leaf‑Spine 拓扑，支持 AI 集群对分带宽设计 |
| Cisco | 端到端企业与超大规模网络 | Nexus 9000 系列、Silicon One 芯片，提供可编程对分带宽能力，支持企业 AI 集群 |
| Broadcom | 商用交换芯片巨头 | Jericho3‑AI、Tomahawk 5、Ramon 等系列，全球大部分 AI 集群以太网交换机的芯片基础，对分带宽能力通过 ODM 赋能云厂商 |
| Marvell (Innovium) | 超大规模交换芯片挑战者 | Teralynx 系列，主打高基数、可编程，面向大型数据中心 AI/ML 负载的对分带宽需求 |
| 光模块/光互联厂商 | 物理带宽供给者 | 中际旭创（400G/800G 光模块出货领先）、Coherent、Lumentum、Eoptolink 等，提供高速光连接，物理链路速率直接决定对分带宽上限 |
注：上述公司未给出具体份额数字，因公开细分数据未见。
9 市场规模
与对分带宽直接对应的市场并非单独立项统计，而是嵌套在“数据中心网络”、“AI 网络”和“高速光互连”等市场中。基于主要行业分析机构（如 Dell’Oro Group、LightCounting、650 Group、Omdia），可归纳以下定性趋势与部分可引用数据：
- AI 网络设备市场：Dell’Oro Group 在 2024 年报告中指出，AI 工作负载驱动的数据中心交换机市场增长迅猛，预计 2024‑2027 年累计市场超 100 亿美元（口径：AI 后端网络专用交换机与光模块，含 InfiniBand 与高速以太网）。对分带宽设计是此类交换机高溢价的根本原因。
- 高速光模块市场：LightCounting 预测，2024 年 800G 光模块出货量将快速增长，主要来自 AI 集群对分带宽部署。2025 年 1.6T 光模块开始规模出货，进一步拉升单链路带宽，间接改变对分带宽与成本平衡。
- 网络占 AI 集群资本开支比例：行业估算（如 Meta、NVIDIA 公开演讲中提及）网络成本占 GPU 训练集群总硬件成本的 15%–25%，且随着对分带宽要求从 2:1 向 1:1 演进，该比例呈上升趋势。
- 分区域：北美云厂商仍是最大需求方，中国大陆互联网与运营商正加速追赶，具体国内 AI 网络对分带宽市场规模数字，公开资料未见，但趋势与全球一致。
说明：由于市场细分度有限，此处未能列出所有细项的确切年份和来源数字，符合“不确定写公开资料未见”原则，避免编造。
10 玩家对比
从技术实现与定位角度，可将主要厂商按交换芯片自研与否、协议阵营划分：
| 维度 | NVIDIA （InfiniBand） | NVIDIA （Spectrum‑X） | Broadcom （芯片+白盒） | Arista （系统） | Marvell （芯片） | 超大规模自研网络 |
|---|---|---|---|---|---|---|
| 协议 | InfiniBand (IB) | 增强以太网 (RoCEv2) | 标准以太网 | 标准以太网 | 标准以太网 | 以太网或定制 |
| 对分带宽实现 | 胖树，Cray‑style 无阻塞，确定性路由 | 自适应路由+拥塞控制，提升有效对分带宽 | 多级 Clos，DDC 分布式调度 | 大容量 Leaf‑Spine，高基数端口 | 高基数芯片赋能 Leaf‑Spine | 全自研拓扑（如 Google OCS） |
| 典型 oversubscription | 1:1 | 1:1 至 2:1 | 1:1 至 3:1 | 1:1 至 2:1 | 取决于系统集成商 | 定制，如 TPU v4 为 3D Torus 光环 |
| 优势 | 极致带宽，低延迟，成熟生态 | 多租户融合，成本较低，以太网兼容性 | 芯片规模最大，支持 ODM 灵活构建 | 系统软件（EOS）强，运维友好 | 高基数、低功耗芯片 | 深度耦合训练框架，拓扑可调 |
| 局限 | 单一供应商、成本高 | 需 BlueField DPU 配合，生态培育期 | 需搭配自研或第三方 NOS | 依赖芯片供应商迭代 | 缺乏整网方案，生态弱于 Broadcom | 仅自用，不对外销售 |
关键差异点：NVIDIA 拥有从芯片、网卡、交换机到通信库的垂直集成能力，可直接定义和保障对分带宽；Broadcom 以商用芯片赋能广泛的白盒生态，对分带宽能力最终由云厂商的系统设计决定；Arista 则在商用芯片基础上通过自研 EOS 提供高级网络调优，使有效对分带宽更接近理论值。
11 风险
- 技术路线突变风险：全光交换、硅光直连、共封装光学（CPO）等新技术可能绕过传统交换芯片和可插拔光模块，颠覆现有对分带宽的实现方式，影响相关厂商市场地位。
- 算法与系统优化削弱需求：若训练框架通过梯度压缩、稀疏通信、流水线重调度等方式大幅降低跨节点全局通信量，对分带宽的重要性可能相对下降，降低高端网络设备溢价。
- 供应链与产能瓶颈：高速光模块（如 800G 硅光芯片、EML 激光器）和交换芯片依赖先进制程与特种工艺，若产能扩张不及预期，将延迟大型集群部署，影响市场增长节奏。
- 成本压力与设计回摆：当网络成本占比过高，部分云厂商可能选择 oversubscription > 2:1，回归成本优化路径，导致对分带宽进步放缓，高端交换机和光模块需求低于预期。
- 标准碎片化：UEC 等新标准与 InfiniBand、RoCEv2 并存，可能造成技术选择困难，使部分 AI 集群延迟部署，增加不确定性。
- 地缘政治与贸易限制：高端芯片、光模块出口管制可能影响特定地区 AI 集群的对分带宽建设能力，导致区域市场不均衡。
12 误读纠偏
① “对分带宽就是所有跨交换机链路的带宽总和” 错误。对分带宽特指在所有近似等分切割中取最小值，而非简单地将所有上行链路相加。一个网络可能有很多上行端口，但最窄的“腰部”决定了全系统瓶颈。必须通过图划分思想寻找最小割，而非累加所有链路。
② “只要交换机背板带宽够大，对分带宽就一定高” 不全面。交换机背板带宽（内部转发结构）只保证单机内无阻塞，系统级对分带宽由整网拓扑决定。若叶交换机之间的脊层链路数太少，即便每台交换机背板速率远超端口之和，跨半区带宽依然受限于上联连接数。对分带宽是系统属性，非单机参数。
③ “对分带宽达到 1:1 就万事大吉” 不够。即使物理对分带宽 = 接入总带宽的一半，在实际运行中由于流量分布不均、哈希碰撞、微突发拥塞、PFC 风暴等问题，有效对分带宽可能远低于理论值。自适应路由、拥塞控制算法以及通信库的拓扑感知优化，都是让物理对分带宽转化为实际吞吐的关键。
④ “对分带宽只对 AI 训练重要” 偏颇。虽然 AI 训练是最极端的案例，但分布式数据库的 shuffle、大规模图计算、存储系统的数据重建等场景同样需要良好的对分带宽保障。任何产生全局通信的工作负载都会受益于高对分带宽。
13 最新事件
- NVIDIA Spectrum‑X 平台商用化（2024 年）：首款专为 AI 云设计的以太网平台，集成 Spectrum‑4 交换机与 BlueField‑3 DPU，通过自适应路由和动态负载喷洒，宣称在 RoCEv2 环境中可将有效对分带宽利用率提高至理论值的 95% 以上，已应用于多家云厂商的 AI 集群。
- Broadcom Jericho3‑AI 芯片交付（2023‑2024）：该芯片支持分布式调度交换（DDC），可将数千节点级联成全对分带宽的 Clos 网络，降低多级拓扑对分带宽的抖动。多家 ODMs 已推出基于此芯片的 800G 交换机。
- Google TPU v5p 拓扑公开（2023 年末）：Google 披露 TPU v5p 采用 3D Torus 结合高速光连接，并配以可调对分带宽的拓扑切片能力，在稀疏 MoE 大模型中实现高效通信。
- Meta 下一代 AI 集群（2024 年）：Meta 宣布其基于 Arista 7800 和 Minipack 2 的 AI 集群采用全对分带宽设计，支持数万 GPU，并公开了部分网络设计细节，强调超额订阅比为 1:1。
- UEC 联盟成立与 1.0 规范推进（2023‑2024）：超以太网联盟吸引 AMD、Intel、Meta、Microsoft 等，致力优化以太网对分带宽利用率，预计 2025 年落地新传输协议，可能重塑开放式 AI 网络。
- 800G 光模块规模出货与 1.6T 样品发布（2024 年）：中际旭创、Coherent 等厂商 800G DR8/2FR4 光模块大量出货，用于 AI 集群的叶‑脊连接；1.6T OSFP 样品已送样，预计 2025 年规模部署，届时相同对分带宽所需的端口数可减少一半。
注：上述事件信息来自各公司官网、技术博客与可信科技媒体，无预测性表述。
14 跟踪指标
要跟踪对分带宽产业趋势，可关注以下量化与定性指标：
- 商用交换芯片的每代端口速率与端口数量：如 Broadcom Tomahawk 5 (64×400G) 到 Tomahawk 6 (64×800G) 的演进，直接提升单芯片可提供的对分带宽密度。
- 光模块标准与出货速率：IEEE 802.3df/802.3dj 等标准进展，800G 与 1.6T 光模块的季度出货量（LightCounting 报告），反映物理带宽增长实际速度。
- 主流云厂商和超算中心的网络拓扑披露：如 NVIDIA DGX SuperPOD 参考架构、Google TPU 论文、Meta 工程博客中的网络设计更新，可推算其 oversubscription 比与对分带宽规划。
- 超算 Top500 互连类型变迁：观察 InfiniBand、定制互连、高速以太网的份额变化，辅助判断哪种对分带宽技术路线占优。
- AI 训练集群的公有规模与通信基准：MLPerf Training、MLPerf HPC 等测试中多节点扩展效率，间接反映对分带宽是否成为瓶颈。
- UEC 标准进度与成员生态：跟踪 UEC 规范 1.0 发布时间，以及各供应商对 UEC 的承诺，判断未来以太网对分带宽有效性的提升幅度。
- 网络芯片和光模块公司的财报指引交换：如 NVIDIA 网络业务收入、Arista 面向 AI 客户的订单、光模块厂商的扩产计划等，可间接评估对分带宽相关投资热度（仅作为产业跟踪，不构成投资建议）。
15 信源
- 经典教材：Dally, W. J. & Towles, B. Principles and Practices of Interconnection Networks, Morgan Kaufmann, 2004. — 对分带宽的图论定义、拓扑分析及通信性能模型。
- 关键论文：
- Kim, J. et al. “Technology-Driven, Highly-Scalable Dragonfly Topology.” ISCA 2008. — Dragonfly 拓扑设计及其对分带宽权衡。
- Al-Fares, M. et al. “A Scalable, Commodity Data Center Network Architecture.” SIGCOMM 2008. — Fat‑Tree 全对分带宽的工程实现。
- 产业白皮书与架构参考：
- NVIDIA Networking: “InfiniBand Fat‑Tree Scalability” 与 “Spectrum‑X Network Architecture”.
- Arista Networks: “Data Center Network Design for AI/ML”.
- Meta Engineering Blog: “Minipack – A 128‑port 100G Switch” 及后续 AI 集群网络设计更新.
- Google： “TPU v4/v5p 体系结构论文”（ISCA 2023 等）.
- 行业分析机构：Dell’Oro Group（数据中心交换机与 AI 网络市场）、LightCounting（光模块与高速互连）、650 Group（AI 网络细分）、Omdia（交换机与光器件），用于市场规模与趋势跟踪。
- 开源与标准组织：NCCL/RCCL 文档（通信库对分带宽感知）、Ultra Ethernet Consortium 技术白皮书.
注：上述信源均为公共可获取的研究资料或行业报告，本文相关数据若未明确标出年份与来源，则统一以“公开资料未见”处理。