网络层 开放阅读

Leaf-Spine

Leaf-Spine Fabric

概念 ID
leaf-spine-fabric
更新时间
2026-05-29
来源数量
待补

Leaf-Spine

由于检索失败,以下内容基于产业公开常识与架构原理沉淀,具体型号、速率、份额数据等硬规格无据则定性描述或标注[估算/未披露],切勿以任何具体数字作为投资/采购依据。

3 秒看懂

Leaf-Spine(叶脊架构)是一种全网格交换拓扑,将传统数据中心三层网络(接入-汇聚-核心)扁平为两层:Leaf(叶)交换机对接服务器Spine(脊)交换机只做高速互联。任何两台服务器通信最多经过3台交换机(Leaf→Spine→Leaf),跳数固定、延迟可预测,专为东西向(服务器间)流量和超大规模集群设计。

3 分钟产业解释

云原生、分布式存储、AI 训练等场景让服务器之间的东西向流量占总流量 70% ~ 80% 以上,传统树形网络瓶颈明显。Leaf-Spine 用等价多路径(ECMP)在 Spine 层横向扩展带宽:每个 Leaf 向上连接所有 Spine,Spine 之间不互连(纯二层或三层全互联)。扩容时只要增加 Spine 或 Leaf,整体对分带宽线性增长。该架构已成为大型数据中心、高性能计算和 GPU 集群事实上的标准网络底座。

核心价值

  • 弹性扩展:横向加 Spine 增加上联带宽,加 Leaf 增加接入端口,无需重构核心。
  • 低延迟确定:跨 Leaf 通信跳数固定 2(Leaf→Spine→Leaf),同 Leaf 内 1 跳,避免树形网络的根瓶颈。
  • 故障域收敛:单 Spine 失效只损失一份上联带宽,不影响连通性。
  • 运维简化:全网可采用单一控制面(如 EVPN-VXLAN)构建大二层,支持虚拟机/容器弹性迁移。

15 分钟专家深入

Leaf-Spine 网络不仅是一种拓扑,更是一套从物理布线、转发逻辑到控制面的系统设计。

转发平面设计

  • 路由类型:典型部署采用三层到边缘(L3 Leaf-Spine),Leaf 和 Spine 之间运行动态路由协议(BGP 或 OSPF),服务器网关在 Leaf 上。BGP 因其策略灵活、扩展性强成为主流,尤其是 BGP EVPN 实现 VXLAN 叠加。
  • 负载均衡:Leaf 上行链路使用 ECMP(等价多路径)将流量哈希到多条 Spine 链路。哈希通常基于五元组(IP+端口+协议),但流量模式可能导致极化和链路利用率不均。部分厂商支持基于流量的动态负载均衡(如 DRI、DRB)或逐包调度。
  • 拥塞管理:针对 AI/存储的 Incast 流量(多对一),叶脊架构依赖 PFC(优先级流控)、ECN(显式拥塞通知)等无损以太网技术。Spine 层需有足够深的缓冲区吸收突发。
  • 叠加网络:绝大多数 Leaf-Spine 对服务器提供二层域扩展,使用 VXLAN 或 NVGRE 封装,控制面用 EVPN 同步 MAC/IP 路由,消除泛洪和学习限制。

控制面与自动化

  • EVPN-VXLAN 成为标准:通过 MP-BGP 分发隧道端点信息,实现多租户隔离(VRF/VNI)、分布式任播网关、ARP 抑制等。
  • 自动化配置:大型 Leaf-Spine 使用 ZTP(零接触部署)加声明式管理工具(Ansible、SaltStack 或基于 OpenConfig/gNMI 的控制器)批量下发配置,消除手工接线错误。

物理拓扑与布线

  • 线缆方案:传统光纤(LC)、直连铜缆(DAC)或有源光缆(AOC)。Spine 层通常位于同列或邻列机柜,距离数十米内,DAC 成本最优;超过 3~5 米倾向光模块。
  • 端口拆分:Leaf 下行常用 40/100GbE 拆分为 4×10/25GbE 提高密度;Spine 端口在多数部署中保持不拆分以简化高带宽中继,但在速率不匹配或需增加逻辑链路数时,同样可以通过拆分(如 400G 拆 4×100G)或端口通道灵活适配。

大模型训练的叶脊变体

GPU 集群因带宽要求极高,在叶脊基础上发展出基于 InfiniBand 或 RoCE 的 Rail-Optimized 拓扑,但逻辑仍类似:NCU 接入 Leaf(或直接到轨道优化交换机),多平面构建无阻塞网络。

技术原理(最深)

本节深入 Leaf-Spine 的数学模型、转发机制和资源维度。

无阻塞条件与带宽计算

考虑一个 Leaf-Spine 网络:

  • L = Leaf 交换机数量,S = Spine 交换机数量。
  • 每个 Leaf 有 P_down 个下行端口(接服务器),速率 R_down;每个 Leaf 有 P_up 个上行端口(接 Spine),速率 R_up
  • 总接入服务器带宽 = L × P_down × R_down。
  • 总上联带宽 = L × P_up × R_up(由于每个 Leaf 连所有 Spine,故每个 Leaf 上联总带宽为 P_up × R_up,且 P_up 通常等于 S,即每个 Leaf 用 1 端口连 1 Spine)。
  • 系统总交换容量由 Spine 决定:每个 Spine 有 L 个 Leaf-facing 端口,速率 R_spine,总容量 = S × L × R_spine(假设 Symmetric)。要实现全无阻塞,需满足:对上联总带宽,Leaf 的出方向流量不能超过 Spine 的交换能力。标准 Clos 网络要求 Spine 与 Leaf 间的链路速率匹配,Spine 端口速率通常与 Leaf 上联速率一致(R_up = R_spine),且每个 Spine 用 L 端口连所有 Leaf,则 Spine 层提供 S × L 条链路的带宽。无阻塞条件为 S × R_up ≥ P_down × R_down(每个 Leaf 的上行总带宽 ≥ 下行总带宽)。简单说:若采用 1:1 无过载设计,上行带宽需等于下行带宽:L × P_down × R_down ≤ L × S × R_up (假设 Spine 无内部阻塞),即 S × R_up ≥ P_down × R_down。实际部署常基于流负载设计过载比(oversubscription ratio),例如 3:1,允许上行带宽仅为下行总和的 1/3。

ECMP 等价路径数:Leaf 到另一 Leaf 最多有 S 条并行路径(每条经一个 Spine)。ECMP 哈希确保同一个流的包走同一路径,防止重排,但可能导致某些大象流挤占链路。增加 S 可提升多路径熵和故障冗余。

多租户流量隔离:VRF 与 VXLAN

Leaf 交换机上为每个租户或业务建立 VRF(虚拟路由转发实例),对应一个 L3 VNI。服务器间二层包进入 Leaf 后,根据接入端口/VLAN 映射到 VXLAN,外封装源目 IP 是 Leaf 的 VTEP 地址。Spine 只执行外层 IP 路由,不解封内层。此设计使 Spine 可以是无状态 IP 路由器,极大减负。ARP/ND 在 EVPN 控制面解决,不依赖 Spine 泛洪。

流量工程与 AI 网络的特定要求

AI 训练中,AllReduce 通信模式产生大量同步突发。Leaf-Spine 上的 ECMP 哈希可能将多条 GPU 到 GPU 的流映射到同一条 Spine 链路,造成碰撞,导致尾延迟飙升。解决思路:

  • 动态路由注入:控制器感知大流并重路由到低利用率路径。
  • 定制哈希字段:基于 RoCEv2 的源/目的 QP 号和 DSCP 等。
  • Spine 大缓冲区与主动拥塞通知(如 DCQCN)。
  • 无损失网络配置:PFC 触发 PAUSE 时需谨慎配置死锁预防(如 PFC Watchdog)和全局头阻塞缓冲。

故障恢复

BGP 会话保活或在双向转发检测(BFD)下,单条 Spine 链路 down 后,ECMP 路径集合缩小,流量快速重平衡。若使用 EVPN,MAC/IP 路由因 Leaf 重建而刷新,收敛时间取决于 BGP 更新速度,通常亚秒到数秒。对于严苛的存储或 HPC,部分方案采用硬件卸载的冗余路径(如 LAG 跨多 Spine,不适用于此拓扑)或基于端口通道的 MC-LAG 方案(但会破坏纯 L3 设计),因而更倾向完全依靠 ECMP 路由。

典型 4-Spine / 8-Leaf 连接示意图(ASCII):

   Spine-1   Spine-2   Spine-3   Spine-4
    | | | |  | | | |  | | | |  | | | |   (每个 Spine 连所有 Leaf)
    |-+-+-+-||-+-+-+-||-+-+-+-||-+-+-+-|
   Leaf1     Leaf2    ... Leaf8
    ||||||    ||||||       ||||||
   服务器群    服务器群    服务器群
 (每台 Leaf 下行接口连服务器,上行连所有 Spine)

技术演进史

  • 传统三层架构(2000s):接入-汇聚-核心,生成树协议(STP)阻塞冗余链路,带宽利用率低,东西向流量需绕行核心,延迟高且扩展难。
  • 大二层技术探索(2010 前后):TRILL、SPB、FabricPath 等试图用 IS-IS 路由替代 STP,但仍遗留三层核心,架构复杂。
  • Leaf-Spine with ECMP 崛起(2013 后):伴随云数据中心爆发,Facebook、Google 等采用纯 L3 数据中心设计(如公开的 Fabric Aggregator 设计)。ECMP 替代 STP,VXLAN 提供二层扩展,催生现代叶脊架构。
  • VXLAN + EVPN 标准化(2015~2018):IETF RFC 7348 和 RFC 8365 等使多厂家互通成为可能,白盒交换机(Cumulus、SONiC 等)加速落地。
  • AI 驱动的高性能 Fabric(2020 至今):NVIDIA Spectrum-X、Arista 等针对 RoCEv2 和 GPU 集群优化缓冲区、拥塞控制、拓扑可重构。Rail-optimized 与 Dragonfly 等也在叶脊基础上衍生,但逻辑仍保留全网格互联内核。

技术路线对比(量化表)

特性Leaf-Spine 架构传统三层树形超大规模基于芯片的 Flat Network(如 Direct-Connect 网状)
跳数确定性高(1~2 跳)低(可变,经过根)极高(通常单跳,但限于小规模)
东西向带宽扩展线性增加 Spine受限于核心交换机容量与 STP基于片内交换,规模受限
故障域单 Spine 失效仅降级核心故障可能导致分区单芯片失效影响全部节点
控制面协议BGP/OSPF + EVPN通常 RSTP/MSTP + VRRP自定义或简单静态
租户隔离VRF/VXLAN 原生VLAN(4095 限制)物理隔离为主
运维复杂度自动化需求高,标准化手工配置较多简单,但无法弹性
典型适用规模100~10k+ 服务器中小规模(<1000)单机框或小集群(<64节点)
硬件要求中高密度交换机,支持 L3 到边缘中低端交换机专用背板/芯片

上下游

上游(基础设施供应)

  • 交换芯片:Broadcom(Tomahawk/Trident系列)、Marvell(原Innovium)、NVIDIA(Spectrum)、Cisco(Silicon One)、Intel(Tofino)等。芯片能力(缓冲区大小、表项深度、VXLAN线速卸载)直接决定 Leaf-Spine 性能。
  • 光模块与线缆:100G/400G 光模块(如 QSFP28、QSFP-DD、OSFP)及 DAC/AOC 线缆,影响密度与成本。
  • 操作系统与软件:商业 NOS(Arista EOS、Cisco NX-OS)与开源(SONiC、Cumulus Linux),为 EVPN、自动化提供支撑。

下游(使用者)

  • 云服务商:AWS、Azure、Google 等内部网络大规模采用叶脊设计。
  • 企业数据中心:金融机构、大型制造业通过 SDN 构建私有云 Leaf-Spine。
  • AI/超算中心:GPU 集群的典型互联平面,常与 InfiniBand 结合或直接使用 RoCE 叶脊。
  • 托管服务商(Colo):为多租户提供网络可编程性。

关键指标

  • 过载比(Oversubscription Ratio):下行总带宽 ÷ 上行总带宽。典型数据中心 3:1 至 1:1(无阻塞)。AI 集群要求接近 1:1。
  • ECMP 路径数:即 Spine 数量。常见 4、8、16,更多有助于负载均衡但受限于交换机 ECMP 表项和路由前缀限制。
  • 端口带宽进化:Leaf 下行 25/50/100GbE,上行 100/400GbE;Spine 统一 400/800GbE。具体数字随各代交换芯片推出而演进 [未披露具体代数,定性描述]。
  • 时延:Leaf 到 Leaf 交换时延(不含服务器网卡)一般在数微秒量级,受交换芯片转发流水线及缓冲区占用影响。对于 AI 可见亚微秒优化空间(如低延迟模式)。
  • 缓冲区大小:以 MB 为单位,Spine 交换机常需深缓冲(如数十 MB)吸收多打一拥塞,Leaf 相对浅缓冲。
  • VXLAN 隧道数/路由表规模:Leaf 需承载所有虚拟机的 VTEP 信息,硬件表项限制影响服务器密度。

供需与市场数据

  • 数据中心交换机市场:受云建设、AI 和流量增长推动,市场规模持续扩大。据第三方报告(如 Dell’Oro Group,具体数字未检索),2025 年前后高速数据中心交换机端口以 100GbE 以上为主,400GbE 加速渗透。Leaf-Spine 架构占据新建数据中心绝大部分份额。
  • 白盒与品牌:白盒交换机(ODM 硬件 + 开源 OS)在大型云商中占比提升,但品牌交换机(Arista、Cisco、Juniper)仍主导企业市场。双方均以原生 EVPN-VXLAN 功能为卖点。
  • 供需特征:疫情后芯片供应紧张一度制约交换机交付,现已缓解。AI 集群催生对高基数单芯片(51.2T、未来 102.4T 交换容量)的需求,此类芯片初期供应有限,领先厂商优先获得。
  • 注:具体数值因无法联网检索,无据可引,请参阅最新 Dell’Oro 或 IDC 交换网络追踪报告。

代表公司与资本映射

  • Arista Networks:Leaf-Spine 领域领军者,EOS 系统基于单二进制镜像,精细化执行 EVPN、CloudVision 自动化,深度绑定超大规模云商与金融行业。其高端 R3 系列(如 7800R3)适合 Spine,7050/7280 系列适合 Leaf。公司营收持续高增长,资本市场给予高估值。
  • Cisco:Nexus 9000 系列,支持 ACI(应用中心基础设施)和标准 NX-OS 模式,芯片自研(Silicon One)逐渐代替 Broadcom,在园区网和数据中心融合场景有优势。
  • NVIDIA(原 Mellanox):Spectrum 系列交换机搭配自研 ASIC 和 Cumulus Linux/SONiC,专注高性能和 AI 网络(Spectrum-X),端到端支撑 GPU 直连。
  • 白盒/ODM:广达、英业达、智微等为大型云商代工,搭配开源 OS(如 Microsoft SONiC)占领大规模部署,对传统品牌形成价格冲击。
  • 初创与专注者:DriveNets(基于分布式路由架构,可与叶脊竞赛)、Arrcus(软件平台)等。

资本市场关注点:AI/ML 网络资本开支增速、Arista 在云巨头中的份额变动、800G 交换机渗透率、芯片供应链国产化(中国厂商如盛科等)的替代机会。

投资逻辑

  1. 流量永不眠:视频、AI、云服务推动数据中心内部东西向流量每年复合增长 25%+(来源:行业估算)。叶脊架构的替换与升级是刚需。
  2. AI 训练指向高带宽 1:1 无阻塞:传统 3:1 过载比不再适用,AI 集群要求 Spine 与 Leaf 的端口数和带宽大幅增加,拉动高端交换机 ASP(平均售价)和端口出货量。
  3. 白盒与商业 OS 之争:大型云商自研或白盒化压低硬件价格,商业厂商通过软件和服务差异化。掌握核心技术(如可编程转发、智能运维)的公司更容易形成产品黏性与服务收入。
  4. 供应链安全与国产替代:地缘政治影响推动中国本土交换芯片和整机发展,相关上市公司迎机遇,但需关注性能与生态成熟度。
  5. 风险提示:技术路线可能局部偏移(如全芯片直连的 Rail-Only 集群可能弱化 Spine 层角色),但整体 Leaf-Spine 范式仍在演变中强化;宏观经济影响云资本开支;高速光模块成本过高拖累普及。

常见误读纠偏

误读 1:“Leaf-Spine 内部连接必须用 L3,不能有 L2。”
纠正:核心是 Spine 之间不互连,且用路由替代生成树。但 Leaf 下行可接 L2 服务器,Spine 与 Leaf 间运行 L3 路由,叠加 VXLAN 在逻辑上提供 L2 域扩展。这被称为“L3 Spine, L2 Overlay”,并非纯 L3。

误读 2:“Spine 数量必须等于 Leaf 上行端口数,拓扑完全对称。”
纠正:对称是推荐最佳实践(简化规划和带宽预测),但技术上可不对称。例如某 Leaf 只连部分 Spine(用于带宽分级),或 Spine 端口速率与 Leaf 上行不一致(如 Leaf 上联 100G,Spine 端口 400G,需拆分或端口通道)。设计时需确保带宽模型不产生瓶颈。

误读 3:“Leaf-Spine 就是 Clos 网络。”
纠正:严格 Clos 网络的多级交换结构(如三级 Clos)用于电信领域无阻塞交换。叶脊是折叠 Clos(Folded Clos)在数据中心的特化版本,通常为两级,可级联为三级。一般称叶脊为 Clos 网络之一种,但并非完全等同。

学习路径

  1. 基础网络:理解 L2 交换、VLAN、生成树、IP 路由(OSPF/BGP 基础)。
  2. 数据中心网络概念:学习 VXLAN(RFC 7348)、EVPN(RFC 8365)、ECMP、Overlay/Underlay 定义。
  3. Leaf-Spine 部署实例:Cisco 的 “Data Center Spine-Leaf Architecture”、Arista 设计指南、Microsoft Azure 网络方案白皮书。
  4. 自动化与配置:通过模拟器(EVE-NG、GNS3)搭建小型 Leaf-Spine(4 Leaf + 2 Spine),练习 BGP EVPN 配置和 VXLAN 抓包。
  5. 进阶 AI 网络:研究 NVIDIA Spectrum-X 白皮书、RoCEv2 拥塞控制、DCQCN 算法、AI cluster 对网络的特殊需求。
  6. 参与社区与标准:OCP(开放计算项目)Networking 组、IETF NVO3 工作组相关邮件列表。

一句话总结

Leaf-Spine 是拆墙者:通过全网状路由打破生成树的封锁,让数据中心网络拥有水平扩展的无限带宽通道与确定性延迟,成为云计算与 AI 集群的主动脉。

延伸阅读与来源

  • IETF RFC 7348:Virtual eXtensible Local Area Network (VXLAN)
  • IETF RFC 8365:A Network Virtualization Overlay Solution using EVPN
  • Arista Data Center Design Guide(Arista 官网可下载,包含 Leaf-Spine 与 EVPN 最佳实践)
  • Cisco Validated Design:Data Center Spine-and-Leaf Architecture
  • Facebook Data Center Fabric:公开论文 “Engineering a Data Center Fabric” 描述其架构思想
  • NSDI 等顶会论文:如 Conga、HULL 等数据中心流量调度研究
  • 由于检索失败,未能获取最新市场数据,具体型号和数字请查阅 Dell’Oro Group 数据中心交换报告、LightCounting 光模块市场预测,以及各大厂商季度财报。
source: 公开披露与公开资料整理 本页仅用于产业链学习、信息检索和研究辅助;不构成投资建议,不预测涨跌,不提供买卖、仓位或目标价建议。
完整概念页 复盘 13 节结构 公司投研页 沿产业链找到受益公司 投资课 把概念转成可跟踪模型