Leaf-Spine
由於檢索失敗,以下內容基於產業公開常識與架構原理沉澱,具體型號、速率、份額資料等硬規格無據則定性描述或標註[估算/未揭露],切勿以任何具體數字作為投資/採購依據。
3 秒看懂
Leaf-Spine(葉脊架構)是一種全網格交換拓撲,將傳統資料中心三層網路(接入-匯聚-核心)扁平為兩層:Leaf(葉)交換器對接伺服器,Spine(脊)交換器只做高速互聯。任何兩臺伺服器通訊最多經過3臺交換器(Leaf→Spine→Leaf),跳數固定、延遲可預測,專為東西向(伺服器間)流量和超大規模叢集設計。
3 分鐘產業解釋
雲端原生、分散式儲存、AI 訓練等場景讓伺服器之間的東西向流量佔總流量 70% ~ 80% 以上,傳統樹形網路瓶頸明顯。Leaf-Spine 用等價多路徑(ECMP)在 Spine 層橫向擴充套件頻寬:每個 Leaf 向上連線所有 Spine,Spine 之間不互連(純二層或三層全互聯)。擴容時只要增加 Spine 或 Leaf,整體對分頻寬線性增長。該架構已成為大型資料中心、高效能運算和 GPU 叢集事實上的標準網路底座。
核心價值:
- 彈性擴充套件:橫向加 Spine 增加上聯頻寬,加 Leaf 增加接入埠,無需重構核心。
- 低延遲確定:跨 Leaf 通訊跳數固定 2(Leaf→Spine→Leaf),同 Leaf 內 1 跳,避免樹形網路的根瓶頸。
- 故障域收斂:單 Spine 失效只損失一份上聯頻寬,不影響連通性。
- 運維簡化:全網可採用單一控制面(如 EVPN-VXLAN)建置大二層,支援虛擬機器/容器彈性遷移。
15 分鐘專家深入
Leaf-Spine 網路不僅是一種拓撲,更是一套從物理佈線、轉發邏輯到控制面的系統設計。
轉發平面設計
- 路由型別:典型部署採用三層到邊緣(L3 Leaf-Spine),Leaf 和 Spine 之間執行動態路由協議(BGP 或 OSPF),伺服器閘道器在 Leaf 上。BGP 因其策略靈活、擴充套件性強成為主流,尤其是 BGP EVPN 實現 VXLAN 疊加。
- 負載均衡:Leaf 上行鏈路使用 ECMP(等價多路徑)將流量雜湊到多條 Spine 鏈路。雜湊通常基於五元組(IP+埠+協議),但流量模式可能導致極化和鏈路利用率不均。部分廠商支援基於流量的動態負載均衡(如 DRI、DRB)或逐包排程。
- 擁塞管理:針對 AI/儲存的 Incast 流量(多對一),葉脊架構依賴 PFC(優先順序流控)、ECN(顯式擁塞通知)等無損乙太網路技術。Spine 層需有足夠深的緩衝區吸收突發。
- 疊加網路:絕大多數 Leaf-Spine 對伺服器提供二層域擴充套件,使用 VXLAN 或 NVGRE 封裝,控制面用 EVPN 同步 MAC/IP 路由,消除泛洪和學習限制。
控制面與自動化
- EVPN-VXLAN 成為標準:通過 MP-BGP 分發隧道端點資訊,實現多租戶隔離(VRF/VNI)、分散式任播閘道器、ARP 抑制等。
- 自動化配置:大型 Leaf-Spine 使用 ZTP(零接觸部署)加宣告式管理工具(Ansible、SaltStack 或基於 OpenConfig/gNMI 的控制器)批次下發配置,消除手工接線錯誤。
物理拓撲與佈線
- 線纜方案:傳統光纖(LC)、直連銅纜(DAC)或有源光纜(AOC)。Spine 層通常位於同列或鄰列機櫃,距離數十米內,DAC 成本最優;超過 3~5 米傾向光模組。
- 埠拆分:Leaf 下行常用 40/100GbE 拆分為 4×10/25GbE 提高密度;Spine 埠在多數部署中保持不拆分以簡化高頻寬中繼,但在速率不匹配或需增加邏輯鏈路數時,同樣可以通過拆分(如 400G 拆 4×100G)或埠通道靈活適配。
大型模型訓練的葉脊變體
GPU 叢集因頻寬要求極高,在葉脊基礎上發展出基於 InfiniBand 或 RoCE 的 Rail-Optimized 拓撲,但邏輯仍類似:NCU 接入 Leaf(或直接到軌道最佳化交換器),多平面建置無阻塞網路。
技術原理(最深)
本節深入 Leaf-Spine 的數學模型、轉發機制和資源維度。
無阻塞條件與頻寬計算
考慮一個 Leaf-Spine 網路:
- 令 L = Leaf 交換器數量,S = Spine 交換器數量。
- 每個 Leaf 有 P_down 個下行埠(接伺服器),速率 R_down;每個 Leaf 有 P_up 個上行埠(接 Spine),速率 R_up。
- 總接入伺服器頻寬 = L × P_down × R_down。
- 總上聯頻寬 = L × P_up × R_up(由於每個 Leaf 連所有 Spine,故每個 Leaf 上聯總頻寬為 P_up × R_up,且 P_up 通常等於 S,即每個 Leaf 用 1 埠連 1 Spine)。
- 系統總交換容量由 Spine 決定:每個 Spine 有 L 個 Leaf-facing 埠,速率 R_spine,總容量 = S × L × R_spine(假設 Symmetric)。要實現全無阻塞,需滿足:對上聯總頻寬,Leaf 的出方向流量不能超過 Spine 的交換能力。標準 Clos 網路要求 Spine 與 Leaf 間的鏈路速率匹配,Spine 埠速率通常與 Leaf 上聯速率一致(R_up = R_spine),且每個 Spine 用 L 埠連所有 Leaf,則 Spine 層提供 S × L 條鏈路的頻寬。無阻塞條件為 S × R_up ≥ P_down × R_down(每個 Leaf 的上行總頻寬 ≥ 下行總頻寬)。簡單說:若採用 1:1 無過載設計,上行頻寬需等於下行頻寬:L × P_down × R_down ≤ L × S × R_up (假設 Spine 無內部阻塞),即 S × R_up ≥ P_down × R_down。實際部署常基於流負載設計過載比(oversubscription ratio),例如 3:1,允許上行頻寬僅為下行總和的 1/3。
ECMP 等價路徑數:Leaf 到另一 Leaf 最多有 S 條並行路徑(每條經一個 Spine)。ECMP 雜湊確保同一個流的包走同一路徑,防止重排,但可能導致某些大象流擠佔鏈路。增加 S 可提升多路徑熵和故障冗餘。
多租戶流量隔離:VRF 與 VXLAN
Leaf 交換器上為每個租戶或業務建立 VRF(虛擬路由轉發例項),對應一個 L3 VNI。伺服器間二層包進入 Leaf 後,根據接入埠/VLAN 對映到 VXLAN,外封裝源目 IP 是 Leaf 的 VTEP 地址。Spine 只執行外層 IP 路由,不解封內層。此設計使 Spine 可以是無狀態 IP 路由器,極大減負。ARP/ND 在 EVPN 控制面解決,不依賴 Spine 泛洪。
流量工程與 AI 網路的特定要求
AI 訓練中,AllReduce 通訊模式產生大量同步突發。Leaf-Spine 上的 ECMP 雜湊可能將多條 GPU 到 GPU 的流對映到同一條 Spine 鏈路,造成碰撞,導致尾延遲飆升。解決思路:
- 動態路由注入:控制器感知大流並重路由到低利用率路徑。
- 定製雜湊欄位:基於 RoCEv2 的源/目的 QP 號和 DSCP 等。
- Spine 大緩衝區與主動擁塞通知(如 DCQCN)。
- 無損失網路配置:PFC 觸發 PAUSE 時需謹慎配置死鎖預防(如 PFC Watchdog)和全域性頭阻塞緩衝。
故障恢復
BGP 會話保活或在雙向轉發檢測(BFD)下,單條 Spine 鏈路 down 後,ECMP 路徑集合縮小,流量快速重平衡。若使用 EVPN,MAC/IP 路由因 Leaf 重建而重新整理,收斂時間取決於 BGP 更新速度,通常亞秒到數秒。對於嚴苛的儲存或 HPC,部分方案採用硬體解除安裝的冗餘路徑(如 LAG 跨多 Spine,不適用於此拓撲)或基於埠通道的 MC-LAG 方案(但會破壞純 L3 設計),因而更傾向完全依靠 ECMP 路由。
典型 4-Spine / 8-Leaf 連線示意圖(ASCII):
Spine-1 Spine-2 Spine-3 Spine-4
| | | | | | | | | | | | | | | | (每個 Spine 連所有 Leaf)
|-+-+-+-||-+-+-+-||-+-+-+-||-+-+-+-|
Leaf1 Leaf2 ... Leaf8
|||||| |||||| ||||||
伺服器群 伺服器群 伺服器群
(每臺 Leaf 下行介面連伺服器,上行連所有 Spine)
技術演進史
- 傳統三層架構(2000s):接入-匯聚-核心,生成樹協議(STP)阻塞冗餘鏈路,頻寬利用率低,東西向流量需繞行核心,延遲高且擴充套件難。
- 大二層技術探索(2010 前後):TRILL、SPB、FabricPath 等試圖用 IS-IS 路由替代 STP,但仍遺留三層核心,架構複雜。
- Leaf-Spine with ECMP 崛起(2013 後):伴隨雲端資料中心爆發,Facebook、Google 等採用純 L3 資料中心設計(如公開的 Fabric Aggregator 設計)。ECMP 替代 STP,VXLAN 提供二層擴充套件,催生現代葉脊架構。
- VXLAN + EVPN 標準化(2015~2018):IETF RFC 7348 和 RFC 8365 等使多廠家互通成為可能,白盒交換器(Cumulus、SONiC 等)加速落地。
- AI 驅動的高效能 Fabric(2020 至今):NVIDIA Spectrum-X、Arista 等針對 RoCEv2 和 GPU 叢集最佳化緩衝區、擁塞控制、拓撲可重構。Rail-optimized 與 Dragonfly 等也在葉脊基礎上衍生,但邏輯仍保留全網格互聯核心。
技術路線對比(量化表)
| 特性 | Leaf-Spine 架構 | 傳統三層樹形 | 超大規模基於晶片的 Flat Network(如 Direct-Connect 網狀) |
|---|---|---|---|
| 跳數確定性 | 高(1~2 跳) | 低(可變,經過根) | 極高(通常單跳,但限於小規模) |
| 東西向頻寬擴充套件 | 線性增加 Spine | 受限於核心交換器容量與 STP | 基於片內交換,規模受限 |
| 故障域 | 單 Spine 失效僅降級 | 核心故障可能導致分割槽 | 單晶片失效影響全部節點 |
| 控制面協議 | BGP/OSPF + EVPN | 通常 RSTP/MSTP + VRRP | 自定義或簡單靜態 |
| 租戶隔離 | VRF/VXLAN 原生 | VLAN(4095 限制) | 物理隔離為主 |
| 運維複雜度 | 自動化需求高,標準化 | 手工配置較多 | 簡單,但無法彈性 |
| 典型適用規模 | 100~10k+ 伺服器 | 中小規模(<1000) | 單機框或小叢集(<64節點) |
| 硬體要求 | 中高密度交換器,支援 L3 到邊緣 | 中低端交換器 | 專用背板/晶片 |
上下游
上游(基礎設施供應)
- 交換晶片:Broadcom(Tomahawk/Trident系列)、Marvell(原Innovium)、NVIDIA(Spectrum)、Cisco(Silicon One)、Intel(Tofino)等。晶片能力(緩衝區大小、表項深度、VXLAN線速解除安裝)直接決定 Leaf-Spine 效能。
- 光模組與線纜:100G/400G 光模組(如 QSFP28、QSFP-DD、OSFP)及 DAC/AOC 線纜,影響密度與成本。
- 作業系統與軟體:商業 NOS(Arista EOS、Cisco NX-OS)與開源(SONiC、Cumulus Linux),為 EVPN、自動化提供支撐。
下游(使用者)
- 雲端服務商:AWS、Azure、Google 等內部網路大規模採用葉脊設計。
- 企業資料中心:金融機構、大型製造業通過 SDN 建置私有雲端 Leaf-Spine。
- AI/超算中心:GPU 叢集的典型互聯平面,常與 InfiniBand 結合或直接使用 RoCE 葉脊。
- 託管服務商(Colo):為多租戶提供網路可程式設計性。
關鍵指標
- 過載比(Oversubscription Ratio):下行總頻寬 ÷ 上行總頻寬。典型資料中心 3:1 至 1:1(無阻塞)。AI 叢集要求接近 1:1。
- ECMP 路徑數:即 Spine 數量。常見 4、8、16,更多有助於負載均衡但受限於交換器 ECMP 表項和路由字首限制。
- 埠頻寬進化:Leaf 下行 25/50/100GbE,上行 100/400GbE;Spine 統一 400/800GbE。具體數字隨各代交換晶片推出而演進 [未揭露具體代數,定性描述]。
- 時延:Leaf 到 Leaf 交換時延(不含伺服器網絡卡)一般在數微秒量級,受交換晶片轉發流水線及緩衝區佔用影響。對於 AI 可見亞微秒最佳化空間(如低延遲模式)。
- 緩衝區大小:以 MB 為單位,Spine 交換器常需深緩衝(如數十 MB)吸收多打一擁塞,Leaf 相對淺緩衝。
- VXLAN 隧道數/路由表規模:Leaf 需承載所有虛擬機器的 VTEP 資訊,硬體表項限制影響伺服器密度。
供需與市場資料
- 資料中心交換器市場:受雲端建設、AI 和流量增長推動,市場規模持續擴大。據第三方報告(如 Dell’Oro Group,具體數字未檢索),2025 年前後高速資料中心交換器埠以 100GbE 以上為主,400GbE 加速滲透。Leaf-Spine 架構佔據新建資料中心絕大部分份額。
- 白盒與品牌:白盒交換器(ODM 硬體 + 開源 OS)在大型雲端商中佔比提升,但品牌交換器(Arista、Cisco、Juniper)仍主導企業市場。雙方均以原生 EVPN-VXLAN 功能為賣點。
- 供需特徵:疫情後晶片供應緊張一度制約交換器交付,現已緩解。AI 叢集催生對高基數單晶片(51.2T、未來 102.4T 交換容量)的需求,此類晶片初期供應有限,領先廠商優先獲得。
- 注:具體數值因無法聯網檢索,無據可引,請參閱最新 Dell’Oro 或 IDC 交換網路追蹤報告。
代表公司與資本對映
- Arista Networks:Leaf-Spine 領域領軍者,EOS 系統基於單二進位制映象,精細化執行 EVPN、CloudVision 自動化,深度繫結超大規模雲端商與金融行業。其高階 R3 系列(如 7800R3)適合 Spine,7050/7280 系列適合 Leaf。公司營收持續高增長,資本市場給予高估值。
- Cisco:Nexus 9000 系列,支援 ACI(應用中心基礎設施)和標準 NX-OS 模式,晶片自研(Silicon One)逐漸代替 Broadcom,在園區網和資料中心融合場景有優勢。
- NVIDIA(原 Mellanox):Spectrum 系列交換器搭配自研 ASIC 和 Cumulus Linux/SONiC,專注高效能和 AI 網路(Spectrum-X),端到端支撐 GPU 直連。
- 白盒/ODM:廣達、英業達、智微等為大型雲端商代工,搭配開源 OS(如 Microsoft SONiC)佔領大規模部署,對傳統品牌形成價格衝擊。
- 初創與專注者:DriveNets(基於分散式路由架構,可與葉脊競賽)、Arrcus(軟體平台)等。
資本市場關注點:AI/ML 網路資本支出增速、Arista 在雲端巨頭中的份額變動、800G 交換器滲透率、晶片供應鏈國產化(中國廠商如盛科等)的替代機會。
投資邏輯
- 流量永不眠:影片、AI、雲端服務推動資料中心內部東西向流量每年複合增長 25%+(來源:行業估算)。葉脊架構的替換與升級是剛需。
- AI 訓練指向高頻寬 1:1 無阻塞:傳統 3:1 過載比不再適用,AI 叢集要求 Spine 與 Leaf 的埠數和頻寬大幅增加,拉動高階交換器 ASP(平均售價)和端口出貨量。
- 白盒與商業 OS 之爭:大型雲端商自研或白盒化壓低硬體價格,商業廠商通過軟體和服務差異化。掌握核心技術(如可程式設計轉發、智慧運維)的公司更容易形成產品黏性與服務營收。
- 供應鏈安全與國產替代:地緣政治影響推動中國本土交換晶片和整機發展,相關上市公司迎機遇,但需關注效能與生態成熟度。
- 風險提示:技術路線可能區域性偏移(如全晶片直連的 Rail-Only 叢集可能弱化 Spine 層角色),但整體 Leaf-Spine 範式仍在演變中強化;宏觀經濟影響雲端資本支出;高速光模組成本過高拖累普及。
常見誤讀糾偏
誤讀 1:“Leaf-Spine 內部連線必須用 L3,不能有 L2。”
糾正:核心是 Spine 之間不互連,且用路由替代生成樹。但 Leaf 下行可接 L2 伺服器,Spine 與 Leaf 間執行 L3 路由,疊加 VXLAN 在邏輯上提供 L2 域擴充套件。這被稱為“L3 Spine, L2 Overlay”,並非純 L3。
誤讀 2:“Spine 數量必須等於 Leaf 上行埠數,拓撲完全對稱。”
糾正:對稱是推薦最佳實踐(簡化規劃和頻寬預測),但技術上可不對稱。例如某 Leaf 只連部分 Spine(用於頻寬分級),或 Spine 埠速率與 Leaf 上行不一致(如 Leaf 上聯 100G,Spine 埠 400G,需拆分或埠通道)。設計時需確保頻寬模型不產生瓶頸。
誤讀 3:“Leaf-Spine 就是 Clos 網路。”
糾正:嚴格 Clos 網路的多級交換結構(如三級 Clos)用於電信領域無阻塞交換。葉脊是摺疊 Clos(Folded Clos)在資料中心的特化版本,通常為兩級,可級聯為三級。一般稱葉脊為 Clos 網路之一種,但並非完全等同。
學習路徑
- 基礎網路:理解 L2 交換、VLAN、生成樹、IP 路由(OSPF/BGP 基礎)。
- 資料中心網路概念:學習 VXLAN(RFC 7348)、EVPN(RFC 8365)、ECMP、Overlay/Underlay 定義。
- Leaf-Spine 部署例項:Cisco 的 “Data Center Spine-Leaf Architecture”、Arista 設計指南、Microsoft Azure 網路方案白皮書。
- 自動化與配置:通過模擬器(EVE-NG、GNS3)搭建小型 Leaf-Spine(4 Leaf + 2 Spine),練習 BGP EVPN 配置和 VXLAN 抓包。
- 進階 AI 網路:研究 NVIDIA Spectrum-X 白皮書、RoCEv2 擁塞控制、DCQCN 演算法、AI cluster 對網路的特殊需求。
- 參與社群與標準:OCP(開放計算專案)Networking 組、IETF NVO3 工作組相關郵件列表。
一句話總結
Leaf-Spine 是拆牆者:通過全網狀路由打破生成樹的封鎖,讓資料中心網路擁有水平擴充套件的無限頻寬通道與確定性延遲,成為雲端運算與 AI 叢集的主動脈。
延伸閱讀與來源
- IETF RFC 7348:Virtual eXtensible Local Area Network (VXLAN)
- IETF RFC 8365:A Network Virtualization Overlay Solution using EVPN
- Arista Data Center Design Guide(Arista 官網可下載,包含 Leaf-Spine 與 EVPN 最佳實踐)
- Cisco Validated Design:Data Center Spine-and-Leaf Architecture
- Facebook Data Center Fabric:公開論文 “Engineering a Data Center Fabric” 描述其架構思想
- NSDI 等頂會論文:如 Conga、HULL 等資料中心流量排程研究
- 由於檢索失敗,未能獲取最新市場資料,具體型號和數字請查閱 Dell’Oro Group 資料中心交換報告、LightCounting 光模組市場預測,以及各大廠商季度財報。