Fat-tree
1 3 秒看懂
Fat‑tree（胖樹）是一種向上匯聚頻寬等比例放大的樹狀網路拓撲。從葉子節點（接入層）到根節點（核心層），鏈路數目或頻寬逐級增寬，如同樹幹越往上越粗。在 AI 訓練叢集中，數千張 GPU 頻繁執行 AllReduce 等集合通訊操作，胖樹通過提供 1:1 的對分頻寬，保證任意兩兩 GPU 之間始終存在未擁塞的端到端路徑，使網路不再成為算力的瓶頸。
一句話：樹越往上頻寬越寬，全網對分頻寬可達線速，是萬卡級 GPU 叢集的黃金互連架構。
2 3 分鐘產業解釋
大型模型訓練要求數百至數萬顆加速器在每一步迭代中交換梯度或中間結果。如果採用普通樹形結構，根節點附近的鏈路會成為嚴重瓶頸。Fat‑tree 在後端交換層級之間按“全連線”方式增加橫向鏈路，使任意葉子節點間可獲得與單埠速率匹配的總頻寬。該思想源自 Clos 多級交換理論，經過 Charles Leiserson 在 1985 年形式化後，歷經超算、雲端資料中心，最終在 AI 算力叢集中得到大規模部署。
產業落地的典型特徵
- 兩層或三層胖樹（葉‑脊‑核心）是無阻塞網路的主流實現，葉脊可視為二層胖樹。
- 每個層級使用相同基數的交換器，通過全互連實現頻寬線性擴充套件。
- 硬體普遍採用 InfiniBand（IB）交換器或支援乙太網路的高基數交換器，配合多路徑負載均衡（如 ECMP、自適應路由）。
- 萬卡級別的 AI 訓練叢集幾乎全部採用胖樹或基於胖樹改進的拓撲，以確保通訊不成為擴充套件瓶頸。
為什麼胖樹與 AI 強繫結 分散式訓練中的 AllReduce、ReduceScatter、AllGather 等操作需要極高的網路對分頻寬（bisection bandwidth）。胖樹天然提供 1:1 的無阻塞對分頻寬，使得通訊時間主要由資料量與節點數決定，而非拓撲過載。相比之下，其他拓撲（如環、3D Torus）在同等埠速率下對分頻寬不足，限制了大規模並行訓練的線性加速比。
3 技術原理
3.1 拓撲的數學抽象
Fat‑tree 可看作一棵 k‑ary 樹，每個交換節點擁有相同數量的下行埠，但上行埠數隨層級增加而增加。典型的建置規則：
- 葉子交換器（接入層）用一半埠連線計算節點，另一半埠連線脊交換器。
- 脊交換器與核心交換器依據全連線規則佈線，確保任意兩個葉子交換器之間存在多條並行路徑，且路徑數與上行鏈路頻寬成正比。
3.2 無阻塞條件與對分頻寬
Clos 網路理論表明：若上行鏈路數 m ≥ 下行鏈路數 n，則網路可無阻塞交換。胖樹將此條件遞迴應用到每個層級：每個交換器的上行頻寬等於下行頻寬。對於整個網路，任意傳送‑接收節點對之間總能找到一條不與其它衝突的路徑，全網對分頻寬等於所有葉節點邊緣埠總頻寬的一半，即理論最大值。
三層胖樹拓撲示意
[核心交換器群] ← 上行頻寬 = 脊交換器總下行頻寬
‖ (每脊交換器連線所有核心)
[脊交換器群] ← 上行頻寬 = 葉子交換器總下行頻寬
‖ (每葉子連線所有脊)
[葉子交換器] ← 下行頻寬 = 節點埠頻寬 × 節點數
‖ (節點接入)
[GPU/CPU 節點]3.3 路由與負載均衡
胖樹中的多路徑特性需要高效的負載分擔機制。常見方案：
- InfiniBand 的自適應路由，基於源路由或交換晶片內的即時負載感知動態選擇路徑。
- RoCEv2 網路的 ECMP（等價多路徑）或逐包噴灑，通過雜湊或輪詢將流分散到多條上行鏈路。
- 高階實現結合 DCTCP、QoS 標記或源路由策略，避免雜湊極化和微突發導致區域性過載，使全網鏈路利用率接近均一。
3.4 在 AI 訓練叢集中的表現
AI 訓練通訊模式呈現“all‑to‑all”“ring‑like”等特徵。依託胖樹：
- 環或樹演算法跨交換器鏈路不會過載；
- 任意兩 GPU 間線速頻寬的假設成立，使集合通訊的理論下界（如 AllReduce 的 2(N‑1)/N × data / BW）得以落地；
- 結合 SHARP 等在網計算技術，胖樹上的匯聚操作可在交換器內部完成，減少資料移動量，進一步縮短通訊時間。
4 關鍵引數
| 引數 | 說明 | 典型取值/範圍 | 備註 |
|---|---|---|---|
| 埠速率 | 單個物理鏈路的單向頻寬 | 200Gb/s、400Gb/s、800Gb/s（2025 年） | 隨加速器介面升級，下一代向 1.6Tb/s 演進 |
| 超額訂閱比（Oversubscription ratio） | 下行總頻寬 / 上行總頻寬 | 理想胖樹 1:1；實際成本敏感場景可放寬至 2:1 或 3:1 | 比值越高，網路越容易擁塞 |
| 對分頻寬（Bisection bandwidth） | 網路被切割為兩半時跨界的總頻寬 | 理想胖樹 = (所有節點接入頻寬總和) / 2 | 衡量集合通訊容量的核心指標 |
| 跳數（Hop count） | 任意兩節點間經過的交換次數 | 三層胖樹典型 5 跳（葉→脊→核心→脊→葉） | 每跳延遲約數百納秒，對尾延遲影響小 |
| 收斂比 | 同一層級上行總頻寬與下行總頻寬之比 | 1:1（無阻塞）；部署中常見 2:1~4:1 | 直接影響吞吐和尾延遲 |
| 交換基數（Switch radix） | 單個交換器的埠數量 | 64、128、256 埠（基於 400G/800G 速率） | 高基數交換器可減少層級和光模組數量 |
| 有效吞吐 / AllReduce 頻寬利用率 | 實測 AllReduce 頻寬佔端點理論峰值的比例 | 典型最佳化後可達 85%–95% | 反映路由、擁塞控制與拓撲的綜合健康 |
資料來源：NVIDIA 網路設計指南及公開 AI 叢集技術論文；具體產品引數以各廠商最新資料表為準。
5 技術路線
5.1 胖樹的演進階段
- 理論奠基（1985）：Leiserson 提出胖樹，證明其可模擬任意通訊模式，適用於大規模平行計算。
- HPC 時代（1990‑2000s）：用於 CM‑5 等超算；InfiniBand 交換器採用多級 Clos 架構，本質為胖樹實現。
- 雲端資料中心（2010s）：葉脊架構成為主流，是一種二層胖樹，支援橫向擴充套件和 SDN 聯動。
- AI 萬卡叢集（2020s‑至今）：胖樹成為千卡至萬卡 GPU 叢集的標配。NVIDIA 的 Quantum InfiniBand 和 Spectrum‑X 乙太網路均基於胖樹，配合在網計算、自適應路由，將尾延遲降至微秒級。
5.2 與其他拓撲的量化對比
| 拓撲 | 對分頻寬 | 相對成本 | 路由複雜性 | 擴充套件性 | AI 訓練適用度 |
|---|---|---|---|---|---|
| 胖樹 (Fat‑tree) | 可達 1:1 無阻塞 | 中‑高（交換器/光模組數量多） | 需多路徑均衡 | 良好（增層級線性擴充套件） | 極高 |
| 3D Torus | 維度相關，對小訊息較優 | 較低（僅相鄰互連） | 需自適應路由繞開壞點 | 受維度及物理佈線限制 | 中（部分定製超算） |
| 蜻蜓 (Dragonfly+) | 高，但可能受限於組內匹配 | 較低（減少全域性連線） | 複雜，需間接自適應路由 | 優秀，但調優門檻高 | 較高（下一代潛在方向） |
| 全連線 (Full mesh) | 理論上最高 | 極高 O(N²)，僅極小規模可承受 | 簡單 | 極差 | 低（僅用於 4‑8 GPU 直連） |
| 環 (Ring) | 極低 O(1/N) | 最低 | 簡單 | 節點數大時延遲線性增加 | 低（大型模型訓練已漸少用） |
注：以上為定性比較，具體表現取決於埠速率、交換器選型和通訊模式。
5.3 當前主流技術路線分野
- InfiniBand 胖樹：NVIDIA Quantum 系列，預置自適應路由、SHARP 在網計算及硬體級擁塞控制，生態封閉但效能極致。
- 乙太網路胖樹：NVIDIA Spectrum‑X、博通 Tomahawk 晶片 + Arista/思科/白盒交換器，藉助 RoCEv2 及最佳化協議棧提供開放選擇，近年湧現智慧網絡卡和 UEC（超乙太網路聯盟）規範。
- 定製矽與自研胖樹：雲端巨頭（Google、Meta、Amazon）基於自研或定製晶片建置大規模胖樹，配合自研路由、集中的流量工程，追求成本與效能平衡。
6 上游
胖樹網路硬體與軟體的上游供應鏈包括：
- 交換晶片：博通（Tomahawk/Trident 系列）、輝達（Spectrum 系列、Quantum 系列 InfiniBand 晶片）、思科（定製化 ASIC）及初創公司（如新思科技部分產品）。交換晶片的埠基數、緩衝大小及自適應路由功能直接決定胖樹的埠密度和負載均衡能力。
- 高速物理層與光模組：中際旭創、Coherent、Lumentum、Finisar（II‑VI/Coherent）、光迅等廠商提供 400G/800G FR4、SR8 等光模組，以及 DAC/AOC 線纜。每一層胖樹全連線需大量光模組，叢集規模擴大時，光模組成本佔網絡總成本的比例超過 50%（來源：行業調研及供應鏈公開資訊）。
- 聯結器與電纜：安費諾（Amphenol）、泰科（TE）、Molex 提供背板聯結器、高速銅纜及光纖連線方案，機櫃內短距互聯及櫃間長距互聯均需匹配速率升級。
- 網路作業系統與協議棧：NVIDIA Cumulus/Linux Switch、Arista EOS、Cisco NX‑OS，以及開源 SONiC 等提供多路徑路由、QoS、網路遙測功能，支撐胖樹的高效運維。
- 網絡卡與智慧加速：NVIDIA ConnectX‑7/8 系列（InfiniBand 和乙太網路）、英特爾 IPU、AMD Pensando 等，實現硬體解除安裝傳輸協議、在網計算和資料壓縮。
來源：各公司產品公開資料及產業鏈訪談；具體份額屬於非公開競爭資料。
7 下游
- AI 訓練/推論叢集：以 NVIDIA H100/H200/B200 為加速器的叢集廣泛採用胖樹組網。NVIDIA SuperPOD 參考架構即基於 Quantum‑2 IB 或 Spectrum‑X 胖樹，支援數百至數萬張 GPU。大型模型推論開始出現張量並行、流水線並行等多 GPU 協同，叢集網路複雜度攀升，帶動中端胖樹需求增長。
- 超大規模雲端服務商：AWS（EFA 底層為胖樹）、Microsoft Azure、Google Cloud（Jupiter 網路採用胖樹架構）及國內雲端廠商均使用胖樹或改進型胖樹支援 AI 例項。
- HPC 系統：Top500 中多數系統採用 InfiniBand 或乙太網路胖樹，支援傳統模擬與 AI 混合負載。
- 企業級 AI 平台：金融、自動駕駛、生物製藥等垂直行業自建中大規模 AI 叢集，多采用二層或三層胖樹方案。
8 受益公司
以下按產業鏈環節列出與胖樹高度相關的上市公司及其業務關聯（僅作產業分析，不構成投資建議）：
| 環節 | 代表公司 | 與胖樹的業務關係 |
|---|---|---|
| 交換晶片 | 博通 (Broadcom, AVGO) | Tomahawk 系列高基數晶片廣泛應用於乙太網路胖樹交換器；Trident 用於中端方案 |
| 交換晶片與系統 | 輝達 (NVIDIA, NVDA) | Quantum InfiniBand 交換器及 Spectrum‑X 乙太網路交換器，提供端到端胖樹方案，並整合 ConnectX 網絡卡 |
| 交換器整機 | Arista Networks (ANET) | 採用博通晶片提供高密度胖樹交換器，面向雲端和 AI 客戶，支援 EOS 多路徑和遙測 |
| 交換器整機 | 思科 (Cisco, CSCO) | Nexus 系列交換器建置胖樹，支援 ECMP 和 SDN 策略，部分採用自研 ASIC |
| 光模組 | 中際旭創 (300308.SZ) | 400G/800G 光模組主要供應商，直接受益於胖樹多層級全互聯所驅動的光模組數量增長 |
| 光模組 | Coherent Corp. (COHR) | 提供 800G 光模組/器件，為雲端和 AI 胖樹網路提供物理層互聯 |
| 高速聯結器/線纜 | 安費諾 (Amphenol, APH) | 提供機櫃內 DAC/高速聯結器，隨胖樹節點規模擴張而增長 |
| 雲端服務商 | Microsoft、Amazon、Google | 自研或深度定製胖樹架構，帶動定製交換器、光模組和路由軟體的需求 |
| 雲端服務商 | Meta Platforms (META) | 公開的 F16 資料中心網路採用基於博通晶片的胖樹設計，共享設計細節推動開放生態 |
注：所列公司僅作產業分析，不涉及估值或個股評價。
9 市場規模
AI 胖樹網路所關聯的交換晶片、高速交換器、光模組市場正經歷高速增長，但具體市場規模的量化預測因統計口徑、覆蓋範圍不同而存在較大差異。公開資料未見單一權威口徑的統一資料，但多家第三方機構的報告摘要均指向高速擴張趨勢：
- 光模組：LightCounting 在 2024 年底的報告中指出，AI 叢集驅動 800G 光模組需求爆發，2024 年總出貨量年增率增長超過 100%，並預計 2026 年後 1.6T 光模組開始上量（來源：LightCounting 公開摘要）。
- AI 後端網路交換裝置：Dell’Oro Group 於 2024 年 7 月釋出的《AI Networks for AI Workloads》報告預計，至 2028 年 AI 後端網路交換器支出將保持每年兩位數的增速，其中高速乙太網路與 InfiniBand 端口出貨量均會快速提升（具體數值需參閱全本報告）。
- 整體資料中心網路裝置：650 Group、Omdia 等機構的預測表明，資料中心交換市場受益於 AI 工作負載，將由 2023 年的不到 200 億美元增長至 2028 年的超過 300 億美元（來源：650 Group 2024 年新聞稿）。在該總量中，採用胖樹拓撲的高基數、高頻寬交換器佔比將持續擴大。
- 光互連價值量：每一條胖樹層間全連線鏈路對應一組光模組，光模組成本約佔 AI 後端網路總成本的 50%~60%。因此光模組市場走勢可視為胖樹滲透的直接代理指標。
提示：上述引用均為公開可查的第三方摘要資訊，並非完整報告資料，讀者如需精確數值應訂閱對應研究機構的完整資料。
10 玩家對比
10.1 InfiniBand 胖樹 vs 乙太網路胖樹
| 維度 | InfiniBand 胖樹 (Quantum 系列) | 乙太網路胖樹 (Spectrum‑X / 博通 + 第三方交換器) |
|---|---|---|
| 協議與生態 | 專有 IB 協議，端到端封閉生態，需 NVIDIA 網絡卡與交換器配合 | 標準乙太網路 + RoCEv2，可跨廠商互操作，生態更開放 |
| 自適應路由 | 硬體級，基於源路由和交換晶片動態排序，抗擁塞極強 | Spectrum‑X 支援自適應路由與動態選路；博通交換器多依賴 ECMP/逐包噴灑，需更精細調優 |
| 在網計算 | SHARP 加速 AllReduce、Barrier 等，成熟且廣泛部署 | 較晚起步，NVIDIA Spectrum‑X 支援 SHARP‑over‑Ethernet；其餘廠家仍處早期 |
| 典型大規模部署 | 萬卡級以上訓練叢集（如 NVIDIA Eos、多客戶超算） | 數千卡至萬卡級，雲端商大量使用（Google Jupiter、Meta F16） |
| 成本 | 封閉生態、許可和專用硬體，單位頻寬成本較高 | 採用通用晶片和多供應商競爭，單位成本相對較低，但最佳化運維投入增加 |
| 應用場景 | 極致效能、大規模集合通訊最佳化的 AI 訓練 | 兼顧 AI 訓練與通用雲端工作負載，適合需要靈活排程的雲端環境 |
10.2 自研胖樹玩家
- Google Jupiter：採用自研光電路交換與胖樹結合，支援大規模資料中心，論文發表於 SIGCOMM 2022，實現了頻寬彈性分配。
- Meta F16：基於博通 Tomahawk 晶片的胖樹設計，使用定製路由演算法和聚合通訊庫最佳化，公開分享設計細節，降低行業門檻。
- AWS EFA：底層使用胖樹結構，配合 SRD 傳輸協議（自研多路徑可靠傳輸），提供低延遲高吞吐，支援數十萬核的 MPI 作業。
各方案的具體效能資料以各企業官方技術白皮書為準。
11 風險
- 拓撲替代風險：超乙太網路聯盟（Ultra Ethernet Consortium）正在推進基於信用的流排程、動態多路徑和智慧擁塞控制，未來可能簡化胖樹收斂比要求或部分替代胖樹的嚴格無阻塞設計。下一代蜻蜓（Dragonfly+）等拓撲若能在成本和擴充套件性上突破，可能在高階交換器層級挑戰胖樹地位。
- 供應鏈與產能瓶頸：高階交換晶片（如 51.2T 以上）和 800G/1.6T 光模組目前由少數供應商掌握，產能爬坡速度和地緣政治擾動可能限制胖樹建設的速度和成本。
- 成本敏感性引發收斂比妥協：一些企業在建設萬卡叢集時為節省光模組和交換器成本，提高超額訂閱比（如 3:1 或更高），導致對分頻寬不足，在實際訓練負載下出現通訊瓶頸，影響 GPU 利用率。
- 運營複雜性：胖樹的多路徑、多層級和大量光鏈路使得故障定位和效能除錯極為複雜，需要高水平網路遙測和自動化工具，否則容易發生不可預計的擁塞黑洞。
- 客戶自研趨勢：超大規模雲端商和頭部 AI 企業積極自研或深度定製交換器與路由協議，可能減少對傳統交換器廠商的採購，改變產業鏈獲利分配格局。
12 誤讀糾偏
-
“胖樹就是葉脊架構”
葉脊是胖樹的一種扁平化實現（通常為兩層），但胖樹可以有三層或更多。葉脊不一定保證 1:1 收斂比，而嚴格定義的胖樹要求每個層級上行頻寬等於下行頻寬。二者有交叉，但不等同。 -
“胖樹會使延遲顯著高於其他拓撲”
胖樹跳數略多（三層約 5 跳），但每跳延遲僅百納秒級。對於大訊息，總延遲主要由序列化延遲決定，胖樹提供的無阻塞特性通常使尾延遲優於低跳數但易擁塞的拓撲。 -
“胖樹只用於 InfiniBand”
胖樹是拓撲概念，與物理層協議無關。RoCEv2 乙太網路同樣可以建置胖樹，NVIDIA Spectrum‑X、Google Jupiter 等均是乙太網路胖樹的典型例項。 -
“無阻塞胖樹意味著所有 GPU 隨時可無丟包滿速通訊”
無阻塞僅保證任意傳送‑接收對之間有可達頻寬，不保證所有節點同時隨機突發線速傳送時絕對零丟包。微突發、緩衝區限制可能導致瞬時擁塞，仍需流量控制、ECN/PFC 和負載均衡協同來保證整體有效吞吐。
13 最新事件
- NVIDIA Spectrum‑X 光子互連展示（2025 年 GTC）：NVIDIA 預覽了將光路交換與胖樹融合的下一代方案，旨在降低胖樹全連線所需的光模組數量和功耗，但尚未進入批次部署（來源：NVIDIA GTC 2025 主題演講）。
- Ultra Ethernet Consortium 1.0 規範釋出：2024 年下旬，UEC 釋出了基於乙太網路的下一代傳輸協議規範，目標是在保持開放生態的同時實現與 InfiniBand 相抗衡的效能，可能影響未來胖樹的實現方式和部署比例。
- Meta 開源 F16 網路設計：Meta 在 2024 年通過工程部落格詳細介紹了 F16 胖樹網路的拓撲、路由演算法和聚合通訊最佳化，為行業提供了基於博通晶片的大規模乙太網路胖樹參考實現。
- Google Jupiter 演進：Google 在 2024 年的網路研討會上分享了 Jupiter 的下一步演進方向，包括在胖樹中引入動態拓撲調整和電路交換，以匹配多租戶 AI 負載的波動。
- 800G 光模組規模出貨：多家光模組廠商 2024 年報及 2025 年一季度展望顯示，800G 光模組出貨量季增率持續攀升，主要驅動力為 AI 胖樹網路的全互聯升級，1.6T 產品樣品的送樣進度符合預期（來源：中際旭創、Coherent 2024 年業績說明會摘要）。
以上事件均來自公開新聞報道或公司官方揭露，不代表對未來的任何預測或投資建議。
14 追蹤指標
若希望持續瞭解胖樹在 AI 網路中的應用狀況，可追蹤以下量化或定性指標：
- AI 叢集 AllReduce 頻寬利用率：公開的 MLPerf 結果或雲端商部落格中給出的通訊效率資料，可反映胖樹設計與調優的成熟度。
- 高速光模組季度出貨量：LightCounting、Omdia 等機構定期釋出 400G/800G/1.6T 光模組出貨與營收資料，間接對映胖樹部署節奏。
- 交換晶片與交換器埠滲透率：Dell’Oro 對 200Gb/s 以上埠的統計，以及 51.2T 交換晶片的匯入進度，反映高基數胖樹建設趨勢。
- 雲端服務商資本支出（CAPEX）展望：Microsoft、Meta、Amazon、Google 的資本支出中用於網路基礎設施的部分，結合 GPU 採購量，可估算後端網路投資強度。
- UEC 進展及關鍵協議採納：追蹤 UEC 成員的新產品釋出及規範版本進展，評估乙太網路胖樹的競爭力變化。
- NVIDIA 網路營收結構：NVIDIA 財報中網路業務（包括 InfiniBand 和乙太網路交換器）的營收與增速，體現胖樹方案的商業動能。
- 故障恢復與負載均衡效能：學術會議（如 SIGCOMM、NSDI）中釋出的超大規模 AI 網路測量論文，提供胖樹在生產環境中的真實表現（鏈路利用率分佈、故障恢復時間等）。
15 信源
- Leiserson, C. E. (1985). Fat-trees: Universal networks for hardware-efficient supercomputing. IEEE Transactions on Computers.
- NVIDIA. InfiniBand Fabric Design for AI Clusters – 官方參考架構文件（網路設計指南，2023‑2025 版）。
- Google. Jupiter Rising: A Decade of Clos Topologies and Centralized Control in Google’s Datacenter Network (SIGCOMM 2015)；Jupiter Evolving: Transforming Google’s Datacenter Network (SIGCOMM 2022)。
- Arista Networks. Scale-Out Cloud Networks: A Guide to Leaf-Spine and Fat-Tree Architectures – 白皮書。
- Meta Engineering Blog. F16: A modular network architecture for AI training (2024).
- Ultra Ethernet Consortium. Ultra Ethernet Specification 1.0 – 公開概覽 (2024)。
- LightCounting. High-Speed Optical Transceiver Market Reports (2024‑2025 摘要)。
- Dell’Oro Group. AI Networks for AI Workloads Report (2024 年 7 月新聞稿)。
- 650 Group. Data Center Switch Market Forecast (2024 年公開摘要)。
- 中際旭創、Coherent 等公司財報及業績說明會公開紀要（2024‑2025）。
- NVIDIA GTC 2025 主題演講內容（官網公開記錄）。
免責宣告：本文為通用技術介紹與產業分析，不含非公開商業細節。所有公司名稱、產品引數以官方最新資料為準。文中不構成任何投資建議，讀者根據文內資訊做出的投資決策自負盈虧。