Fabric
1. 3 秒看懂
Fabric，在資料中心與 AI 算力叢集的語境中，指的是 網路矩陣——一種由 Spine（脊）與 Leaf（葉）交換器編織而成、扁平化、全互聯的高速通訊架構。它的存在意義只有一個：“讓每一塊 GPU/CPU 說話時，其他所有單元幾乎在同一瞬間聽到，並且沒有瓶頸”。你可以把它想像成支撐千卡、萬卡乃至十萬卡叢集的“神經系統”：頻寬即氧氣，尾延遲即心跳，任何一條鏈路的微秒級抖動都會被數百張加速卡同步等待放大為巨大的效率損失。
2. 3 分鐘產業解釋
傳統三層樹形網路的工作方式類似公司科層制——伺服器→接入交換器→匯聚交換器→核心交換器，跨層通訊必須逐級上報、轉發，層數越多延遲越不可預測，頂層頻寬極易堵塞。Network Fabric 用 “Spine‑Leaf 兩階編織” 打破這一困局：每一個 Leaf（接入交換器）連線所有 Spine（脊交換器），任一 Leaf 到另一 Leaf 只需經過一臺 Spine，永遠只有兩跳。這讓資料中心內部的通訊從“樹”變成了“粗網格布”，獲得了三個決定性的產業收益：
- 延遲均一化與可預測：任意伺服器對之間的延遲趨近常數，這對 AI 分散式訓練中 AllReduce 同步操作至為關鍵——幾百張 GPU 同時等待最後一個結果，尾部延遲即整體效率。
- 頻寬無阻塞與彈性：通過 ECMP（等價多路徑）等機制將資料流均勻雜湊到多條 Spine 鏈路上，實現近似無收斂的吞吐。增加 Spine 就能線性抬升全網總頻寬，增加 Leaf 即可直接擴容接入埠，不必推翻基礎拓撲。
- 故障韌性：單臺 Spine 故障只會按比例削減上行頻寬，不會造成區域隔離；配合快速路由收斂，長期執行的訓練任務得以免於災難性中斷。
在 AI 產業鏈中，Fabric 的效能直接等同於分散式訓練線性加速比的“乘法系數”。業界實踐表明，當網路尾延遲惡化 1 μs，千卡叢集的有效算力利用可能損失若干百分點——這就是為什麼頭部雲端服務商和 AI 實驗室競相將 Fabric 升級到 400G/800G，並探索超乙太網路聯盟 (UEC) 等下一代協議。
3. 技術原理
3.1 基礎拓撲：Spine‑Leaf 與 Clos 架構
以二層 Clos 為例：
Spine-1 Spine-2 ... Spine-m
| \ / | \ / |
| \ / | \ / |
| \ / | \ / |
Leaf-1 Leaf-2 ... Leaf-n
| | |
伺服器組 伺服器組 伺服器組- 每個 Leaf 有 m 條上行鏈路，分別連線至所有 m 臺 Spine，Leaf 下行埠總和為 U，上行頻寬總和為 D。收斂比定義為 U/D。若 D=U，則為 1:1 無收斂；若 D<U，則為有超額認購。
- 路由協議（通常是 BGP 或某種鏈路狀態協議替換）將每個 Leaf 的字首通過等價多路徑 (ECMP) 或加權等價多路徑 (WCMP) 分發到所有 Spine，使流在可用 Spine 間均勻雜湊。
- 故障域特徵：任意 Spine 節點失效後，Leaf 仍可通過剩餘 Spine 轉發，只損失對應比例的上行頻寬。
在超大叢集中，Fabric 可進一步擴充套件為多階 Clos 或 DragonFly、Torus 等拓撲，以適應數十萬節點的規模。
3.2 端到端通訊棧：RDMA 與擁塞控制
分散式訓練依賴 GPU 間直接記憶體訪問 (RDMA)，目前 RoCEv2（RDMA over Converged Ethernet）是 AI Fabric 中使用最廣泛的協議。RoCEv2 需構造邏輯上的“無損”網路，由以下機制協同達成：
- ECN 標記與 CNP 通知：當交換器出口佇列超過閾值（如 ECN 標記閾值為緩衝區深度的 1/4~1/3），IP 頭部中 ECN（顯式擁塞通知）位會被置位。接收端收到擁塞標記後，向傳送端回傳 CNP（擁塞通知包），指示降速。
- 傳送端速率調節：傳送方收到 CNP 後立即降低注入流量速率（如降至當前速率的 1/2），隨後在無 CNP 期間按步長逐步恢復。這種機制類似汽車自適應巡航——慢下來防止追尾，前方通暢再加速。
- PFC（優先順序流控）：為防止緩衝區溢位導致丟包，交換器可對特定優先順序的上游裝置傳送暫停幀。然而，若 PFC 觸發不當，會形成“擁塞樹”，把某個埠的阻塞擴散至無關流，誘發 PFC 風暴，惡化全網效能。
- 負載分擔與自適應路由：傳統 ECMP 按流雜湊，流衝突時可能部分 Spine 過載。改進方案包括 flowlet（微流）粒度切換、基於動態負載的自適應路由，甚至在交換器內實現包級噴灑（packet spraying）以平滑負載。
3.3 SDN 與遙測使能
現代 Fabric 多搭配 SDN 控制器，實現拓撲自動發現、策略指令碼下發、動態負載均衡。加上高精度網路遙測（INT – In-band Network Telemetry），運維者可即時獲取每跳的佇列長度、延遲和丟包，將 AI 訓練的集體通訊行為與底層網路狀態關聯，快速定位“木桶效應”中的短板鏈路。
4. 關鍵引數
| 引數 | 定義與意義 | 典型值/範圍（截至 2024–2025 行業資料） | 來源/口徑 |
|---|---|---|---|
| 埠速率 | 物理層頻寬，決定單鏈路吞吐上界 | 100GE / 200GE / 400GE / 800GE；1.6T 處於預研階段 | 乙太網路聯盟、OIF 規範 |
| 收斂比 | Leaf 下行總頻寬 ÷ 上行總頻寬，表示超額認購程度 | AI 訓練叢集通常 1:1 無收斂；通用雲端可 2:1 到 3:1 | 網路設計白皮書、雲端服務商分享 |
| 跳數 | 任意兩計算節點間交換器跳數 | Spine‑Leaf 規模下通常 2 跳；多階 Clos 可至 4 跳 | 架構原理，公開演講 |
| 尾延遲 (P99.9 RTT) | 99.9% 往返時間，反映最差同步步調的“木桶短板” | 輕負載下 <10 μs；擁塞時可能惡化至數十 μs | NCCL/RCCL 整合測試、使用者報告 |
| SerDes 速率 | 交換晶片內部序列/解串通道速率，與端頭速率匹配 | 112 Gbps PAM4 (對應 400G/800G)；224 Gbps PAM4 在 1.6T 中 | Broadcom、NVIDIA 等產品規格 |
| 緩衝區 (Buffer) | 單埠或全域性資料包快取容量，直接影響吸收微突發擁塞的能力 | 通常每 100G 埠 32~64 MB 共享快取；具體架構差異大 | 交換晶片手冊 |
| 埠密度 (Leaf) | 單臺 Leaf 交換器可接入的最大伺服器/GPU 數量 | 32 / 64 個 400G 埠；或 64 個 200G 埠 | 主流交換器廠商資料 |
| 功耗 / 每位元 | 每傳輸 1 位元所需能耗，影響十萬卡叢集的電力可行性與散熱 | 800G 光模組約 15~18 W；共封裝光學有望降至 <10 pJ/bit | 光模組廠商、OIF、學術界預測 |
| 收斂時間 | 鏈路/節點故障後路由恢復穩定時間 | 亞毫秒到幾毫秒，取決於 BGP 實施方案或 RIFT/Fast Convergence | 雲端服務商網路設計論文、廠商測試 |
說明：上表中部分數值因具體部署規模、裝置選型和軟體版本存在差異，所列為產業界公開交流中通常引用的區間或典型值。
5. 技術路線
5.1 代際演進
| 階段 | 代表架構 | 網路特徵 | 關鍵痛點 |
|---|---|---|---|
| 傳統三層樹形 | 接入‑匯聚‑核心 | 收斂比高，垂直瓶頸，延遲逐層累加 | 東西向流量壓垮核心，無法支援大規模平行計算 |
| Spine‑Leaf 乙太網路 | 二層 Clos (BGP/RIFT) | 扁平化，一跳直達，ECMP 多路徑，標準化乙太網路生態 | 需精細擁塞控制，雜湊衝突可能降低有效頻寬 |
| 高基數交換晶片 | 128~256 埠 ASIC (如 Tomahawk 5, Spectrum‑4) | 減少層級，單晶片組網可達 32K 以上節點 | 對功耗、散熱和封裝提出高要求 |
| 400G/800G + 矽光 | 51.2T / 102.4T 交換晶片 + 矽光共封裝 (CPO) | 埠速率與能效同步提升，互聯密度劇增 | CPO 良率、標準化、可維護性挑戰 |
| 智慧 Fabric (AI Ops) | SDN 遙測 + 預測性路徑最佳化 + 包噴灑 | 近零丟包、自愈、最佳化尾延遲 | 系統複雜性增加，跨廠商互操作性需驗證 |
5.2 主流路線對比
| 維度 | Spine‑Leaf 乙太網路 Fabric (RoCEv2) | 傳統樹形網路 | 節點內/機櫃內高頻寬互聯 (NVLink/Infinity Fabric) |
|---|---|---|---|
| 拓撲層級 | 2 層 | 3 層及以上 | 單級交換或直連，無跨機架多跳 |
| 端到端延遲 | 低（兩跳） | 中低，多級儲存轉發 | 極低（<1 μs），物理距離極短 |
| 擴充套件方式 | 增 Spine 提高頻寬，增 Leaf 擴充套件接入，彈性強 | 核心/匯聚需升級，擴充套件不夠平滑 | 依賴 NVSwitch 背板/電纜，物理規模受限 |
| 收斂比 | 可設計為 1:1 無收斂 | 常為高收斂（如 3:1 以上） | 幾乎無收斂 |
| 多路徑與擁塞控制 | ECMP + DCQCN；新興 UEC 引入噴灑與自適應路由 | 依賴生成樹或多例項，靈活性低 | 廠商專用協議，擁塞控制內建 |
| 標準化程度 | 高，基於乙太網路/IP 大生態，UEC 在推進開放標準 | 高（傳統協議） | 低，完全私有 |
| 典型應用場景 | 通用雲端、萬卡以上 GPU 叢集、HPC/AI 大規模訓練 | 中小規模傳統 IT、園區網 | GPU‑GPU 節點內通訊，模型並行張量通訊 |
選擇邏輯：超大規模 AI 訓練叢集普遍採用基於乙太網路的 Spine‑Leaf Fabric（配合 RoCEv2 或未來 UEC 協議），因其開放式生態、可大規模運維和彈性擴充套件能力；節點內部及機櫃內的超短距高速通訊則繼續由 NVLink、Infinity Fabric 等私有介面承擔。
6. 上游
- 高頻寬交換晶片：提供核心 ASIC 及 SerDes IP，定義埠速率、緩衝策略、遙測能力。代表：博通 (Tomahawk 5)、輝達 (Spectrum‑4)、思科 (Silicon One)、Marvell (Teralynx)、英特爾 (Tofino 可程式設計晶片)。
- 光模組與有源線纜：400G/800G 光模組（SR8/DR4/FR4 等）、800G 有源銅纜 (DAC)、有源光纜 (AOC)，以及正在驗證的 1.6T 光器件。矽光晶片、EML/DML 雷射器等為核心光學元件。
- 高精度時鐘同步器件：在 AI Fabric 中，精準時間協議 (PTP/SyncE) 越來越不可或缺，為集體通訊操作提供時間對齊和鏈路延遲測量基準。
- 聯結器與 PCB/背板：高速、高密度聯結器與低損耗覆銅板決定訊號完整性，尤其 112 Gbps 以上的 PAM4 訊號對阻抗匹配要求苛刻。
- SDN 控制器及網路 OS 軟體：包括商業版（如 Arista EOS、Cisco NX‑OS）和開源網路作業系統（SONiC 等），以及控制器與編排平台。
7. 下游
- 雲端服務商 (CSP)：北美三大雲端廠商和國內頭部雲端服務商是 Fabric 最大的採購和部署方，通常主導白盒/自研交換器選型，直接影響交換晶片和光模組的需求規模與技術走向。
- AI 算力基礎設施整合商：面向企業、政府和科研機構提供“GPU 叢集 + Fabric”一體化解決方案，對網路裝置的易運維和快速部署有較高要求。
- 大型企業 HPC 中心：金融、製藥、自動駕駛等行業的自建高效能運算叢集，往往要求與雲端上架構相似的 Fabric 能力，以便跨環境任務遷移。
- 通訊庫與訓練架構：NVIDIA NCCL、微軟 MS‑AMP、PyTorch Distributed 等通訊後端直接呼叫 Fabric 鏈路，其集體通訊演算法（AllReduce、All-to-All）的效率將物理網路特性暴露給終端使用者。
8. 受益公司
該板塊僅從產業鏈分工角度，指出在 Fabric 規模擴張和代際升級中受技術需求、產品出貨驅動的關鍵參與者，不構成任何投資建議：
- 交換晶片領域：博通、輝達、思科、Marvell、英特爾（可程式設計交換晶片）。
- 交換器整機及白盒：Arista、思科、Dell、華為、新華三；白盒 ODM（智邦、廣達等）。
- 光模組與光互聯：中際旭創、Coherent、光迅科技、海信寬頻、Source Photonics 等；矽光領域初創企業。
- SDN/網路 OS 及服務：廠商配套控制器及開源社群（SONiC、Stratum 等）。
- 雲端運算部署方：自研 Fabric 的雲端服務商不僅受益於自身基礎設施效率提升，亦通過供應鏈牽引上層晶片與光學器件的創新迭代。
需要指出，個別廠商的同名異義產品（如 Microsoft Fabric 資料分析平台）與本篇所述的網路 Fabric 無直接關聯。
9. 市場規模
9.1 資料中心乙太網路交換器
- 綜合 IDC《全球乙太網路交換器季度追蹤》（2024 年 3 月釋出）及 Dell’Oro Group《資料中心交換器報告》（2024 年 7 月發表），2023 年全球資料中心乙太網路交換器市場營收約 210 億美元左右（不同口徑下存在低個位數百分比差異）。
- 同年 AI/ML 相關的高速率埠（200GE/400GE）貢獻了顯著增量，多家分析機構（如 650 Group、Dell’Oro Group）預測 2024‑2028 年間該市場複合年增長率 (CAGR) 將維持在 10%–15% 區間（2024 年預測口徑），主要驅動力來自超大規模雲端服務商 AI 訓練叢集的鋪設。
9.2 光模組市場
- LightCounting 在 2024 年 4 月《高速光模組市場預測》中指出，2024 年全球 800G 光模組出貨量預計將首次突破 900 萬隻，2025 年有望超過 1500 萬隻（預測值），AI 叢集需求是核心催化劑。
- 800G 光模組的細分品類（單模/多模、SR8/DR4/FR4）份額變動受限於交換晶片埠形態和交換器面板密度，2024 年仍以多模 SR8 出貨為主，但單模 DR4/FR4 佔比預計在 2025 年後明顯提升（公開資料對精確份額未見統一資料）。
9.3 交換晶片
- 隨著 51.2T 交換晶片（Tomahawk 5、Spectrum‑4 等）在 2023–2024 年放量，以及 102.4T 晶片在 2025–2026 年規模化，交換晶片的 TAM（可定址市場）同步擴大。有第三方分析師估算，2023 財年資料中心交換晶片市場規模約 100 億美元（非精確公開揭露），但明確數字及廠商份額需以各公司財報及專業機構追蹤為準。
注：以上資料均通過公開行業報告和公司財報整理，口徑為出廠/批發端金額或出貨量預測，未包含未公開揭露的商業訂單細節；部分預測資料實際結果可能因宏觀經濟和 AI 需求波幅而偏離。
10. 玩家對比
本表聚焦於構築 Fabric 的核心交換晶片/整機方案的幾個關鍵能力差異，基於公開產品規格和產業分享整理：
| 廠商 | 當前旗艦晶片（截至2024） | 最大埠速率 | 轉發能力 | 特色能力 | 整機/白盒生態 |
|---|---|---|---|---|---|
| 博通 | Tomahawk 5 | 800G × 64 | 51.2 Tbps | 大規模 ECMP、深層緩衝、業界部署最廣 | 白盒交換器廣泛採用，Arista 等品牌搭載 |
| 輝達 | Spectrum‑4 | 800G × 64 | 51.2 Tbps | 與 NVIDIA RoCE 及 GPUDirect RDMA 深度耦合 | 自有交換器（Spectrum SN5000）、DGX 整合 |
| 思科 | Silicon One G200 | 800G × … | 51.2 Tbps | 統一架構貫穿路由和交換，支援超大表項 | 思科 8000 系列，矽光模組自研 |
| Marvell | Teralynx 10 | 800G × … | 51.2 Tbps | 強調可程式設計性與低延遲 | 白盒生態，面向雲端廠商定製 |
| 英特爾 | Tofino 3 (開發中/路線圖) | 未全面公開 | 未知 | P4 可程式設計，靈活定義轉發行為和遙測 | 面向智慧 Fabric 和網路內計算概念 |
此外，在整機品牌市場，Arista 憑藉 EOS 和 AI 驗證設計在超大規模雲端商中佔據重要陣地；華為和新華三在中國市場具備高份額，並推出面向 AI 訓練最佳化的全系列 Fabric 方案；白盒交換器主要由 ODM 廠商交付給自研交換器的雲端客戶。
11. 風險
- 交換晶片供應高度集中：當前高階資料中心交換晶片市場由博通佔據較大份額，輝達、思科等爭奪，但整體可選供應商有限。若產能緊張或地緣因素導致供應受限，將拖累全行業 Fabric 部署節奏。
- 標準碎片化與互操作挑戰：UEC 聯盟致力於開放乙太網路 AI 網路協議，但 InfiniBand 仍具有低延遲和現有壟斷優勢；UEC 1.0 規範尚在推進中，多廠商互操性和大規模驗證仍需時間，可能帶來技術選型風險。
- AI 算力需求增長不及預期的投資過剩：當前 Fabric 升級與 GPU 投資緊密相關。若大型模型進展放緩、應用側變現不及預期，或資本支出轉向晶片側而非網路側，可能導致交換器、光模組庫存過剩，價格承壓。
- PFC 風暴與運維複雜性：RoCEv2 原生依賴 PFC 保證無丟包，但配置不當或鏈路故障易觸發全象限擁塞擴散。即使 SDN 自動化，運維團隊仍需要深厚的協議知識，人才缺口在特定市場成為部署瓶頸。
- 光模組良率與功耗瓶頸：800G/1.6T 光模組良率爬坡不及預期可能造成交付緊張和成本高企；同時，每位元功耗下降幅度若跟不上頻寬增長，十萬卡叢集的電力預算將面臨挑戰，影響網路升級意願。
- 地緣政策與供應鏈風險：涉及先進交換晶片和光電子器件的出口管制可能限制部分割槽域獲得最新一代 Fabric 技術，形成地區性技術代差。
12. 誤讀糾偏
-
“Spine‑Leaf 就是 Fabric 的唯一形態” Fabric 是扁平、多路徑、彈性擴充套件的設計範式。除 Spine‑Leaf 外，多階 Clos、DragonFly+、Torus、甚至針對特定工作負載的不規則拓撲都屬於 Fabric 範疇。規模、成本、物理佈線條件決定最優拓撲。
-
“只要買夠頻寬，網路就不是瓶頸” 頻寬僅決洩上限，實際瓶頸由尾延遲、丟包和擁塞控制動態行為構成。兩套頻寬完全相同的 Fabric，緩衝區管理策略和路由演算法的細微差異可致訓練吞吐量相差 10% 以上。
-
“改用 InfiniBand 就能一勞永逸” InfiniBand 同樣面臨擁塞控制、自適應路由、閘道器轉換等問題，僅協議層不同。大型叢集中 IB 網路仍需精心設計與遙測，不存在“免疫”網路擁堵的單一協議。
-
“Network Fabric 與 Microsoft Fabric / 紡織材料類 Fabric 是同一概念” Microsoft Fabric 是統一資料分析平台，紡織領域的“熔噴纖網”指非織造材料結構——二者均與本文所述的資料中心網路 Fabric 是不同領域、同名異義。本文討論僅限於網路架構。
-
“網路只是連線管道，不參與計算” 分散式 AI 訓練中，一次迭代內通訊時間可能佔 20%–40%。現代智慧 Fabric 已向 In‑Network Computing（網路內計算）演進，交換器可直接執行 All‑Reduce 求和或梯度聚合，通訊即計算的一部分。
13. 最新事件
- 超乙太網路聯盟 (UEC) 推進：2024 年 Q3，UEC 釋出了面向 AI/HPC 的 1.0 協議棧文獻，引入包噴灑、自適應路由、端到端遙測等機制，旨在替代或增強 RoCEv2。多家主流雲端商、晶片商和交換廠商已宣佈加入並開展互操作測試。
- 輝達 Spectrum‑X 平台：NVIDIA 在 2024 年將 Spectrum‑4 交換晶片與 BlueField‑3 DPU 結合，推出 Spectrum‑X 乙太網路 Fabric 方案，聲稱在多租戶 AI 雲端環境中實現媲美 InfiniBand 的效能，引起了行業對“乙太網路能否取代 IB”的進一步討論。
- 博通交付 51.2T Tomahawk 5 及路線圖更新：2024 年 8 月，博通宣佈用於 800G 埠的 Tomahawk 5 已大規模交付，並展示了下一代 102.4T 晶片（預計支援 1.6T 埠）的初步規格，SerDes 速率翻倍至 224 Gbps PAM4。
- Arista 釋出 AI 驗證設計：Arista 在 2024 年晚些時候推出針對萬卡 GPU 叢集的 AI Leaf‑Spine 參考架構，整合端到端遙測和自動化持續驗證，以降低部署風險。
- 光模組新進展：2024 年下半年，多家供應商開始向雲端客戶送樣 1.6T 光模組，基於 8x200G 通道；同時 CPO 共封裝光學解決方案在部分試驗平台實現功耗降低約 30% 的目標（源自 OIF 研討會 2024）。
- 國內雲端服務商自研交換晶片動態：部分國內頭部廠商已公開自研資料中心交換晶片的量產計劃，或通過投資孵化的模式建設 Fabric 供應鏈，以降低對進口晶片的依賴。
（上述事件綜合自行業公告、公開演講和科技媒體，不涉及內幕資訊。）
14. 追蹤指標
- 埠速率滲透率：400G / 800G 埠在資料中心交換器總出貨埠的佔比，特別是超大規模雲端服務商招標中的份額。該指標反映 Fabric 代際切換進度。資料可從 IDC、Dell’Oro 季度報告中獲取。
- 雲端服務商資本支出展望：北美和中國頭部雲端服務商季度財報中的資本支出（Capex）以及管理層的“網路/基礎設施投資”評論，是 Fabric 市場需求的先行指標。尤其關注其中對 AI 相關基礎設施的定向表述。
- 800G / 1.6T 光模組招標價格與交付週期：通過公開供應鏈調研（如 LightCounting、Omdia）或公司交流中瞭解的價格區間和 lead time，判斷供需緊張關係。價格持續下降通常意味著產能爬坡順利。
- UEC 成員清單與互操作測試進展：UEC 官方公佈的新成員以及 PoC（概念驗證）成功案例，衡量開放乙太網路 AI 網路替代 InfiniBand 的可行性。
- NCCL/通訊庫效能基準：在 MLPerf 或其他公開評測中，針對不同 Fabric 實現的 AllReduce 頻寬和延遲，尤其是千卡/萬卡環境下的匯流排頻寬 (bus bandwidth) 和 P99 尾延遲。
- 交換器晶片製程與功耗：關注台積電等代工廠的先進製程進展（如 5nm/3nm 在交換晶片上的應用）以及晶片標註的功耗 (W/Tbps) 數值，追蹤能效提升斜率。
- 自研交換器/白盒滲透率：各主要雲端服務商自研交換器的部署比例，及白盒 ODM 與品牌交換器的份額變化，評估產業鏈價值分配。
- 故障收斂與 PFC 風暴觀測：在雲端服務商公開的系統日誌、故障復盤（公開發布的大規模中斷報告）中，觀察 Fabric 相關故障根因，判斷技術成熟度。
15. 信源
- Alizadeh, M., et al. “Data Center TCP (DCTCP).” ACM SIGCOMM, 2010.
- Zhu, Y. et al. “Congestion Control for Large-Scale RDMA Deployments (DCQCN).” ACM SIGCOMM, 2015.
- RoCEv2 and Priority Flow Control – IEEE 802.1Qbb; RoCEv2 協議草案與廠商技術白皮書。