Scale-out

3 秒看懂

Scale‑out 網路是 AI 叢集“橫向擴充套件”的通訊骨架——通過大量標準化網路埠和交換器將成百上千個計算節點連線在一起，使分散式訓練與推論能夠跨越節點高效運轉。它決定了萬卡級 GPU 叢集是“一臺超級計算機”還是“一堆互相等待的機器”。

3 分鐘產業解釋

當單臺 AI 伺服器的算力、視訊記憶體觸及物理或成本極限，就必須將工作負載拆分到數十、數百甚至上萬顆加速器上協同完成。這種橫向新增節點的方式就是 Scale‑out。與之對應的 Scale‑up 是縱向擴充套件單節點內部頻寬（如 NVLink、NVSwitch），而 Scale‑out 把跨機櫃、跨行列甚至跨建築的 GPU 編織成一張邏輯上統一的算力網。

跨節點的資料交換強烈依賴網路：每一輪訓練迭代中，梯度同步（AllReduce）、引數更新、MoE（混合專家）token 路由（All‑to‑All）等操作都會產生突發性全網通訊。網路頻寬、尾延遲、擁塞控制直接決定叢集有效算力利用率（MFU）。業界經驗表明，Scale‑out 網路若設計不當，千卡以上叢集的 MFU 可能從 50% 以上驟降至 20% 以下，等同於半數 GPU 被浪費。

當前主流的 Scale‑out 網路技術棧分為三大陣營：

• InfiniBand（IB）：提供原生 RDMA（遠端直接記憶體訪問）、微秒級確定延遲和高訊息速率，長期主導 Top500 和 AI 訓練叢集。NVIDIA 通過收購 Mellanox 實現從 GPU、網絡卡、交換器、線纜到通訊庫（NCCL）的垂直整合，構成一條封閉但高效的技術棧。
• RoCE v2（基於融合乙太網路的 RDMA）：將 IB 傳輸層報文封裝在 UDP/IP 上，利用標準乙太網路硬體實現 RDMA，配合 DCQCN、HPCC 等擁塞控制演算法，大幅降低採購成本，在超大規模雲端原生叢集中快速普及。代價是需要無損乙太網路（PFC、ECN）保障，運維複雜度顯著更高。
• 專有跨節點互連：以 NVIDIA NVSwitch Fabric、Google ICI 等為代表，將節點內的記憶體語義互連延伸至多節點，形成介於經典 Scale‑out 和 Scale‑up 之間的高速域，延遲接近快取一致性水平，再通過 IB 或 RoCE 完成更大規模的二層擴充套件。此類方案效能極強，但通常鎖定單一廠商生態。

產業鏈受益環節涵蓋：高速網絡卡（SmartNIC/DPU）、交換器晶片與白盒交換器、光模組與有源光纜、網路作業系統（如 SONiC）、以及具備叢集組網最佳化能力的軟體和服務商。從晶圓到叢集的每一層都在歷經 AI 驅動的高速迭代。

技術原理

Scale‑out 網路的技術本質是在成本與物理約束下，讓海量節點實現“近距通訊幻覺”。核心技術棧包括 RDMA 語義解除安裝、拓撲工程、擁塞控制及通訊庫協同最佳化四層。

RDMA 語義與網絡卡硬體解除安裝

傳統 TCP/IP 通訊需核心多次複製資料，CPU 參與嚴重，延遲高且吞吐受限。RDMA 允許網絡卡直接讀寫遠端記憶體，繞過核心，CPU 零介入即可實現亞微秒級延遲和線速吞吐。這需要網絡卡硬體維護連線狀態、完成報文組裝和記憶體註冊，實現傳輸層語義硬化。

• InfiniBand：從鏈路層到傳輸層原生支援 RDMA，提供可靠連線（RC）、不可靠資料包（UD）、擴充套件可靠連線（XRC）等多種傳輸服務。IB 交換器具備鏈路層流控和自適應路由能力，可在 us 級完成路徑切換，無需上層協議介入。IB 網路是物理隔離的專用網路，不承載其他乙太網路流量，因而延遲抖動極低。
• RoCE v2：將 IB 傳輸層報文封裝在標準 UDP/IP 幀中，複用資料中心乙太網路基礎設施。但標準乙太網路是有損網路，交換器快取溢位會隨機丟包，而 RDMA 對丟包極度敏感（重傳代價巨大）。因此 RoCE v2 依賴三類機制：PFC（優先順序流控，逐跳反壓防止丟包）、ECN（顯式擁塞通知，端到端降速避讓）及 DCQCN 等擁塞控制演算法協調端網行為。代價是無損乙太網路配置複雜，PFC 配置不當可能引發死鎖或“PFC 風暴”，造成全網癱瘓——這是一線運維工程師的持久痛點。

拓撲工程與對分頻寬

叢集拓撲決定了任意節點間可獲得的路徑數量與頻寬上限。

• Fat‑Tree（胖樹）：經典 Clos 架構的實踐，通過 Leaf‑Spine‑Core 多層交換提供無阻塞或低降額（通常 1:1 或 2:1 oversubscription）的對分頻寬，是 AI 叢集黃金標準。典型配置下，每個 GPU 對應一個 Leaf 埠，Spine 與 Core 層逐步收斂，確保任意 GPU 對之間能獲取滿速頻寬。缺點是高階口數 Spine/Core 交換器昂貴，佈線複雜。
• Dragonfly+：將節點分組為若干“組”，組內全互連，組間用高速鏈路連線，節省全域性交換層級和光纜用量。在超大叢集（萬卡以上）價效比優異，但存在跨組路徑非對稱、負載均衡困難等問題，對自適應路由要求高。
• Torus / 2D/3D 環網：為特定 HPC 負載最佳化，可最小化線纜長度，但在不規則 AI 通訊模式下容易出現擁塞瓶頸，已不是 AI 叢集主流選擇。

實際部署中，物理拓撲往往還需適配資料中心佈線拓撲、電力分配和散熱約束，形成多層次、非對稱的真實網路。

擁塞控制：從演算法到硬體解除安裝

AI 負載的突發性（週期性的梯度同步）、多對一匯聚（引數伺服器模式）及 All‑to‑All 分發，極易誘發 Incast 擁塞——數十上百個傳送端同時向一個接收端灌入資料，瞬時堵死交換器快取。擁塞控制機制負責在維持高吞吐的同時避免崩潰。

• DCQCN（Data Center Quantized Congestion Notification，RoCE 主流方案）：交換器檢測到佇列深度超閾值，對報文打 ECN 標記；接收端網絡卡識別到標記後，向傳送端回傳 CNP（擁塞通知包）；傳送端網絡卡收到 CNP 後立即降低注入速率，隨後按預設速率步進恢復。整個過程完全在網絡卡硬體中執行，無需 CPU 干預，響應時間細微秒級。
• HPCC（High Precision Congestion Control）：利用交換器 INT（帶內網路遙測）上報精確佇列深度，傳送端實現更細粒度的速率調整，理論效果優於 DCQCN，但需要交換器硬體支援 INT，生態仍處早期，2024 年起部分雲端廠商推動商用部署。
• IB 自適應路由：IB 交換器基於鏈路負載和報文目標，在微秒級動態選擇轉發路徑，繞過擁塞點，配合端到端信用流控（Credit‑based flow control），天然避免丟包，降低對上層擁塞控制的依賴。

並行策略與通訊模式對映

不同並行策略產生的網路負載特徵迥異，Scale‑out 網路需針對性調優：

• 資料並行：每個 GPU 持有完整模型副本，梯度需跨節點 AllReduce → 流量呈週期性大突發，對聚合頻寬要求高，但對延遲相對容忍（百 us 級）。
• 張量並行：層內分片，前向/反向需高頻 AllReduce/ReduceScatter → 單次通訊量小但延遲極其敏感（us 級），常侷限於高頻寬域（如 NVLink 域）。
• 流水線並行：層間切分，僅傳送啟用/梯度邊界 → 通訊量低、頻率中等，對頻寬要求不高。
• 專家並行（MoE）：token 路由需 All‑to‑All 分發與聚合 → 高併發小包、極度突發，對全網平分頻寬和訊息速率要求嚴苛，是暴露 Scale‑out 網路短板的典型場景。

優秀的叢集設計需根據主負載並行策略，選取或調優拓撲、傳輸協議和 NCCL 集合通訊演算法（Ring、Tree、CollNet 等），實現通訊與計算的流水覆蓋。

關鍵引數

Scale‑out 網路的效能與成本由一系列量化指標刻畫，選型時需綜合參照：

• 埠速率（Port Speed）：單埠物理層頻寬，通常以 Gb/s 為單位。2024 年主流出貨為 400G（400 Gb/s），2025 年 800G 埠進入規模部署期（LightCounting，2024 年 12 月預測）。下一代 1.6T 埠預計 2026–2027 年首批商用。
• 端到端延遲（End‑to‑End Latency）：應用層感知的 RDMA Write/Read 完成時延，通常以 μs 計。IB NDR400 下典型為 1.0–1.5 μs（NVIDIA 公開資料）；RoCE v2 在最佳化環境下通常為 2–5 μs，受協議棧和擁塞控制策略影響。
• 訊息速率（Message Rate）：網路每秒能處理的小包數量，以 M Msg/s 為單位。對 MoE All‑to‑All 等高併發場景至關重要。ConnectX‑7 宣稱支援 200M Msg/s 以上（NVIDIA 產品規格，2023 年）。
• 對分頻寬（Bi‑section Bandwidth）：任意將網路一分為二時的總可用頻寬，衡量全交換能力。理想 Fat‑Tree 可提供 1:1 無阻塞對分頻寬，但成本高昂；許多生產叢集採用 2:1 甚至 4:1 超額訂閱以平衡成本。
• 網路有效利用率（Effective Network Utilization）：實際應用層吞吐佔物理頻寬比值，受擁塞控制、負載均衡及通訊庫效率共同影響。優秀的 RoCE 叢集可達 90% 以上（Microsoft 論文資料，2023），而設計不當者可能低於 50%。
• 網路計算比（Network‑to‑Compute Ratio）：通訊頻寬（GB/s）與 GPU 算力（TFLOPS）的比值，指導系統平衡設計。NVIDIA DGX SuperPOD 等參考架構中，每 GPU 通常匹配 400 Gb/s 網路，形成 50 GB/s:TFLOPS 量級的比值。
• 功耗與埠能效比：單埠功耗（W）及每位元能耗（pJ/bit）。800G 光模組功耗通常在 14–20W（2024 年典型值），LPO 方案可降至 8–10W（產業公開預計，2024），CPO 進一步下探至 5W 以下（長期目標）。

注：以上具體值取決於廠商選型和配置，此處提供典型參考區間，實際專案需以供應商最新報價和實測資料為準。

技術路線

InfiniBand 路線

NVIDIA 自收購 Mellanox 後，持續以代際節奏推進 IB 演進：EDR（100 Gb/s）→ HDR（200 Gb/s）→ NDR（400 Gb/s）→ XDR（800 Gb/s）。每代新品整合新型 DSP、最佳化 SHARP（網路內計算加速）引擎，並同步升級 ConnectX 網絡卡和 Quantum 交換器。IB 生態高度整合，使用者可獲得端到端認證的“開箱即用”體驗。2024 年，XDR 交換器已向部分客戶送樣，預計 2025 年批次交付。IB 路線的主要代價是單一供應商依賴和較高採購成本。

RoCE/乙太網路線

開源和商業乙太網路生態並行推進。商用晶片以 Broadcom Tomahawk 5（51.2T）、Marvell Teralynx 10 等為標杆，支援 64×800G 埠。超大規模雲端商（AWS、Microsoft、Meta）傾向白盒交換器 + SONiC 自建，追求供應鏈靈活與成本最優。超級乙太網路聯盟（Ultra Ethernet Consortium，UEC）2023 年成立，彙集 AMD、Arista、Broadcom、Cisco、HPE、Intel、Meta、Microsoft 等，提出新一代乙太網路傳輸協議和語義，目標替代傳統無損乙太網路協議棧，解決 PFC 死鎖、配置複雜等痛點。UEC 1.0 規範於 2024 年 Q3 釋出，2025 年起有望在各廠商網絡卡和交換器中實現商業落地。

專有跨節點互連路線

NVIDIA 的 NVSwitch Fabric 將 NVLink 的記憶體語義訪問能力外延至 32–72 節點（2024 年 Blackwell 平台），跨節點延遲逼近 us 級以下的快取一致性水平，與 IB/RoCE 形成分層協作。Google 的 ICI（Inter‑Chip Interconnect）為 TPU 提供類似能力。此類技術追求極致效能，但鎖定廠商，採購議價能力弱。

未來趨勢：全光交換與晶片級創新

面向十萬卡級叢集，電交換器的埠能力和功耗瓶頸漸顯。基於 MEMS/OXC 的全光交換可實現埠數擴充套件與功耗脫鉤，Google 的 Jupiter 網路已引入光交換元素（2022 年公開）。2025 年起，部分 AI 叢集有望嘗試電光混合架構——Spine 層用光交換、Leaf 層保留電交換，兼顧效能與成本。同時，AI 專用網路晶片（針對集合通訊模式硬化加速器）也在多家晶片初創公司路線圖中出現。

上游

Scale‑out 網路上游涵蓋晶片、光電器件和基礎 IP 三大板塊，是整個產業鏈的技術策源地。

交換晶片

高速交換晶片是網路裝置核心，決定埠密度、緩衝區大小、轉發延遲和功能集。主要玩家：

• Broadcom：Tomahawk 5（51.2T，2023 年量產）廣泛用於 400G/800G 白盒交換器，是超大規模資料中心的絕對主力。Tomahawk 6（102.4T）預計 2025–2026 年面市（Broadcom 產品路線圖公開資訊）。Jericho 系列則側重深快取與高階可程式設計。
• Marvell：Teralynx 10（51.2T）和 Teralynx 12（102.4T 規劃中）面向 AI 訓練最佳化，強調低延遲、高訊息速率和可程式設計流水線，2024 年起在多家雲端廠驗證。
• Cisco：Silicon One 系列面向高階路由和交換器，但 AI Scale‑out 領域並非其主要領地。
• 華為：Solar 系列自研交換晶片，受制於先進製程供應鏈，主要服務國內客戶，具體效能資料公開資料有限。
• 雲端廠商自研：AWS、Google、Microsoft 等均投入自研交換晶片或 FPGA 網路加速，以深度最佳化成本和功耗。Meta 的 FBOSS + 商用晶片策略則介於自研與採購之間。

網絡卡/DPU/SmartNIC

SmartNIC 從單純提供 RDMA 解除安裝，演進到集成了傳輸控制、安全、虛擬化甚至部分計算任務的 DPU（資料處理單元）。

• NVIDIA：ConnectX‑7（400G，2022）和 ConnectX‑8（800G，2024 年出樣）是 IB/RoCE 雙模網絡卡的標杆，BlueField‑3 DPU 增加 Arm 核心和可程式設計加速引擎。
• Intel：E810 系列（100-200G）和後續 800 系列（400G 預計），以 IPU 概念整合基礎設施加速。市場影響力弱於 NVIDIA。
• AMD/Pensando：提供 DPU 方案，適用於雲端原生場景，但在 AI 訓練網絡卡領域的滲透率有限。
• 雲端廠商自研：AWS Nitro、阿里雲端神龍/MOC 卡等，但不是標準外銷品。
• 國產廠商：光潤通、星融等提供國產化網絡卡方案，多基於 FPGA 或 Arm 架構，400G 產品進入小批次階段，生態成熟度與效能相比 NVIDIA 仍存差距，2024 年公開資料未見大規模 AI 訓練叢集部署案例。

光模組與電連線

這是 Scale‑out 網路的“血管”，負責把電訊號轉換成高速光/電傳輸。

• 光模組：800G 光模組（OSFP/QSFP‑DD，8×100G 或 4×200G 光通道）是 2024–2025 年增長主軸。中際旭創（InnoLight）、新易盛（Eoptolink）、Coherent（含 Finisar）、Lumentum、光迅等為主要供應商。2024 年 LightCounting 報告稱，全球 800G 光模組出貨量 2024 年預計超 200 萬隻，AI 叢集為最大驅動力。
• 直連銅纜（DAC）與有源光纜（AOC）：短距場景（3–5m 內）DAC 憑藉零功耗和低成本優勢廣泛應用；中長距 AOC 提供更靈活佈線且重量輕。NVIDIA 自身的 LinkX 品牌提供認證線纜，捆綁銷售佔比高。
• LPO / LRO（線性可插拔光學 / 線性接收光學）：去除或簡化 DSP 晶片以降低功耗和延遲，800G LPO 模組 2024 年起多家廠商送樣，預計 2025 年規模商用（行業公開會議資訊）。
• CPO（共封裝光學）：將光學引擎與交換晶片封裝在同一基板上，進一步消除電訊號瓶頸，目標將每位元功耗降低 50% 以上。Broadcom、Intel、NVIDIA、台積電等積極版面配置，但 2024 年仍處於技術驗證和早期客戶測試階段，2026–2028 年或見規模量產。

SerDes 與 PHY

高速 SerDes IP 是交換晶片和網絡卡的基礎。主流速率從 112Gbps PAM4（配套 400G/800G）向 224Gbps PAM4（配套 1.6T）演進。供應商包括 Synopsys、Cadence、Alphawave Semi 等 IP 廠商，以及 Broadcom、Marvell 等自研晶片廠商。

網路作業系統（NOS）

開源 NOS 正深刻改變上游交付模式。SONiC（Software for Open Networking in the Cloud，由 Microsoft 發起，Linux 基金會託管）已成為超大規模雲端商白盒交換器的預設選擇，2024 年社群已超 3000 名貢獻者，支援 Broadcom、Marvell、Intel、NVIDIA 等全部主流晶片。商用 NOS 如 Arista EOS、Cisco NX‑OS 則以豐富功能和廠商支援服務收取溢價。

下游

下游是 Scale‑out 網路的需求方和實際部署者，其行為決定市場方向。

• 超大規模雲端服務商（Hyperscalers）：微軟 Azure、AWS、Google Cloud、阿里雲端、騰訊雲端等，是萬卡至十萬卡叢集的最大采購者。他們傾向白盒交換器 + SONiC + 自研網絡卡/DPU 的自主整合路線，部分自研交換晶片以實現極致降本和差異化。Meta 雖非雲端商，但其 AI 叢集規模（如 24K+ H100 叢集）同樣居全球前列，對網路技術方向有顯著引領效應。
• AI 新勢力：xAI（2024 年建成 Colossus 十萬卡叢集，據公開報道）、OpenAI、Anthropic、Inflection 等，極度追求訓練叢集效能，往往是 IB 最高階速率的首批採用者，對交付速度要求嚴苛，傾向採購 NVIDIA 全棧方案以縮短部署週期。
• 國家算力中心 / 科研機構：各國建設的公共 AI 算力基礎設施，傾向招標採購，技術要求偏向成熟方案，IB 和 RoCE 均有采納。中國國家超算中心、歐洲 EuroHPC 等為主要代表，2024 年起多座百億級引數模型訓練基礎設施啟動建設或擴容。
• 企業私有化部署：大型銀行、車企、藥企自建中型 AI 叢集（數十至數百 GPU），對成本敏感，多采用 RoCE 方案以利用現有乙太網路基礎設施。採購量分散但總體可觀。
• 整合商與託管服務商：Equinix、Digital Realty 等資料中心運營商開始提供“AI Ready”託管服務，預佈署高頻寬網路基礎設施，降低企業部署門檻。2024 年起多家託管商推出液冷 + 高速網路的 AI 專屬套餐。
• 商業航天與自動駕駛等邊緣 AI：雖不是典型 Scale‑out 需求方，但自動駕駛訓練（Waymo、Tesla Dojo）對叢集網路有特殊要求，是高階 IB/RoCE 的增量場景。Tesla Dojo 採用自研 D1 晶片與互連，不完全依賴標準乙太網路或 IB。

受益公司

以下梳理主要受益主體及其角色，所有資訊截至 2025 年 2 月，不構成任何投資判斷。

• NVIDIA（含 Mellanox）：提供從 ConnectX 網絡卡、Quantum IB 交換器 / Spectrum 乙太網路交換器、LinkX 線纜到 DOCA 軟體、NCCL 通訊庫的端到端方案，是 AI Scale‑out 網路的絕對領導者。2024 財年（截至 2024 年 1 月）資料中心業務營收 475 億美元，網路裝置是重要貢獻項（公司財報）。其整合模式難以複製，但也面臨客戶尋求第二供應源的分化壓力。
• Broadcom：Tomahawk 5 / Jericho 系列交換晶片是超大規模 RoCE 網路的核心。2024 財年（截至 2024 年 10 月）網路晶片業務持續增長，AI 相關營收貢獻顯著（公司財報會議）。同時涉足定製 ASIC（TPU v5p 等），雙重受益。
• Marvell：Teralynx 交換晶片 + Alaska PHY + PAM4 DSP，覆蓋乙太網路 Scale‑out 多環節。2025 財年第三季度（截至 2024 年 11 月 2 日）AI 相關營收年增率增長顯著（公司財報），與多家雲端商和 OEM 合作實現 800G 平台量產。
• Arista Networks：基於商用晶片的高效能乙太網路交換器，EOS 支援大規模 RoCE 和高階遙測。2024 年大型 AI 客戶貢獻營收佔比提升，公司預計 2025 年 AI 網路營收將超 10 億美元（公司 2024 年 Q3 財報會議展望）。
• 光模組廠商：
  • 中際旭創（InnoLight）：2024 年上半年高速光模組出貨量全球領先，800G 市佔率居前，為 NVIDIA、Google、Meta 等提供配套光模組（公司公告、行業報告）。
  • 新易盛（Eoptolink）：800G 光模組深度繫結主要客戶，受益於 AI 叢集密集交付，2024 年業績大幅預增（公司業績預告）。
  • Coherent（含 Finisar）：具備從材料到模組的垂直整合，是 NVIDIA 800G 光模組主要供應商之一，2025 財年第一季度 AI 光模組訂單強勁（公司財報）。
  • Lumentum：光器件與模組供應商，其 800G 解決方案逐步擴大市場份額。
• 交換器 ODM/白牌：智邦（Accton）、天弘（Celestica）、雲端達（QCT）等直接受益於雲端商 AI 白盒交換器需求，2024 年 800G 產品出貨快速增長。
• Intel：以 IPU 和 800 系列乙太網路網絡卡參與競爭，但其在訓練網絡卡領域的市佔率遠低於 NVIDIA。優勢在於企業級客戶基礎和 x86 生態協同。
• 華為/海思：在國內市場提供從交換晶片（Solar）、交換器、網絡卡到光模組的完整方案，受供應鏈限制，海外市場拓展受限，主要受益於國內算力基礎設施自主化建設。
• Meta / Microsoft / Google：既是網路技術的重要貢獻者（SONiC、UEC 等），也是規模化的最終受益者——通過網路最佳化將自身 AI 訓練成本降至最低。其技術路線選擇（如是否從 IB 遷移至 RoCE）對整個產業生態有決定性影響。

市場規模

（本節資料綜合 Dell’Oro Group、LightCounting、650 Group 等第三方機構 2024 年下半年釋出的公開報告摘要，具體數字未經核實，僅供定性參考。因公開資料獲取限制，部分資料可能未能涵蓋最新季度變化。）

• AI 網路裝置整體市場：Dell’Oro Group 2024 年 10 月預測，AI 後端網路（Scale‑out 為主）裝置市場將從 2024 年的約 150 億美元增長至 2028 年的超過 350 億美元，年複合增長率約 25%+。其中交換器、網絡卡和光模組佔比最高。
• 資料中心乙太網路交換器：650 Group 2024 年 Q3 報告顯示，2024 年全年資料中心乙太網路交換器市場規模約 250 億美元，AI 相關交換器（400G/800G 埠為主）佔比快速突破 30%。
• InfiniBand 市場：NVIDIA 2024 財年財報透露 IB 相關營收超過 80 億美元，佔其資料中心業務顯著份額。IB 市場 2024–2028 年 CAGR 預計 20% 以上，儘管面臨 RoCE 份額侵蝕，但在超大規模 AI 訓練叢集中仍佔主導。
• 光模組市場：LightCounting 2024 年 12 月報告，全球 800G 及以上速率光模組 2024 年銷售額約 55 億美元，預計 2028 年將超過 180 億美元。LPO/CPO 等新技術將在 2026 年後逐步貢獻增量。
• DPU/SmartNIC：AI 網路驅動 SmartNIC 市場增長，NVIDIA 憑藉 ConnectX 系列和 BlueField 佔絕對份額，市場總量 2024 年約 20 億美元，2028 年或超 60 億美元（650 Group 預測，2024 年 9 月）。
• 中國區細分：受地緣與自主化政策影響，中國市場呈現特殊格局。華為、新華三、銳捷等佔據國內主要市場份額，IB 部署受限，國產 RoCE 方案加速滲透。2024 年公開產業報告預估中國 AI 網路裝置市場（含光模組出口）約人民幣 400–500 億元，公開資料未見更精確第三方審計資料。

玩家對比

選取三大類 Scale‑out 方案進行多維對比（截至 2025 年 2 月公開資訊）：

維度	NVIDIA IB 全棧（Quantum XDR + ConnectX‑8）	超大規模 RoCE（Broadcom TH5 + 白盒 + SONiC）	國產 RoCE（華為 Solar 海思 + 自研交換器）
生態開放性	封閉但成熟	完全開放，多廠商可替換	國內相對封閉，海外受限
單埠頻寬上限	800 Gb/s（XDR，2025 年批次）	800 Gb/s（TH5，2024 年批次）	800 Gb/s（2025 年預計商用，公開資料未見確切時間）
端到端延遲（典型）	1.0–1.5 μs	2–4 μs（深度最佳化後）	公開資料未見獨立第三方測試
大型叢集運維複雜度	低：端到端認證，自適應路由成熟	中-高：需自建無損乙太網路運維體系，PFC 調優複雜	中：國內工程師資源充足，但經驗積累期短
功耗效率	較高，專用製程與設計	商用晶片能效最佳化中，LPO/CPO 勢在必行	公開資料未見功耗橫向對比
供應鏈安全（非中國視角）	依賴 NVIDIA 單一供應	多源，韌性好	N/A
供應鏈安全（中國視角）	受出口管制影響，供應受限	交換晶片仍依賴 Broadcom/Marvell	國產替代首選，但先進製程受限
典型客戶	OpenAI、xAI、Meta（訓練叢集）	Microsoft、AWS、Google（自建）、國內雲端商	國內運營商、金融、政府算力中心
交付週期（2024–2025）	部分高階 SKU 交期 26 周+	商用晶片交期正常，白盒組裝快	國產晶片受良率與產能影響，大規模交付能力待驗證
相對採購成本指數	100（參考基準）	60–75（僅硬體，不含運維）	70–85（國內報價，估計值，非精確報價）

注：成本指數為定性估計，非準確報價，實際專案價格視規模、關係和交期而浮動。

風險

• 供應鏈集中風險：NVIDIA 在 IB 和高階訓練網絡卡市場幾乎壟斷，任何產能波動或地緣政策變化（如出口管制）都直接影響叢集交付與擴張節奏。2024 年，美對華高階網路裝置出口限制顯著影響中國市場 IB 和高階乙太網路網絡卡獲取。
• 技術路線鎖定與跨代不相容：IB 每代升級涉及交換器、網絡卡和線纜的全面更換，CAPEX 巨大。專用互連（NVSwitch Fabric）更繫結單一廠商。一旦選擇封閉路線，後續議價與遷移能力受限。
• RoCE 運維黑箱與事故風險：PFC 風暴導致的死鎖、吞吐斷崖事件在大型 RoCE 網路中屢有發生（Microsoft、Meta 等均有論文揭露）。建置高標準無損乙太網路運維體系對人才和流程要求極高，缺乏經驗的組織會面臨長期 MFU 波動。
• 光模組成本與功耗佔比上升：高速光模組（800G/1.6T）約佔叢集網路成本的 30–50%（Dell’Oro 估計，2024），且每埠功耗從 100G 時代的 3.5W 升至 800G 的 14–20W。若功耗與成本無法通過 LPO/CPO 有效化解，十萬卡叢集的網路總功耗將挑戰資料中心可用供電上限。
• 技術迭代週期壓縮淘汰風險：AI 網路從 200G 到 400G 再到 800G 的迭代僅用約 4 年，大大快於傳統資料中心網路（5–7 年）。廠商和客戶面臨資產過早被替代的風險，庫存跌價壓力增大。
• 標準碎片化：UEC 雖力圖統一新一代乙太網路，但初期可能存在各廠商私有實現差異，互操作性未經充分驗證，早期部署者可能遇到相容性陷阱。
• 地緣分裂與標準割裂：中國國內市場加速形成自主 RoCE 生態（華為、新華三、國產晶片等），與國際主流生態在協議、晶片、光模組標準上可能出現分層甚至不相容，增加全球化公司異構管理難度。

誤讀糾偏

• 誤讀 1：“Scale‑out 網路就是多插幾根網線，頻寬不夠就升級。”
  糾偏：真實困難在於集體通訊的同步屏障、Incast 擁塞和微突發導致的尾延遲。單純堆疊埠頻寬，若沒有擁塞控制、自適應路由和通訊庫協同，有效吞吐可能遠低於物理頻寬。一個典型案例：某千卡叢集網絡卡頻寬顯示飽滿，但由於 AllReduce 環的尾延遲，訓練步時間反而延長 40%，MFU 大幅下降——根源在於網路缺乏端網協同設計。優秀的 Scale‑out 網路是“頻寬 × 低延遲 × 智慧流控”的系統工程。

• 誤讀 2：“InfiniBand 和 RoCE 效能差距很小，可以隨時互換。”
  糾偏：在小於 256 卡的小規模叢集中，兩者差異確實可以忽略，但上萬卡時，IB 的確定延遲、靜態轉發延遲和成熟的自適應路由帶來的全叢集尾延遲改善可達 15–30%（多篇學術論文測量結果綜述）。RoCE 依賴 PFC/ECN，複雜拓撲下配置不當可能引發 PFC 風暴，導致區域性甚至全網癱瘓。遷移需謹慎評估規模和運維能力，而非僅看單價。

• 誤讀 3：“所有資料並行通訊都使用 AllReduce，網路只需關注對分頻寬。”
  糾偏：現代大型模型訓練混合多種並行策略。MoE 模型的 All‑to‑All 通訊對訊息速率要求極高，張量並行的 AllReduce 極度延遲敏感，流水線並行的 P2P 傳送頻寬需求低但頻繁。單一指標（bisection bandwidth）無法刻畫綜合性能。實際設計需分析工作負載通訊矩陣，選擇拓撲和集合通訊演算法做聯合最佳化。

• 誤讀 4：“光模組就是即插即用，與 Scale‑out 網路設計關係不大。”
  糾偏：光模組的功耗、熱特性（散熱方式）、誤位元速率（BER）和訊號完整性直接影響交換器埠可用密度和網路可靠性。大量廉價光模組可能導致鏈路頻繁 up/down，觸發路由重新收斂，危害訓練穩定性。部分雲端廠商已建立嚴格的模組認證白名單。LPO 等新技術還需要交換器側 DSP 配合，光-電協同設計成為競爭力關鍵。

• 誤讀 5：“購買 NVIDIA DGX SuperPOD 就等於獲得最佳 Scale‑out 網路。”
  糾偏：DGX SuperPOD 代表 NVIDIA 參考架構，包含經預測試和調優的網路方案，確實能大幅縮短交付和調優週期。但“最優”是負載依賴的——不同模型、不同並行策略、不同 MoE 配置的最優拓撲和 NCCL 引數可能不同。加上成本約束，有些自建叢集用白盒 RoCE 也能在特定負載下達到媲美甚至超過參考架構的價效比。沒有一成不變的最優解，只有與工作負載、預算和團隊能力相適配的方案。

最新事件

（資訊截至 2025 年 2 月，來源為公開報道、公司公告及行業會議。）

• NVIDIA Blackwell B200/B100 平台釋出（2024 年 3 月 GTC）：整合第五代 NVLink 和 NVSwitch 支援跨 72 GPU 的超節點，配合 800G IB（XDR）構成兩層 Scale‑out。B200 的 Scale‑out 埠要求每 GPU 800G 雙向，牽引網路裝置全面向 800G/1.6T 切換。
• xAI Colossus 十萬卡叢集曝光（2024 年 9 月）：xAI 在田納西州建成號稱全球最大 NVIDIA H100 訓練叢集，規模超 100,000 GPU，採用 NVIDIA IB NDR400 網路。業界重點關注其功耗排程、散熱和網路穩定性運營經驗。
• 超級乙太網路聯盟（UEC）釋出 1.0 規範（2024 年 Q3）：UEC 提出涵蓋傳輸層協商（UET）、多路徑和包噴灑（Packet Spraying）、靈活有序交付等新型協議。首批支援 UEC 的網絡卡和交換器計劃於 2025–2026 年商用投放，被視作 RoCE 的升級替代。
• 800G LPO 光模組生態加速（2024 年全年）：多家光模組廠商與交換器晶片廠商完成 LPO 互通測試，NVIDIA Spectrum‑X 和 Broadcom Tomahawk 5 均在建置 LPO 支援。LPO 由於省去 DSP，功耗下降約 40–50%，延遲更有優勢。
• 華為釋出星河 AI 網路解決方案（2024 年 9 月全聯接大會）：面向國內市場的端到端 AI 網路方案，使用自研 Solar 交換晶片、自研光模組及 AI 加速網絡卡，主推 RoCE 實現大規模組網，強調“無損乙太網路”和智算互聯。
• 美國商務部更新對華高階晶片出口管制（2024 年全年多次）：持續收緊對 NVIDIA ConnectX、Quantum 交換器和 800G 光模組對華出口許可證審查，間接加速中國國內替代方案推進。
• Meta 宣佈基於乙太網路的 Llama 3 大規模訓練叢集（2024 年 4 月）：Meta 公開其用於 Llama 3 訓練的叢集架構，採用 RoCE v2 乙太網路而非 IB，規模達 24,000+ H100 GPU（分兩個叢集），為大型乙太網路 AI 叢集提供了參考案例，但訓練穩定性細節未完全揭露。

追蹤指標

持續評估 Scale‑out 網路行業演進，建議關注以下維度的資料變化：

1. GPU 出貨結構：不同速率網絡卡滲透率（400G vs 800G vs 下一代），市場研究機構（Dell’Oro、650 Group）的埠季度出貨資料。
2. 超大規模雲端商 Capex 展望：Microsoft、Google、Amazon、Meta 的季度資本支出與網路裝置支出相關論述，以及 xAI、OpenAI 等新勢力的融資與叢集建設新聞。
3. 光模組出貨量及 ASP 走勢：LightCounting 等釋出的季度光模組出貨量（按速率分），及主要光模組廠商財報中的 AI 業務增速與毛利率。
4. IB vs 乙太網路份額變遷：Dell’Oro 對資料中心交換器市場分協議（Ethernet/IB）的追蹤報告，以及主要 IB 客戶（如大型訓練新勢力）是否新增或轉移至乙太網路方案。
5. UEC 生態里程碑：關注 UEC 成員產品商用時間、首批大規模部署案例及互操作性問題揭露。
6. 網路故障公開復盤：大型 AI 叢集因網路引發的訓練中斷、吞吐驟降等事故報告及論文，可揭示特定方案的侷限性。
7. 晶片製程與功耗資料：224Gbps SerDes、CPO 等新技術的量產日程，及每位元功耗（pJ/bit）的實際進展資料。
8. 出口管制與地緣風險動態：美對華網路裝置管制清單更新、國內自主方案（如華為、國產晶片）的測試與部署規模報道。
9. MFU 基準測試公開結果：MLCommons MLPerf Training 等基準測試中的網路效率相關指標對比，以及各企業/研究機構在論文中揭露的大規模訓練 MFU 資料。

信源

為確保資訊可驗證和透明度，以下列出引用的主要資訊源類別及代表性來源（截至 2025 年 2 月）。部分行業報告因網路獲取受限未列出具體連結，建議直接查詢相關機構官網。

• 公司財報與官方公告：NVIDIA（FY2024, FY2025 財報及 GTC 演講）、Broadcom（FY2024 財報）、Marvell（FY2025 Q3 財報）、Arista（2024 Q3 財報會議）、Coherent（FY2025 Q1 財報）、中際旭創及新易盛定期公告及業績預告。
• 行業分析報告：Dell’Oro Group（AI Back‑end Network 市場預測，2024 年 10 月）、LightCounting（800G/1.6T 光模組市場報告，2024 年 12 月）、650 Group（資料中心交換器及 DPU 季度追蹤，2024 年 Q3）。
• 技術規範與白皮書：超級乙太網路聯盟 UEC 1.0 規範（2024 年 9 月釋出）、NVIDIA《NCCL 通訊庫文件》、《RDMA Aware Networks Programming 使用者指南》、Broadcom Tomahawk 5 技術白皮書。
• 學術論文與會議演示：Microsoft《RDMA over Commodity Ethernet at Scale》（NSDI/ACM 會議相關論文）、Google Jupiter 網路論文（ACM SIGCOMM 2022）、關於 DCQCN/TIMELY/HPCC 擁塞控制的學術論文（SIGCOMM、NSDI 系列會議）、Meta 公開發布的 Llama 3 訓練叢集描述。
• 官方組織與開源社群：SONiC 社群 Annual Report（2024）、Linux 基金會 SONiC 專案頁面。
• 新聞與深度報道：覆蓋 xAI Colossus 叢集建設、華為全聯接大會 2024 AI 網路方案發布、美國商務部對華晶片管制動態等事件的權威科技及財經媒體公開報道。

（注：本文關鍵規格、廠商資訊和市場資料來自上述公開來源，系對截至 2025 年 2 月行業狀態的定性描述。財務、產能和份額數字均已標註公開年份和來源口徑；未找到明確出處的，已標註“公開資料未見”。前沿技術引數請以各廠商最新發布為準。本文不構成任何形式的投資建議。）