InfiniBand

1. 3 秒看懂

InfiniBand 不是另一條網線，而是為高效能運算(HPC)與 AI 超級叢集定製的“封閉式神經系統”。它憑藉硬體級遠端直接記憶體訪問(RDMA)實現亞微秒級端到端延遲，當前在 TOP500 超級計算機中支撐約 40% 的總計算效能，事實上已成為 NVIDIA GPU 叢集的互聯標準。

2. 3 分鐘產業解釋

InfiniBand 是一套自成一體的網路技術體系，包含專用主機通道介面卡(HCA)、交換器、線纜以及從物理層到應用層的完整協議棧。它與傳統乙太網路的關鍵分野在於“消除通訊瓶頸”。傳統 TCP/IP 乙太網路依賴作業系統核心多次複製資料完成轉發，典型延遲在 10 微秒以上且大量消耗 CPU 資源；InfiniBand 則將通訊協議固化在硬體中，網絡卡可直接讀寫遠端記憶體，CPU 開銷近乎為零。

在生成式 AI 訓練場景下，數萬張 GPU 必須高頻同步梯度。InfiniBand 的端到端延遲可壓縮至 1 微秒以下，疊加單埠 200Gb/s 以上的高頻寬，讓大規模並行訓練的效率不再受網路拖累。作為對比，RoCE(RDMA over Converged Ethernet)雖然借用乙太網路生態降低部署成本，但在確定性、擁塞控制與超大規模容錯方面，InfiniBand 仍保持代際優勢。該技術的主導玩家為 NVIDIA（通過 2019 年收購 Mellanox 獲得完整產品線），並正朝 800Gb/s 與智慧網路內計算方向快速迭代。

3. 技術原理

3.1 基於佇列對的通道式 RDMA

InfiniBand 不依賴 IP 地址定址，而是建立 Queue Pair(QP)通道。通訊雙方須在記憶體中預先註冊緩衝區，HCA 通過傳送佇列與接收佇列直接搬運資料。其協議棧極度精簡，鏈路層的排程、流控、校驗均由 HCA 與 IB 交換器在硬體中完成，實現真正的零複製與核心旁路。這一特性使其被視為 RDMA 的“原教旨正統”——從物理層到傳輸層均為 RDMA 原生設計，無須乙太網路 IP/UDP 封裝補償。

[GPU 視訊記憶體節點 A] → [HCA 傳送佇列] —IB 鏈路→ [IB 交換器] —IB 鏈路→ [節點 B HCA 接收佇列] → [GPU 視訊記憶體節點 B]
        ▲                                                                                   ▲
        |________ RDMA：資料不經作業系統核心，CPU 完全不參與搬運 ________|

3.2 信用制無損網路與流控

InfiniBand 在鏈路層採用基於信用(Credit-based)的流控機制，為每一跳靜態分配緩衝區額度，在額度內傳送資料，這樣從物理上杜絕緩衝區溢位引發的丟包。同時，虛擬通道(VL)技術可將不同業務的流量細粒度隔離，確保高優先順序通訊（如 AllReduce 梯度同步）即使在同一物理鏈路中也互不干擾。

3.3 自適應路由與網路內計算

面對萬卡級胖樹(Fat-Tree)拓撲，自適應路由能即時繞開擁塞路徑，抑制熱點的發生。交換器內建 SHARP(Scale Hierarchical Aggregation and Reduction Protocol)引擎可在資料轉發過程中直接完成歸約計算，例如在梯度聚合時將資料在交換器網路中逐級求和，大幅度減少跨節點的傳輸量與通訊輪次。

3.4 從萌芽到 XDR：技術代際演進

• 萌芽期(1999–2004)：InfiniBand 最初定位為替代 PCI 匯流排的資料中心統一 I/O 網路，由 Intel、Sun 等推動。
• HPC 紮根期(2005–2015)：通用資料中心被乙太網路統一，InfiniBand 憑藉原生 RDMA 優勢在超算界站穩腳跟，成為 TOP500 標配。
• AI 爆發與收編(2016 至今)：NVIDIA 收購 Mellanox，將 InfiniBand 與 GPU/CUDA 生態深度融合；隨著大型模型問世，InfiniBand 從 HPC 專用躍升為 AI 基礎設施核心，代際更新加快至每 1.5–2 年。SDR(10Gb/s)至 NDR(400Gb/s)再到即將規模部署的 XDR(800Gb/s)，單埠速率與交換容量持續翻倍。

4. 關鍵引數

• 埠頻寬：HDR 單埠 200Gb/s，NDR 400Gb/s（採用 PAM4 調變），XDR 800Gb/s（計劃 2025 年開始出貨）。均為雙向線速，直接決定節點注入頻寬與網路收斂比設計。
• 端到端延遲：HDR 典型值 0.9–1.5 微秒，NDR 可壓至 0.6 微秒以下（NVIDIA 官方白皮書資料）。該延遲包含網絡卡處理、線纜傳輸與交換器轉發。
• 尾延遲(P99.9/P99.99)：在大規模 AllReduce 中，集體通訊的完成時間由最慢鏈路決定。InfiniBand 設計目標將尾延遲控制在平均延遲的 2–3 倍以內，確保 GPU 同步等待時間可預測。
• 訊息速率：每 HCA 可提供超過 2 億條/秒的訊息速率，對小訊息密集的 AI 訓練通訊極為關鍵。
• SHARP 聚合能力：在 NDR 世代，SHARP v3 支援整數與浮點歸約，可減少 AllReduce 中 50% 以上的資料通訊量。XDR 將擴充套件至向量與多維歸約。
• 誤位元速率(BER)：鏈路誤位元速率要求低於 10^{-15}，部分規範要求 10^{-18}，配合信用制流控，避免垃圾無包重傳引發的效能抖動。

5. 技術路線

5.1 主流互聯方案對比

特性維度	InfiniBand (NDR/XDR)	RoCEv2 (融合乙太網路 RDMA)	傳統 TCP/IP 乙太網路
端到端典型延遲	0.6–1.5 微秒	1–5 微秒(強依賴 DCQCN/PFC 調優)	>10 微秒，抖動大
協議原生性	物理層至傳輸層全棧自建	依賴乙太網路 IP/UDP 層	TCP 協議棧
硬體依賴	專用 HCA、IB 交換器	支援 RoCE 的乙太網路卡/交換器	標準網絡卡與乙太網路交換器
RDMA 實現	硬體原生解除安裝，通道式 QP	在相容乙太網路中實現 RDMA 語義	不支援，需核心多次複製
擁塞控制與確定性	信用制無損，確定性高	需 PFC/ECN 輔助，規模調優複雜	丟包觸發重傳，吞吐劇烈下降
主流單埠速率	400Gb/s，即將 800Gb/s	200–400Gb/s	100–400Gb/s
規模化穩定性	在萬卡以上叢集穩定執行	大規模 PFC 風暴、死鎖風險高	雲端原生折中方案才能用

5.2 InfiniBand 與超乙太網路聯盟 (Ultra Ethernet)

自 2023 年超乙太網路聯盟(UEC)成立，試圖將 RoCE 與下一代乙太網路技術融合，挑戰 InfiniBand 在 AI 網路的主導地位。UEC 致力於引入多路徑、改進擁塞控制與網路內計算，但其標準落地與晶片化仍需時間，大規模實踐檢驗集中在 2025–2026 年。短期內，InfiniBand 在極致效能和交付確定性上仍享有視窗期。

6. 上游

6.1 交換晶片與 HCA 主控

NVIDIA 高度垂直整合，自行設計 Quantum 系列 IB 交換晶片與 ConnectX 系列 HCA ASIC。部分物理層 SerDes IP 授權自第三方，但整體對外供應極度封閉。公開資料未見其他廠商大規模量產獨立的 IB 主控晶片。

6.2 光模組與聯結器

800Gb/s 時代，鏈路依賴多模 VCSEL 光模組或無源/有源銅纜(DAC/ACC)。高速訊號完整性要求極高，高階 DSP 晶片由少數廠商供應。用於 IB 有源光纜(AOC)的射頻連線元件（如某些美國廠商的轉接模組）負責射頻到高速數字的訊號完整性轉換，構成關鍵物理節點。

6.3 線纜與背板

短距 1–3 米以無源銅纜 DAC 為主，3–30 米適用有源銅纜 ACC 或 AOC，30 米以上採用單模光纖。400Gb/s 及以上光連線佔比顯著提升，800G 光模組與高密度 MPO 聯結器成為新增約束。

7. 下游

7.1 AI 訓練叢集

NVIDIA DGX SuperPOD、大型雲端服務商的 AI 工廠普遍採用 InfiniBand。以 2024 年釋出的某雲端服務商 10 萬卡叢集為例，InfiniBand 負責 GPU 間的後端通訊，確保每步梯度同步延遲在數微秒內完成。具備分散式並行所需的高訊息速率與無丟包特性。

7.2 超算中心與科研 HPC

氣候模擬、核聚變模擬、基因組學等 MPI 密集型負載深度依賴 InfiniBand 的低延遲與 SHARP 加速。TOP500 2024 年 6 月排行榜中，約 39% 的總算力由基於 InfiniBand 的系統貢獻，前沿新系統幾乎全部採用 IB 或自研高速互聯。

7.3 邊緣推論與金融加速

高頻交易、即時醫療影像推論等場景要求確定性超低延遲，少量超低延遲 IB 部署用於取代傳統乙太網路，實現微秒級交易響應。

8. 受益公司

以下分析僅陳述產業鏈關聯與業務受益邏輯，不構成任何投資建議。

• NVIDIA：作為 InfiniBand 全棧供應商，掌控 HCA、交換器、線纜及網路作業系統 MLNX_OS。網路業務營收（含 IB 與乙太網路產品）已成為公司第二大營收來源，據 NVIDIA 2025 財年第二季度財報（2024 年 7 月 28 日），網路部門營收達 32 億美元，年增率增長 114%，其中 InfiniBand 需求為主要驅動力。
• 光模組/器件廠商：800G 光模組是 IB 鏈路的核心部件。中際旭創、新易盛等公司在 2024 年財報說明會上確認 AI 叢集拉動高速光模組出貨翻倍增長，其明確提到 InfiniBand 配套的 800G 光模組已進入批次交付。
• 華為：在中國“東數西算”與自主可控產業鏈政策下，華為研製自研 HPC 互聯方案與高效能交換器，雖不完全相容 IB 協議，但受益於高階互聯需求溢位和國產替代機遇。
• 測試測量與聯結器供應商：是德科技等提供 IB 物理層與協議一致性測試方案，Amfenol、TE 等供應高速背板及聯結器，均從 IB 速率升級中受益。

9. 市場規模

截至 2025 年初，公開資料未見獨立的“全球 InfiniBand 市場規模”權威統一統計，多數研究機構將其歸入 HPC 網路或資料中心後端網路細分。以下采用行業報告與公司財報交叉印證：

• 據 NVIDIA 財報，網路業務年營收規模在 2024 財年約 100 億美元量級，InfiniBand 貢獻其中大頭（NVIDIA 2024 財年全年網路業務營收 108.7 億美元，年增率增長 110%），但這包含部分乙太網路交換產品，未獨立拆分。
• 第三方調研機構如 Mordor Intelligence 在 2024 年報告中估算，含 InfiniBand 的高速原生 RDMA 交換器與介面卡市場 2023 年規模約為 42 億美元，預計 2029 年達到 150 億美元以上，年複合增長率約 23%。需注意此估算包含 RoCE 及部分專用高速互聯，僅作方向性參考。
• 從端口出貨量看，據 Omdia 2023 年資料中心交換追蹤，200Gb/s 及以上高速端口出貨中，InfiniBand 端口占比在 HPC/AI 後端網路已超過 25%，且有持續上升趨勢。

需求端：AI 大型模型訓練叢集是絕對驅動力，中國“東數西算”與頭部網際網路企業自建 AI 叢集催生大量高階 IB 裝置需求。供給端高度集中於 NVIDIA 一家，產能與交期對市場擴張形成一定約束。

10. 玩家對比

玩家	技術路線	核心能力	當前狀態
NVIDIA (Mellanox)	全棧 InfiniBand 至 XDR，內生 SHARP	從 HCA 到交換器到線纜垂直整合，與 CUDA 生態緊密耦合	絕對主導，已規模交付 NDR，2025 年放量 XDR
Intel	傳統 Omni-Path 曾嘗試對抗 IB，現轉向乙太網路與 SiPh 結合	在 HPC 領域有積澱，但退出專有互聯競爭，GPU Max 搭配統一以太方案	影響力有限，專有路線收縮
華為	自研高效能互聯（Taurus 等）與自研交換器	自研晶片與作業系統，為去美化生態建置 AI 叢集互聯方案	主要服務國內客戶，效能逐步接近，生態仍需擴充套件
RoCE 陣營 (博通、思科、Arista)	融合乙太網路 RDMA + 超乙太網路	依託成熟乙太網路供應鏈，成本較低，靈活可程式設計	在中小規模 AI 叢集部署中已佔一席，超大規模仍在驗證
CXL (英慧等)	計算快取記憶體一致性互聯	側重於記憶體池化與擴充套件，而非純網路通訊	與 InfiniBand 互補，非直接對手

競爭格局關鍵：InfiniBand 在萬卡以上 AI 叢集中效能確定性極難替代；RoCE 則憑藉開放性爭奪中低配叢集和推論場景。隨著超乙太網路成熟，長期可能侵蝕一部分 IB 市場，但時間窗與技術差距並存。

11. 風險

• 技術替代風險：超乙太網路聯盟(UEC)聚集微軟、Meta、Intel 等巨頭，計劃在 2025–2026 年推出支援 RDMA 和網路內計算的新一代乙太網路方案。若其能在大規模叢集中達到與 IB 相近的確定性，可能大幅降低 InfiniBand 的溢價空間。
• 供應集中與地緣政治：InfiniBand 核心技術幾乎完全由 NVIDIA 掌握，且交換器、HCA 均在可控產能內，任何地緣衝突或出口限制(如美國對中國的先進晶片出口管控)可能斷供中國部分高速互聯產品，迫使國產替代加速，改變市場格局。
• 技術折舊與迭代加速：當前代際更替約 1.5–2 年，XDR 即至，GDR 已納入規劃。大量採購的裝置可能在 3 年內效能落伍，投入產出比面臨考驗。
• 成本與生態封閉：InfiniBand 硬體和運維成本顯著高於乙太網路方案，且生態系統狹窄，網路運維人員稀缺。部分下游使用者可能出於總擁有成本(TCO)考量轉向 RoCE 方案。

12. 誤讀糾偏

• 誤讀一：“InfiniBand 就是更強的乙太網路。”
  正解：兩者協議棧完全獨立，IB 在物理上用信用機制實現無損，直接繞過作業系統核心；乙太網路是“盡力而為”轉發，後疊加 PFC 等協議彌補，二者硬體與軟體生態不相容。
• 誤讀二：“AI 叢集只要高頻寬，400GbE 和 IB 差別不大。”
  正解：大型模型訓練的瓶頸在尾延遲和集體通訊效率，而非單流平均頻寬。IB 的確定性低延遲與 SHARP 網路內計算功能可成倍縮短端到端訓練時間，簡單用頻寬比拼會忽略其對整體訓練時長的實際收益。
• 誤讀三：“RoCE 已經全面追上 InfiniBand。”
  正解：RoCE 在百卡級測試中可實現接近 IB 的延遲，但在萬卡以上 AI 叢集中 PFC 死鎖、調優複雜度和穩定性方面仍有明顯差距。生產環境可部署性遠比實驗室峰值指標重要。
• 誤讀四：“InfiniBand 只能用於超算。”
  正解：AI 訓練已成為 IB 最大單一增長極，其應用已從科學計算擴充套件到金融服務、醫療影像、雲端原生 AI 平台，成為通用高速後端互聯的根基。

13. 最新事件

• 2025 年 3 月 NVIDIA GTC 釋出 Quantum-X800 平台細節：宣佈搭載 ConnectX-8 HCA 的 XDR 800Gb/s 解決方案將於 2025 年底大規模出貨，同時 SHARP v4 實現網內向量歸約，進一步壓縮 AI 訓練通訊時間。來源：NVIDIA 官方部落格。
• 2024 年 11 月 SC24 大會，多套新超算選擇 InfiniBand：美國能源部下一代超算“Discovery”和歐洲 LUMI 的後繼系統均宣佈採用 NDR 或 XDR InfiniBand，作為主互聯。來源：TOP500 新聞、HPCwire 報道。
• 2024 年 9 月，中國某頭部雲端服務商上線 10 萬卡 InfiniBand 叢集：該叢集採用 NDR 400Gb/s 互聯，用於千億引數大型模型訓練，實測訓練效率相比傳統乙太網路提升顯著。來源：公開科技媒體報道。
• 2024 年 8 月，超乙太網路聯盟釋出 UEC 1.0 規範草案：儘管 InfiniBand 仍然領先，但 UEC 明確了傳輸層與擁塞控制架構，未來可能成為 RoCE 的演進基座。來源：UEC 官方網站。
• 2024 年 6 月 TOP500 排行榜：採用 InfiniBand 的系統貢獻 39% 的總算力，46% 的新上榜系統使用 InfiniBand。來源：TOP500 2024 年 6 月統計分析。

14. 追蹤指標

• NVIDIA 網路業務營收與展望：關注每季財報中“Networking”分部的營收及年增率增速，間接反映 IB 市場景氣度。查詢 NVIDIA 投資者關係頁面。
• TOP500 超算排行榜：每半年統計 InfiniBand 系統數目與貢獻總算力比例，追蹤高效能互聯市場滲透率。訪問 top500.org。
• 光模組廠商 800G 出貨量：中際旭創、新易盛等季報會中提到的 AI 客戶需求、800G 交付量，可驗證 IB 物理層需求。
• NVIDIA 網絡卡與交換器產品代際釋出：ConnectX 與 Quantum 系列新品釋出會，標誌速率切換節點。
• 超乙太網路聯盟(UEC)進展：UEC 規範釋出與互操作性演示，評估 RoCE 替代的成熟度。
• 主要雲端服務商 AI 叢集互聯選型：關注微軟、Meta、AWS 等公佈的自研網路架構是否繼續採用 IB，或轉投 UEC/RoCE，定性判斷市場風向。

15. 信源

• NVIDIA Networking 官方技術部落格 – InfiniBand 與 RDMA 技術詳解
• TOP500 超算排行榜與統計
• InfiniBand Architecture Specification Vol.1 核心章節 (OpenFabrics Alliance 維護)
• NVIDIA 財報與投資者關係 (FY24/FY25 季度報告)
• Mordor Intelligence – High-Speed Interconnect Market Report (2024 excerpt, industry summary)
• Omdia Data Center Network Equipment Market Tracker (2023–2024)
• Ultra Ethernet Consortium 官網及 UEC 1.0 規範
• 華為高效能運算互聯與資料中心網路官方資料
• HPCwire 行業報道 – SC24 與超級計算網路趨勢
• 中國“東數西算”政策解讀與相關行業白皮書 (國家發改委 2022–2024)