InfiniBand 網絡卡（HCA）

1. 核心摘要

InfiniBand 主機通道介面卡（Host Channel Adapter, HCA）是高效能運算（HPC）和人工智慧（AI）訓練叢集中不可替代的互聯底座。作為網路介面卡，它在硬體層面實現了遠端直接記憶體訪問（RDMA）、微秒級端到端延遲和超高頻寬，將 CPU 從繁重的網路協議處理中徹底解放。NVIDIA 通過收購 Mellanox，現已擁有從 ConnectX 系列 HCA 晶片、Quantum 交換器到統一管理軟體的完全垂直整合體系，構成了當今萬卡乃至十萬卡級 GPU 叢集的事實標準。本報告系統梳理 InfiniBand HCA 的技術原理、產業格局、市場驅動力與競爭變數，指出在 AI 算力軍備競賽的背景下，InfiniBand 作為 GPU 織物的核心壁壘短期內難以被顛覆，但基於融合乙太網路的 RoCE 方案和新興的 CXL 互聯生態正在形成長期替代壓力。

2. 高效能互連在 AI 時代的戰略地位

過去十年，深度學習模型的引數量呈指數級增長，從 AlexNet 的 6000 萬引數到 GPT-4 據稱超 1.7 萬億引數，單次訓練迭代所需通訊的資料量爆炸性攀升。在大規模分散式訓練中，尤其是主力通訊模式 AllReduce 梯度同步，數百乃至數千個 GPU 必須在每步反向傳播後快速交換梯度資料。一旦網路成為瓶頸，昂貴的 GPU 將陷入空等，叢集線性加速比急劇惡化。

傳統 TCP/IP 乙太網路並非為這種緊耦合平行計算而設計。CPU 必須深度介入傳輸層與網路層的每一包處理，帶來數十微秒的延遲、核心態與使用者態頻繁切換以及至少兩次資料複製。這些開銷在節點內 GPU 算力已達到 PFLOPS 級別的時代被無限放大。換言之，沒有極低延遲和高頻寬的互連，線性堆積 GPU 的收益將被通訊開銷吞噬殆盡。因此，決定 AI 基礎設施能力上限的已不單單是單卡 FLOPS，更是互聯頻寬-延遲乘積。InfiniBand 就是為了解決多處理器系統中“記憶體匯流排外部延伸”的需求而誕生的技術，其設計初衷是將 I/O 子系統提升到記憶體語義級別，這恰恰契合了當今 AI 超級計算對網路的極致要求。

3. InfiniBand 技術的歷史與標準演進

InfiniBand 的前身可追溯到 1999 年由 Compaq、Dell、HP、IBM、Intel、Microsoft 和 Sun 等公司組成的 IBTA（InfiniBand 貿易協會）。當時業界發現 PCI 匯流排無法滿足伺服器叢集對高頻寬、低延遲互連的需求，試圖建立一個統一的資料中心 I/O 架構，替代 PCI 並終結多匯流排混亂。雖然 InfiniBand 未能在通用伺服器領域全面替代 PCI，但其在超算叢集中找到了生存土壤。

從 SDR（單資料速率）2.5 Gbps 起步，歷經 DDR（5 Gbps）、QDR（10 Gbps）、FDR（14 Gbps）、EDR（25 Gbps）、HDR（50 Gbps）、NDR（100 Gbps），到 2025 年已規模商用的 NDR200（每通道 100 Gbps，4x 聚合 400 Gbps）和推進中的 XDR（每通道 200 Gbps 或更高），InfiniBand 一直保持著乙太網路一代以上的頻寬代差。同時，InfiniBand 標準定義了完善的 RDMA 語義、鏈路層流控和子網管理模式，天然支援從雙機直連到數萬節點無損網路的建置。2019 年 NVIDIA 以約 69 億美元收購 Mellanox Technologies，將 InfiniBand 完全納入了其加速計算版圖，從此 InfiniBand 的技術迭代與 NVIDIA GPU 產品節奏深度繫結，成為 DGX SuperPOD 等參考架構的指定互連，確立了當今 AI 超級網路的鎖定格局。

4. HCA 產品架構與關鍵特性

HCA 並非簡單的網絡卡，而是一臺擁有深度硬體流水線的通訊解除安裝引擎。以 NVIDIA ConnectX-7 為例，該晶片整合 PCIe 5.0 x16 主機介面（雙向約 512 Gbps），雙埠 InfiniBand NDR200（單埠 400 Gbps），支援每秒超 2 億條訊息的吞吐能力。硬體內部包含了完備的傳輸層引擎、RDMA 引擎、報文排程器、虛擬化邏輯和 Crypto/TLS 加速單元。

HCA 的核心角色是將所有網路協議處理解除安裝到網絡卡硬體。相較於傳統網絡卡，HCA 具有以下幾個關鍵特性：

• 完整傳輸層解除安裝：內建可靠連線（RC）的 ACK/NACK 生成、超時重傳、保序和擁塞控制硬體邏輯，CPU 僅需維持上層應用狀態。
• 零複製 RDMA：記憶體中的資料通過 PCIe 匯流排被 HCA 直接 DMA 搬運，遠端 HCA 再以 DMA 方式寫入目標記憶體，全程不經 CPU 暫存器或核心緩衝區。
• GPUDirect RDMA：NVIDIA 私有擴充套件允許 HCA 直接讀寫 GPU 視訊記憶體，梯度同步時避開 GPU 到 CPU 記憶體的複製環節，極大降低延遲和系統記憶體頻寬消耗。
• 多虛擬通道（VL）和 QoS：硬體支援 8 條以上虛擬通道，將管理流量、控制平面、低延遲資料流和大量資料流物理隔離，從鏈路層解決隊頭阻塞。
• 基於信用的流控：鏈路層採用 credit-based 絕對流控，傳送方獲取接收方緩衝信用後才可傳送資料，使得網路在理論上可以做到無損，避免因緩衝區溢位而丟包，是實現低延遲確定性的基石。

5. 協議棧分層與 QoS 機制

InfiniBand 協議棧嚴格遵循分層設計，各層硬體實現，確保處理速度達到線速。

層級	主要功能	AI 訓練中的對映
應用層 (Verbs API)	提供 libibverbs 庫，定義 RDMA 讀/寫/原子操作，建立佇列對（QP）	NCCL 通過 Verbs 建立通訊環或樹，發起 AllReduce
傳輸層	定義多種服務型別：可靠連線 (RC)、不可靠資料包 (UD)、擴充套件可靠連線 (XRC) 等；實現分段重組、重傳、完成通知	AllReduce 使用 RC 保證梯度完整性，UD 用於控制訊息
網路層	全域性標識 (GID) 和區域性標識 (LID)，子網內路由和跨子網 GRH	胖樹拓撲中利用 LID 對映實現快速靜態路由
鏈路層	幀封裝、信用流控、虛擬通道排程、鏈路訓練	通過嚴格流控在前向路徑上確保無損傳輸
物理層	電氣訊號編碼 (64b/66b)、差分對、多通道繫結 (1x/4x/8x)，支援銅纜、光纖多種介質	NDR200 採用 PAM4 調變，4x 通道實現 400 Gbps

QoS 的精細隔離是 InfiniBand 區別於乙太網路的關鍵競爭力。每個 VL 有獨立的 Buffer 資源，通過兩級仲裁（高低優先順序 VL 仲裁和同優先順序迴圈仲裁）保障關鍵流量的有界延遲。在大規模 GPU 叢集中，管理流量、心跳、作業排程資訊和訓練資料量共享同一物理鏈路，但通過 VL 劃分，微量控制報文不會因為大數據流過量佔用 Buffer 而超時，確保叢集控制平面的穩定。

6. RDMA 與 GPUDirect：零複製通訊原理

RDMA 是 InfiniBand 的靈魂。一次典型的 RDMA 讀取操作流程如下：本地 HCA 收到應用下發的 RDMA Read 工作請求後，直接在通道上構造 RDMA Read 請求報文發往遠端；遠端 HCA 接收報文無誤後，由其 DMA 引擎立刻將遠端記憶體指定區域的資料取出，組包為 RDMA Read Response 發回；本地 HCA 收到 Response，DMA 寫入應用預先註冊的本地記憶體區，然後產生完成佇列元素（CQE）通知應用程式。全程遠端 CPU 未被中斷、未執行任何指令，本地 CPU 也僅在提交和收完成時涉及極少上下文切換。

在 GPU 叢集中，GPUDirect RDMA 將此過程進一步極致化。傳統路徑中 GPU 視訊記憶體資料需先經 cudaMemcpy D2H 拷到 CPU 記憶體，再由 CPU 控制網絡卡傳送。GPUDirect RDMA 通過 PCIe 的 ACS（Access Control Services）重對映和對等通道，使 HCA 直接以 GPU 視訊記憶體實體地址為 DMA 目標，GPU 視訊記憶體內容直接流入 HCA 的傳送流水線。接收端同樣實現網絡卡到 GPU 視訊記憶體的直接寫入。NCCL 等通訊庫利用這一特性實現 ring 或 tree 的 AllReduce 演算法時，每個節點只需發出 RDMA Write（或 Send/Recv）給下一跳，資料沿著 GPU 間的高速通路流動，延遲接近物理極限。

端到端對比資料（相同 Intel/AMD 平台下典型值）：

• InfiniBand RDMA 小訊息延遲：約 1.2~1.5 μs
• RoCE v2（融合乙太網路 RDMA）：約 2.3~3.5 μs
• 傳統 TCP/IP 路徑（10G/25G 高效能網絡卡）：約 10~25 μs
• 軟體棧序列開銷導致的最終應用感知延遲差距更可達數十倍。

7. InfiniBand 與 RoCE、CXL 等互連技術的競合分析

儘管 InfiniBand 效能領先，但成本高昂且封閉的生態始終是其拓展的掣肘。RoCE（RDMA over Converged Ethernet）試圖在通用乙太網路交換裝置上實現 RDMA，初期版本 RoCE v1 限於二層網路，RoCE v2 則支援 IP 路由，大規模部署成為可能。配合 PFC（優先順序流控）和 ECN（顯式擁塞通知），RoCE 可以在特定條件下建置近無損網路。

然而，RoCE 的缺陷也是結構性的：PFC 為粗粒度埠級流控，不當配置容易引起擁塞擴散和 head-of-line blocking，排障複雜；ECN 依賴引數調優，延遲不確定性更大；網路介面卡解除安裝程度參差不齊。因此，在超大規模的 AI 訓練叢集（>1000 GPU）中，InfiniBand 憑藉確定性的信用流控、完善的管理軟體（UFM）和端到端方案一致性，依然佔據絕對主導。RoCE 則更受中小規模部署和具備強大網路工程能力的網際網路大廠青睞，因為它能允許使用開放交換器硬體（如 Broadcom Tomahawk），降低單位頻寬成本。

另一個前沿變數是 CXL（Compute Express Link）。CXL 基於 PCIe 物理層，實現快取一致性記憶體共享，而非僅僅是 RDMA 語義。隨著 Type 3 記憶體擴充套件和 multi-switch 結構成熟，CXL 未來有望在機架內或跨機箱級別承擔 GPU 共享記憶體的角色，可能動搖 InfiniBand 在部分低延遲資料共享場景的壟斷。但 CXL 在跨機櫃多層交換的長距離拓展上仍面臨訊號完整性、延遲放大等問題，三到五年內還難以替代 InfiniBand 的遠距離叢集組網角色。

8. 市場空間與滲透率分析

InfiniBand 的市場增量直接受益於 AI 訓練叢集的指數級擴張。雖然 NVIDIA 並不單獨將 InfiniBand 網路營收做明細揭露，但根據其連續多份財報揭露的“資料中心”營收細分推測，網路相關營收（Spectrum Ethernet + InfiniBand）已穩定在數十億美元/季度級別，年化突破百億美元無虞。其中 InfiniBand 佔比隨著 DGX 出貨和雲端廠商定製部署大幅提升。

主要增量來源：

• 雲端服務廠商（CSP）：AWS（Project Ceiba）、Microsoft Azure、Oracle Cloud 等陸續部署數萬塊 H100/B200 的叢集，均採用 InfiniBand 做後端訓練網；
• 私營 AI 研究公司：如 xAI 的 Colossus 專案部署 10 萬 H100，後端全 InfiniBand 互聯；
• 國家級超算中心：美國阿貢、橡樹嶺等實驗室歷代超級計算機（如 Summit、Sierra）使用 InfiniBand 的歷史延續；
• 大型企業內部訓練叢集：金融、自動駕駛、生命科學領域自建 HPC。

據獨立分析機構預估，到 2028 年 AI 後端網路市場（含 InfiniBand 和 RoCE）總規模接近 300 億美元，InfiniBand 憑藉 NVIDIA 繫結將佔據至少一半份額，但 RoCE 增速可能更快，因其在推論叢集和通用雲端原生的滲透優勢。

9. 產業鏈拆解：從晶片到系統

InfiniBand HCA 產業鏈垂直整合度極高，上游主要由 NVIDIA 把持。

• 晶片設計：ConnectX 系列由 NVIDIA 以色列團隊（原 Mellanox）設計，台積電等代工，為獨家供應。市面上不存在獨立的第三方 InfiniBand HCA 晶片供應商，這是與乙太網路 NIC（Broadcom、Intel、Marvell 等）截然不同的格局。
• 交換器晶片：Quantum 系列 InfiniBand 交換 ASIC，同樣 NVIDIA 專屬，支援高達 64 × 800G 埠，形成大規模胖樹。不存在從 Broadcom 購買 InfiniBand 交換器的可能性。
• 線纜與光模組：雖然核心協議晶片封閉，但 InfiniBand 物理層採用標準的多模/單模光模組或銅纜（DAC/AOC/AEC），供應商覆蓋面廣，例如 Corning、Mellanox LinkX（已被 NVIDIA 整合）、Amphenol、中際旭創等。NVIDIA 通常會認證相容線纜並納入 UFM 管理，構成半開放生態。
• 系統組裝與分銷：NVIDIA 提供參考設計，OEM 如戴爾、聯想、惠普企業、Supermicro 等均可提供預裝 ConnectX HCA 和 InfiniBand 交換器的整機櫃方案。分銷方面 Avnet 等合作伙伴將元件交付客戶。

封閉的晶片生態使 NVIDIA 能夠對每一代產品實現超額毛利率，同時也讓 GPU 叢集客戶別無選擇，形成“算力—網路—管理軟體”三位一體的強繫結。

10. 競爭格局：NVIDIA 的絕對統治與潛在破局者

目前 InfiniBand HCA 領域的競爭幾乎為零。NVIDIA 獨佔市場份額超過 99%，剩餘極少量存量來自早期非 Mellanox 的 InfiniBand 產品（如 Intel 曾試圖收購 QLogic 的 InfiniBand 資產但最終放棄）或者定製化本土方案。然而，挑戰者正在從不同維度逼近：

• RoCE 端到端方案：Ultra Ethernet Consortium（UEC）由 AMD、Intel、Arista、Broadcom、Meta、Microsoft 等組成，旨在打造超大規模乙太網路替代 InfiniBand。UEC 最佳化傳輸層以適應 GPU 流量模式，並降低尾延遲，計劃在 2025~2026 年推出商用產品。如果成功，將打破 NVIDIA 網路鎖，使客戶可以自由選擇 GPU 與網路。
• CXL 交換網路：隨著 CXL 3.0 支援多級交換，以彈性雲端（如 GigaIO、Samsung）為代表的企業試圖用 CXL 建置記憶體池化節點，在節點間直接共享記憶體。雖然當前 CXL 更多聚焦在池化解耦，但長期看會對 InfiniBand 的某些高效能共享場景構成替代。
• 國產替代壓力：在中國，受貿易限制影響，華為、天水華天、海光等企業在積極推動自主互連技術，例如華為的雲端脈（HCCS）和國產的基於 RoCE/CXL 的定製方案，試圖填補 InfiniBand 供應缺口。但短期內無法在效能和穩定性上比肩 ConnectX-7/BlueField。

NVIDIA 的策略是加速技術創新並鞏固軟體生態。其網路管理軟體 UFM（統一結構管理）已演進為 AI 資料中心結構管理器，提供即時遙測、預測性維護和拓撲最佳化，極大提高運維效率。同時，BlueField DPU 進一步將網路和安全功能融合，將 HCA 從網絡卡升級為基礎設施控制中心，深度繫結客戶。

11. 典型客戶與採購模式

InfiniBand 的客戶群高度集中，以超大規模部署為主：

• xAI Colossus：馬斯克旗下 AI 公司部署超過 10 萬 H100，採用 InfiniBand 全互連，其網路規模創下非 CSP 單叢集紀錄。採購過程中 NVIDIA 作為單一聯絡人提供 DGX 基座、HCA、交換器、線纜和軟體一體化交付，極大縮短上線時間。
• Meta：儘管 Meta 公開倡導開放網路，其大量基礎叢集仍使用 InfiniBand（內部代號如 Grand Teton），同時積極測試 RoCE，在成本與效能間平衡。
• 歐洲 AI 工廠：多個由歐盟資助的百億億次計劃（如 LUMI、Leonardo）首選 InfiniBand 以求最短落戶時間。
• 中國 GPU 缺口下的替代：由於出口管制，中國企業無法獲取最新代 InfiniBand，部分轉向庫存的 ConnectX-6 或通過灰色市場獲取舊品。

採購模式通常跟著 GPU 架構走。客戶向 OEM（如超微）採購 DGX 或 HGX 主機板配套系統，網路介面卡和交換器已在 BOM 中，客戶無需單獨招標。這種方式隱藏了網路溢價，形成事實上的搭售，使客戶遷移到其他網路技術時面臨巨大的轉換成本。

12. 前沿技術：800Gbps、超大規模拓撲與 DPU 融合

技術向前看，InfiniBand 正朝三個方向演進：

（1）XDR 800Gbps 與 1.6Tbps 路徑：根據路線圖，XDR 每通道速率將翻倍至 200Gbps，4x 聚合 800Gbps，配合 PCIe 6.0 主機介面。更遠的 1.6Tbps 可能引入 100G SerDes 或並行多晶片封裝。物理層需要先進封裝和低損耗板材，以控制訊號衰減。

（2）拓撲創新與超節點設計：萬卡叢集傳統採用胖樹（Fat-Tree），需要大量核心交換器，成本高昂。NVIDIA 推動的 Spectrum-X 乙太網路平台採用 Dragonfly+ 拓撲減省層數，InfiniBand 也有類似最佳化。同時，Blackwell 架構引入 NVSwitch 構成的超節點（GB200 NVL72），節點內 72 GPU 通過 NVLink 實現全連線，節點間仍用 InfiniBand，大幅降低對外網的壓力。這種“內 NVLink + 外 IB”的混合拓撲成為十萬卡叢集的標配。

（3）DPU 融合：BlueField-4：HCA 不再僅僅是網絡卡，而是植入 ARM 核心和加速引擎的 DPU。BlueField-3 已能執行隔離的作業系統，處理儲存、安全、管理任務。未來 BlueField-4 將整合 GPU 加速單元，實現網路、儲存、計算在網絡卡側融合，使節點內的 CPU 資源徹底卸負，並實現動態自適應路由和網路內計算（In-Network Computing）——交換器即可完成部分梯度聚合，進一步減少流量。

13. 行業風險：供應鏈、替代技術、地緣政治

InfiniBand 繁榮的背後暗藏多重風險：

• 供應鏈單一依賴：HCA 晶片僅有 NVIDIA 一家來源，任何設計瑕疵或產能限制（如台積電先進製程排產緊張）都將癱瘓整個叢集建設。2024 至 2025 年的液冷元件和光模組短缺曾影響交付，凸顯脆弱性。
• RoCE/UEC 替代加速：一旦 UEC 完成 200G/400G 全棧開源方案且得到 Meta、微軟等大規模實踐驗證，客戶將擁有能與 IB 競爭的乙太網路選擇，這將直接稀釋 NVIDIA 網路營收並削弱其捆綁銷售。
• 政策與出口管制：美國擴大對華半導體出口規制，先後限制了 InfiniBand HDR 及更高速率 HCA/交換器對華出口。這雖然保護了技術優勢，但也催生了強勁的本土替代動力，長期可能造成不可逆的市場流失。
• TCO 成本壓力：InfiniBand 單位頻寬成本高於同等速率的乙太網路，如果下一代模型對網路要求相對寬鬆，企業可能會轉向更經濟的高效能乙太網路，影響滲透率。
• 散熱與功耗挑戰：單埠 800Gbps 的 HCA 和交換器功耗急劇上升，資料中心需全面轉向液冷，增加部署複雜性和初期投資。

14. 投資邏輯與相關標的

圍繞 InfiniBand 生態，投資機會集中在 NVIDIA 本尊以及其供應鏈外圍：

• 核心受益：NVIDIA（NVDA）。資料中心網路業務是公司繼 GPU 後第二大增長曲線，且具有極高粘性和獲利率。每次新一代 GPU 平台出貨都帶動 HCA 和交換器等比例銷售，形成“剃鬚刀-刀片”模型。
• 光模組與高速線纜：美國光模組公司（如 Coherent）、國內中際旭創、新易盛等已拿到 NVIDIA InfiniBand 配套的 800G 光模組大量訂單，並儲備 1.6T。銅纜元件供應商如安費諾也持續受益。
• 液冷與互聯基礎設施：InfiniBand 乃至整個 AI 網路功耗密度提升，推動液冷板、冷卻分配單元（CDU）和精密空調企業增長。
• 競爭性替代風險下的企業：若 InfiniBand 市場份額受到 RoCE 侵蝕，乙太網路交換晶片龍頭 Broadcom 和交換器白牌廠商將獲益。A 股中可版面配置國產 RoCE 網絡卡或交換晶片的初創公司。

投資者需密切追蹤 NVIDIA GTC 大會上揭露的聯網技術路線圖、UEC 的商業化進展以及主要雲端廠商的資本支出節奏，以把握技術過渡的拐點。

15. 總結與展望

InfiniBand HCA 作為 AI 算力織物的心臟，以其微秒級延遲、RDMA 零複製和硬體確定性的優勢，支撐著當今最大膽的 AI 夢想。NVIDIA 通過對 Mellanox 的收購，建置了算力與網路的雙重閉環，在技術、生態和盈利上形成教科書式的護城河。短期（2025-2027）之內，隨著 B200、B200 Ultra 等平台的出貨，InfiniBand 滲透率仍將走高，尤其在超大規模訓練主力叢集中地位不可撼動。然而，融合乙太網路和 CXL 的挑戰者們正從不同方向撕開缺口，開源的網路技術革命可能在未來五年改寫格局。對於行業參與者而言，理解 InfiniBand 不止是理解一張網絡卡，更是洞察 AI 基礎設施的繫結邏輯與未來可能的裂變點——這才是這場算力浪潮最深層的戰略課題。

免責宣告：本報告僅供參考，不構成投資建議。