乙太網路網絡卡
3 秒看懂
乙太網路網絡卡（Ethernet NIC）是 AI 叢集中 GPU 算力對外互聯的“資料高速公路介面”，決定分散式訓練從“能通訊”到“能高效並行”的關鍵瓶頸。它承載 RDMA、協議硬體解除安裝與微秒級低時延轉發，使千卡/萬卡叢集的線性加速比成為可能。
3 分鐘產業解釋
在今天的大型模型訓練裡，乙太網路網絡卡早已不是僅滿足“能上網”的外設。每一次引數同步（All‑Reduce、Reduce‑Scatter、All‑to‑All）都會在極短時間內生成海量流量，乙太網路網絡卡的角色是先通過 PCIe（Gen4/5/6）與 GPU、CPU 及記憶體打通，再通過光纜/銅纜把資料無丟包、極低時延地搬運到其他節點的網絡卡，並最終送至遠端 GPU 視訊記憶體。為此，SmartNIC/DPU 形態的網絡卡不僅完成二層三層轉發，還將傳輸協議、虛擬化、儲存訪問（NVMe‑over‑Fabrics）和加解密以硬體方式解除安裝，並利用專用資料路徑將軟體棧引入的抖動消除到納秒級——這正是 RoCE v2、GPU Direct RDMA 等技術紮根之處。可以說，沒有高效能可程式設計乙太網路網絡卡，萬卡級叢集的算力效率只是一紙空談。
15 分鐘專家深入
現代 AI 乙太網路網絡卡的深層競爭力集中在三個維度：資料面吞吐與微突發吸收、控制面解除安裝與可程式設計性、多租戶確定性網路能力。
-
資料面：網絡卡內部已進化至數十級流水線和數十個硬體佇列，支援無損乙太網路所需的 PFC（優先順序流控）、ECN（顯式擁塞通知）及 DCQCN 等演算法。同時具備 TSO/LRO/GRO 等 TCP 分段/聚合解除安裝，但真正決定 AI 叢集效率的是 RDMA over Converged Ethernet（RoCE v2）。該機制在網絡卡硬體上實現完整傳輸層語義，繞開核心協議棧，典型跨節點 GPU‑to‑GPU 時延可從數百微秒降至 1–2 微秒量級（視光纜長度和實現）。硬體自行維護重傳、排序和保護域，佇列對（QP）可擴充套件至百萬量級，支援海量併發流。
-
控制面：網絡卡不再只是固定功能 ASIC，而採用 FPGA、ARM 核或流處理器實現可程式設計流水線，允許運營商自定義擁塞控制演算法（如 HPCC、TIMELY）與遙測採集邏輯，在不換硬體的情況下適配新型 GPU 通訊庫（如 NCCL 最佳化模式），實現演算法與硬體的協同演進。
-
與 GPU 的深度耦合：NVIDIA 的 GPU Direct RDMA 使 GPU 視訊記憶體直接成為 RDMA 源/目的地——網絡卡從 GPU 視訊記憶體拉取資料並通過網路發出，遠端網絡卡將資料直接寫入 GPU 視訊記憶體，完全繞開 CPU 記憶體。這意味著乙太網路網絡卡承擔了“GPU 級記憶體的遠端互聯”功能，幾乎是將 NVLink 的跨機能力延伸到乙太網路 fabric 上。
以上能力使乙太網路網絡卡成為分散式訓練系統中約束通訊效率的關鍵子系統。其技術細節將在下述原理章節中展開。
技術原理
乙太網路網絡卡橋接 PCIe 域和乙太網路線域，核心是將主機記憶體描述符高效轉換為網路位元組流，並反向完成接收與直接記憶體放置。
1. 核心資料通路（傳統機制）
+--------+ +-----------------+ +---------+
| Host | PCIe | NIC | PHY | Cable |
| Memory |<------>| MAC + DMA |<------>| |
+--------+ +-----------------+ +---------+
| |
| 描述符環 | 硬體佇列
V V
Driver --> Doorbell --> NIC fetch descriptors --> 包生成 --> 傳送主機驅動在記憶體中建立環形描述符佇列，每個描述符指向資料緩衝區。網絡卡通過 DMA 讀取描述符，再依描述符將資料從主機記憶體搬入內部緩衝區，進行 MAC 層封裝（前導碼、VLAN 標籤、FCS 校驗等），最後經 PHY 物理層電路輸出。接收路徑逆向：PHY 收到幀，網絡卡解析頭部，通過 RSS 等雜湊分配到某個接收佇列，通過 DMA 將載荷寫入主機記憶體，隨後更新描述符並以中斷或輪詢通知 CPU。
2. 關鍵解除安裝機制
- TSO / LSO：主機只需提交大塊資料，由網絡卡按 MSS 切割成多個 TCP 段。
- RSS：接收端通過雜湊將流分配到不同佇列，使多核 CPU 並行處理。
- 中斷聚合與輪詢：積攢多個報文再觸發一次中斷可減少 CPU 切換，但引入延遲抖動；高效能場景普遍轉向輪詢模式（PMD），以微小的 CPU 佔用換取穩定亞微秒級延遲。
- RoCE v2 解除安裝：以下詳述。
3. RoCE v2 與 GPU Direct RDMA 原理
RoCE v2 將 InfiniBand 傳輸層語義封裝在 UDP/IP 上，由網絡卡硬體完成全部傳輸邏輯：
- 記憶體註冊：使用者態程序向網絡卡註冊物理記憶體區域，網絡卡鎖定物理頁並生成遠端金鑰。
- 佇列對：傳送佇列與接收佇列組成 QP，每條可靠連線需獨立 QP。
- 工作請求：應用提交 RDMA SEND/WRITE/READ 操作至傳送佇列；網絡卡通過 DMA 讀取 WR 與資料，封裝為 RDMA 報文經乙太網路發出。
- 接收端處理：對端網絡卡根據 r_key 將載荷直接 DMA 寫入目標記憶體，完成後生成 CQE 通知應用。
- 擁塞控制：需要網路中配置 PFC + ECN，並由網絡卡硬體參與 DCQCN 演算法，實現“無損乙太網路”。
GPU Direct RDMA 在上述基礎上使網絡卡通過 PCIe BAR 直接訪問 GPU 視訊記憶體，消除 CPU 記憶體 bounce buffer。通訊模式上，NCCL 的 AllReduce（Ring/Tree 演算法）通常呼叫 RDMA WRITE 結合訊號量；張量並行的 AllReduce（ReduceScatter + AllGather）底層依賴網絡卡 RDMA 操作實現；MoE 的 token dispatch 則大量使用 All‑to‑All 通訊原語。
4. 效能關鍵點
- 小包速率：100GbE 下最小幀線速約 148.8 Mpps，要求網絡卡具備充裕的流水線位寬與時脈頻率。
- 端到端時延：GPU‑to‑GPU 時延 = 視訊記憶體讀取 + PCIe 傳輸 + 網絡卡處理 + 線纜傳播 + 對端網絡卡處理 + PCIe 寫入 + 視訊記憶體寫入；其中網絡卡內部處理最佳化至 1µs 以下（定性）。
- 連線密度：萬卡叢集要求同時存活數萬條 QP，片上 SRAM 與 QP 上下文快取構成直接約束。
- PCIe 頻寬匹配：單埠 400Gbps（雙向）需 PCIe 5.0 x16；800Gbps 需 PCIe 6.0 x16 等級介面。
關鍵引數
對 AI 叢集有直接影響的量化或定性引數包括：
| 引數類別 | 具體指標 | 對 AI 叢集的意義 |
|---|---|---|
| 線速頻寬 | 100 / 200 / 400 / 800 Gbps（IEEE 802.3 標準速率） | 決定單節點注入網路的最大數據率 |
| 訊息速率 | 每秒百萬包級的小包轉發能力 | AllReduce 對 4KB 級小訊息密集，要求接近線速的小包處理 |
| RDMA 端點容量 | 同時活躍 QP 數量、MR 條目數 | 直接影響萬卡叢集的並行連線數 |
| 時延 | 節點間 GPU‑to‑GPU（通常 1–3 µs 量級，RoCE v2） | 與計算‑通訊重疊效率密切相關 |
| PCIe 介面 | Gen4/Gen5/Gen6 通道數 | 若不匹配，將成為記憶體↔網路之間的主要瓶頸 |
| 功耗 | 數 W 到數十 W（TDP） | 在整機櫃功耗預算中佔比不可忽視 |
| 前向糾錯 | RS‑FEC / Fire‑Code 等模式 | 影響誤位元速率與鏈路總時延，需與光模組/銅纜協調 |
來源：以上指標基準來自 IEEE 802.3 系列標準、RoCE v2 規範及各廠商公開白皮書；精確數值因代際和實現而異，部分採用定性表述。
技術路線對比
下表基於公開資訊與行業共識的定性比較，不包含未揭露具體數值。
| 維度 | 乙太網路網絡卡（RoCE v2） | InfiniBand 網絡卡 | 自研互聯/光互聯 |
|---|---|---|---|
| 頻寬等級 | 25G–800G，每代翻倍 | 200G HDR / 400G NDR 等 | 800G–1.6T 特定方案 |
| 節點到節點時延 | ~1–3 µs（無損以太） | <1 µs（物理層低延遲） | 取決於架構，通常極低 |
| 協議解除安裝 | RoCE v2、TCP/IP、儲存、安全 | 原生 RDMA（IBA 傳輸層） | 閉源協議棧 |
| 生態開放性 | 開放標準、多廠商 | NVIDIA 主導，遵循 IBTA 規範 | 封閉/半開放 |
| 成本結構 | 共享乙太網路交換器生態，成本較低 | 專用交換器、線纜，成本較高 | 定製晶片與光模組，成本高 |
| 擁塞控制機制 | PFC + ECN + DCQCN，易引發 PFC 風暴 | 基於 Credit 的無損，成熟穩定 | 專有演算法，深度定製 |
| 典型適用 | 雲端、企業、AI 訓練/推論（萬卡以內） | HPC、千卡以上 GPU 叢集 | 超大規模巨頭自研叢集 |
說明：InfiniBand 並非乙太網路替代品，而是獨立協議體系，此處對比用以明確乙太網路網絡卡在 AI 叢集中的相對定位。
技術演進路線
- 百兆/千兆時期（~1990s–2010）：網絡卡僅做 MAC+PHY，TCP 處理佔用大量 CPU 週期，無硬體解除安裝。
- 萬兆與虛擬化驅動（2010–2015）：SR‑IOV 出現，單網絡卡可虛擬出多個 VF 並直通至虛擬機器；硬體多佇列、RSS 普及，10GbE 成為雲端資料中心主流。
- 25/50GbE 與儲存融合（2015–2020）：25GbE NIC 成伺服器標配，RoCE v2 規模部署並替代 FC 儲存網路，網絡卡整合 NVMe‑over‑Fabrics 解除安裝。
- 100GbE–800GbE 與 AI 爆發（2020–至今）：AI 加速器驅動 200/400/800GbE 介面，SmartNIC/DPU 採用“可程式設計引擎+硬加速”架構，原生支援 GPU Direct、Inline 加解密與流式遙測。Ultra Ethernet Consortium（UEC）成立，推進乙太網路原生的傳輸與擁塞控制規範，與 InfiniBand 正面競爭。
上游供應鏈
乙太網路網絡卡的製造涉及半導體、封裝和光電器件等多層上游環節：
- 晶片設計：乙太網路 MAC/PCS/PMA IP、高速 SerDes（112G/224G PAM4）、可程式設計資料面引擎（FPGA、ARM 核、流處理器）的架構定義與 RTL 設計。
- 晶圓製造與先進封裝：先進製程節點（如7nm/5nm/3nm）決定了晶片吞吐和功耗水平；CoWoS 等先進封裝技術可將多 Die（邏輯、SerDes、SRAM）整合為高吞吐網絡卡晶片。
- 高速 PCB 與聯結器：為維持訊號完整性，高速網絡卡的 PCB 基材、走線和聯結器（QSFP‑DD、OSFP）均需匹配 112G/224G PAM4 電訊號完整度要求。
- 光模組與銅纜：多模/單模光模組、直連銅纜（DAC）、有源光纜（AOC）等介質直接決定鏈路總時延和誤碼錶現。
各環節產能與良率波動會影響網絡卡整體供給節奏，但目前尚無統一公開資料給出精確產能數字（公開資料未見）。
下游應用
乙太網路網絡卡的下游主體包括：
- 雲端服務商（CSP）：AWS、Azure、Google Cloud、阿里雲端、騰訊雲端等，在計算、儲存和 AI 例項中整合高速網絡卡或自研 DPU。
- 大型網際網路與 AI 實驗室：Meta、字節跳動、OpenAI、Anthropic 等用於大型模型預訓練、微調與推論叢集。
- 企業資料中心：金融、電信、製造業等採用 25/100GbE 網絡卡建置虛擬化與軟體定義儲存（SDS）基礎架構。
- 超大規模自研整合商：部分頭部雲端廠自研 NIC/DPU，並向晶片廠商定製專用 SKU，代表垂直整合趨勢。
不同主體對速率等級、可程式設計性、成本目標的側重有明顯差異：CSP 和 AI 實驗室最關注 400G/800G 下的 RDMA 效能與可擴充套件性；企業資料中心更在意虛擬化和儲存解除安裝的成熟度。
受益公司
以下公司因 AI 驅動的乙太網路網絡卡需求增長而具備直接或間接受益可能（僅列舉產業地位，不構成投資建議）：
- NVIDIA（Mellanox）：ConnectX 系列 NIC 及 BlueField DPU 在高效能乙太網路與 InfiniBand 市場佔據主導，提供 GPU Direct RDMA 全棧方案。
- Broadcom：乙太網路 NIC 晶片主要供應商之一，Thor 系列以高吞吐和可程式設計為特色，廣泛供貨給 OEM 與雲端廠商。
- Intel：至強整合網路功能及獨立 IPU/DPU 產品，面向雲端與 AI 工作負載推進 E2000 等系列。
- Marvell：通過收購與內部研發構成資料中心 NIC 晶片矩陣，提供基於 ARM 整合的智慧網絡卡方案。
- AMD（Pensando）：以 P4 可程式設計引擎為核心的 DPU 進入雲端和 AI 市場，提供高靈活度資料面解除安裝。
- 雲端廠商自研：AWS Nitro、阿里雲端 CIPU、Google 定製 ASIC 等，在特定場景下實現垂直最佳化，並間接帶動底層 IP 和代工需求。
晶片代際切換和主機介面頻寬升級是相關企業營收彈性的核心變數。
市場規模
由於權威統計機構暫未單獨公佈“AI 乙太網路網絡卡”細分市場的完整規模，以下參考關聯市場資料（口徑合併了資料中心乙太網路交換器/NIC，需交叉驗證）：
- 根據 Dell’Oro Group 2024 年釋出的資料，2023 年全球資料中心乙太網路交換器市場約 210 億美元（含交換器，口徑覆蓋資料中心級裝置），且 400G 及以上端口出貨量年增率增長超過 200%。高速網絡卡作為埠對側的必需元件，受益於同樣的出貨放量趨勢。
- 650 Group 2024 年關於資料中心網路裝置的報告顯示，AI/ML 後端網路埠的頻寬份額在快速擴張，預計 2028 年 AI 驅動的高速 NIC（含 DPU）市場規模可達數十億美元量級，但精確數值因統計口徑不同而有所差異（公開資料未見一致口徑的細分資料）。
- 從供給端出貨量推斷，2023–2024 年 400G NIC 的季度出貨季增率增速多在雙位數百分比以上（根據主要晶片廠商財報及代工廠出貨資料綜合），800G NIC 已進入樣品和小批次階段。
以上數字說明 AI 對高速乙太網路網絡卡的拉動已在市場規模層面顯著體現，並隨著 800G 放量而持續擴大。
玩家競爭對比
以下對比基於公開產品資料與行業認知，羅列主要玩家在 AI 網絡卡領域的定位，不含內部未公開資料：
| 廠商 | 代表產品/系列 | 核心優勢 | 主要客戶/生態 |
|---|---|---|---|
| NVIDIA | ConnectX‑7/8、BlueField‑3 | GPU Direct RDMA 全棧整合、軟體生態成熟 | 大量 GPU 叢集部署、OEM 夥伴 |
| Broadcom | Thor、Stingray 系列 | 高吞吐、可程式設計，廣泛供應 | 多 OEM、雲端廠商白盒方案 |
| Intel | E810‑CAM、IPU E2000 | 至強協同、DDP 可程式設計資料面 | 雲端、企業、通訊服務商 |
| Marvell | Octeon、LiquidIO 系列 | ARM 整合、儲存與安全解除安裝 | 資料中心與邊緣閘道器 |
| AMD (Pensando) | DSC‑200 系列 | P4 可程式設計、低功耗 DPU | 雲端和企業智慧網絡卡市場 |
| 部分雲端廠商 | 自研 NIC/DPU | 垂直整合、成本與效能定製 | 僅自用，限特定雲端服務 |
競爭關鍵變數：每代 SerDes 升級週期、軟體賦能深度（RoCE/GPU Direct 成熟度），以及能否在 UEC 新規範下搶先推出合規產品。
風險預警
- 標準演進與碎片化：UEC 推動的新一代乙太網路傳輸與擁塞控制協議可能與現有 RoCE v2 生態存在不相容風險，若部分關鍵廠商推出替代方案，或造成路線分化。
- PFC 依賴與擁塞控制：當前 RoCE v2 依賴 PFC 實現無損，容易觸發 PFC 風暴，雖然軟體與硬體增強正在緩解該問題，但要徹底替換該機制仍需時間驗證。
- 供應鏈集中：高速 SerDes 及先進封裝資源集中在少數晶圓廠和封測企業，產能波動可能波及網絡卡出貨節奏。
- 自研替代：頭部雲端廠商自研 NIC/DPU 可能擠佔部分通用網絡卡市場，改變產業格局。
- PCIe 代際瓶頸：網路速率翻倍的同時，主機介面頻寬若不能同步升級，會削弱實際可用頻寬，出現“埠跑不滿”的情況。
- 需求週期性：AI 訓練大規模擴容具有投資週期特徵，若短期建設節奏放緩，可能帶來階段性供需失衡。
誤讀糾偏
-
“RDMA 是 InfiniBand 專屬，乙太網路上實現不了低時延” RoCE v2 在正確配置下可達到與 InfiniBand 同一量級的時延和 CPU 解除安裝水平，已大量部署於分散式儲存和 AI 訓練。兩者差距主要在擁塞控制魯棒性，但通過 DCQCN 等演算法增強，差距正逐步收斂。
-
“網絡卡速率越高，訓練一定越快” 實際效能受限於 PCIe 頻寬、通訊庫效率、拓撲與演算法匹配、以及木桶效應。當計算時間遠超通訊時間（如大 batch size），提升網絡卡速率的邊際收益有限，關鍵在通訊與計算重疊（overlap）設計。
-
“SmartNIC 只是供應商的營銷概念” 在 AI 叢集中，SmartNIC/DPU 提供的可程式設計資料面、擁塞控制自定義和遙測能力，已成為大規模自動化運維和確定性延遲保障的前提，遠非營銷標籤所能概括。
最新產業事件
- UEC 1.0 規範推進（2024–2025）：Ultra Ethernet Consortium 釋出 1.0 規範草案，聚焦乙太網路原生的傳輸層和擁塞控制，目標替代 RoCE 對 PFC 的剛性依賴，多家頭部雲端廠商和晶片商參與。
- 800G 網絡卡開始送樣（2024 H2–2025）：NVIDIA 釋出 ConnectX‑8 路線圖，支援 800GbE；Broadcom 和 Intel 也陸續公佈 800G NIC 產品計劃，預計 2025 年下半年開始小批次部署。
- 自研 DPU 進展（2024–2025）：AWS 推出新版 Nitro 卡，支援更高頻寬與本地儲存解除安裝；阿里雲端 CIPU 升級至支援 400G+ 的彈性 RDMA。
- AI 叢集大規模部署（2024–2025）：xAI、Meta、Google 等相繼公佈數萬至十萬卡級別 GPU 叢集，其中乙太網路方案在部分叢集中承擔後端網路，顯著拉動 400/800G NIC 需求。
以上事件表明乙太網路網絡卡處於高速迭代和市場擴張期，技術路線和供應鏈仍存在一定的不確定性。
追蹤指標
- 端口出貨量與速率結構：400G/800G 網絡卡季度出貨量及佔比（Dell’Oro、650 Group 等第三方報告）。
- 主要晶片廠商資料中心 NIC 營收增速：NVIDIA、Broadcom、Intel、Marvell 對應業務線的季度營收變動。
- GPU 與網絡卡配比：主流 AI 伺服器單 GPU 對應多少個高速網口，反映叢集互聯頻寬演進。
- UEC 規範採納進度：成員新增、規範更新、互操作性測試里程碑。
- 光模組與銅纜適配度：與 800G NIC 配套的多模/單模光模組及 DAC/AOC 的上市節奏與價格趨勢。
- 雲端廠商自研 NIC/DPU 公開揭露：通過技術部落格、釋出會或學術論文等渠道獲取的最新定製化方案。
- RDMA 與擁塞控制相關學術進展：頂會（SIGCOMM、NSDI 等）相關論文的落地情況。
信源
- IEEE 802.3 Ethernet 標準系列（IEEE Standards Association）
- RoCE v2 / InfiniBand 規範（IBTA）
- NVIDIA GPU Direct RDMA 與 NCCL 官方文件
- Ultra Ethernet Consortium 公開規範與新聞稿
- Dell’Oro Group、650 Group 資料中心網路市場報告（2024 年版）
- Marvell、Broadcom、Intel、AMD 資料中心產品線公開白皮書
- 頭部雲端廠商技術部落格（AWS Nitro、阿里雲端 CIPU、Google Cloud Networking）
- 學術論文：DCQCN、HPCC、TIMELY 等相關擁塞控制研究（發表於 SIGCOMM、NSDI 等頂會，公開可獲取）
- 晶片代工廠公開財務簡報及行業組織（SIA/WSTS）定期資料
以上資訊在本文撰寫時基於可公開獲取的資料，部分量化數字因統計口徑不統一或缺乏細分揭露而採用定性說明或標註“公開資料未見”。建議讀者交叉驗證最新季度財報和第三方市場報告，以追蹤產業動態。