以太网网卡
3 秒看懂
以太网网卡（Ethernet NIC）是 AI 集群中 GPU 算力对外互联的“数据高速公路接口”，决定分布式训练从“能通信”到“能高效并行”的关键瓶颈。它承载 RDMA、协议硬件卸载与微秒级低时延转发，使千卡/万卡集群的线性加速比成为可能。
3 分钟产业解释
在今天的大模型训练里，以太网网卡早已不是仅满足“能上网”的外设。每一次参数同步（All‑Reduce、Reduce‑Scatter、All‑to‑All）都会在极短时间内生成海量流量，以太网网卡的角色是先通过 PCIe（Gen4/5/6）与 GPU、CPU 及内存打通，再通过光缆/铜缆把数据无丢包、极低时延地搬运到其他节点的网卡，并最终送至远端 GPU 显存。为此，SmartNIC/DPU 形态的网卡不仅完成二层三层转发，还将传输协议、虚拟化、存储访问（NVMe‑over‑Fabrics）和加解密以硬件方式卸载，并利用专用数据路径将软件栈引入的抖动消除到纳秒级——这正是 RoCE v2、GPU Direct RDMA 等技术扎根之处。可以说，没有高性能可编程以太网网卡，万卡级集群的算力效率只是一纸空谈。
15 分钟专家深入
现代 AI 以太网网卡的深层竞争力集中在三个维度：数据面吞吐与微突发吸收、控制面卸载与可编程性、多租户确定性网络能力。
-
数据面：网卡内部已进化至数十级流水线和数十个硬件队列，支持无损以太网所需的 PFC（优先级流控）、ECN（显式拥塞通知）及 DCQCN 等算法。同时具备 TSO/LRO/GRO 等 TCP 分段/聚合卸载，但真正决定 AI 集群效率的是 RDMA over Converged Ethernet（RoCE v2）。该机制在网卡硬件上实现完整传输层语义，绕开内核协议栈，典型跨节点 GPU‑to‑GPU 时延可从数百微秒降至 1–2 微秒量级（视光缆长度和实现）。硬件自行维护重传、排序和保护域，队列对（QP）可扩展至百万量级，支持海量并发流。
-
控制面：网卡不再只是固定功能 ASIC，而采用 FPGA、ARM 核或流处理器实现可编程流水线，允许运营商自定义拥塞控制算法（如 HPCC、TIMELY）与遥测采集逻辑，在不换硬件的情况下适配新型 GPU 通信库（如 NCCL 优化模式），实现算法与硬件的协同演进。
-
与 GPU 的深度耦合：NVIDIA 的 GPU Direct RDMA 使 GPU 显存直接成为 RDMA 源/目的地——网卡从 GPU 显存拉取数据并通过网络发出，远端网卡将数据直接写入 GPU 显存，完全绕开 CPU 内存。这意味着以太网网卡承担了“GPU 级内存的远程互联”功能，几乎是将 NVLink 的跨机能力延伸到以太网 fabric 上。
以上能力使以太网网卡成为分布式训练系统中约束通信效率的关键子系统。其技术细节将在下述原理章节中展开。
技术原理
以太网网卡桥接 PCIe 域和以太网线域，核心是将主机内存描述符高效转换为网络字节流，并反向完成接收与直接内存放置。
1. 核心数据通路（传统机制）
+--------+ +-----------------+ +---------+
| Host | PCIe | NIC | PHY | Cable |
| Memory |<------>| MAC + DMA |<------>| |
+--------+ +-----------------+ +---------+
| |
| 描述符环 | 硬件队列
V V
Driver --> Doorbell --> NIC fetch descriptors --> 包生成 --> 发送
主机驱动在内存中建立环形描述符队列，每个描述符指向数据缓冲区。网卡通过 DMA 读取描述符，再依描述符将数据从主机内存搬入内部缓冲区，进行 MAC 层封装（前导码、VLAN 标签、FCS 校验等），最后经 PHY 物理层电路输出。接收路径逆向：PHY 收到帧，网卡解析头部，通过 RSS 等散列分配到某个接收队列，通过 DMA 将载荷写入主机内存，随后更新描述符并以中断或轮询通知 CPU。
2. 关键卸载机制
- TSO / LSO：主机只需提交大块数据，由网卡按 MSS 切割成多个 TCP 段。
- RSS：接收端通过哈希将流分配到不同队列，使多核 CPU 并行处理。
- 中断聚合与轮询：积攒多个报文再触发一次中断可减少 CPU 切换，但引入延迟抖动；高性能场景普遍转向轮询模式（PMD），以微小的 CPU 占用换取稳定亚微秒级延迟。
- RoCE v2 卸载：以下详述。
3. RoCE v2 与 GPU Direct RDMA 原理
RoCE v2 将 InfiniBand 传输层语义封装在 UDP/IP 上，由网卡硬件完成全部传输逻辑：
- 内存注册：用户态进程向网卡注册物理内存区域，网卡锁定物理页并生成远程密钥。
- 队列对：发送队列与接收队列组成 QP，每条可靠连接需独立 QP。
- 工作请求：应用提交 RDMA SEND/WRITE/READ 操作至发送队列；网卡通过 DMA 读取 WR 与数据，封装为 RDMA 报文经以太网发出。
- 接收端处理：对端网卡根据 r_key 将载荷直接 DMA 写入目标内存，完成后生成 CQE 通知应用。
- 拥塞控制：需要网络中配置 PFC + ECN，并由网卡硬件参与 DCQCN 算法，实现“无损以太网”。
GPU Direct RDMA 在上述基础上使网卡通过 PCIe BAR 直接访问 GPU 显存，消除 CPU 内存 bounce buffer。通信模式上，NCCL 的 AllReduce（Ring/Tree 算法）通常调用 RDMA WRITE 结合信号量；张量并行的 AllReduce（ReduceScatter + AllGather）底层依赖网卡 RDMA 操作实现；MoE 的 token dispatch 则大量使用 All‑to‑All 通信原语。
4. 性能关键点
- 小包速率：100GbE 下最小帧线速约 148.8 Mpps，要求网卡具备充裕的流水线位宽与时钟频率。
- 端到端时延：GPU‑to‑GPU 时延 = 显存读取 + PCIe 传输 + 网卡处理 + 线缆传播 + 对端网卡处理 + PCIe 写入 + 显存写入；其中网卡内部处理优化至 1µs 以下（定性）。
- 连接密度：万卡集群要求同时存活数万条 QP，片上 SRAM 与 QP 上下文缓存构成直接约束。
- PCIe 带宽匹配：单端口 400Gbps（双向）需 PCIe 5.0 x16；800Gbps 需 PCIe 6.0 x16 等级接口。
关键参数
对 AI 集群有直接影响的量化或定性参数包括：
| 参数类别 | 具体指标 | 对 AI 集群的意义 |
|---|---|---|
| 线速带宽 | 100 / 200 / 400 / 800 Gbps（IEEE 802.3 标准速率） | 决定单节点注入网络的最大数据率 |
| 消息速率 | 每秒百万包级的小包转发能力 | AllReduce 对 4KB 级小消息密集，要求接近线速的小包处理 |
| RDMA 端点容量 | 同时活跃 QP 数量、MR 条目数 | 直接影响万卡集群的并行连接数 |
| 时延 | 节点间 GPU‑to‑GPU（通常 1–3 µs 量级，RoCE v2） | 与计算‑通信重叠效率密切相关 |
| PCIe 接口 | Gen4/Gen5/Gen6 通道数 | 若不匹配，将成为内存↔网络之间的主要瓶颈 |
| 功耗 | 数 W 到数十 W（TDP） | 在整机柜功耗预算中占比不可忽视 |
| 前向纠错 | RS‑FEC / Fire‑Code 等模式 | 影响误码率与链路总时延，需与光模块/铜缆协调 |
来源：以上指标基准来自 IEEE 802.3 系列标准、RoCE v2 规范及各厂商公开白皮书；精确数值因代际和实现而异，部分采用定性表述。
技术路线对比
下表基于公开信息与行业共识的定性比较，不包含未披露具体数值。
| 维度 | 以太网网卡（RoCE v2） | InfiniBand 网卡 | 自研互联/光互联 |
|---|---|---|---|
| 带宽等级 | 25G–800G，每代翻倍 | 200G HDR / 400G NDR 等 | 800G–1.6T 特定方案 |
| 节点到节点时延 | ~1–3 µs（无损以太） | <1 µs（物理层低延迟） | 取决于架构，通常极低 |
| 协议卸载 | RoCE v2、TCP/IP、存储、安全 | 原生 RDMA（IBA 传输层） | 闭源协议栈 |
| 生态开放性 | 开放标准、多厂商 | NVIDIA 主导，遵循 IBTA 规范 | 封闭/半开放 |
| 成本结构 | 共享以太网交换机生态，成本较低 | 专用交换机、线缆，成本较高 | 定制芯片与光模块，成本高 |
| 拥塞控制机制 | PFC + ECN + DCQCN，易引发 PFC 风暴 | 基于 Credit 的无损，成熟稳定 | 专有算法，深度定制 |
| 典型适用 | 云、企业、AI 训练/推理（万卡以内） | HPC、千卡以上 GPU 集群 | 超大规模巨头自研集群 |
说明：InfiniBand 并非以太网替代品，而是独立协议体系，此处对比用以明确以太网网卡在 AI 集群中的相对定位。
技术演进路线
- 百兆/千兆时期（~1990s–2010）：网卡仅做 MAC+PHY，TCP 处理占用大量 CPU 周期，无硬件卸载。
- 万兆与虚拟化驱动（2010–2015）：SR‑IOV 出现，单网卡可虚拟出多个 VF 并直通至虚拟机；硬件多队列、RSS 普及，10GbE 成为云数据中心主流。
- 25/50GbE 与存储融合（2015–2020）：25GbE NIC 成服务器标配，RoCE v2 规模部署并替代 FC 存储网络，网卡集成 NVMe‑over‑Fabrics 卸载。
- 100GbE–800GbE 与 AI 爆发（2020–至今）：AI 加速器驱动 200/400/800GbE 接口，SmartNIC/DPU 采用“可编程引擎+硬加速”架构，原生支持 GPU Direct、Inline 加解密与流式遥测。Ultra Ethernet Consortium（UEC）成立，推进以太网原生的传输与拥塞控制规范，与 InfiniBand 正面竞争。
上游供应链
以太网网卡的制造涉及半导体、封装和光电器件等多层上游环节：
- 芯片设计：以太网 MAC/PCS/PMA IP、高速 SerDes（112G/224G PAM4）、可编程数据面引擎（FPGA、ARM 核、流处理器）的架构定义与 RTL 设计。
- 晶圆制造与先进封装：先进制程节点（如7nm/5nm/3nm）决定了芯片吞吐和功耗水平；CoWoS 等先进封装技术可将多 Die（逻辑、SerDes、SRAM）集成为高吞吐网卡芯片。
- 高速 PCB 与连接器：为维持信号完整性，高速网卡的 PCB 基材、走线和连接器（QSFP‑DD、OSFP）均需匹配 112G/224G PAM4 电信号完整度要求。
- 光模块与铜缆：多模/单模光模块、直连铜缆（DAC）、有源光缆（AOC）等介质直接决定链路总时延和误码表现。
各环节产能与良率波动会影响网卡整体供给节奏，但目前尚无统一公开数据给出精确产能数字（公开资料未见）。
下游应用
以太网网卡的下游主体包括：
- 云服务商（CSP）：AWS、Azure、Google Cloud、阿里云、腾讯云等，在计算、存储和 AI 实例中集成高速网卡或自研 DPU。
- 大型互联网与 AI 实验室：Meta、字节跳动、OpenAI、Anthropic 等用于大模型预训练、微调与推理集群。
- 企业数据中心：金融、电信、制造业等采用 25/100GbE 网卡构建虚拟化与软件定义存储（SDS）基础架构。
- 超大规模自研集成商：部分头部云厂自研 NIC/DPU，并向芯片厂商定制专用 SKU，代表垂直整合趋势。
不同主体对速率等级、可编程性、成本目标的侧重有明显差异：CSP 和 AI 实验室最关注 400G/800G 下的 RDMA 性能与可扩展性；企业数据中心更在意虚拟化和存储卸载的成熟度。
受益公司
以下公司因 AI 驱动的以太网网卡需求增长而具备直接或间接受益可能（仅列举产业地位，不构成投资建议）：
- NVIDIA（Mellanox）：ConnectX 系列 NIC 及 BlueField DPU 在高性能以太网与 InfiniBand 市场占据主导，提供 GPU Direct RDMA 全栈方案。
- Broadcom：以太网 NIC 芯片主要供应商之一，Thor 系列以高吞吐和可编程为特色，广泛供货给 OEM 与云厂商。
- Intel：至强集成网络功能及独立 IPU/DPU 产品，面向云与 AI 工作负载推进 E2000 等系列。
- Marvell：通过收购与内部研发构成数据中心 NIC 芯片矩阵，提供基于 ARM 集成的智能网卡方案。
- AMD（Pensando）：以 P4 可编程引擎为核心的 DPU 进入云和 AI 市场，提供高灵活度数据面卸载。
- 云厂商自研：AWS Nitro、阿里云 CIPU、Google 定制 ASIC 等，在特定场景下实现垂直优化，并间接带动底层 IP 和代工需求。
芯片代际切换和主机接口带宽升级是相关企业营收弹性的核心变量。
市场规模
由于权威统计机构暂未单独公布“AI 以太网网卡”细分市场的完整规模，以下参考关联市场数据（口径合并了数据中心以太网交换机/NIC，需交叉验证）：
- 根据 Dell’Oro Group 2024 年发布的数据，2023 年全球数据中心以太网交换机市场约 210 亿美元（含交换机，口径覆盖数据中心级设备），且 400G 及以上端口出货量同比增长超过 200%。高速网卡作为端口对侧的必需组件，受益于同样的出货放量趋势。
- 650 Group 2024 年关于数据中心网络设备的报告显示，AI/ML 后端网络端口的带宽份额在快速扩张，预计 2028 年 AI 驱动的高速 NIC（含 DPU）市场规模可达数十亿美元量级，但精确数值因统计口径不同而有所差异（公开资料未见一致口径的细分数据）。
- 从供给端出货量推断，2023–2024 年 400G NIC 的季度出货环比增速多在双位数百分比以上（根据主要芯片厂商财报及代工厂出货数据综合），800G NIC 已进入样品和小批量阶段。
以上数字说明 AI 对高速以太网网卡的拉动已在市场规模层面显著体现，并随着 800G 放量而持续扩大。
玩家竞争对比
以下对比基于公开产品资料与行业认知，罗列主要玩家在 AI 网卡领域的定位，不含内部未公开数据：
| 厂商 | 代表产品/系列 | 核心优势 | 主要客户/生态 |
|---|---|---|---|
| NVIDIA | ConnectX‑7/8、BlueField‑3 | GPU Direct RDMA 全栈整合、软件生态成熟 | 大量 GPU 集群部署、OEM 伙伴 |
| Broadcom | Thor、Stingray 系列 | 高吞吐、可编程，广泛供应 | 多 OEM、云厂商白盒方案 |
| Intel | E810‑CAM、IPU E2000 | 至强协同、DDP 可编程数据面 | 云、企业、通信服务商 |
| Marvell | Octeon、LiquidIO 系列 | ARM 集成、存储与安全卸载 | 数据中心与边缘网关 |
| AMD (Pensando) | DSC‑200 系列 | P4 可编程、低功耗 DPU | 云和企业智能网卡市场 |
| 部分云厂商 | 自研 NIC/DPU | 垂直整合、成本与性能定制 | 仅自用，限特定云服务 |
竞争关键变量：每代 SerDes 升级周期、软件赋能深度（RoCE/GPU Direct 成熟度），以及能否在 UEC 新规范下抢先推出合规产品。
风险预警
- 标准演进与碎片化：UEC 推动的新一代以太网传输与拥塞控制协议可能与现有 RoCE v2 生态存在不兼容风险，若部分关键厂商推出替代方案，或造成路线分化。
- PFC 依赖与拥塞控制：当前 RoCE v2 依赖 PFC 实现无损，容易触发 PFC 风暴，虽然软件与硬件增强正在缓解该问题，但要彻底替换该机制仍需时间验证。
- 供应链集中：高速 SerDes 及先进封装资源集中在少数晶圆厂和封测企业，产能波动可能波及网卡出货节奏。
- 自研替代：头部云厂商自研 NIC/DPU 可能挤占部分通用网卡市场，改变产业格局。
- PCIe 代际瓶颈：网络速率翻倍的同时，主机接口带宽若不能同步升级，会削弱实际可用带宽，出现“端口跑不满”的情况。
- 需求周期性：AI 训练大规模扩容具有投资周期特征，若短期建设节奏放缓，可能带来阶段性供需失衡。
误读纠偏
-
“RDMA 是 InfiniBand 专属，以太网上实现不了低时延” RoCE v2 在正确配置下可达到与 InfiniBand 同一量级的时延和 CPU 卸载水平，已大量部署于分布式存储和 AI 训练。两者差距主要在拥塞控制鲁棒性，但通过 DCQCN 等算法增强，差距正逐步收敛。
-
“网卡速率越高，训练一定越快” 实际性能受限于 PCIe 带宽、通信库效率、拓扑与算法匹配、以及木桶效应。当计算时间远超通信时间（如大 batch size），提升网卡速率的边际收益有限，关键在通信与计算重叠（overlap）设计。
-
“SmartNIC 只是供应商的营销概念” 在 AI 集群中，SmartNIC/DPU 提供的可编程数据面、拥塞控制自定义和遥测能力，已成为大规模自动化运维和确定性延迟保障的前提，远非营销标签所能概括。
最新产业事件
- UEC 1.0 规范推进（2024–2025）：Ultra Ethernet Consortium 发布 1.0 规范草案，聚焦以太网原生的传输层和拥塞控制，目标替代 RoCE 对 PFC 的刚性依赖，多家头部云厂商和芯片商参与。
- 800G 网卡开始送样（2024 H2–2025）：NVIDIA 发布 ConnectX‑8 路线图，支持 800GbE；Broadcom 和 Intel 也陆续公布 800G NIC 产品计划，预计 2025 年下半年开始小批量部署。
- 自研 DPU 进展（2024–2025）：AWS 推出新版 Nitro 卡，支持更高带宽与本地存储卸载；阿里云 CIPU 升级至支持 400G+ 的弹性 RDMA。
- AI 集群大规模部署（2024–2025）：xAI、Meta、Google 等相继公布数万至十万卡级别 GPU 集群，其中以太网方案在部分集群中承担后端网络，显著拉动 400/800G NIC 需求。
以上事件表明以太网网卡处于高速迭代和市场扩张期，技术路线和供应链仍存在一定的不确定性。
跟踪指标
- 端口出货量与速率结构：400G/800G 网卡季度出货量及占比（Dell’Oro、650 Group 等第三方报告）。
- 主要芯片厂商数据中心 NIC 收入增速：NVIDIA、Broadcom、Intel、Marvell 对应业务线的季度营收变动。
- GPU 与网卡配比：主流 AI 服务器单 GPU 对应多少个高速网口，反映集群互联带宽演进。
- UEC 规范采纳进度：成员新增、规范更新、互操作性测试里程碑。
- 光模块与铜缆适配度：与 800G NIC 配套的多模/单模光模块及 DAC/AOC 的上市节奏与价格趋势。
- 云厂商自研 NIC/DPU 公开披露：通过技术博客、发布会或学术论文等渠道获取的最新定制化方案。
- RDMA 与拥塞控制相关学术进展：顶会（SIGCOMM、NSDI 等）相关论文的落地情况。
信源
- IEEE 802.3 Ethernet 标准系列（IEEE Standards Association）
- RoCE v2 / InfiniBand 规范（IBTA）
- NVIDIA GPU Direct RDMA 与 NCCL 官方文档
- Ultra Ethernet Consortium 公开规范与新闻稿
- Dell’Oro Group、650 Group 数据中心网络市场报告（2024 年版）
- Marvell、Broadcom、Intel、AMD 数据中心产品线公开白皮书
- 头部云厂商技术博客（AWS Nitro、阿里云 CIPU、Google Cloud Networking）
- 学术论文：DCQCN、HPCC、TIMELY 等相关拥塞控制研究（发表于 SIGCOMM、NSDI 等顶会，公开可获取）
- 芯片代工厂公开财务简报及行业组织（SIA/WSTS）定期数据
以上信息在本文撰写时基于可公开获取的资料，部分量化数字因统计口径不统一或缺乏细分披露而采用定性说明或标注“公开资料未见”。建议读者交叉验证最新季度财报和第三方市场报告，以跟踪产业动态。