XGMI over Ethernet

⏱️ 阅读时间：约 35 分钟

1. 3 秒看懂

XGMI over Ethernet 是 AMD 把 GPU 内部互联协议 XGMI 的“语言”直接搬到以太网上说话，让不同服务器的 GPU 可以像在同一台机器里那样直接读写彼此显存，用标准交换机替代昂贵专有交换机，将 AI 集群从单机 8 卡强行拉大到几百上千卡。

2. 3 分钟产业解释

在生成式 AI 大模型动辄需要数千块 GPU 协同计算的今天，单台服务器内能塞进的 GPU 数量总会触达物理极限——供电、散热、主板面积都有限。因此，业界把集群拆分为“机内 Scale‑up”（垂直扩展）和“机间 Scale‑out”（水平扩展）两层。机内多卡通过 NVLink、Infinity Fabric 等高速专用总线通信，机间则长期依赖 InfiniBand 或标准以太网承载 RDMA 通信。问题在于，机内总线拥有极低延迟和丰富的原子操作语义（例如 GPU 可以直接对远端显存做“比较‑交换”而不唤醒 CPU），而普通以太网上的 RoCE v2 只是把内存区域搬来搬去，缺少 GPU 原生语义，每一次跨节点协作都需要软件栈在中间翻译，翻译过程带来数十微秒的额外开销，并吃掉大量 CPU 周期。

AMD 的 XGMI over Ethernet 试图把这个翻译层砍掉。它的思路是：将 Infinity Fabric 协议中 XGMI 子协议的事务层——包括显存原子操作、缓存一致性探听、地址翻译请求——原样封装进以太网帧，并借助新一代 SmartNIC 或 GPU 内置的以太网 MAC 直接发送到交换机。对于网络设备而言，这些帧仍然是合法的以太网帧，但对于 GPU 和 ROCm 运行时来说，远端 GPU 显存就像挂在另一条 Infinity Fabric 链路上一样，访问方式与访问本机第 5∼8 号 GPU 几乎没有区别。这样，开发者在编写分布式算子时不用区分“这是 RDMA 写，那是 XGMI 原子加”，系统软件也省掉了把 GPU 语义先转成 Verbs 操作再转回 GPU 执行的来回翻译。

产业层面，XGMI over Ethernet 承载着 AMD 在 AI 互连领域“开放反击封闭”的战略意图。英伟达的垂直体系通过 NVSwitch＋InfiniBand/Spectrum‑X 锁定了从芯片到光模块的完整价值链；AMD 则联合 Broadcom、思科、微软、Meta 等公司，依托 Ultra Ethernet Consortium (UEC) 制定的开放以太网标准，希望用“XGMI 语义＋标准交换机”的组合，把 AI 集群的 Scale‑out 网络推向成本更低、供应商更多的开放生态。这既是技术路线的竞争，也是 AI 基础设施供应链话语权的争夺。对于最终用户来说，如果 XGMI over Ethernet 能兑现其设计目标，他们就可以用更通用的 400G/800G 交换机和光模块组建大规模 GPU 集群，并在一家网络设备商供货紧张时无缝切换到另一家，这是当前高度封闭的 InfiniBand 生态难以给出的灵活性。

3. 技术原理

3.1 协议栈映射：把 Infinity Fabric 搬到 MAC 之上

Infinity Fabric 是 AMD 片内、片间和机内互连的统一协议，跨 CPU、GPU、FPGA 和 SmartNIC。XGMI（Inter‑GPU Global Memory Interconnect）是该协议内专门服务于 GPU 直连的子集，支持请求者发起共享虚拟内存访问、原子操作、同步原语及有序写。XGMI over Ethernet 的精髓在于保留 XGMI 事务层（Transaction Layer），将物理层和链路层替换为标准以太网 PHY/MAC＋PCS，再加上一个极薄的“XGMI‑over‑Ethernet 适配层”。

适配层完成三个核心工作：

• XGMI 事务封装：将 XGMI 的请求包（如 64 字节原子比较交换指令、1 字节缓存探听指令等）直接作为以太网帧的净荷，帧类型置为专属 EtherType（由 IEEE 注册或 UEC 定义），以便交换机识别并划入无损流量类别。
• 地址路由与翻译：GPU 的虚拟地址需要在以太网头中转换为目标节点的 MAC 地址和队列对 (QP) 号。AMD 利用 Infinity Fabric 自带的系统地址映射表，在 SmartNIC 或 GPU 的 IO 集群内完成虚拟地址到远端物理显存地址的翻译，并附加必要的一致性状态（MESI 变体），从而使远端 GPU 可以就地处理请求，不产生额外缺页中断。
• 可靠传输与拥塞控制：以太网天然不可靠、有丢包。XGMI over Ethernet 通过链路层重传和端到端信用量 (Credit) 机制实现无损传输，底层可配合优先级流控 (PFC) 和显式拥塞通知 (ECN)，但不把希望完全寄托于 PFC，而是由适配层在检测丢包时快速发起选择性重传，避免整条链路反压扩散。这有别于传统 RoCE 强烈依赖 PFC 的 Go‑Back‑N 重传范式。

3.2 与 RoCE v2 的本质区别

RoCE v2 是将 InfiniBand 传输层的 Verbs 接口映射到 UDP/IP 上，它的原语是 SEND、WRITE、READ、ATOMIC 等 RDMA 操作，且必须经过用户态 Verbs 库和网卡固件的翻译才能转化为实际的 PCIe 请求。XGMI over Ethernet 则绕过了 Verbs 这一层，直接将 GPU 内部总线的内存读写指令打包，不依赖 IP/UDP 头，甚至不经过标准的 RDMA 子系统，因此数据路径更短，软件栈开销更小。具体差异可归纳为：

3.3 数据面实现路径

以一次跨节点 GPU 原子加操作为例：

1. GPU X 的计算单元执行 atomicAdd(dest_addr, value)，该指令通过 GPU 内部互连到达本地 Infinity Fabric 路由器。
2. 路由器查询系统地址映射表，发现 dest_addr 位于节点 Y 的 GPU Z 显存。
3. 本地路由器将 XGMI 原子加请求打包为以太网帧，填入目标 GPU Z 对应的 MAC 地址和队列 ID，并通过内置 400G 以太网端口或直接连接 Pensando DPU 发送。
4. 以太网交换机根据帧头优先级将其送入高速无损队列，逐跳转发至节点 Y。
5. 节点 Y 的 NIC 识别 EtherType，将帧净荷直接上传至 GPU Z 的 IO 集群，GPU Z 内部执行原子加，完成后返回确认帧。 整个过程没有 CPU 核参与地址翻译，没有 MR 注册，没有 Verbs 调用，平均延迟理论上接近机内 XGMI 加上网缆传播时间之和。

3.4 与 UEC 的关系

Ultra Ethernet Consortium 致力于为 AI 和 HPC 构建下一代开放以太网传输协议，其核心是将“多路径、分组喷洒、灵活排序、本质无损”等特性融入以太网。XGMI over Ethernet 在物理与链路层完全兼容 UEC 规范，AMD 是 UEC 创始成员，计划将 XGMI 语义作为 UEC 协议栈中的一种“上层消息类型”使用。这意味着 XGMI over Ethernet 既是 AMD 私有的 Infinity Fabric 扩展，又在力图成为 UEC 生态中的标准范例，以此换取更多网络厂商的主动适配。

4. 关键参数

截至 2025 年 4 月，AMD 尚未对 XGMI over Ethernet 发布正式产品规格书，以下参数基于 AMD 技术峰会、UEC 白皮书、Pensando 产品数据及产业对照整理，部分为业界合理推估，已标明出处。

• 端口速率：AMD 已量产的 Pensando Pollara 400 DPU 可提供 2×400G 以太网端口（2024 年 Q2 发布，来源：AMD 官方新闻稿）。符合 UEC 的下一代 GPU 平台（代号 MI350 系列）有望集成 800G 以太网端口，对应单端口 800 GbE 或 2×400 GbE 链路聚合（来源：AMD Advancing AI 2024 大会演示）。
• 链路带宽效率：以太网开销约 3%−5%，XGMI 适配层额外增加约 1−2% 封装开销，有效带宽利用率设计目标 >90%（来源：UEC 1.0 规范公开描述；AMD 未公布）。
• 单跳延迟：机内 Infinity Fabric 3.0 链路延迟典型值约 50−100 ns（来源：AMD 官方技术文档）。加入 400GBASE‑DR4 光模块及交换机的跨节点额外延迟约 1−2 µs，AMD 在 2023 年 ISC 上期望 XGMI over Ethernet 端到端延迟可压缩至 2 µs 以内，公开资料未见最终实现数据。
• GPU 直连规模：以太网交换机单芯片可提供 51.2 Tb/s 吞吐（Broadcom Tomahawk 5 系列，2023 年量产），理论上可支持数万 GPU 的组网。XGMI over Ethernet 不引入特殊拓扑限制，因此扩展性与标准以太网一致，预计单集群可扩展至 32 000+ GPU（来源：UEC 愿景文件）。
• 原子操作吞吐：XGMI 原生支持每秒数十亿次原子操作，映射到网络后受限于以太网线速，400G 端口理论可承载约 625 Mops/s（每操作 64 字节），800G 则为 1.25 Gops/s。
• 功耗：Pensando Pollara 400 DPU 典型功耗 25 W（来源：AMD）。集成进 GPU package 的网络 IO 模块功耗则融入 GPU 整板 TDP，公开资料未见单独披露。

上述参数的具体产品落点强烈依赖随 MI350 系列发布的 DPU 或互联版本，届时 AMD 可能启用“Infinity Fabric over Ethernet”等更确切的产品名。

5. 技术路线

5.1 AMD 互连架构演进

• 2020−2023 年（CDNA2/CDNA3）：机内 GPU 互连采用 8 路全互联 XGMI（如 MI250X 的 400 GB/s 累计带宽），机间 Scale‑out 依赖外部 RoCE v2 网卡或 InfiniBand，通信库 RCCL 通过 Verbs 接口调用。此阶段本质上仍是“XGMI 对内，RDMA 对外”的双重语义，软件栈需做大量转换。
• 2024 年（CDNA3+，Pensando 深度整合）：AMD 推出 Pensando Pollara 400 DPU，首次实现“GPU 可通过 DPU 直接发出带有 Infinity Fabric 标记的网络包”的硬件原型。在 2024 年 10 月“Advancing AI”大会上，AMD 预告下一代 Instinct MI350 系列（基于 CDNA4 架构）将内置符合 UEC 的以太网 I/O 模块，并支持“Native Infinity Fabric over Ethernet”。尽管 AMD 未在公开市场中使用“XGMI over Ethernet”这一完整短语，但其首席架构师在对媒体问答中解释，这实质上是把 XGMI 事务层平滑延伸至网络。（来源：AMD 官方博客及 AnandTech 2024 年 10 月报道）
• 2025 年及以后（CDNA4/CDNA5）：预计 MI355X 及后续 GPU 将出厂即支持 XGMI over Ethernet 作为第一等用户态互联，ROCm 6.x 集合通信库 (RCCL) 会原生支持 ncclXGMI 类传输层。同时，AMD 与合作厂商进行 800G 端到端演示，推动 UEC 1.1 规范吸纳更多 GPU 内存语义。

5.2 产业路线图协同

XGMI over Ethernet 的成熟并非 AMD 一方之功。Broadcom 的 Jericho3‑AI Fabric 以太网交换方案（2024 年 Q3 出样）已强调对“GPU 直接内存访问”增强支持；思科 Silicon One G200 系列（2025 年初）在混合调度方面预留了与 Infinity Fabric 协同的接口；云厂商如微软 Azure 也公开表示将在其 AI 集群中测试基于 UEC 的定制网络协议。整体看，2025−2026 年是这项技术从实验室走向生产环境的关键窗口。

6. 上游

XGMI over Ethernet 的实现需要从上到下包括半导体 IP、交换芯片、光/铜互连、以及高性能 PCB/基板。以下梳理上游关键节点与相关厂商（基于 2024−2025 年公开财务报告和行业研究）。

6.1 高速以太网交换芯片

交换芯片是 Scale‑out 网络的核心，XGMI over Ethernet 要求交换机能够识别并优先调度特定的 EtherType 流。主要玩家：

• Broadcom：Tomahawk 5（51.2 Tb/s）和 Jericho3‑AI 系列支持深度缓冲区与 AI 调优，产品截至 2025 年 Q1 已被多个 AI 集群采用。根据 Dell’Oro Group 2024 年 Q3 报告，Broadcom 在数据中心以太网交换芯片（按端口速率计）份额超过 70%（口径为 400G 及以上）。
• 思科：Silicon One 系列统一架构，G200 和 G202 芯片面向 AI 后端网络，2025 年初已向 Meta 等客户送样（来源：思科 2024 年财报电话会议）。
• Marvell：Teralynx 10 系列（51.2 Tb/s）于 2024 年量产，强调低延迟和精细流控，公开资料未见明确面向 XGMI 适配的声明，但驱动层面已与 AMD ROCm 实现基础互操作。
• 国内厂商：云脉芯联、盛科等推出 400G/800G AI 交换芯片，产能和份额尚小，但在 Hyper‑scale 客户的引入测试中。

6.2 光模块与铜缆

800G 光模块和 400G/800G DAC/AOC 是物理层的主要消耗品。AI 集群对光模块的需求爆发拉动上游元件如 EML、VCSEL 激光器、DSP 芯片。

• 光模块方面，中际旭创、Coherent、新易盛等在 2024 年 800G 出货全球领先，根据 LightCounting 2024 年 7 月报告，AI 用 800G 光模块 2024 年全球出货量预计达 1500 万只以上（口径包含所有网络类型）。
• 高速电缆（DAC）方面，安费诺、泰科、立讯精密是主要供应商，400G DAC 在集群架顶交换至服务器的最末端 3 米内占主导。

6.3 SmartNIC/DPU 与 FPGA

XGMI over Ethernet 的适配层可在 GPU 片内 IO Die 或独立 DPU 上实现。AMD 自有 Pensando 路线被认为是首选载体，但理论上其他具备可编程包解析能力的 SmartNIC 也可通过固件升级支持。上游 FPGA 厂商如赛灵思（现属 AMD）、Altera（英特尔）提供硬件加速 IP，使第三方的 NIC 具备定制 EtherType 解析能力。

6.4 制造与封装

GPU 内集成多路高速 SerDes 对晶圆制造和先进封装提出更高要求。台积电 CoWoS‑L 封装（2024 年产能扩充至 3.5 万片/月，来源：台积电 2024 年 Q3 法说会）是 MI300X 及未来 MI350 系列的核心封装技术；同时，以太网 SerDes 通常需要 5 nm/4 nm 工艺，主要由台积电、三星代工。EDA 工具方面，新思科技和 Cadence 提供面向 Infinity Fabric 和以太网融合仿真的工具链。

7. 下游

7.1 超大规模云服务商

• 微软 Azure：已大规模部署 MI300X 用于内部应用，公开资料显示其正在评估基于 Infinity Fabric over Ethernet 的跨节点 GPU 内存池化方案，以降低 GPT‑like 推理的 KV 缓存成本（来源：微软 2024 年 Build 大会演示）。
• Meta：作为 UEC 创始成员，其 Grand Teton 平台在设计上预留了对开放以太网互连的支持，XGMI over Ethernet 可成为其自研硬件的备选互连方案。
• Oracle Cloud：首个宣布 MI300X 实例的云厂商，在 AI 集群内使用 RoCE v2，但已表达对更高带宽和更低延迟跨节点互连的兴趣（来源：Oracle 2024 年 9 月投资者简报）。

7.2 大型企业 AI 训练/推理集群

OpenAI、Anthropic、Elon Musk 的 xAI 等均自建数万卡 GPU 集群，它们对 GPU 互连的成本异常敏感。如果 XGMI over Ethernet 能够以更低总拥有成本（TCO）提供接近 InfiniBand 的通信效率，则可能成为其下一代集群 Scale‑out 网络的选项。目前这些企业以英伟达 H100/B200 集群为主，AMD GPU 占比尚低，因此 XGMI over Ethernet 的大规模落地仍有待 AMD 在 AI 芯片市占率上取得突破。

7.3 HPC 与国家级实验室

美国橡树岭、劳伦斯利弗莫尔等国家实验室的 Frontier（全球首个 Exa 级超算）采用 Infinity Fabric 机内互联，但机间使用 HPE Slingshot（基于以太网）。若 XGMI over Ethernet 成熟，未来 E 级超算可进一步融合机内与机间协议，减少通信库转换成本，提升应用实际利用效率。

8. 受益公司

以下分析基于公开产业逻辑，不构成任何投资建议，亦非对任何公司的推荐或评级。

• AMD：作为 XGMI over Ethernet 的发起者和主要推动者，若该技术获得云商青睐，将提升其 GPU 平台的系统竞争力和每 GPU 网络附属价值，并带动 Pensando DPU 销售。
• 以太网交换芯片厂商：Broadcom、思科、Marvell 等将直接受益于 AI 集群 Scale‑out 网络从专有向以太网的迁移。每一台新增的 AMD GPU 服务器都可能拉动线速 800G 交换芯片端口需求。
• 光模块及电缆供应商：中际旭创、Coherent、新易盛等，在 800G 乃至未来 1.6T 光模块的出货有望随以太网 AI 互连渗透率上升而扩大。根据 LightCounting 2024 年报告，AI 集群光模块支出 2023−2028 年复合年均增长率约 40%（口径为所有 AI 网络），若 XGMI over Ethernet 推动 AMD GPU 份额增加，将进一步刺激独立光模块需求。
• SmartNIC/DPU 厂商：AMD Pensando 与 NVIDIA BlueField 呈竞争态势。XGMI over Ethernet 可能会创造“GPU 原生网络”这一新类别，使具备可编程卸载引擎的 DPU 成为除网卡芯片外的另一个高价值增长点。
• UEC 生态系统成员：英特尔、微软、Meta、惠企等可借助 XGMI over Ethernet 推进开放互联标准，降低对英伟达互连的依赖，受益于整个生态的繁荣。

9. 市场规模

XGMI over Ethernet 作为一种尚未独立出货的互连技术，公开市场并无对其的单独财务预测。但可以从其所属的“AI Scale‑out 网络”与“机间 GPU 互连”市场推断潜在空间。

• AI 后端网络市场：根据 650 Group 2024 年 Q2 发布的《AI/ML Networking Report》，2024 年全球 AI 后端网络设备（含以太网交换机、InfiniBand 交换机、网卡、DPU）市场规模约为 92 亿美元，预计 2028 年将扩大至 254 亿美元（口径为厂商出货额，包含 InfiniBand 和以太网）。其中，以太网收入占比预计从 2024 年的 35% 升至 2028 年的 55%，主要驱动力正是 UEC 等开放生态系统以及 AMD、英特尔等非英伟达 GPU 对以太网互连的倚重。
• AI 光模块市场：LightCounting 在 2024 年 9 月报告指出，用于 AI 集群内部互连（后端网络）的光模块市场规模 2024 年约 27 亿美元，2028 年有望达到 110 亿美元（口径包含 400G/800G/1.6T 所有速率）。XGMI over Ethernet 的普及将拓宽以太网光模块在 GPU 直接互连中的用量，抵消 InfiniBand 专用光模块的部分份额。
• GPU 互连潜在 TAM：假设到 2027 年 AMD Instinct 系列在 AI 训练 GPU 市场达到 15–20% 的出货量份额（来源：公开资料未见确定性预测，此处为产业推估），其 Scale‑out 互连所需的网络端口至多可达 200 万端口，按平均售价 500 美元（800G 交换端口＋模块）计，关联市场可至 10 亿美元级别。该推算仅作规模示意，实际情况随行业格局变化。

需要强调的是，以上所有数据均为相关市场的整体规模，并非 XGMI over Ethernet 本身确认的财务收入，也不代表任何公司的未来表现。

10. 玩家对比

10.1 对比框架

选择与 AMD 同处 GPU Scale‑out 互连赛道的直接替代方案进行对比：英伟达 NVLink over InfiniBand/Spectrum‑X，以及英特尔 Gaudi 系列采用的通用以太网 RoCE。对比维度聚焦协议原生性、软件生态、部署成本和开放度。

10.2 方案详细对照

10.3 优劣势小结

AMD XGMI over Ethernet 的突出优势在于以开放以太网标准承载原生 GPU 内存语义，有望同时降低硬件锁定风险和网络设备采购成本。主要劣势是软件成熟度和实际部署案例远逊于英伟达，ROCm 生态中大量的集合通信优化和算子实现尚不能像 CUDA 那样“开箱即得”。英伟达 Spectrum‑X 虽也基于以太网，但它需要搭配专属的 BlueField DPU 和软件，并不支持第三方交换机，本质上仍属半封闭；其性能调优非常优秀，但用户议价能力弱。英特尔 Gaudi 走纯标准以太网路线，缺少 GPU 内存语义加速，在千卡以上大模型训练中集合通信效率相对偏弱，更多依靠并行策略掩盖。

11. 风险

11.1 性能兑现风险

XGMI over Ethernet 的核心卖点是延迟和原生语义。如果最终产品无法将跨节点延迟控制在 2 µs 以内，或原子操作吞吐大幅下降，用户仍会保留 InfiniBand 或标准 RoCE 方案。AMD 在 2024 年的原型演示