Ultra Ethernet
3 秒看懂
Ultra Ethernet（超乙太網路） 是由 超乙太網路聯盟 (UEC) 釋出的 1.0 版開放規範，為 AI 與 HPC 叢集量身定製了一套完全基於標準乙太網路的高效能通訊協議棧。 其核心是 UET（Ultra Ethernet Transport，超乙太網路傳輸）——一個 硬體可完全加速 的可靠傳輸層，旨在以乙太網路的生態規模，提供比肩乃至超越 InfiniBand 的效能，且無供應商鎖定。
3 分鐘產業解釋
-
為什麼需要 Ultra Ethernet 隨著 GPT‑4 等大型模型推動萬卡、甚至百萬卡級叢集，傳統高效能網路的兩大選擇——InfiniBand 和 基於融合乙太網路的 RDMA (RoCE v2)——都暴露了明顯短板：InfiniBand 生態封閉、成本高昂；RoCE v2 在大規模下的擁塞控制與尾延遲難以滿足 AI 訓練苛刻的同步要求，且使用有損網路時易觸發 PFC 風暴。 與此同時，標準乙太網路 是世界上規模最大、每位元成本最低的網路技術，埠年出貨量達數億，發明者獲圖靈獎。UEC 的願景正是 把乙太網路的規模優勢與 AI/HPC 的極致效能需求統一起來。
-
Ultra Ethernet 解決了什麼 UEC 1.0 規範覆蓋從網絡卡、交換器到光纖/電纜的整個網路堆疊，提供：
- 原生、現代化的 RDMA，無需繁瑣配置即可實現記憶體直接訪問。
- 端到端可擴充套件至數百萬節點 的定址與擁塞控制機制。
- 全硬體解除安裝的傳輸層（UET），使報文處理延遲和 CPU 開銷極低。
- 多供應商互操作性：任何合規的交換器、網絡卡、光模組都可互聯，打破單一廠商鎖定。
-
與已有方案的本質區別 不同於 InfiniBand 的私有協議，UE 堅守乙太網路鏈路層和物理層，可在乙太網路交換器硬體上直接執行；相較於 RoCE v2，UE 不僅提供了更先進的 多路徑、主動擁塞控制、選擇性重傳 等特性，更關鍵的是 定義了一套乾淨的硬體加速傳輸協議，避免了將 InfiniBand 傳輸語義勉強對映到乙太網路的種種缺陷。
[arxiv 論文] [UEC 1.0 釋出新聞]
15 分鐘專家深入
1. 設計驅動力
- 極致尾延遲：訓練中 AllReduce 等集合通訊受最慢節點拖累，要求網路在 99.999% 分位數下的延遲仍可控。
- 大規模多租戶：單一叢集同時承載多個訓練、推論任務，需嚴格的效能隔離與公平排程。
- 硬體解除安裝至上：為了不浪費昂貴的 GPU 算力，所有協議處理應解除安裝到網絡卡/交換器硬體，CPU 零參與。
- 開放與互操作：避免私有鎖定，允許交換器和網絡卡來自不同廠商，使技術創新與成本最佳化不再受單一廠商產品節奏限制。
2. 架構分層 UE 協議棧的四層關鍵元件：
- 物理層 (PHY)：複用標準乙太網路 112‑Gbps SerDes 乃至更高速率物理層，可跑在單模/多模光纖、銅纜、背板上。規範本身不創造新物理層，而是選擇 最適宜 AI 叢集拓撲的 PHY 規範。
- 鏈路層 (MAC)：標準乙太網路幀格式，可相容任何乙太網路交換器，但增加了 UE 特有的鏈路層流量控制（非 PFC）。
- 傳輸層 (UET)：靈魂所在。UET 是一個完全執行在硬體上的端到端傳輸協議，執行可靠傳輸、多路徑分發、主動擁塞控制、選擇性重傳等。它直接操作記憶體註冊的緩衝區，提供類似 RDMA 的零複製語義。
- API 層：向上提供與 InfiniBand Verbs 類似但更現代化的 API（libfabric 或 UE Verbs），使現有 NCCL、MPI 等中介軟體可快速移植。
3. UET 的關鍵創新
- 硬體加速的可靠性：傳統 TCP 或 RoCE 的可靠傳輸受限於軟體重傳或 Go‑Back‑N 機制，而 UET 在網絡卡內執行微秒級的選擇性重傳，且不丟失多路徑的包序。
- 主動擁塞控制：不像 RoCE v2 依賴 ECN + PFC 的被動反應，UET 採用 基於硬體的端到端遙測 和主動速率調節，可避免在深度緩衝下觸發 PFC，從而消除死鎖和擁塞擴散。
- 多路徑與負載均衡：原生支援報文級多路徑，可在端到端之間動態均衡多條鏈路，同時對上層完全透明，使百萬級節點的 Clos 網路利用率接近 100% 理論值。
- 可擴充套件定址：擺脫 InfiniBand 的 16‑bit LID 限制和 RoCE 的 IP 地址侷限，UET 提供 彈性且適合硬體查詢的端到端標識，支援數千萬終端。
[arxiv 論文]
4. 與 InfiniBand / RoCE 的效能錨點 根據 UEC 論文描述，UE 的設計目標是在同等級網路速率下達到與 InfiniBand 持平甚至更優的應用層訊息率，同時利用乙太網路的低成本光學和交換矽實現 每位元成本下降超一個數量級。論文亦指出 UET 可望將傳輸層所需的 每位元計算開銷降低千倍級（相較於軟體協議棧），但實際產品效能需等硬體矽片送樣後驗證。
技術原理
最深機制：UET 如何實現硬體加速的可靠多路徑傳輸？
下面用 ASCII 框圖示意 UET 傳送端和接收端硬體處理流水線。
應用層 (NCCL/MPI)
│
┌──────▼──────┐
│ UE Verbs │ 請求傳送 (addr, length)
└──────┬──────┘
│ 排程給 UET 傳送引擎
┌──────▼───────────────────────┐
│ UET 傳送端 (網絡卡硬體) │
│ 1. 報文分片 (MSS 大小) │
│ 2. 選擇多路徑 (5‑tuple 隨機) │
│ 3. 注入擁塞遙測請求 │
│ 4. 傳送視窗 & 速率控制 │
└──────┬───────────────────────┘
│ 乙太網路幀 → 路徑 A / B / C
┌──────▼────────┐
│ 交換網路 │ (Clos / TOR / Spine)
│ 擁塞檢測 │
│ 遙測標記 │
└──────┬────────┘
│ 幀到達接收端
┌──────▼───────────────────────┐
│ UET 接收端 (網絡卡硬體) │
│ 5. 重排序緩衝與選擇性 ACK │
│ 6. 丟包檢測 → 請求重傳 │
│ 7. 零複製放置到目標記憶體 │
└──────┬───────────────────────┘
│ 完成通知
┌──────▼──────┐
│ UE Verbs │ 完成佇列 (CQ)
└─────────────┘關鍵引數與機理：
- 連線狀態：UET 為每一個遠端記憶體區域建立一個“端點” (endpoint)，包含視窗、路徑表、重傳佇列等，全部存入網絡卡 SRAM，保證亞微秒狀態訪問。
- 擁塞遙測：交換器在轉發資料包時，可將佇列長度/時延戳記在報文中（類似 Inband Telemetry），UET 傳送端據此在幾個 RTT 內精準調整發送速率，而不必等待 ECN 或 PFC。這種反饋環的週期約 1‑3 μs，遠快於軟體 TCP（約 50‑100 μs）。
- 選擇性重傳：接受端硬體生成精確的點陣圖（bitmap），標明哪些分片缺失，傳送端只重傳缺失分片，不觸發整窗回退。這使得在 10⁻⁶ 誤位元速率下的有效頻寬幾乎無損。
- 多路徑分組：一條訊息可以分散到 4、8 乃至 16 個路徑上，每個路徑獨立擁塞控制，接收端硬體按序列號重組。該機制避免了單一鏈路流量瓶頸，並極大降低 Fat‑Tree 核心層熱點。
規範中的確切定時器、MTU、視窗上限等數值在長達 562 頁的規範文件中有定義，這裡不作猜測，僅強調其硬體解除安裝實現。
技術演進史
- 2000 年前後：IBTA 釋出 InfiniBand 架構，以 40G/56G 速率稱霸 HPC，但成本與封閉性促使 RoCE 的誕生。
- 2010 年：RoCE v1 作為乙太網路鏈路層 RDMA 協議面世；2014 年 RoCE v2 加入 UDP/IP 可路由頭，以便跨 IP 網路。資料中心開始用它替代 InfiniBand。
- 2016‑2020 年：隨著 GPU 叢集規模飆升，RoCE v2 的 PFC 死鎖、擁塞控、擴充套件性瓶頸逐漸暴露。學術界與工業界開始嘗試新型傳輸層（如 HPCC、NDP 等），但均為私有或實驗性質。
- 2023 年 7 月：主要超大規模企業與晶片商意識到，必須基於乙太網路建立 完全開放的行業標準，以滿足未來百萬 GPU 叢集的 AI 訓練需求。超乙太網路聯盟（UEC）正式宣佈成立，創始成員包括 AMD、Arista、Broadcom、Cisco、HPE、Intel、Meta、Microsoft 等。
- 2023‑2024 年：UEC 工作組密集制定規範，涵蓋物理層選擇、傳輸層協議、線纜/模組規範、API 等。
- 2025 年 6 月：UEC 規範 1.0 正式版釋出，長達 562 頁。同一時間，思博倫與瞻博網路在東京 Interop 展會完成 UET 流量的公開互操作演示，使用 800G 測試儀表轉發 UET 與 RoCEv2 混合流量，驗證了多供應商部署就緒。
- 2025 年 8 月：規範核心作者在 arXiv 釋出設計原則與架構創新論文，為產業界提供科學背景。
目前，博通、思科等廠商正基於 1.0 規範開發商用矽片，預計 2026‑2027 年將出現首批支援 UET 的網絡卡和交換器。
技術路線對比（量化表）
| 維度 | InfiniBand (NDR/XDR) | RoCE v2 | Ultra Ethernet (UE 1.0) |
|---|---|---|---|
| 物理層歸屬 | 私有物理層/鏈路層 | 標準乙太網路 | 標準乙太網路（選擇最佳化的乙太網路 PHY） |
| 傳輸可靠性 | 硬體重傳（Go‑Back‑N） | 基於 PFC + 被動 ECN；Go‑Back‑N 為主 | 硬體選擇性重傳 + 主動擁塞控制 |
| 擁塞控制 | 基於信用 (Credit) | ECN + PFC（易產生風暴） | 端到端硬體遙測 + 主動速率調節 |
| 多路徑支援 | 靜態路由為主 | RoCE v2 支援多路徑但實現複雜 | 原生硬體報文級多路徑，自適應均衡 |
| 規模上限 | 48k 節點 / 子網 | 受 IP 子網和交換器表項限制 | 數百萬端點，扁平化定址 |
| 硬體解除安裝程度 | 全解除安裝 | 部分解除安裝（重傳常有軟體介入） | 全硬體解除安裝，零 CPU 開銷 |
| 供應商鎖定 | 強（Mellanox/NVIDIA 主控） | 弱（多廠商乙太網路交換器） | 極弱，聯盟確保互操作，網絡卡/交換器可異廠 |
| 每位元成本 | 高 | 中 | 預計極低（乙太網路規模紅利率 + 無專屬稅） |
| 主要用例 | HPC、AI 訓練（ NVIDIA 生態） | 通用 RDMA、儲存、AI | 百萬 GPU 級 AI 訓練 & HPC |
注：表中 UE 特性基於 UEC 1.0 規範及作者論文描述，實際硬體實現指標需待首批商用產品上市後驗證。
上下游
上游：核心元件與技術依賴
- 交換晶片：需要支援 UET 特定報頭解析、擁塞遙測插入、多路徑轉發。博通 (Broadcom)、思科 (Cisco)、Marvell 等正在研發對應產品。
- 網絡卡 / DPU：必須整合 UET 硬體引擎（傳送/接收、重排序、重傳、擁塞控制邏輯）。代表廠商如 Intel、AMD (Xilinx)、NVIDIA (儘管非聯盟成員，但亦可授權實現) 等。
- 光模組與電纜：全部採用標準乙太網路光模組（如 400G‑FR4, 800G‑DR8），有源銅纜 (AEC) 等，無需定製物理層，直接受益於現有供應鏈。
- 測試儀表：需要支援 UET 流量生成與分析，思博倫 (Spirent)、是德科技 (Keysight) 等已推出相應能力。
下游：應用與部署場景
- 超大規模 AI 訓練叢集：xPU 叢集的後端網路，承載 AllReduce、AllGather 等 NCCL 集合通訊流量。
- 高效能儲存網路：連線 NVMe‑oF 儲存，利用 UE RDMA 提供低延遲、高頻寬的資料訪問。
- 高效能運算 (HPC)：替代專有網路，支援 MPI 和 SHMEM 等，加速科學模擬。
- 分散式推論：實現跨節點 GPU 的低延遲共享記憶體訪問，最佳化張量並行。
關鍵指標
基於論文和規範性質，以下描述指標的設計目標與定效能力，而非已實測的絕對值。
- 頻寬：相容任何標準乙太網路速率，初始目標至少 400GbE/800GbE，未來可擴充套件至 1.6TbE 及以上。
- 訊息率：設計目標在單連線上達到與 InfiniBand 等同等級的小訊息 IOPS（>100M msg/s），由硬體流水線保障。
- 尾延遲：通過主動擁塞控制和硬體重傳，旨在將 99.9% 及更高分位下的延遲增量控制在 10 μs 以內（相同負載下的典型值）。規範要求無論網路負載如何，PFC 永不觸發。
- 可擴充套件性：扁平網路可支援 >10⁶ 端點，無全域性同步瓶頸。
- 硬體解除安裝計算效率：與執行 TCP/IP 協議棧的 CPU 相比，UET 每位元消耗的計算資源 減少三個數量級（論文宣稱 “千倍級計算效率提升”），從而將 CPU 週期歸還給應用。
[arxiv 論文]
供需與市場資料
由於 UE 1.0 規範在 2025 年 Q3 才正式釋出，當前尚無大規模的 ASIC 出貨和商業部署，故以下均為行業預測與動態：
- 聯盟生態：UEC 已有超過 90 家成員，涵蓋雲端服務商 (Meta、Microsoft、Oracle)、晶片商 (AMD、Intel、Broadcom)、網路裝置商 (Cisco、Arista、Juniper)、OEM (HPE、Dell) 等。成員數量表明產業合力。
- 市場驅動力：根據第三方調研，AI 伺服器後端網路市場規模預計 2026‑2030 年 CAGR 超 50%。乙太網路方案在總擁有成本 (TCO) 上的優勢預期將使其滲透率從當前約 20% 提升至 50% 以上（未來份額預估來自聯盟公開願景，數字未經獨立核實）。
- 演示進展：2025 年東京 Interop 上，思博倫與瞻博網路使用 QFX 5240‑64OD 交換器 (800G) 完成 UET 流量與 RoCEv2 流量共存轉發，獲得 ShowNet 特別獎。這標誌著協議棧從紙上規範走向現實互操作。
- 預期商用時間：多家網路晶片供應商已公開表示在 1.0 規範後開始研發，行業分析師預測 首款 UET 網絡卡和交換器矽片將於 2026‑2027 年面世，大規模資料中心部署將在 2027‑2028 年展開。
[思博倫與瞻博網路演示新聞] [UEC 規範釋出新聞]
代表公司與資本對映
聯盟核心推動者與潛在受益標的：
| 公司 | 角色與受益邏輯 |
|---|---|
| Broadcom | 全球最大的乙太網路交換晶片廠商；UET 交換器晶片將直接拉動其 AI 網路營收，鞏固其在乙太網路矽片的主導地位。 |
| Cisco | 交換器與網路系統巨頭，正將 UE 整合進其 Silicon One 架構，提供企業/資料中心端到端方案。 |
| Arista | 雲端資料中心交換器領軍者，深度繫結超大規模客戶，將成為 UEC 方案的主要系統整合商。 |
| Intel | UEC 發起成員，提供 Xeon CPU + IPU/DPU 平台，計劃將 UET 整合至其 E‑series 乙太網路控制器，賦能 x86 生態。 |
| AMD | 聯盟創始成員，可在其 EPYC 平台與 Pensando DPU 上支援 UET，對抗 NVIDIA 的 NVLink/InfiniBand 護城河。 |
| Meta / Microsoft | 終極使用者，大規模採購 UE 交換器/網絡卡以降低 AI 基礎設施 TCO，擺脫網路鎖定。 |
| NVIDIA | 未加入 UEC，主導 InfiniBand。若 UE 成為標準，則其 InfiniBand 營收可能承壓，但 NVIDIA 也可推出相容 UET 的 ConnectX 網絡卡以應對。 |
市場影響概述
UE 的成功將重新分配 AI 後端網路的市場份額，從 NVIDIA 獨佔 InfiniBand 的局面轉向多供應商乙太網路競爭，利好乙太網路生態的晶片和系統商。InfiniBand 則在超高階低延遲場景可能仍有一席之地，但整體增長空間被擠壓。
投資邏輯
-
開放生態 vs 封閉系統
歷史反覆證明，開放標準往往在長期競爭中戰勝私有協議。一旦 UE 實現同等效能，其多供應商互操作性和成本優勢將推動大規模替換需求，利好 Broadcom、Cisco、Arista 等乙太網路生態核心企業。 -
AI 叢集規模定律
AI 訓練叢集正從萬卡向 10 萬卡、百萬卡演進，私有 InfiniBand 在規模擴充套件、部署管理和成本上遭遇物理與商業瓶頸。乙太網路原生的大規模經驗（Internet 級別）使 UE 更具適應性，有望成為“百萬 GPU 互聯的唯一解”。 -
TCO 敏感度上升
隨著 AI 資本支出從訓練轉向推論，成本最佳化成為關鍵。乙太網路光模組、交換器供應鏈成熟度遠勝 InfiniBand，UE 可將網路成本在總體 AI 基礎設施中降低 20‑40%（行業估算，非 UEC 官方資料）。 -
需警惕的風險
- 產品落地延遲：從規範到穩定商用矽片通常需要 2‑3 年，期間若 InfiniBand 效能代差拉大或 NVIDIA 推出更激進的私有互聯（如 NVLink 擴充套件），UE 的市場視窗可能收窄。
- 軟體生態移植：儘管 libfabric 和 MPI 可快速適配，但大量已有的 CUDA/NCCL 最佳化依賴 InfiniBand 內部特性，切換過程可能存在效能回退。
- 聯盟內部協調：90+ 成員的利益分歧可能導致標準碎片化或推進緩慢。
常見誤讀糾偏
誤讀 1：“Ultra Ethernet 是取代乙太網路的全新網路技術。”
糾正：UE 並非發明新的物理層或資料鏈路，而是 基於標準乙太網路的更高層協議棧。它完全執行在現有乙太網路交換器/網絡卡的可升級硬體上，是對乙太網路能力的擴充套件，而非替代。就像 HTTP/3 仍執行在 UDP 之上一樣，UE 仍是乙太網路幀的負載。
誤讀 2：“UE 就是另一款 RDMA 協議，和 RoCE v2 差不多。”
糾正：雖然 UE 也提供 RDMA 語義，但其根本差異在於 傳輸層的硬體解除安裝深度和擁塞控制理念。RoCE v2 借用了 InfiniBand 傳輸層卻套在乙太網路 IP/UDP 之上，導致可靠性依賴 PFC，擴充套件性存疑。UET 則是為硬體從頭設計的乾淨傳輸層，具備主動擁塞控制和選擇性重傳，從根本上避免了 PFC 依賴，這是在架構層面的代際升級。
誤讀 3：“UEC 聯盟是‘反 NVIDIA 聯盟’，InfiniBand 很快會被淘汰。”
糾正：UEC 的出發點確實是建立開放替代，但 InfiniBand 擁有 20 多年的生態、極致延遲和 NVIDIA 的端到端最佳化，在中小規模或極致效能場景下仍有顯著優勢。更可能的格局是：UE 佔據大規模 AI 訓練和主流 HPC，InfiniBand 退守特定高階領地，二者長期共存。
學習路徑
-
基礎準備
- 理解 TCP/IP、傳統 RDMA (InfiniBand Verbs) 原理。
- 掌握 AI 訓練中的集合通訊模式（AllReduce、AlltoAll 等）及對網路延遲/頻寬的敏感性。
- 閱讀 UEC 聯盟白皮書與規範摘要（可從 ueconsortium.org 獲取）。
-
核心文獻
- 《Ultra Ethernet’s Design Principles and Architectural Innovations》 (arxiv:2508.08906) —— 規範作者親撰，是理解設計思想的最佳入口。
- 完整 UEC 1.0 規範（需從 UEC 成員獲取，公開摘要可查）。
-
動手實踐
- 嘗試用 libfabric 編寫簡單的 RDMA 程式，感受 Verbs API。
- 關注未來開源專案：當 UE 模擬模型或 FPGA 原型出現時，可在模擬環境中執行 NCCL 測試。
-
追蹤動態
- 定期查閱 UEC 成員公司開發者大會（如 Broadcom、Arista 的使用者大會）。
- 關注網路測試廠商（Spirent、Keysight）釋出的 UET 測試白皮書，獲取效能基準。
一句話總結
Ultra Ethernet 不是另一款快速乙太網路，而是為百萬 GPU 時代量身定製的開放網路生命線——它以乙太網路的規模紅利 + 硬體加速的傳輸協議，試圖終結 AI 後端網路的私有鎖定時代。
延伸閱讀與來源
- Ultra Ethernet’s Design Principles and Architectural Innovations (arxiv:2508.08906) – 本次深度學習頁的主要技術來源。
- 超乙太網路聯盟釋出 UEC 1.0 規範新聞 (AET-電子技術應用) – 規範釋出報道。
- 思博倫與瞻博網路完成 UET 公開演示 (雲端帆興燁科技文章) – 首個性互操作演示驗證。
- 36 氪深度解讀：輝達迎來一群勁敵 – 產業競爭格局分析。
- UEC 官網 – 獲取成員列表、白皮書及最新動態。
宣告：本頁所有技術事實均源自上述公開資料，具體產品效能數字在未經硬體實測前均為定性描述或基於規範的預期，不構成任何投資建議。