RoCE

3 秒看懂

RoCE（RDMA over Converged Ethernet）是讓資料中心普通乙太網路卡和交換器，跑出超級計算機專用網路（InfiniBand）才有的“遠端直接記憶體訪問”能力。它讓伺服器 A 的網絡卡能直接讀寫伺服器 B 的記憶體，資料包完全由網絡卡硬體處理，CPU 幾乎零參與、延遲從幾十微秒壓到幾微秒。今天幾乎所有分散式 AI 訓練叢集、超大規模雲端儲存的後端網路，都在大規模部署 RoCE（尤其是能跨子網路由的 v2 版本），因為它在“乙太網路的相容/低成本”和“RDMA 的極致效能”之間取得了黃金平衡點。

3 分鐘產業解釋

訓練 GPT-4 級別的大型模型，幾千張 GPU 要頻繁同步梯度，如果用傳統 TCP/IP 協議棧，CPU 核會有 30%-50% 的時間不是在算矩陣，而是在處理網路協議、複製資料，並且通訊延遲抖動劇烈，導致昂貴的 GPU 等待資料、利用率暴跌。
RoCE 解決這個痛點的路徑非常直白：把資料搬運工從 CPU 變成網絡卡硬體。
它讓伺服器 B 的一塊物理記憶體區域直接“對映”給伺服器 A 的網絡卡，A 想寫資料進去，只需發一條 RDMA Write 指令，B 的網絡卡硬體直接把資料寫入目標記憶體地址，B 的 CPU 全程不知情。
這件事原本只能在 InfiniBand（IB）那種專用封閉網路上做，但 IB 交換器、線纜、網絡卡都是獨家生態，成本極高，運維也需要另一套知識體系。RoCE 則把 RDMA 的“靈魂”裝進了乙太網路的“身體”：用 UDP/IP 封裝 RDMA 報文，跑在標準乙太網路交換器上。代價是要求網路“無損”——不能有丟包重傳，否則效能崩塌，所以需要引入 PFC（優先順序流控）、ECN（顯式擁塞通知）等一套複雜的擁塞控制機制來保證鏈路絕對可靠。
產業實際格局是：IB 仍是極致效能塔尖（國家級超算、部分頭部 AI 實驗室），RoCE 統治了大型雲端運算和網際網路公司的通用 AI 叢集，因為它允許用同一張乙太網路承載計算、儲存和 AI 通訊，運維複雜度與成本即可控。

15 分鐘專家深入

為什麼傳統 TCP/IP 網路在分散式 AI 訓練中成為瓶頸

傳統資料通路大致是：應用資料 → 使用者態緩衝區 → send() 陷入核心 → 核心 TCP/IP 協議棧分段、封裝 → 再次複製到核心 socket 緩衝區 → 驅動層 DMA 到網絡卡發出。接收側是逆向過程，外加軟中斷、上下文切換。
大型模型訓練場景的特徵是通訊突發、批次大、對尾部延遲極其敏感。例如，Megatron-LM 的張量並行在每次前向/反向計算後都需要一次 AllReduce 通訊（通訊量 ≈ 引數量 × 資料並行度規模），如果通訊延遲尾高，整個同步步調會被最慢的流拖垮。RoCE 提供了一條“使用者態網絡卡直通”的快速路徑：應用直接向 RNIC（支援 RDMA 的乙太網路卡）提交工作請求（Work Request），網絡卡硬體完成傳輸，全程旁路核心、零複製（Zero-Copy）。

RoCE v1 與 v2 的分化邏輯

• RoCE v1：RDMA 報文直接封裝在乙太網路幀（Ethertype 0x8915），僅工作在同一廣播域。等同於“二層 RDMA”，不能被路由，規模一上去就失效，因此已基本被淘汰，只在極少數孤立小叢集中殘留。
• RoCE v2：RDMA 報文封裝在 UDP/IP 包內，目的埠號固定為 4791。網路層走 IP 路由，可跨越子網和多級交換器網路。代價是多了 IP/UDP 頭開銷，但換來了與資料中心整個 IP fabric 的融合能力。當前所有新建 RoCE 叢集幾乎都是 v2。

無損乙太網路與擁塞控制——RoCE 的脆弱性根源

RDMA 對資料包丟失的容忍度極低。原因在於 RDMA 傳輸的狀態機（QP 上下文）和亂序重組邏輯大量解除安裝在網絡卡硬體中，一旦丟包，會觸發“Go-Back-N”或類似的大量重傳（嚴重時整個訊息重傳），吞吐會斷崖式下跌（可能從百 Gbps 掉到個位數 Gbps）。因此 RoCE 要成立，必須讓承載網路“無損”，核心武器有三：

1. PFC（優先順序流控制，IEEE 802.1Qbb）：在鏈路層對特定優先順序佇列（如 CoS 3 專用於 RoCE）傳送 PAUSE 幀，讓上游交換器停流，防止接收緩衝區溢位。副作用是可能引發“PFC 死鎖”、“PAUSE 風暴”等網路級故障，需要精細調優 buffer 大小、門限和部署策略。
2. ECN（顯式擁塞通知）：當交換器佇列深度超閾值時，在 IP 包中標記 ECN 位。接收方網絡卡收到後，生成 CNP（擁塞通知包）發回傳送端，傳送端據此降速。這形成一種端到端的主動擁塞控制環，比粗暴的 PFC 更優雅，是 RoCE v2 網路調優的核心。
3. DCQCN（資料中心量化擁塞通知）：實際大規模部署中，傳送端速率調節演算法普遍採用 DCQCN，它是基於 ECN 標記的速率控制演算法，結合了 QCN 的量化反饋思想，是當前 RoCE v2 生態的事實標準擁塞控制協議。

此外，交換器埠緩衝（Buffer）架構、負載均衡方式（ECMP vs. 逐包 vs. 逐流、DR路由）、優先順序佇列數量與排程策略都直接影響 RoCE 穩態效能。這些共同構成了“無損乙太網路”的沉重運維代價，也是 RoCE 相比 IB 最大的軟肋——IB 網路的無損是硬體級內生保證，RoCE 的無損要靠“管理+演算法”人工達成。

技術原理

本節約 1000 字圖解 RoCE v2 的報文結構與一次典型 RDMA Write 完整流程。

協議棧封裝

+-------------------------------------+
|          RDMA Payload               |  (上層操作碼: RDMA Write / Read / Send 等)
+-------------------------------------+
|  RDMA Header (Opcode, QPN, PSN...)  |  (InfiniBand 傳輸層語義)
+-------------------------------------+
|  UDP Header (Dst Port: 4791)        |  (無連線、輕量)
+-------------------------------------+
|  IP Header (Src/Dst IP)             |  (可路由)
+-------------------------------------+
|  Ethernet Header / FCS              |  (標準乙太網路幀)
+-------------------------------------+

核心機制：Queue Pair (QP) 與 Work Request

RoCE 的通訊基於 QP（佇列對）模型，每對 QP 包含：

• Send Queue / Receive Queue（雙邊操作，傳送方與接收方均需參與）
• 對於 RDMA Write / Read 這類單邊操作，資料直接寫入/讀取經過事先註冊並交換了虛擬地址和記憶體金鑰 (R_Key) 的遠端記憶體區域，遠端 CPU 不感知。

一次 RDMA Write 流程（簡化）：

1. 記憶體註冊與交換：通訊前，應用將本地記憶體區域註冊（MR）到網絡卡保護域，獲得本地 L_Key 和遠端訪問需要的 R_Key。通過應用層交換遠端虛擬地址、R_Key。
2. 提交 WR：傳送方使用者態庫建置 Work Request（含操作型別 Write、本地源地址、遠端目標地址/R_Key、長度），提交到 Send Queue。
3. 網絡卡硬體處理：RNIC 取走 WR，直接 DMA 讀取本地源記憶體資料，封裝成 RoCE v2 報文（IP/UDP/RDMA 頭），傳送到網路上。
4. 接收方網絡卡接收：RNIC 按 QPN 匹配到對應 QP，驗證 R_Key 與記憶體權限，將資料 DMA 直接寫入遠端目標記憶體地址，不產生 CQ（Completion Queue）通知。（僅傳送方產生 CQ 通知）
5. 遠端 CPU 無感：該過程不產生任何中斷或記憶體複製。

單邊 vs 雙邊操作

• RDMA Write / Read (單邊)：傳送端需要提前知道遠端記憶體地址和金鑰，資料直寫直讀，遠端 CPU 零參與，延遲最低。典型場景：分散式儲存（NVMe-oF）、引數伺服器、AllGather 環形演算法中後續環節的資料搬移。
• RDMA Send / Recv (雙邊)：類似訊息傳遞，接收方必須預投 Recv 工作請求，多用於控制資訊、協商、小訊息通訊。類似 MPI 語義。

這一架構最終呈現給應用層的指標：在合理的無損乙太網路上，端到端延遲可達 1-3 微秒（同交換器下），單流頻寬可打滿 100Gbps/200Gbps/400Gbps 線速，且遠端 CPU 利用率近乎為 0%。對比 TCP/IP 的典型延遲在 10-100 微秒且 CPU 大量消耗，這是數量級的差距。

技術演進史

• 2000年代前期 - RDMA 與 IB 的繫結時代：RDMA 最初是 InfiniBand 架構的原生能力（IB Verbs API），其協議在 IB 傳輸層定義。高階計算市場完全由 IB 統治，乙太網路無法承載這種“記憶體直傳”語義。
• 2010 - RoCE v1 釋出：IBTA（InfiniBand Trade Association）組織將 IB 傳輸層直接對映到乙太網路鏈路層，釋出 RoCE v1 標準。目的是把 RDMA 生態以最小成本移植到乙太網路物理鏈路，但二層不可路由的弊端使其部署受限。
• 2014 - RoCE v2 釋出：IBTA 在補充標準中定義了 RoCE v2，將 IB 傳輸層封裝在 UDP/IP 之上。這一變更使得 RoCE 可以執行在全域 IP 網路，是劃時代的適配改造。同期，DCQCN、ECN、PFC 等擁塞控制技術組合逐漸成熟，微軟、阿里巴巴等超大規模雲端廠商開始探索。
• 2016-2020 - 超大規模驗證期：Microsoft Azure 宣佈其儲存網路全面基於 RoCE v2；阿里巴巴在資料中心大規模部署 RoCE v2 用於分散式儲存和 AI 訓練；NVIDIA 通過 Mellanox 收購將 RoCE（以 NVMe-oF、GPU Direct RDMA 等形式）深度繫結到自家 GPU 算力方案中，推出“融合加速器”概念，主流計算平台（如 NVIDIA DGX、HGX 系統）推薦或要求使用 RoCE 作為後端高速網路。
• 2020至今 - 400G/800G 化與 AI 專用交換器時代：乙太網路物理層躍遷到 400G/800G，博通、思科、華為、新華三等推出深度最佳化緩衝和 RoCE 感知功能的資料中心交換器。RoCE 與軟體定義網路、遙測、智慧運維整合，同時新興的 **Ultra Ethernet Consortium（UEC）**提出“超級乙太網路”替代性願景，試圖修正 RoCE 在大規模多跳下的缺陷，RoCE 進入演進或被超越的岔路口。

技術路線對比

維度	RoCE v2	InfiniBand (IB)	傳統 TCP/IP 乙太網路
核心協議	UDP/IP 封裝的 RDMA (IB 傳輸層)	原生 IB 傳輸層	核心棧 TCP/UDP + Socket
延遲 (典型)	約 1-3 μs (同交換器)	約 <1-2 μs (極優架構下可至 600 ns 級別，視具體產品代際)	約 10-100 μs
最大吞吐	400 Gbps/埠 (支援 800G 演進)	NDR 400 Gbps (NDR200/400)，XDR 800 Gbps 路線	同物理層速率(但 CPU 開銷極限制約有效頻寬)
路由能力	三層 IP 路由，可跨子網	自有子網管理器 (SM)，跨子網需額外閘道器	完整 IP 全域性路由
網路無損性	依賴 PFC/ECN/DCQCN 外部保證（人為配置）	鏈路層信用流控 (Credit-based)，硬體內生無損	無原生無損保證，依賴上端重傳
CPU 解除安裝	完全解除安裝 (核心旁路，零複製)	完全解除安裝	高 CPU 消耗 (協議棧 + 複製)
相容性與生態	相容標準乙太網路基礎設施（需特定網絡卡與交換器）	封閉專有生態，網絡卡/線纜/交換器必須一致	完全開放、通用
運維複雜度	高（擁塞調優、buffer 規劃、PFC 風暴防護）	低（網路自愈，SM 集中控制）	低（成熟，但效能無優勢）
典型適用規模	數百至數千節點 (調優後可上萬)	數萬節點超算	無特殊上限
典型客戶	雲端廠商 AI 叢集、企業資料中心	超算中心、國家級算力平台、部分金融極速交易	通用企業業務、前端業務網路

注：具體延遲和速率數值與網絡卡代數強相關，IB 和 RoCE 網絡卡每個代數升級性能都在躍遷，上表為行業常見參考範圍和代際屬性，非單一固定型號數值。

上下游

上游供應核心

• 支援 RDMA 的智慧網絡卡 (RNIC)：NVIDIA (ConnectX 系列，代表主流)、Intel (E810 系列等)、Broadcom、Marvell (原 Cavium)、雲端廠商自研 (如 AWS Nitro、阿里神龍 MOC 卡) 等。這些晶片要實現硬體傳輸解除安裝、QP 表、記憶體保護、擁塞控制邏輯等。
• 無損乙太網路交換器晶片與系統：博通 (Trident/Tomahawk/Jericho 系列廣泛搭載 RoCE 調優特性)、思科 (Silicon One)、Mellanox/NVIDIA (Spectrum 系列)、Innovium (被 Marvell 收購)、華為 (自研 Solar 系列)、新華三/銳捷/中興等商用交換器廠商。關鍵要求：大 on-chip buffer、優先順序佇列 (≥3 個 RoCE 用)、ECN 標記硬體、PFC 精確控制、WRED/動態閾值等。
• 線纜/光模組：DAC 銅纜 (0.5m-3m 短距低成本無源)、AOC 有源光纜 (3m-100m)、SR/DR/FR 光模組 (100m-2km)。速率從 25G/100G/200G/400G 到 800G，與物理層代際同步。

下游應用場景

• 分散式 AI 訓練與推論：GPU 叢集的後端通訊網路 (NCCL AllReduce / AllGather / ReduceScatter)。結合 GPUDirect RDMA (GDR) 技術，GPU 視訊記憶體直接對映給網絡卡 DMA 讀寫，避免經 CPU 和系統記憶體的中轉複製，延遲再削減一個數量級。此組合是 GPT 級大型模型的基礎設施剛需。
• 分散式儲存：NVMe-oF (NVMe over Fabrics) 使用 RoCE 作為傳輸層，實現遠端塊儲存訪問延遲接近本地盤，已大規模部署於雲端虛擬化儲存後端 (如 Amazon EBS、阿里雲端盤古儲存的部分流量承載)。
• 高效能運算 (HPC)：平行計算 MPI 庫（Open MPI, Intel MPI 等）對 RoCE 介面有原生支援，部分科學計算工作負載使用 RoCE 替代 IB，降低叢集建設成本。
• 記憶體資料庫與雲端運算資源池化：用 RDMA 語義實現跨伺服器的記憶體池互聯、快取一致性協議加速等。

關鍵指標

衡量和評估 RoCE 網路質量的核心引數：

1. 端到端延遲 (Tail Latency)：同交換器下期望中值延遲 1-3 μs，需重點關注 P99/P999 尾部延遲。在 AI AllReduce 同步步調中，尾高延遲直接拖慢每步全域性迭代時間。
2. 吞吐頻寬滿載率 (Link Utilization)：在無丟包前提下，單 QP 流能否達物理鏈路頻寬 90% 以上？公平性如何？深層看有效載荷比 (RoCE v2 引入 IP/UDP 頭約 40+ 位元組，小包時效率下降)。
3. 丟包與重傳率：理想狀態應為 0。任何非零丟包率都會觸發大規模 Go-Back-N 或 CNP 降速反應，嚴重影響吞吐，需持續監控。
4. PFC 觸發次數/持續時間：過量 PAUSE 幀可能錘殺整個優先順序類別的吞吐，引發“PFC Storm”風險。運維要觀測首跳 PFC 統計並設定合理門限。
5. ECN 標記與 CNP 速率：反映網路佇列堆積程度和傳送端限速頻率。微調目標是保持極低 ECN 標記率下達到高吞吐。
6. CPU 解除安裝度：觀察網絡卡完成所有傳輸工作時主機 CPU 核心的消耗、中斷/上下文切換頻率，這是 RoCE 價值的直接量化。

這些指標不能孤立看，高吞吐、零丟包、低 PFC 相互作用、零尾高時延很難同時做到，是網路工程師持續對抗的長期課題。

供需與市場資料

• 市場規模與滲透率：用於 AI 訓練的 RDMA 網路（含 IB 和 RoCE）端口出貨量在 2023-2024 年爆發式增長。行業報告顯示，2024 年全球高速乙太網路交換器（100G 及以上，支援 DCB/PFC 特性）銷售額中，由大規模 AI 叢集建設拉動的比例快速上升，部分雲端廠商整櫃採購的基座交換器幾乎全部標配 RoCE。[行業報告]
• 超大規模推動：微軟 Azure 公開資料顯示其儲存與 AI 網路骨幹已大量基於 RoCE 建置；阿里雲端 HPCC (High Precision Congestion Control) 等一系列擁塞控制演算法專門針對 RoCE v2 最佳化，驅動了大規模 RDMA 乙太網路部署。中國市場，運營商、字節跳動、騰訊等規模採購 400G RoCE 交換器與網絡卡用於大規模訓練平台。[廠商公開技術論文/釋出會]
• 網絡卡需求潮汐：NVIDIA ConnectX-6/7 系列是 RDMA 乙太網路卡的重要方案之一，但本頁未取得可追溯的分廠商份額口徑，不寫“市佔率最高”等絕對錶述。2023 年後 200G/400G 網絡卡需求隨 AI 訓練平台擴張顯著增加；博通、Intel、新興 DPU 供應商也獲取了一部分份額，整體供應在 2024 年末起趨於平衡，但高階速率（如 800G）仍然緊俏。[供應鏈估算]
• 趨勢：每代 GPU 計算能力增長遠快於網路頻寬，且模型增大帶來節點數擴充，兩者共同推升叢集內部東西向流量頻寬需求，因此 RoCE 網路從 100G→200G→400G 過渡加快，市場預計 2025-2026 年大規模訓練集群後端網路主流將演進到 400G/800G。[行業報告/預測]

代表公司與資本對映

• NVIDIA (Mellanox)：RoCE 生態無可爭議的統治者，提供 ConnectX 系列 RNIC 和 Spectrum 系列乙太網路交換器 全套方案。其 GPUDirect RDMA 技術將 GPU 視訊記憶體、RoCE 網絡卡和儲存直連，建置了私有的“算力-網路-儲存”完整閉環，是推高其在 AI 基礎設施市佔率的核心槓桿。
• Intel：乙太網路 800 系列網路介面卡支援 RoCE v2，主開啟放、相容，面向雲端伺服器和企業市場；同時通過 IPU/DPU 策略試圖重新定義加速卡架構。
• Broadcom：在交換器晶片領域地位穩固，其 Tomahawk/Jericho 系列對 RoCE 特性的支援深度直接影響了市面上絕大多數白盒交換器廠商的可靠性。
• Cisco：以 Nexus 系列資料中心交換器直接承載 RoCE 方案，提供端到端的企業/雲端資料中心網路設計服務，SDN 管理與視覺化是其附加價值。
• 雲端廠商自研：AWS (Nitro 卡) 和阿里雲端 (CIPU/神龍 MOC) 基於 RoCE 建置了自研的低延遲網路，以實現虛擬化 I/O 解除安裝和儲存加速，自研加速器部分取代了商用網絡卡在該場景的角色。
• 資本對映邏輯：投資 NVIDIA 和 Broadcom 實質是下注 RoCE 和 AI 時代資料中心網路擴張的乘數效應；投資雲端廠商基礎設施，部分是看他們內部對 RDMA 乙太網路的重資本投入回報。

投資邏輯

1. AI 叢集軍備競賽的“管道受益”：算力規模 x 每卡網路頻寬需求同步增長。“每塊 GPU 需匹配 200G/400G 網路埠”的趨勢保障了 RoCE 端口出貨量長期斜率。市場更看好能提供端到端（網絡卡加交換器）方案的壟斷性供應商。
2. 自研 DPU 對商用網絡卡的侵蝕風險：頭部雲端廠商自研資料處理單元（DPU）內含 RDMA 引擎，可能減少大量外部採購 ConnectX 卡。需要密切關注雲端廠商 DPU 滲透率及其中 RDMA 能力的外溢路徑。
3. Ultra Ethernet 等替代性威脅：UEC 試圖解決 RoCE 的多跳擁塞控制陋疾，其生態一旦確立成熟產品，可能在中長期分流 RoCE 增量市場。
4. 運維工具與軟體價值：能提供 RoCE 調優、遙測、PFC 故障診斷和管理工具的平台軟體（如 NVIDIA NetQ、Cisco Nexus Dashboard、阿里雲端高效能網路套件）也構成壁壘，純硬體盒子同質化競爭激烈，但“交鑰匙”可運維方案是鎖定大規模資料中心客戶的抓手。

常見誤讀糾偏

1. “RoCE 和 InfiniBand 效能相當，只是更便宜”。錯誤。IB 的無損機制（鏈路層信用流控）提供更徹底、更可預測的低延遲，大規模系統均衡性和網路整體健康度好於 RoCE。RoCE 需持續運維調優，極端規模下（如 10K+ 節點）可能因擁塞控制不穩出現間歇性效能退化。兩種選擇是“價效比與運維複雜度的權衡”，而非效能完全對等。
2. “RoCE 就是簡單給網絡卡裝個驅動就行”。錯誤。RoCE 執行在無損乙太網路上，要求交換器全線開啟 DCB（PFC、ETS 等）、精確調整 buffer、部署 ECN、規劃優先順序對映、設計多路徑路由、主機端還要配置 CC 演算法。任何一個環節缺失就會導致“看似連上但抖動劇烈、吞吐崩壞”，工程門檻遠高於即插即用。
3. “RoCE 只用在 AI 訓練”。片面的認識。實際上分散式儲存的 NVMe-oF 和部分記憶體資料庫、大數據 shuffle 加速同樣嚴重依賴 RoCE，該領域商用成熟度甚至早於大規模 AI。只是 AI 話題熱度更高，讓它看似“AI 專屬”。

學習路徑

• 第一步：理論根基
  研究 RDMA 程式設計介面（IB Verbs、RDMA_CM 連線管理器），從理解 Queue Pair、Completion Queue、記憶體註冊（MR）、保護域、Work Request 這些原語開始。讀一本《RDMA Aware Networks Programming User Manual》或 官方 RDMA-Core 文件。
• 第二步：實驗性動手
  在兩臺 Linux 伺服器上配置 RoCE v2（需 ConnectX 或類似相容網絡卡），用 rping、ib_send_bw 測試單邊延遲和吞吐。引入 PFC 配置，抓取 mlnx_qos 統計，感受真正的配置層面。
• 第三步：協議深度
  學習 DCQCN 和 ECN/PFC 互動論文，經典的《Congestion Control for Large-Scale RDMA Deployments》及 Microsoft/阿里巴巴公開的擁塞控制論文。瞭解 Mellanox 的 DCQCN 具體實現。
• 第四步：生產級設計
  熟悉帶外管理網路、ECMP/LAG 路由設計、交換器 buffer 分配策略、多層 CLOS 架構中過載管理。參考 NVIDIA/思科/Arista 提供的參考設計與案例白皮書。
• 第五步：前沿追蹤
  關注 Ultra Ethernet Consortium 進展、GPU Direct RDMA 新版本、DPU 架構整合等。

一句話總結

RoCE 是把超級計算機級的遠端記憶體直訪能力“注入”普通乙太網路的關鍵融合技術，以極高的價效比支撐了當下 AI 大型模型叢集和超大規模雲端的通訊基礎設施，但代價是讓網路工程師需要承擔精密的擁塞控制藝術。

延伸閱讀與來源

1. IBTA RoCE v2 標準：《Supplement to InfiniBand Architecture Specification Volume 1 Release 1.4 — Annex A17: RDMA over Converged Ethernet (RoCE)》，IBTA 官方定義檔案，技術最權威來源。
2. 微軟大規模部署經驗：Guo et al., “RDMA over Commodity Ethernet at Scale”, NSDI 2016 / Bai et al., “Congestion Control for Large-Scale RDMA”, ACM SIGCOMM。這兩篇是部署 RoCE v2 的工程聖經，詳解了 DCQCN、ECN 門限、PFC 設定等。
3. 阿里巴巴實踐：Zhu et al., “Congestion Control for High-throughput RDMA”, NSDI 2018 (HPCC 原始論文) 及後續系列工作，揭示了改進型擁塞控制演算法在大規模 RoCE 中的應用。
4. NVIDIA 官方文件：《Mellanox RoCE Configuration Guide》、《NVIDIA Ethernet Networking and GPUDirect RDMA》，提供具體配置引數、調優示例和拓撲設計。
5. 超乙太網路聯盟：Ultra Ethernet Consortium (UEC) 官網及其釋出的白皮書，闡述對 RoCE 痛點的回應和替代性規範路線。