Lossless Ethernet
3 秒看懂
Lossless Ethernet(無損乙太網路)是一套基於標準乙太網路硬體、通過高階擁塞控制與遠端直接記憶體訪問技術實現“零丟包”的網路體系。其核心指標是將AI叢集的有效吞吐率從傳統乙太網路的50%以下提升至90%以上,同時將尾延遲控制在微秒級確定性範圍。它使通用乙太網路在效能上逼近甚至超越專用InfiniBand,而成本與運維相容性顯著更優,已成為萬卡級大型模型訓練叢集的事實性網路標準。
3 分鐘產業解釋
傳統乙太網路採用“盡力而為”(Best-Effort)模型,在AI分散式訓練的同步通訊場景中存在結構性缺陷。典型大型模型訓練涉及數千塊GPU協同工作,每次迭代需完成AllReduce等集合通訊操作,瞬間迸發的多對多資料流(Incast流量)會造成交換器快取非線性過載。實驗資料顯示,僅0.1%的丟包率即可因重傳等待導致GPU計算資源閒置率達50%以上,使昂貴的算力基礎設施陷入“通訊休克”。
Lossless Ethernet通過三層機制重構網路行為:優先順序流控(PFC)在交換器快取超過閾值時向後端裝置發出精確暫停指令,從物理層面杜絕丟包;顯式擁塞通知(ECN)在佇列接近擁塞臨界點時主動“染色”報文,通知傳送端提前降速,避免觸發PFC硬性關斷;智慧負載均衡(如動態多路徑排程)將流量打散到所有可用鏈路,消除傳統等價多路徑(ECMP)造成的區域性過載與全域性閒置。配合RoCEv2(RDMA over Converged Ethernet v2)協議,資料可繞過接收端CPU與作業系統,直接寫入GPU視訊記憶體,消除記憶體複製與上下文切換開銷。
上述能力並非要求部署專有硬體,而是通過交換晶片的流控功能、智慧網絡卡的協議硬化解除安裝以及網路作業系統的全域性排程軟體協同實現。該技術棧正以前所未有的速度替代InfiniBand,成為商業資料中心與公共智算中心建置大規模算力叢集的主導方案。
技術原理
1. 擁塞控制三層閉環架構
無損乙太網路的擁塞控制可抽象為一個分散式閉環控制系統,由逐跳反壓、端到端速率調節和全域性負載疏導三層協同運作。
第一層:PFC逐跳硬性反壓
交換器將全域性共享快取劃分為獨立優先順序佇列,每個無損佇列被賦予預設的最大駐留深度閾值。當佇列深度觸及閾值時,交換器立即向上一跳裝置傳送PFC暫停幀,傳送端在微秒級時間內停止該優先順序報文的傳送,直至交換器快取排空併發起恢復訊號。這一機制在鏈路層做到了緩衝溢位的物理性杜絕,是實現“絕對零丟包”的底層基礎。
值得強調的是,PFC的反壓效應是逐跳傳導的——當某一跳暫停後,其上游埠的傳送快取亦會積聚,若超過閾值則繼續向上遊反壓,形成一條從擁塞點到源頭的反壓鏈。此特性在消除丟包的同時,也埋下了頭部阻塞(HOL Blocking)與“PFC風暴”的隱患。
第二層:DCQCN端到端速率調節
RoCEv2沿用DCQCN(Data Center Quantized Congestion Notification)演算法處理ECN標記反饋。工作流程為:交換器在佇列深度接近閾值時對報文IP頭部進行ECN標記→接收端網絡卡識別標記後生成擁塞通知報文(CNP)返回傳送端→傳送端據此動態調節注入速率。
DCQCN維護一個目標速率Rc,其控制律為:
- 未收到CNP時:
Rc = Rc + α × (Rmax - Rc),α為加速因子,使速率快速趨近目標; - 收到CNP時:
Rc = Rc × (1 - β),β為減速因子,實現瞬時降速避讓。
α與β的取值對系統性能影響極大。過大的α會引發速率超調與擁塞震盪,過小的β則無法及時緩解佇列壓力。2024年以來,頭部廠商已引入強化學習等AI模型,基於歷史流量模式與訓練任務特徵動態調整上述引數,在吞吐最大化與延遲最小化之間尋求帕累托最優。這是“智慧無損”中“智慧”的核心技術來源。
第三層:全域性負載均衡排程
傳統ECMP基於五元組雜湊將流量隨機對映到等價路徑,面對AI訓練中少量大流的特徵(Elephant Flow),極易發生雜湊碰撞,導致部分鏈路擁塞而其餘鏈路閒置。智慧負載均衡方案通過分析報文粒度、即時感知各路徑的佇列深度與鏈路利用率,動態將流量片段分配到最空閒路徑,實現全域性頻寬的均衡利用。華為公開的NSLB(Network-scale Load Balancing)等技術即屬於此範疇,據其白皮書揭露可將整體吞吐效率提升至90%以上。
2. 端到端延遲的物理構成
典型RoCEv2通訊的端到端延遲由下述環節構成(均為典型值):
| 環節 | 延遲量級 | 說明 |
|---|---|---|
| 應用發起RDMA寫請求 | ~0.3-0.5 μs | 使用者態直接提交,無核心切換 |
| 網絡卡DMA從GPU視訊記憶體讀資料 | ~1-2 μs | 經PCIe 4.0/5.0匯流排 |
| 網絡卡內部協議處理與封裝 | ~0.5-1 μs | RoCEv2頭部封裝、硬體解除安裝處理 |
| 物理鏈路傳播 | ~5 μs/km | 光纖中的光速傳播 |
| 交換器轉發(單跳) | ~300-800 ns | 直通轉發模式下極低 |
| 交換器排隊延遲 | 關鍵變數 | 無損網路將排隊壓制至數微秒,擁塞時傳統網路可達毫秒級 |
| 接收端網絡卡處理並寫入GPU視訊記憶體 | ~1-2 μs | DMA直接寫入,零CPU參與 |
| 完成通知返回傳送端 | 同上聚合 | 端到端完成訊號 |
無損乙太網路的技術攻關核心在於壓制“交換器排隊延遲”這一關鍵變數——通過極淺佇列設計(目標佇列深度僅為數個數據包)配合ECN提前調控,將排隊延遲從傳統網路的毫秒級壓降至數微秒級,實現端到端確定性低延遲。
3. 全域性無丟包的系統性條件
單點支援RoCEv2僅為基礎入場條件,建置完整的Lossless Fabric需滿足系統級約束:
- 全網統一的水線配置:所有交換節點必須配置一致的PFC閾值與ECN標記門限,任一節點的引數偏差將產生“短板效應”,導致整網丟包。
- 微突發吸收能力:交換晶片需具備充足的片上快取(通常數MB至數十MB),以吸收納秒級的瞬時流量突發,避免因快取不足觸發PFC或直接丟包。Broadcom Tomahawk系列與Jericho系列晶片在此維度是當前行業標杆。
- 死鎖檢測與自愈:極端擁塞狀態下可能出現迴圈反壓依賴形成“PFC風暴”,需部署網路級死鎖探測演算法(通常基於反壓傳播拓撲分析或定時器超時判斷)以在毫秒至秒級內隔離故障、恢復正常轉發。
- 端到端優先順序嚴格一致:從傳送端網絡卡、途經所有交換器、直至接收端網絡卡,RoCEv2流量須被對映至同一優先順序佇列並享有嚴格優先順序排程,任何中間節點的優先順序重標記均可導致流量進入錯誤佇列而引發丟包或效能劣化。
關鍵引數
1. 有效吞吐率
有效吞吐率定義為應用層實際完成資料傳輸的速率與鏈路標稱物理頻寬之比,是衡量無損乙太網路價值的首要指標。傳統乙太網路在AI Incast場景下因丟包與重傳,有效吞吐率通常跌至30%-50%。華為企業業務白皮書(2024)揭露,部署智慧無損方案後有效吞吐率可達90%以上,即100Gbps物理鏈路可交付超過90Gbps的應用資料吞吐。
該引數直接決定了AI訓練中AllReduce等集合操作的完成速度——在同步資料並行架構下,每一步迭代均受制於最慢節點(Straggler效應),網路吞吐每提升10%,萬卡叢集的單步訓練時間可縮短相應比例,轉化為顯著的訓練總時長與成本節約。
2. 尾延遲(P99/P99.99)
大規模同步訓練中,關注點不在最小或平均延遲,而在於尾延遲——即所有參與節點中完成通訊最慢的那個節點的時間。丟包導致的超時重傳會使尾延遲從微秒級急劇惡化至毫秒甚至秒級,產生嚴重的“木桶效應”。無損乙太網路將P99.99尾延遲控制在數微秒至數十微秒的確定性範圍內,保障同步訓練的全域性步調一致性。
3. PFC風暴收斂時間
PFC反壓鏈在極端情況下可能形成迴圈依賴,導致受影響區域吞吐量歸零,稱為“PFC風暴”。核心指標為網路能從檢測到死鎖到完成路徑重新路由、恢復正常轉發的總耗時。當前頭部方案(如華為iLossless、Arista EOS)宣稱該時間可控制在毫秒至百毫秒級,但公開可驗證的第三方測試資料仍有限。
4. 平均佇列深度(AQD)
指交換器無損優先順序佇列中持續維持的資料駐留深度。理想的設臵是保持AQD在極低水平(數個數據包的長度),以最小化排隊延遲並預留快取空間吸收微突發。AQD過高意味著排程演算法過於激進或α引數偏大,存在觸發PFC反壓的風險;AQD過低則可能未充分利用可用頻寬。動態水線調節技術即致力於在不同流量模式下自動尋優AQD目標值。
5. 單節點連線數與擴充套件性
萬卡叢集要求單伺服器通常配備8至16個高速網路介面(如400G/800G),對交換器的埠密度、晶片吞吐容量和排程演算法複雜度提出極高要求。該指標衡量的是一套Lossless Fabric架構可支援的最大端點數(Scale)與端到端吞吐隨規模衰減的程度。當前工程實踐以支援超過32K GPU的無阻塞或低過載(<2:1)組網為前沿目標。第三方基準測試組織(如MLPerf)正逐步納入網路效能子項,但行業尚無統一的公開排名資料(截至2025年Q3,公開資料未見)。
技術路線
技術演進四階段
第一階段(2010-2015):InfiniBand獨大期
InfiniBand憑藉原生的基於信用的鏈路層流控(Credit-based Flow Control)與硬體解除安裝RDMA,從架構底層天然支援無損傳輸,長期壟斷HPC與早期AI超算。但其封閉的協議棧、昂貴的專屬交換裝置與網絡卡、以及要求特種運維技能的生態壁壘,限制了大規模商業資料中心的採用。
第二階段(2015-2018):RoCEv2破局期
2014年IBTA釋出RoCEv2標準,將RDMA封裝於UDP/IP之上,實現跨三層路由傳輸,使RDMA首次可在標準乙太網路裝置上執行。但初期缺乏配套的擁塞控制體系,RoCEv2僅適用於小規模或輕負載部署,大併發下丟包問題未獲解決。
第三階段(2018-2022):PFC+ECN方案成熟期
Broadcom、Intel等晶片廠商將PFC/ECN功能深度硬體化,NVIDIA Mellanox、華為等系統廠商推出端到端整合的RoCEv2 Fabric方案。DCQCN等擁塞控制演算法經過多輪迭代最佳化,使通用乙太網路首次在中等規模叢集(數百至數千節點)中實現可用的無損傳輸。此階段的技術瓶頸主要在於靜態引數配置(PFC閾值、DCQCN引數)難以自適應多種混合負載。
第四階段(2022-至今):智慧無損時代
萬卡乃至十萬卡級AI訓練叢集興起,人工調參的靜態方案已無法應對複雜多變的流量模式。廠商引入基於AI的網路智慧分析引擎,持續學習歷史流量特徵與訓練任務型別,動態調整PFC水線、ECN門限、DCQCN引數以及負載均衡策略。代表性方案包括華為iMaster NCE、Arista AVA(Autonomous Virtual Assist)以及NVIDIA Spectrum-X平台。該階段實現無損乙太網路在多維度效能上真正達到與InfiniBand可比的水平,並憑藉生態與成本優勢加速替代。
主要技術路線對比
| 特性維度 | 傳統有損乙太網路 | 無損乙太網路(智慧) | InfiniBand(參考) |
|---|---|---|---|
| 核心協議 | TCP/IP 盡力而為 | RoCEv2 + PFC/ECN 確保交付 | 原生RDMA 信用制 |
| 丟包行為 | 擁塞時被動丟棄 | 流控與速率調節實現零丟包 | 信用機制物理層零丟包 |
| 有效吞吐率 | 通常30%-50%(受重傳影響) | 可達90%以上(廠商揭露) | 典型90%-95% |
| P99尾延遲 | 毫秒至秒級(大幅抖動) | 數至數十微秒,確定性低抖動 | 數微秒,延遲最低 |
| 單埠頻寬 | 100G/200G/400G/800G(標準演進) | 同上,與乙太網路代際同步 | NDR 400G,XDR 800G(專屬代際) |
| 交換器晶片生態 | 開放式,多供應商 | 開放式,選擇增多 | 封閉式,NVIDIA主導 |
| 運維技能門檻 | 低,乙太網路通用技能 | 中等,需掌握PFC/ECN調優 | 高,需InfiniBand專業技能 |
| 採購成本(同等頻寬) | 基準(1x) | 約1.2-1.5x(網絡卡溢價) | 約1.5-2.5x(裝置與網絡卡溢價) |
| 擴充套件性(單Fabric) | 高,成熟路由協議 | 高,增強負載均衡 | 高,信用排程天然優勢 |
注:成本倍數為行業粗略估算區間,具體取決於埠速率、品牌及採購規模,無統一公開權威資料來源,來自廠商訪談與行業報告綜合(2024年口徑)。
上游
1. 交換晶片
無損乙太網路對交換晶片提出特殊需求:大容量片上快取(Buffer)以吸收微突發、高精度PFC/ECN標記引擎、資料面遙測(INT/Telemetry)以支援即時擁塞感知。主要供應商包括Broadcom(Tomahawk 4/5系列、Jericho系列)與Marvell(Teralynx系列)。其中Broadcom在全球超大規模資料中心交換晶片市場據第三方估計佔有超過70%的份額(2025年Crehan Research資料,含所有埠速率段),其Jericho系列晶片的深度快取與虛擬輸出佇列(VOQ)架構在處理AI Incast流量方面具有結構優勢。中國市場中,盛科通訊(Centec)的GoldenGate系列亦已推出支援PFC/ECN功能的資料中心交換晶片,在中低速率段(25G/100G)的國產替代中取得進展,但在800G及以上速率段仍依賴進口。
2. 智慧網絡卡與DPU
智慧網絡卡是承載RoCEv2協議硬化解除安裝、DCQCN擁塞控制演算法即時執行和DMA引擎的關鍵器件。NVIDIA通過收購Mellanox掌握ConnectX系列(當前主流為ConnectX-7/8),是該領域絕對龍頭,據行業估計在AI RDMA網絡卡市場佔有率達80%以上(2025年,第三方調研機構650 Group估計)。Intel IPU系列與Marvell Octeon DPU系列為追趕者,但在超大客戶中的滲透率仍有限。國產方面,華為自研的IN系列智慧網絡卡(如IN200/IN500)配套其CloudEngine交換器建置端到端方案,主要在其自用Ascend計算叢集及部分政企客戶中部署。公開市場可獨立採購的國產高效能RDMA網絡卡供應仍十分有限(截至2025年Q3,公開資料未見成熟第三方產品)。
3. 高速光電器件與物理層
800G光模組(OSFP/QSFP-DD800形態)、低功耗DSP晶片、高密度聯結器是支撐無損乙太網路物理層高頻寬與訊號完整性的基礎元件。中際旭創(InnoLight)、Coherent、華為海思、光迅科技為主要光模組供應商。2024-2025年800G光模組市場處於快速放量階段,LightCounting預測2025年全球800G及以上速率光模組出貨量將超過1500萬隻(含乙太網路及InfiniBand應用)。高速DSP晶片長期由Broadcom與Marvell主導,國產替代方面,燧原科技等公司正在推進相關技術研發,但效能與可靠性驗證尚需週期。
下游
1. AI訓練叢集(AI Factory)
這是無損乙太網路當前最大的單一驅動場景。萬卡級GPU叢集(規模從3,000至超過100,000塊GPU不等)的Scale-Out網際網路絡,需在任意節點對之間提供接近網路標稱頻寬的通訊能力。Meta於2024年公開的Llama 3 405B訓練叢集即採用基於Arista 7800系列交換器建置的RoCEv2 Fabric(24K GPU規模)。xAI的Colossus叢集(100K GPU,2025年公開運營)據揭露使用了NVIDIA Spectrum-X乙太網路方案。中國市場的大型智算中心(如各地政府主導的公共算力平台)普遍在200G/400G乙太網路上部署無損方案,以規避InfiniBand的供應鏈風險與成本約束。
2. 分散式高效能儲存
全快閃記憶體Ceph叢集與NVMe-oF(NVMe over Fabrics)架構依賴零丟包網路以充分釋放SSD的IOPS與頻寬能力。乙太網路快閃記憶體(EBOF,Ethernet Bunch of Flash)架構利用RoCEv2連線遠端NVMe儲存,要求端到端無損以確保儲存事務的原子性和延遲確定性。主要採用者包括大型雲端廠商的塊儲存服務後端以及企業私有雲端中的超融合基礎設施。
3. 高效能資料分析與工業模擬
基因測序(如Illumina/BGI的二級分析流水線)、計算金融(蒙特卡洛模擬與即時風險計算)、計算流體力學(如Ansys CFD)等依賴MPI(Message Passing Interface)同步通訊範式的HPC商業應用,正在從專有InfiniBand或Cray專用互連向無損乙太網路遷移。遷移的核心驅動力為:乙太網路的標準化運維體系可降低IT部門的人力與技能成本,同時效能差距已縮窄至多數商用場景可接受的範圍內。
受益公司
以下梳理基於公開揭露的業務結構與行業定位,僅作產業格局的客觀呈現,不構成任何形式的投資評判或建議。
-
NVIDIA:通過整合Mellanox技術棧推出Spectrum-X乙太網路平台,將InfiniBand的確定性網路能力下放至乙太網路生態。據公司2025財年(截至2025年1月)公開財報,資料中心業務營收中網路相關部分(含InfiniBand與乙太網路)已佔顯著份額。Spectrum-X被視為其GPU系統的戰略級配套,旨在降低客戶對InfiniBand的單一依賴。
-
Broadcom:核心底層晶片供應商。Tomahawk 5系列交換晶片(51.2Tbps吞吐)與Jericho3-AI深度快取晶片是多數OEM/JDM廠商建置無損乙太網路裝置的基座。2025年Crehan Research資料顯示Broadcom在全球資料中心交換晶片市場(所有埠速率)保持領先份額。此外其DSP晶片在800G光模組中亦佔據高份額。
-
華為:具備從CloudEngine資料中心交換器、iMaster NCE智慧管控平台到IN系列智慧網絡卡的全棧能力。其“iLossless”智慧無損演算法通過了多家第三方測試(如2022年Tolly測評),聲稱AI訓練場景下有效吞吐率達93%以上。受地緣貿易限制影響,其高階交換晶片的自研替代進度是關注焦點。
-
Arista Networks:其可程式設計EOS作業系統與多供應商白盒交換器的組合,深度適配DCQCN擁塞控制演算法與多種負載均衡策略,在北美大型網際網路及AI公司中部署廣泛。Meta的24K GPU叢集即採用Arista裝置。公司2024年全年營收為62.9億美元,年增率增長33%,AI相關網路貢獻顯著(公司公開財報)。
-
中際旭創:全球領先的高速光模組供應商,800G光模組出貨量據LightCounting估計位居行業前列(2025年資料)。其產品廣泛應用於AI叢集交換器與伺服器網絡卡之間的高速互連,是無損乙太網路物理層升級的直接受益者。
市場規模
整體市場
據650 Group於2025年3月釋出的《資料中心乙太網路交換器市場報告》,2024年全球資料中心乙太網路交換器市場規模約為260億美元,其中AI/ML相關網路基礎設施(含前端與後端網路)佔比快速提升。該機構預測,到2028年AI後端網路(Backend Network)專用交換器市場規模將超過150億美元,無損乙太網路在其中佔據主導份額。
中國市場
據IDC中國《2024年第四季度資料中心交換器市場追蹤報告》,中國資料中心交換器市場2024年全年規模約為54億美元(約390億人民幣),其中智算中心建設相關的200G/400G端口出貨量年增率增長超過120%。以運營商與政府主導的公共智算中心為主的下游投資是無損乙太網路需求的最主要來源。
RDMA網絡卡市場
650 Group估計,2024年全球RDMA網絡卡(含InfiniBand與RoCEv2)市場規模約為55億美元,其中RoCEv2網絡卡佔比首次超過50%,標誌著無損乙太網路在網絡卡端的部署規模已反超InfiniBand。預計2028年該市場總規模將突破120億美元,RoCEv2佔比有望提升至70%以上。
上述市場資料均為第三方機構的估計與預測,不同機構口徑可能存在差異,讀者應查閱原始報告獲取詳細的方法論說明。
玩家對比
交換裝置整機廠商
| 維度 | 華為 | Arista | NVIDIA | 新華三(H3C) | 銳捷網路 |
|---|---|---|---|---|---|
| 核心產品線 | CloudEngine系列 | 7800/7700R系列 | Spectrum-X平台 | S12500/6800系列 | RG-S系列 |
| 最高階口速率 | 800G | 800G | 800G | 400G(800G推進中) | 400G |
| 智慧排程軟體 | iMaster NCE | AVA + CloudVision | Cumulus Linux + NetQ | SeerEngine | RG-INC |
| 自研晶片能力 | 是(自用為主) | 否(依賴Broadcom) | 是(Spectrum系列) | 部分(中低端) | 否 |
| 主要客戶場景 | 中國政企與運營商智算中心 | 北美大型網際網路與AI企業 | 全球GPU叢集配套 | 中國政企與教育科研 | 中國網際網路與中小企業 |
| 區域市場優勢 | 中國市場 | 北美市場 | 全球OEM/GPU捆綁 | 中國市場 | 中國市場 |
關鍵差異點
-
NVIDIA Spectrum-X與其它廠商的核心差異在於:NVIDIA可控制從GPU(NVLink/NVSwitch)、網絡卡(ConnectX)、交換晶片(Spectrum)到軟體(Cumulus)的全鏈條,能實現端到端深度最佳化,例如其自適應路由(Adaptive Routing)和擁塞控制演算法針對NVIDIA GPU的通訊模式進行專項調優。其侷限在於對非NVIDIA GPU生態的支援相對有限,客戶面臨供應商鎖定考量。
-
華為在中國市場具備端到端交付與本地服務優勢,其iLossless智慧無損方案可整合至其自研Ascend計算生態,形成計算-儲存-網路協同設計的閉環。但在海外市場因地緣因素受限。
-
Arista採用多供應商裸機交換器的開放架構,客戶可選擇不同硬體製造商(如Accton、Celestica等ODM/JDM)的裝置運行同一EOS作業系統,供應商靈活度高,且其可程式設計性深受大型網際網路雲端商青睞。缺點在於缺乏底層晶片的定製能力,依賴Broadcom等晶片廠商的迭代節奏。
風險
1. PFC風暴風險依然存在
儘管智慧排程軟體已能大幅降低PFC風暴的發生機率與影響範圍,但在超大規模組網(10萬卡級以上)、混合負載以及異常硬體失效等極端情況下,死鎖擴散為全網擁塞的風險尚未被完全消除。行業對PFC-free方案的探索(如基於INT遙測的純端到端速率控制)仍處於學術研究與早期工程驗證階段。SIGCOMM 2024有數篇論文討論“PFC-free RDMA over Ethernet”的可行性與效能邊界,但工業級成熟產品預計需2-3年(行業專家估計,非確定性預測)。
2. 人員技能門檻錯配
無損乙太網路的運維要求網路工程師同時理解傳統乙太網路、擁塞控制演算法和業務流量特徵,人才供給遠不能滿足快速增長的需求。配置錯誤(如PFC優先順序對映錯誤、水線引數不當)可能導致網路效能反而不及傳統有損模式,帶來隱性效率風險。
3. 供應商鎖定隱憂
儘管無損乙太網路基於開放標準,但各廠商的智慧排程演算法、管控平台及最佳化引數高度私有的,客戶一旦部署特定廠商方案,在“一鍵最佳化”、“智慧調優”等效率加持下形成事實性遷移障礙。多廠商互通性(Interoperability)測試在無損特性下遠比傳統乙太網路複雜,行業標準與測試規範的制定仍滯後於產品部署。
4. 代際升級成本
AI叢集網路頻寬升級遵循“每一代計算卡對應新一代網路速率”的節奏。從400G向800G乃至1.6T升級,涉及交換器整機、光模組、網絡卡的全套更新,資本支出巨大。且新一代裝置的軟體調優與穩定性驗證需要時間,早期部署者可能承擔“除錯期”效能未達標的隱性成本。
誤讀糾偏
誤讀一:“PFC能實現零丟包,所以無損乙太網路不會出現效能問題。”
PFC僅是實現零丟包的“硬保險裝置”,並非效能最佳化手段。過度依賴PFC會導致反壓鏈擴散,造成頭部阻塞與“PFC風暴”,使受影響區域吞吐量急劇下降。真正的高效能無損網路依賴於ECN提前調控速率以“不用觸發PFC”,以及智慧負載均衡消除區域性熱點。一個恰當的類比是:PFC是汽車安全氣囊——有它是必要的安全底線,但駕駛穩定性的保障來自(ECN)防抱死剎車和(負載均衡)車道選擇,而非反覆依賴安全氣囊的觸發。
誤讀二:“買了支援RoCEv2的網絡卡和交換器,插上就能實現無損傳輸。”
RoCEv2只是一項協議能力,無損傳輸是一項系統級工程。實際部署要求全網所有裝置(含伺服器網絡卡、ToR交換器、Leaf/Spine交換器)統一配置PFC、ECN與ETS(增強傳輸選擇)引數,需設定精確的水線閾值、優先順序對映和排程策略。任一節點的配置缺陷或微突發吸收能力不足,都將形成“短板”導致整網通訊失敗。業界將正確配置與驗證一個Lossless Fabric稱為“無損網路入場券”,通常需廠商資深工程師與客戶網路團隊數週至數月的聯合除錯。
誤讀三:“無損乙太網路效能已全面超過InfiniBand。”
此命題應分維度審視。在有效吞吐與延遲抖動方面,頭部廠商的智慧無損方案在萬卡叢集中已接近InfiniBand水平。但在極低延遲(1μs端到端)、動態路由的靈活性(InfiniBand原生支援自適應路由,乙太網路仍為增強性實現)以及超大規模(100K節點單Fabric)驗證等方面,InfiniBand保持微弱優勢。無損乙太網路的核心價值主張不是“全面超越”,而是“以顯著更優的成本與生態相容性達成足夠接近的效能”,從而在絕大多數商業AI場景中成為更優價效比選擇。
誤讀四:“無損乙太網路僅用於AI訓練。”
除AI訓練外,無損乙太網路在分散式全快閃記憶體儲存(NVMe-oF)、高效能運算(MPI通訊)、金融即時風控等一切依賴於確定性低延遲與高頻寬利用率的工作負載中均有應用場景。其底層協議(RoCEv2+PFC/ECN)是通用能力,適用領域遠超AI。
最新事件
-
2025年2月,博通釋出Jericho3-AI交換晶片增強特性:Broadcom在2025年投資者會議上揭露,將為其Jericho3-AI晶片增加增強型全域性負載均衡與硬體輔助的死鎖檢測功能,預計2025年下半年向大客戶送樣。該晶片已設計用於支援單叢集32K GPU的無阻塞互連。(來源:Broadcom 2025 Q1財報電話會公開陳述)
-
2025年1月,Ultra Ethernet Consortium釋出1.0規範草案:由AMD、Arista、Broadcom、Intel、Meta、Microsoft等組成的Ultra Ethernet Consortium(UEC)釋出了面向AI與HPC的下一代乙太網路規範1.0草案,涵蓋了改進的多路徑負載均衡、增強擁塞控制與安全特性,旨在提供對PFC依賴度更低的“真正下一代無損乙太網路”。正式版預計2025年下半年釋出。(來源:UEC官方公告)
-
2024年11月,xAI Colossus叢集採用Spectrum-X:Elon Musk公開揭露xAI的Colossus 100K GPU訓練叢集使用了NVIDIA Spectrum-X乙太網路方案,為業界已公開的最大規模無損乙太網路實際部署案例。該叢集據稱有效訓練時間利用率超過95%(xAI公開表述,未提供第三方驗證細節)。
-
2024年10月,中國移動釋出全球最大OTN+無損乙太網路混合智算網路:中國移動在2024中國算力大會上揭露,其建成了覆蓋東西部多個算力樞紐的“全球最大OTN+無損乙太網路混合智算網路”,採用400G OTN用於跨區域互聯,區域內採用400G無損乙太網路連線GPU叢集,總頻寬超過300Tbps。(來源:中國移動官方新聞稿)
-
2025年3月,華為釋出CloudEngine X系列800G交換器:在MWC 2025上,華為推出面向AI Fabric的CloudEngine X系列800GE資料中心交換器,配合iMaster NCE實現智慧調優與1-3-5分鐘自愈能力(1分鐘感知故障、3分鐘定位、5分鐘恢復)。該系列支援單槽14.4Tbps,可建置超過50K GPU節點的Lossless Fabric。(來源:華為官方新聞稿;具體效能資料的獨立第三方驗證截至2025年Q3公開資料未見)
追蹤指標
產業判斷與技術驗證可追蹤以下量化(或半量化)觀察角度:
1. 行業評測與基準
- MLPerf Training最新輪次結果:關注使用不同網路方案(InfiniBand vs 無損乙太網路)的提交者在同等規模下的訓練時間差異。MLCommons有望在後續版本中納入網路效能子項評估(尚待官方確認)。
- 第三方獨立測試報告:關注Tolly等第三方測試機構對華為iLossless、Arista EOS、NVIDIA Spectrum等方案的橫向對比測試結果。
2. 產業鏈訊號
- 800G光模組出貨量季度季增率增速:LightCounting與Omdia的季度追蹤報告。持續高增長表明下游AI網路基建的資本支出處於擴張期。
- Broadcom Tomahawk/Jericho系列營收展望:Broadcom作為行業基石晶片供應商,其資料中心交換晶片部門的營收增長趨勢可直接對映無損乙太網路裝置出貨節奏。
- 超大規模雲端商(Hyperscaler)的CapEx展望:Microsoft、Meta、Amazon、Google及中國頭部雲端商的資本支出計劃中網路相關支出比例。
3. 技術標準化進展
- UEC 1.0正式規範的釋出時間與採納進度:是否獲得NVIDIA、華為等關鍵廠商的公開支援,以及首個可互通的商業產品預計送樣時間。
- IEEE 802.1工作組關於增強擁塞控制(如P802.1Qdq)的標準化進展:關注是否出現對PFC依賴度更低、甚至PFC-free的新一代標準架構。
4. 重大事故案例(反向指標)
- 公開揭露的大型智算叢集網路故障事件:注意區分是InfiniBand還是無損乙太網路、故障根因是否與PFC風暴或ECN引數配置錯誤相關、恢復時間多長。此類案例是檢驗技術成熟度的最佳“壓力測試”樣本。
信源
本文資訊綜合自以下公開來源,可在相關方官方網站或專業資料庫檢索獲取:
- 華為企業業務:《HPC Lossless Ethernet and AI Fabric Network Technical White Paper》(2024年版)、《CloudEngine X系列產品文件》(2025)。
- Broadcom Inc.:2025 Q1財報電話會公開陳述、Jericho3-AI產品介紹頁、Tomahawk 5技術概述。
- NVIDIA Corporation:Spectrum-X平台技術白皮書(2024)、FY2025財報檔案、GTC 2025網路主題演講公開資料。
- Arista Networks:2024 Annual Report (10-K)、EOS與AVA產品文件。
- Ultra Ethernet Consortium:UEC 1.0規範草案官方公告(2025年1月)。
- 650 Group:《資料中心乙太網路交換器市場長期預測》(2025年3月)、《RDMA網絡卡市場季度報告》(2024年Q4)。
- LightCounting:《高速光模組市場預測報告》(2025年Q1更新)。
- Crehan Research:《資料中心交換晶片市場份額報告》(2025年更新)。
- IDC中國:《中國資料中心交換器市場季度追蹤報告》(2024年Q4)。
- 學術文獻:DCQCN原始論文“Congestion Control for Large-Scale RDMA Deployments”(Zhu et al., SIGCOMM 2015)及相關後續研究;SIGCOMM/NSDI會議關於PFC-free RDMA的論文(2023-2024)。
- 企業公開新聞:Meta關於Llama 3叢集網路架構的工程部落格(2024);xAI關於Colossus叢集的公開宣告(2024-2025);中國移動2024算力大會新聞稿。
- 遠瞻慧庫(Baogaobox.com):《2025年智慧無損網路技術白皮書》(行業研究參考,原始作者與釋出時間在原文中標註)。
重要宣告:本文所述公司、產品與資料僅供產業知識梳理與技術理解之用。所有財務數字、市場份額及預測均來自上述第三方來源公開發布的資訊,不構成對任何公司的股票、債券或衍生品之購買、出售或持有的建議。文中內容不代表對未來業績、股價或市場走勢的任何預測或投資意見。投資者應獨立審慎決策並自擔風險。