Backend Network

3 秒看懂

Backend Network（後端網路）是AI基礎設施中連線計算節點的高速資料通路，負責將數千乃至數萬顆GPU/加速器組織成一臺邏輯上的“超級計算機”。它不是傳統資料中心的普通乙太網路，而是為極致頻寬、微秒級時延與無損資料傳輸而生的專用網路。沒有它，大型模型訓練中引數同步、梯度彙總等操作會在通訊上崩潰，分散式推論中張量並行所需的跨節點AllReduce也無法實現——後端網路的效能天花板直接決定了模型規模的上限。

3 分鐘產業解釋

當人們說“訓練GPT‑4用了數千塊GPU”，真正把它們粘合成一個計算單元的就是Backend Network。在AI訓練叢集中，每個GPU負責處理一部分資料或模型，它們需要頻繁交換梯度、引數等中間資料。例如，採用模型並行時，單次前向/反向傳播就會產生數十次跨GPU通訊；對於一個千卡級別的叢集，每一步迭代的通訊量可達數十GB。普通的IP網路可能引入數十毫秒的延遲和丟包，導致GPU計算資源大量空轉。

Backend Network因此演化出一條獨立的技術路徑：從早期的InfiniBand到如今融合乙太網路（RoCE v2），再到超乙太網路聯盟（Ultra Ethernet Consortium）推進的下一代標準，這條路線圍繞低延遲、高頻寬、無丟包和強擁塞控制持續迭代。其核心特徵包括：使用RDMA（遠端直接記憶體訪問）繞過CPU與核心，將資料直接寫入目標GPU記憶體；採用基於信用、ECN/PFC等流量控制機制消除丟包；藉助多軌交換、自適應路由等技術把一個龐大的叢集拓撲編織成非阻塞的全域性匯流排。

產業格局中，輝達通過收購Mellanox將InfiniBand與自家GPU高度耦合，成為AI後端網路的事實標準之一；博通、思科等推動基於乙太網路的開放方案；微軟、Meta等超大規模使用者則自研光互連和可重構拓撲。截至2025年，400G/800G埠的後端交換器已大規模部署，1.6T方案開始量產[據產業鏈公開資訊]，更高頻寬的線性直驅、共封裝光學正在未來路線圖上。後端網路並非獨立存在，它與前端網路（連線伺服器至使用者）物理分流，形成“前/後雙平面”，以保證訓練流量不受外部突發影響。

技術原理

Backend Network的技術棧從下到上可細分為：

1. 物理互連層 Copper線纜（DAC/ACC）、單模/多模光纖、矽光子共封裝光學（CPO）等。交換晶片與GPU/網絡卡通過SerDes（序列/解串器）連線，每通道速率從56Gbps（PAM‑4）向112Gbps、224Gbps演進。

   GPU ──SerDes── NIC ──光纖── 交換器 ──光纖── NIC ── GPU

2. 鏈路與傳輸協議層

   • InfiniBand (IB)：原生的RDMA網路，鏈路層使用信用流控，傳輸層提供可靠的連線佇列，支援WRITE/SEND/READ和原子操作。
   • RoCE v2：將IB傳輸層報文封裝在UDP/IP中，利用乙太網路交換器建置RDMA網路，依賴PFC保障無損。
   • NVLink：輝達私有互連，用於機內GPU直連，可視為超短距離的後端網路。

3. 網路傳輸語義層 RDMA提供“單邊操作”——GPU可直接對遠端記憶體地址發起讀/寫，無需遠端CPU參與。這消除了傳統核心態協議棧的複製和上下文切換，使延遲從幾十微秒降至1微秒以下。在AI訓練中，張量切分後的資料交換就通過GPU Direct RDMA完成，資料流為：GPU視訊記憶體 → PCIe → 網絡卡 → 網路 → 遠端網絡卡 → PCIe → 遠端GPU視訊記憶體。

4. 擁塞控制與負載均衡 基於ECN的演算法（DCQCN）：交換器檢測到佇列超過閾值即標記ECN位元，接收端傳遞給傳送端，傳送端降低傳送速率。 自適應路由：交換器依據出口埠負載動態選擇路徑，而非固定雜湊，可將特定流的吞吐從50%鏈路利用率提升至接近100%[據輝達技術文件]。 包噴射（Packet Spraying）：將同一訊息拆分為包粒度分散到多路徑，在接收端重排序，進一步提升頻寬利用率。

5. 拓撲與集合通訊加速 Fat‑Tree：分為接入層、匯聚層、核心層，通常採用兩葉一脊或三葉結構，提供可預測的非阻塞效能。 Dragonfly+：組內全連線，組間部分連線，依靠自適應路由實現全域性頻寬。 SHARP（在交換器上做資料聚合）：例如AllReduce求和操作，資料到達匯聚交換器時直接完成加法，只返回結果，通訊量從2倍頻寬需求縮減為近1倍，降幅最大可達50%[據Mellanox公開資料]。

6. 軟體棧 通訊庫如NCCL（NVIDIA Collective Communications Library）將高層集合操作對映到具體網路指令，選擇最優演算法（Ring、Tree、Collnet等）和通道組合，並對混合鏈路（如IB+RoCE）做聚合。

關鍵引數

評價Backend Network效能的核心引數包括：

• 埠速率：單埠物理層速率，當前主流為400Gbps，正快速向800Gbps遷移，1.6Tbps埠已進入早期量產[2024‑2025年產業鏈資訊]。
• 端到端時延：包含交換器轉發時延（IB交換器典型<130ns，乙太網路交換器約300‑500ns[廠商產品手冊]）、線纜傳播時延和網絡卡處理時延。AI叢集通常要求P99.9尾延遲控制在10μs以內。
• 訊息速率：每秒可處理的訊息數量，反映小包處理效能。400Gbps埠訊息速率可超過200Million messages/s[參考ConnectX‑7規格]。
• 集合通訊加速效率：以AllReduce為例，經SHARP加速後的有效頻寬可達埠物理頻寬的1.5‑2倍[行業估算]。
• 拓撲直徑：任意兩節點通訊經過的最大跳數，影響基礎延遲和擁塞機率，典型Fat‑Tree拓撲直徑為3‑5跳。
• 通訊效率：實際AllReduce有效頻寬與理論峰值頻寬之比，最佳化目標通常≥90%。
• 故障收斂時間：區域性鏈路或交換節點故障後，路由重新收斂所用時間，高冗餘網路可控制在100ms以內[部分廠商宣稱<50ms]。
• 網路吞吐與GPU算力配比：每PFLOPS的GPU計算能力所需網路頻寬，典型約為200‑400 Gbps/PF[行業經驗值]。

技術路線

Backend Network當前主要存在三條並行的技術路線，其差異源於協議體系、開放程度和生態主導力量的不同：

InfiniBand路線

由IBTA（InfiniBand Trade Association）定義，輝達（原Mellanox）主導商業化實現。其優勢在於原生於HPC，具備成熟的信用流控、確定性低延遲和豐富的集合通訊加速（SHARP）特性，與NVIDIA GPU的GPU Direct RDMA緊密整合，是大型GPU訓練叢集的“預設選項”。缺點是成本高昂、單供應商依賴度較高，且拓撲擴充套件在大規模部署時較封閉。

乙太網路線（RoCE v2與超乙太網路）

傳統RoCE v2將RDMA封裝在UDP/IP中，複用現有乙太網路交換基礎設施，成本低且生態開放，但依賴PFC等機制保證無損，容易引發頭阻塞擴散。超乙太網路聯盟（UEC）於2023年成立，成員涵蓋AMD、博通、思科、Meta、微軟等，旨在制定新一代乙太網路傳輸層，引入包噴射、更優雅的擁塞控制和多路徑，目標達到或超越InfiniBand的效能。UEC 1.0規範已於2024年底至2025年初逐步公開[聯盟官方資訊]。

私有互連與光交叉連線

輝達的NVLink/NVSwitch及GoogleTPU的OCS（光電路交換器）屬於機內或機間超短距、超高頻寬互連。NVLink可作為機內“後端網路”組成一致性記憶體系統，OCS則允許直接動態配置物理拓撲，繞過傳統分組交換器的限制。這類方案通常與特定加速器強繫結，不追求通用網路協議。

下表歸納主要技術路線的關鍵差異：

維度	InfiniBand (NDR/XDR)	RoCE v2 (傳統乙太網路)	超乙太網路 (Ultra Ethernet)	NVLink/NVSwitch (機內/機間)
物理層/鏈路層	專用IB協議,信用流控	乙太網路+UDP/IP,依賴PFC	乙太網路UEC規範,可選信用流控	私有點對點、高速差分對
RDMA方式	原生支援	封裝InfiniBand傳輸	原生RDMA (UEC傳輸層)	專有記憶體訪問協議
擁塞控制	鏈路級信用+ECN	DCQCN (基於ECN)	新型端側演算法+包噴射	鏈路級流控
拓撲彈性	Fat‑Tree, Dragonfly+	Fat‑Tree為主,易擴充套件	多路徑,包級別負載均衡	全互聯交換晶片
典型埠速率	400Gbps (NDR), 800Gbps (XDR)	200/400Gbps,800Gbps逐步	同乙太網路速率,目標無損	單鏈路100 GB/s (NVLink 5)
生態系統	NVIDIA主導,GPU直連最佳化	開放,多廠商交換器/網絡卡	聯盟推動,實現中	NVIDIA獨家
典型時延(交換)	<130ns (交換器)	約300‑500ns (交換器)	目標接近IB	納秒級
成本	較高,專有	低,通用元件	尚在早期,預期中等	極高,僅限輝達

表內資料引自公開產品資料及行業估算。

上游

後端網路產業鏈上游主要包括核心硬體和基礎技術提供商：

• 交換晶片：博通（Tomahawk 5、Jericho3‑AI系列）、輝達（Spectrum系列乙太網路晶片、Quantum系列InfiniBand晶片）、Marvell、思科（Silicon One）。高階AI交換晶片目前高度集中。
• 光模組與DSP：中際旭創、Coherent、Lumentum、Marvell（DSP）等。800G光模組在2024‑2025年快速上量。
• 高速線纜與PCB：安費諾、泰科、生益科技等，適用於短距DAC/ACC或有源光纜。
• 網絡卡與DPU：輝達（ConnectX‑7/8、BlueField系列）、英特爾（E810/IPU）、AMD Pensando。
• 物理層IP與SerDes：Synopsys、Cadence、Rambus提供高速SerDes IP，支援112G/224Gbps PAM‑4。
• 裝置代工與白盒：廣達、緯創等ODM為雲端廠商提供白盒交換器，搭載商業晶片。

下游

下游需求主要來自：

• 雲端服務商與AI實驗室：訓練超大語言模型、多模態模型所需的萬卡/十萬卡級叢集，是後端網路最核心的推動力。代表包括微軟Azure、GoogleCloud、亞馬遜AWS、Meta、Anthropic、xAI等。
• 企業內部AI叢集：金融、製藥、自動駕駛等行業的數百至數千卡規模叢集，通常採購NVIDIA DGX SuperPOD或參考架構。
• 邊緣AI與機器人叢集：小規模後端網路，連線多顆大算力SoC或GPU，用於即時推論、協作學習，尚處於早期階段。

受益公司

以下公司因其業務與後端網路強相關而受到市場關注（僅陳述業務關聯，不構成投資建議）：

• 輝達：同時佔據GPU、網絡卡、交換晶片（IB+乙太網路）以及NVLink全棧，網路業務營收在2024‑2025財年呈現顯著增長。
• 博通：Tomahawk 5/Jericho3‑AI交換晶片在超大規模乙太網路方案中佔據核心份額，白盒交換器依賴其晶片。
• Arista：基於博通晶片的高效能乙太網路交換器，面向AI叢集的800G產品已交付，與雲端廠商深度合作。
• 思科：Silicon One系列晶片支撐其AI網路產品，提供端到端基於乙太網路的AI網路方案。
• 中際旭創：800G高速光模組核心供應商，受益於AI後端網路頻寬升級。
• Coherent：光模組與部分雷射器、調變器供應商，深度參與AI叢集光學連線。
• Marvell：提供DSP、交換晶片及DPU，在光模組電晶片和定製ASIC領域版面配置。
• 雲端廠商（自研）：Google、亞馬遜、微軟等自研網路裝置和拓撲，可降低對第三方供應商的依賴，但也給部分商業晶片廠商帶來替代風險。

市場規模

市場調研機構對AI後端網路的統計口徑多涵蓋用於AI/ML訓練叢集的高速交換器、網絡卡以及相關光模組。由於定義邊界不同，具體數字存在差異，以下為部分公開資訊梳理：

• 據Dell’Oro Group 2024年釋出的《AI Networks for AI/ML》報告，2023年全球AI後端網路市場（包含交換器和網絡卡）營收約32億美元，預計2028年將增長至超過120億美元，年複合增長率約30%（來源：Dell’Oro Group，2024年7月新聞稿）。其中InfiniBand在2023年佔主導，但高速乙太網路份額預計將逐步擴大。
• LightCounting在2024年的高速乙太網路光學報告中指出，AI叢集是800G光模組最主要的應用場景，2024年800G光模組出貨量將超過1000萬隻，其中絕大部分用於後端網路連線（來源：LightCounting，2024年4月報告摘要）。
• 交換器埠速率升級帶動市場擴容：400G/800G端口出貨量2024年快速增長，根據產業鏈調研，2024年全球資料中心乙太網路交換器400G端口出貨量約200萬端口，其中AI後端網路佔比提升至15‑20%（來源：第三方估算，具體精確數字未統一公開）。
• 光模組方面，800G產品2024年市場規模約30億美元，預計2026年隨著1.6T產品匯入，市場規模將進一步增長（來源：Yole Intelligence、LightCounting綜合估算）。

需要注意的是，不同報告對“後端網路”的界定可能包括或排除儲存、管理網路，實際市場數字需參閱具體報告口徑。

玩家對比

廠商/平台	核心方案	優勢	劣勢	典型客戶/場景
輝達	InfiniBand (Quantum) + Spectrum‑X乙太網路 + NVLink	端到端最佳化、GPU Direct、成熟集合通訊加速、低延遲	封閉生態、成本高、IB單供應商風險	絕大多數NVIDIA GPU叢集，DGX SuperPOD
博通	Tomahawk 5 / Jericho3‑AI交換晶片 + 白盒交換器	高晶片容量（51.2T）、生態開放、成本靈活	需依賴下游裝置商，端側擁塞控制演算法仍最佳化中	雲端廠商定製交換器，Arista等
Arista	7800系列800G交換器（基於博通晶片）	深度軟體調優、大緩衝、與雲端廠商緊密整合	僅做系統整合，核心晶片依賴博通	Meta、微軟等大型資料中心
思科	Silicon One晶片 + Nexus 9000系列	自研晶片，統一架構，端到端策略	份額在超大規模AI領域尚需提升	企業AI網路，部分雲端廠商
Google	OCS + TPU互連 + Jupiter網路	自研光交換，拓撲可重構，與TPU深度融合	專有硬體，不對外銷售，僅服務於自家雲端服務	Google Cloud TPU叢集
微軟/亞馬遜	自研交換器/路由拓撲 + 白盒 + RoCE v2/超乙太網路推進	成本自主，快速創新，避免鎖定	需要強大網路研發團隊，無法直接享受IB成熟生態	內部訓練叢集

風險

後端網路作為AI基礎設施的核心環節，面臨以下主要風險：

1. 技術路線收斂不確定性：InfiniBand、RoCE v2、超乙太網路等多條路線並存，最終可能由少數方案主導。若超乙太網路成熟併成為統一標準，InfiniBand高溢價和存量優勢可能被削弱；反之，若IB持續領先，乙太網路廠商的投入可能無法完全兌現。
2. 供應鏈集中與產能瓶頸：高階交換晶片集中於博通和輝達，先進光模組DSP也有少數供應商，2023‑2024年曾出現交付週期延長現象。任何單一供應商的產能或技術問題可能拖累整體叢集建設進度。
3. 成本佔比攀升與TCO壓力：隨著模型規模擴大，網路在叢集總擁有成本（TCO）中的佔比據行業估算已達15‑25%。若單位頻寬成本未能持續下行，超大規模訓練的經濟性將面臨挑戰。
4. 標準碎片化與互操作性挑戰：不同廠商的RDMA實現、擁塞控制演算法、集合通訊加速等存在相容性問題，多供應商混搭可能導致效能不達預期，增加運維複雜度。
5. 技術迭代過快導致的裝置生命週期縮短：從200G到400G再到800G的節奏僅2‑3年，部分早期部署的裝置可能快速貶值，企業可能面臨持續的資本支出壓力。
6. 地緣政治與貿易限制：高階交換晶片和光模組技術受出口管制影響，可能限制部分地區獲取最新硬體，影響當地AI叢集建設。

誤讀糾偏

誤讀1：“後端網路就是更快的乙太網路。” 實際上，後端網路的核心差異在於無損RDMA和專用擁塞控制，而不僅是頻寬數值。AI負載的流量模式是突發性的同步多對多，標準乙太網路的盡力服務會因丟包導致所有GPU等待，拖累整體效率。哪怕把100G乙太網路換成400G，若不解決尾延遲和無損問題，訓練吞吐的改善可能遠低於頻寬提升比例。

誤讀2：“InfiniBand一定優於乙太網路。” InfiniBand在延遲、擁塞控制成熟度和GPU最佳化深度上有優勢，但成本高昂、封閉且拓撲受限於特定廠商。乙太網路生態通過RoCE v2、超乙太網路、智慧端側DPU等創新，在超大規模叢集中實測可逼近甚至等效InfiniBand的通訊效率[微軟、Meta公開測試]。選擇不只看延遲數字，還需考慮開放度、運維複雜度、與現有基礎設施的相容性。

誤讀3：“後端網路只在訓練階段重要。” 推論叢集中張量並行、流水線並行同樣需要高頻寬低延遲互聯，尤其是大型模型線上服務時，後端網路的效能直接影響使用者感知的延遲和吞吐。隨著推論叢集規模擴大，後端網路的重要性向推論側延伸。

最新事件

（以下資訊截至2025年6月，綜合公開報道與官方揭露）

• 輝達Spectrum‑X乙太網路平台全面上市：2025年初，輝達基於Spectrum‑4交換晶片的Spectrum‑X平台進入大規模部署階段，支援自適應路由和動態緩衝，旨在提供與InfiniBand可比的無損乙太網路效能。
• 博通推出Jericho3‑AI和Tomahawk 5系列：博通Jericho3‑AI深度緩衝交換器於2024年末開始給客戶送樣，Tomahawk 5（51.2T）在2024年已大規模用於800G部署，支援超大規模AI叢集。
• 超乙太網路聯盟釋出UEC 1.0規範：2024年11月，UEC宣佈完成UEC 1.0核心傳輸規範，定義新的傳輸層、擁塞控制和包噴射機制，計劃2025年開始在網絡卡和交換器中實現。
• 微軟與Meta公開基於乙太網路的10萬卡叢集：2024年，微軟宣佈採用RoCE v2和自研交換器搭建10萬卡級訓練叢集；Meta也表示其下一代叢集將過渡到融合乙太網路，減少對InfiniBand的依賴。
• GoogleOCS持續迭代：2024年Google發表論文介紹TPU v5p的OCS升級，埠數增加，連線規模擴大，繼續引領光交換路線。
• 1.6T光模組開始送樣：2025年初，中際旭創等廠商宣佈1.6T可插拔光模組進入客戶測試階段，預計2026年規模部署[公司公告]。

追蹤指標

要持續追蹤後端網路賽道的景氣度與技術變化，可關注以下公開指標：

• 高速交換器端口出貨量（按速率）：由Dell’Oro、IDC等機構每季度釋出，可拆分400G、800G等端口占比。
• InfiniBand與高速乙太網路營收比：Dell’Oro《AI Networks Report》中會揭露兩者份額變化，反映路線更迭。
• 光模組出貨量與價格：LightCounting、Yole季度追蹤，800G/1.6T的出貨和價格走勢是網路頻寬需求先行指標。
• NCCL效能基準（Perf Test）：輝達及社群定期釋出的NCCL AllReduce、AllGather等集合通訊頻寬結果，可直接反映不同拓撲和協議的實際通訊效率。
• 主要雲端廠商網路架構公開揭露：微軟、Meta、Google等在其工程部落格或論文中公開的網路拓撲、使用的交換平台和協議選擇。
• 超算TOP500互聯型別統計：雖面向HPC，但互聯型別的演變（InfiniBand、乙太網路、定製互連）可側面反映高階互連技術趨勢。
• UEC規範進展與成員產品落地：UEC成員釋出的支援新規範的網絡卡或交換器產品時間表。

信源

• NVIDIA Networking AI Solutions (www.nvidia.com/en-us/networking/)
• Ultra Ethernet Consortium 官網及規範文件 (www.ultraethern.org)
• Mellanox (NVIDIA) RDMA & SHARP技術白皮書
• Google TPU系統架構論文: “The Design of Optical Circuit Switch for TPU v4” 及後續公開文件
• 博通 Tomahawk 5 / Jericho3‑AI 產品Brief
• Arista AI網路解決方案 (www.arista.com/en/solutions/ai-networking)
• Dell’Oro Group: “AI Networks for AI/ML” 報告（2024年7月）
• LightCounting: High-Speed Ethernet Optics Report (2024年4月)
• 微軟、Meta等公司工程建設部落格相關技術文章
• 以上資料用於定性描述與趨勢判斷，具體數字如埠速率、出貨量來自廠商公開資訊及第三方估算，無證據處已標註[估算]或註明“公開資料未見”。