網路時延

3秒看懂

網路時延（Network Latency） 是資料從源頭到達目的地的耗時，在大規模AI訓練中，微秒（μs）級的延遲差異就能決定數百塊GPU的利用率——通訊跟不上計算，再強的算力也是擺設。它由訊號傳播、資料量、網路裝置處理及排隊等幾部分累加而成，是分散式AI系統伸縮性的核心瓶頸。

3分鐘產業解釋

在生成式AI爆發前，資料中心網路對時延的要求多為毫秒級（1 ms = 1000 μs）。但如今數千顆GPU協同訓練一個大型模型，引數同步（如AllReduce梯度聚合）必須在一輪計算的間隙內完成，否則計算單元就會空等。典型場景下，一次迭代的計算耗時可能從幾毫秒到幾十毫秒，留給通訊的“時間視窗”極為苛刻。

時延的本質問題並非“能不能通”，而是效率損失：每增加1微秒的通訊延遲，在數千個同步步驟中被放大N倍，造成昂貴的算力閒置。為此，業界從傳統乙太網路演進到InfiniBand、RoCEv2（RDMA乙太網路），再到NVIDIA的NVLink/NVSwitch等超短延遲專有互連——本質上都是在將通訊時延壓到計算時延的陰影之下，讓網路儘可能“消失”。

技術原理

從AI訓練系統的視角，網路時延需要被咀嚼為三個層次：

1. 節點內時延：GPU—NVSwitch、GPU—GPU（NVLink）之間，通常在百納秒至微秒量級。此時延主要影響模型並行（張量並行、流水線並行）中相鄰切片的頻繁小訊息交換。
2. 機架內節點間時延：通過InfiniBand或RoCEv2網路，典型RTT（往返時延）在1–3微秒區間（取決於網絡卡及交換器跳數）。這部分時延與資料並行（Data Parallelism）的梯度同步密切相關。
3. 跨機架/跨資料中心時延：一旦引入多跳交換器和長距離光纖，時延可能跳變至10微秒以上，甚至毫秒級。這對訓練的效率衝擊更大，通常僅用於資料傳輸或模型複製，無法用於頻繁的同步通訊。

尾延遲（Tail Latency） 是分散式訓練中最隱秘的殺手。同步AllReduce必須等最慢的那個節點到達，因此P99或P99.9延遲決定了有效步長時間。若尾延遲遠超中位數，GPU成群“摸魚”的現象就會發生。用RDMA、擁塞控制演算法（如DCQCN）、自適應路由等都是針對尾延遲的最佳化。

另一個重要維度是計算與通訊的重疊。通過將通訊操作非同步化（將AllReduce拆分為ReduceScatter + AllGather，或將梯度計算與傳輸管線化），可將時延部分隱藏在計算背後。但重疊的前提是通訊庫（如NCCL）能精確編排，此時時延的可見度大幅降低，系統對端到端時延的敏感度轉為對細粒度任務排程效率的依賴。

工程上，網路時延通常分解為四項：

• 傳播時延 t_prop = 距離 / 訊號傳播速度：PCB走線、銅纜、光纖中的光速延遲。節點內約0.1 ns，機架間光纖約5 ns/m。
• 傳輸時延 t_trans = 包大小 / 鏈路頻寬：大型模型梯度同步中，一次通訊可能傳輸數百MB，即使有400 Gbps頻寬，傳輸時延也會達到毫秒級（例如200 MB資料在400 Gbps下耗時約4 ms，計入64/66b編碼等開銷約4.1 ms）。因此，單純提高頻寬可降低傳輸時延，但對於大量的小訊息（如張量並行的分片交換），包很小，傳輸時延遠小於固定開銷，頻寬的貢獻有限。
• 處理時延：網絡卡、交換器對報文進行查表、轉發、RDMA處理的時間。硬體解除安裝（如NIC上的SHARP in-network計算）可將處理降至納秒級。
• 排隊時延：多個流競爭同一出口，在交換器快取中排隊。這是尾延遲的主要來源。

以分散式資料並行的梯度同步為例，採用AllReduce環演算法，通訊量約為2*(N-1)/N * G，通訊時延主導項可簡化為：

T_comm ≈ 2*(N-1)*(α + β*G/N)

其中α為啟動時延（固定開銷，~1μs），β為每位元組傳輸時延（即頻寬的倒數），N為GPU數，G為梯度總大小。當α較大或尾延遲嚴重時，通訊時間隨N線性增長，無法被計算隱藏。

用ASCII描述典型的2GPU單向NVLink通訊時延模型：

  GPU0                                             GPU1
   |                                                |
  [計算梯度]  ---------(開始通訊)-------------> [等待接收]
   |   --- 幾百納秒（NVLink）---                |
   |                                              [聚合]
   | <--------- 反向梯度返回 -----------          |
   [更新引數]

實際端到端往返時間包含晶片穿出、走線、Switch轉發，常見NVSwitch下的GPU RTT在~100–200納秒量級（公開資料估算，具體因產品代際而異）。

關鍵引數

評價網路時延的核心指標包括：

• 基礎延遲（單向/RTT）：同一節點內GPU間、節點間、跨機架等不同場景的最小通訊時延（0負載）。通常以微秒或納秒為單位，是硬體效能的基線。
• 有效頻寬與頻寬延遲積（BDP）：BDP = 頻寬 × 往返時延。衡量網路“管道”需要多少快取才能保持滿吞吐。大BDP需要深層快取或高階擁塞控制，否則吞吐會急劇下降。
• 尾延遲P99/P99.9：關鍵時刻對大量同步操作的影響，反映網路穩定性和可預測性。在千卡以上叢集中，尾延遲常常比中位數延遲更能決定訓練效率。
• AllReduce演算法時延：針對不同規模的叢集，衡量環、樹、遞迴加倍等演算法的完成時間。通常結合NCCL測試（如nccl-tests）取得實際數值，並隨GPU數量變化。
• 訊息速率（Msg/s）：對張量並行等大量小訊息場景，延遲由每秒處理的訊息數決定，而非頻寬。高訊息速率要求網絡卡和交換器具備極低的包處理開銷。
• 硬體解除安裝能力：是否支援SHARP網內計算、RDMA標量/向量操作硬體解除安裝等，可將部分時延從毫秒壓縮至納秒。

技術路線

為將AI訓練叢集的通訊時延壓至最低，產業界形成了三條主要技術路線：

1. 專用互連（如NVLink/NVSwitch） 由NVIDIA主導，通過晶片級直連和Switch晶片實現GPU間超低延遲高頻寬互連。Pascal架構首次引入NVLink，頻寬80 GB/s；後續架構逐步提升至300 GB/s以上，NVSwitch使節點內多GPU全互聯，RTT壓縮至~100–200納秒。該路線僅限NVIDIA平台，是單機多卡張量並行和流水線並行的核心底座。

2. 高效能InfiniBand網路 NVIDIA（收購Mellanox）提供的InfiniBand網路，從EDR、HDR到NDR、XDR，單向延遲可降至1 μs左右，並支援網內計算（SHARP）。InfiniBand採用信用流控、硬體級可靠傳輸，尾延遲控制優秀，是Top500超算與頭部AI叢集的主流選擇，但生態系統相對封閉，成本較高。

3. 低延遲乙太網路與RoCEv2 在標準乙太網路上通過RoCEv2（RDMA over Converged Ethernet）實現RDMA，單向延遲通常1.5–3 μs。Broadcom的Tomahawk/Jericho系列交換晶片支援大快取與高階擁塞控制，配合PFC/ECN及DCQCN演算法，已能在許多雲端廠商的AI叢集中替代InfiniBand。2023年成立的超乙太網路聯盟（Ultra Ethernet Consortium, UEC）正推動面向AI最佳化的新以太標準，目標是開放生態下實現媲美InfiniBand的時延與擁塞控制。

下表為三種路線的定性對比，具體數值因產品型號與拓撲差異較大，僅作量級參考：

維度	InfiniBand (NDR/XDR)	乙太網路 RoCEv2 (400G/800G)	NVLink/NVSwitch
典型單向延遲（節點內/機架）	~1 μs	1.5–3 μs	<0.2 μs（晶片間）
尾延遲控制	完善（硬體級流控）	依賴DCQCN/ECN，需調優	極低，專用擁塞控制
應用開放性	專用生態系統，較貴	開放標準，成本較低	僅限NVIDIA平台
典型訓練場景	高效能通用AI叢集	主流雲端廠商訓練場景	單機多卡張量/流水線並行

上游

網路時延技術的產業鏈上游集中於決定延遲底色的核心元器件：

• 高速SerDes與IP：博通（Broadcom）、Synopsys等提供的112 Gbps/224 Gbps SerDes是建置400G/800G埠的基石，其抖動與誤位元速率直接影響鏈路時延和可靠性。
• 交換晶片：博通的Tomahawk 5、Jericho3系列，Marvell的Teralynx 10系列，以及思科Silicon One等，均支援大快取、低轉發延遲和高階遙測。博通在2024年財報會議中揭露，其AI相關網路晶片營收年增率增長數倍，但未單獨拆出時延相關溢價。
• 光模組與光引擎：Lumentum、Coherent（II-VI）、中際旭創等提供400G/800G光模組，採用數字訊號處理器（DSP）或線性直驅方案，不同方案引入的延遲存在若干納秒的差異。2024年多家廠商已展示1.6T光模組樣品，目標將傳輸時延降至更低。
• 網絡卡控制器與DPU：NVIDIA ConnectX-7/8系列（RDMA網絡卡）、BlueField-3 DPU，英特爾IPU，以及Marvell OCTEON DPU，均將協議處理硬體解除安裝，減少主機側延遲。
• 聯結器與銅纜：安費諾（Amphenol）、泰科（TE Connectivity）等提供高速背板聯結器和直連銅纜（DAC），節點內短距互連的傳播延遲主要由物理材料和走線長度決定。

下游

低時延網路的直接下游是那些強烈依賴分散式平行計算、對通訊效率極度敏感的算力基礎設施：

• 公有雲端與AI雲端服務：亞馬遜AWS、微軟Azure、GoogleCloud、阿里雲端等均在其AI訓練叢集中部署InfiniBand或高效能RoCEv2網路，向客戶提供GPU叢集租賃。AWS在2024年re:Invent宣佈其自研Trainium2晶片叢集採用低時延互連，但未揭露具體延遲數值。
• 大型AI實驗室：OpenAI、Anthropic、Google DeepMind、Meta等企業內部萬卡級叢集高度依賴低時延網路。Meta的“Research SuperCluster”採用NVIDIA InfiniBand，並在2022年公開了基於RoCEv2的替代測試，強調尾延遲最佳化。
• 超算中心與科研機構：國家超算中心、大學HPC中心部署的前沿計算叢集，時延是衡量系統效率的核心KPI。
• 邊緣與推論場景：雖然推論的單次延遲要求不如訓練苛刻，但LLM的多機分散式推論（如張量並行拆分）同樣需要微秒級延遲以保證使用者體驗；當下遊為自動駕駛、即時影片分析等場景時，確定性的低時延網路同樣至關重要。

受益公司

低時延網路裝置與技術的核心競爭力集中於少數擁有全棧能力的廠商，部分細分環節的獨立供應商亦顯著受益。

• NVIDIA（含Mellanox）：擁有從NVLink、NVSwitch到InfiniBand交換器/網絡卡、BlueField DPU的全套低時延互連方案，構成CUDA生態的護城河。根據公司FY2025 Q2財報，網路業務營收達32億美元，年增率增長114%，主要來自AI和HPC需求。
• 博通（Broadcom）：商用交換晶片最大供應商，其Tomahawk 5和Jericho3系列被Arista等廠商廣泛用於AI網路，且博通在2024年多次上調AI相關網路營收展望，稱其定製化AI加速器和網路晶片銷售強勁。
• Arista Networks：基於博通晶片的AI交換器先鋒，在超大規模資料中心低延遲網路市場持續獲取份額。2023年財報顯示，其雲端巨頭客戶AI組網訂單顯著增長。
• 華為：自研網路晶片、AI叢集交換器（如CloudEngine系列）及低時延互連匯流排（HCCS），面向國內AI算力中心提供端到端方案，但未公開具體時延指標。
• 國內其他參與者：盛科通訊（交換晶片）、中際旭創/新易盛（光模組）、銳捷網路（交換器）等，均在建設面向AI低時延的產品線，部分已進入頭部雲端廠商供應鏈，但公開財務資料中尚未單獨拆分AI網路時延相關營收。

市場規模

由於網路時延作為效能指標而非獨立的產品類別，其市場規模通常隱含在AI網路裝置、高速互連晶片和光模組等細分市場中。

• AI後端網路裝置：據研究機構Dell’Oro Group在2024年7月釋出的《AI Networks for AI Workloads》報告摘要，2024年AI後端網路裝置（含InfiniBand、專有互連及高速乙太網路交換器）的市場規模預計達到約180億美元，預計到2028年將突破400億美元，年均複合增長率（2023-2028）約為30%。其中InfiniBand與專有互連合計佔比超六成，但高速乙太網路增速更快。
• 交換器晶片：650 Group在2024年4月的報告中指出，2024年資料中心乙太網路交換晶片市場中，400G及以上端口出貨量年增率增長超過200%，AI/ML叢集是首要驅動力，低延遲特性成為晶片溢價的核心來源之一。
• 光模組：LightCounting 2024年4月報告顯示，2023年800G光模組出貨量已超過200萬隻，主要流向AI叢集，預計2024年出貨量將翻倍，以支援更低時延的800G網路迭代。1.6T光模組預計2025年規模商用，將進一步改善BDP與時延表現。
• RDMA網絡卡：據公開採購資料，主流RDMA網絡卡（如ConnectX-7）在2023—2024年的交貨週期一度長達20–26周，凸顯供需緊張。

（注：以上市場規模資料均引用第三方報告摘要或行業公開討論，具體授權資料需查閱報告原文。）

玩家對比

當前低時延AI網路的核心玩家可分為三大陣營，其技術路線、開放程度與市場覆蓋面差異顯著。

1. NVIDIA全棧生態 優勢：NVLink+NVSwitch提供無可比擬的節點內時延；InfiniBand擁有成熟的硬體級流控與SHARP網內計算，尾延遲控制極佳；與CUDA軟體庫深度整合，開箱即用。 侷限：技術封閉，客戶議價權低；乙太網路陣營對其專用鎖定提出挑戰。 關鍵動向：2024年推出Spectrum-X乙太網路平台，將InfiniBand的擁塞控制經驗引入乙太網路，試圖鞏固領導地位。

2. 乙太網路開放聯盟（Broadcom+Arista+Cisco+UEC） 優勢：基於標準乙太網路，成本與生態開放度佔優；博通交換晶片的大快取與遙測能力逐年增強，RoCEv2成熟度提升；UEC聯盟已吸納超百家成員，目標打造AI原生乙太網路。 侷限：RoCEv2的尾延遲配置複雜，需網路工程師深度調優；當前P99.9延遲仍難完全匹敵InfiniBand。 關鍵動向：2024年Arista推出Etherlink AI網路平台，宣稱可在萬卡叢集中實現與InfiniBand相媲美的時延，但第三方評測資料尚不完整。

3. 自研與垂直整合（Google TPU ICI、AWS Trainium互連） 優勢：全自研協議與硬體，可按自身演算法與拓撲深度最佳化時延；與外購方案相比，供應鏈自主可控。 侷限：僅限內部使用，無外部銷售，技術進步難以外溢；大規模部署的更新迭代受限於自身體量。 公開資料：Google在Cloud TPU v5p釋出時指出其ICI（晶片間互連）頻寬提升至雙向4.8 Tbps，延遲維持微秒以下，但未公佈具體RTT。AWS在其Trainium2釋出中宣稱晶片間互連延遲“顯著降低”，但未給出對比基準。

玩家陣營	節點內時延	節點間時延	開放程度	軟體生態
NVIDIA全棧	極優（百納秒）	優（~1μs）	封閉	CUDA/ Nccl
乙太網路開放聯盟	依賴PCIe（~1μs）	良（1.5-3μs）	開放	開源+自研
自研垂直整合	極優	未公開	封閉	內部定製

風險

• 技術鎖定風險：NVIDIA低時延互連方案與CUDA強繫結，一旦採用，遷移成本極高，可能限制下游使用者的議價能力與多供應商策略。
• 標準碎片化：InfiniBand、RoCEv2、UEC、專有互連並存，部分生態不能互通，增加跨叢集管理複雜度，並可能導致技術選型的沉沒成本。
• 供應鏈集中度：高速交換晶片與光模組核心供應商有限，若博通或頭部光模組廠商出現產能問題，可能引發AI叢集部署延遲。2023—2024年，RDMA網絡卡和800G光模組多次出現交付瓶頸。
• 演算法與硬體的協同差距：即使擁有低時延硬體，若通訊庫（如NCCL）或擁塞控制演算法最佳化不足，整個系統仍可能無法發揮硬體潛力。部分國產方案面臨這類軟硬體協同的挑戰。
• 產業過度投資與消化期：當前AI投資熱潮可能推高了低時延網路裝置的需求預期，若模型訓練規模增長放緩，可能會導致部分產能過剩和價格競爭。
• 貿易限制影響：對國內廠商而言，獲取先進InfiniBand和交換器晶片的路徑受限，國產替代方案在時延指標和生態成熟度上尚存差距，公開資料未見國產全自研方案能達到1μs以下節點間延遲的規模化實證。

誤讀糾偏

• 誤讀1：“頻寬夠了，時延就不重要” 糾正：頻寬降低的是傳輸時延（t_trans），但無法降低固定處理/排隊時延。當GPU數量急劇增長，同步步數增多，固定開銷α被反覆累加，即使頻寬無限大，時延仍會卡住訓練。類比高速公路：車道多（頻寬高）不會縮短單個車跑完100米的時間（傳播時延）。

• 誤讀2：“RDMA就是零時延” 糾正：RDMA通過繞過CPU、核心旁路和協議解除安裝，消除了主機側軟體棧延遲，把延遲降至硬體能提供的極限（微秒級），但它仍然受限於鏈路傳播、交換器轉發和擁塞。在高負載下，RDMA網路依然有排隊尾延遲問題，絕不等於“零時延”。

• 誤讀3：“只要買最貴的InfiniBand，時延問題就解決了” 糾正：硬體只是基礎，叢集效率高度依賴通訊庫（NCCL版本、集合通訊演算法選擇）和網路拓撲，如不進行針對性的效能調優與負載均衡，InfiniBand叢集也可能出現嚴重的尾延遲波動。2024年MLPerf測試中，不同廠商即使使用相似的InfiniBand硬體，訓練效率仍有顯著差異，顯示了軟體與系統工程的重要性。

• 誤讀4：“跨資料中心訓練時網路時延可以忽略” 糾正：當前主流大型模型幾乎都部署在單一資料中心園區內，跨資料中心長距離光傳輸的延遲通常超過毫秒級，與計算步時相當或更長，根本無法用於頻繁梯度同步。跨資料中心僅用於資料搬運和模型複製，不能用於訓練中的同步通訊。

最新事件

• 2024年6月：超乙太網路聯盟（UEC）釋出1.0規範 UEC在2024年釋出面向AI和HPC的乙太網路規範1.0，涵蓋改進的擁塞控制、多路徑傳輸、資料包噴灑等功能，旨在將乙太網路端到端時延降至與InfiniBand相當的水平，並獲得AMD、Intel、Meta和微軟等巨頭的公開支援。
• 2024年3月：NVIDIA推出Spectrum-X乙太網路平台 NVIDIA將InfiniBand的擁塞控制演算法部署到Spectrum-4交換器，搭配BlueField-3 DPU，可實現在1.6T乙太網路上的自適應路由與極低尾延遲，成為其爭奪乙太網路市場份額的關鍵一步。
• 2024年5月：Broadcom推出Jericho3-AI晶片 Broadcom釋出聲稱可明顯降低AI網路尾延遲的交換晶片Jericho3-AI，單晶片支援18.5 TB/s的吞吐，並引入智慧排程演算法，已匯入多家超大規模客戶。
• 2024年8月：Google釋出TPU v5p互連細節補充 Google在其技術部落格中透露，TPU v5p的ICI採用光電路交換器件，可針對不同的並行策略動態重配置拓撲，從而在保持微秒以下延遲的同時提升通訊效率。
• 交付波動持續 截至2024年下半年，主流800G光模組和RDMA網絡卡仍處於緊平衡狀態，據LightCounting及相關廠商財報電話會議揭露，交付週期雖有縮短，但仍高於疫情前水平，顯示AI低時延硬體的產能擴張仍在爬坡。

追蹤指標

產業研究與投資觀察中，可通過以下公開指標追蹤網路時延技術的演進與產業景氣度：

1. NCCL效能測試結果：NVIDIA定期釋出不同GPU和網路配置下的nccl-tests結果，特別是AllReduce的通訊延遲與頻寬，反映真實訓練場景的效率。
2. 交換器晶片資料手冊延遲值：博通、Marvell等釋出的新一代晶片的轉發延遲、快取大小及遙測能力，是評估網路時延潛力的核心硬體指標。
3. 光模組DSP功耗與延遲：LPO（線性直驅光模組）相比DSP方案在延遲與功耗上均有優勢，觀察LPO的滲透率可作為時延最佳化的側面訊號。
4. MLPerf Training基準成績：每輪測試中，各廠商提交的訓練時間隱含著網路時延等系統效率，可間接衡量不同方案的實際表現。
5. 雲端廠商採購公告與裝置交付週期：主流的400G/800G交換器、RDMA網絡卡、光模組的交貨週期和訂單量，反映低時延網路的短期供需熱度。
6. UEC及IEEE 802.3標準進展：超乙太網路及下一代乙太網路標準的制定與採納情況，將決定開放生態下的時延能力上限。
7. 國產替代方案專利與測試：關注國產交換晶片（如盛科）和RDMA網絡卡的流片與客戶匯入進展，以及公開的延遲測試資料，判斷自主化進度。

信源

• NVIDIA網路技術部落格與NCCL官方文件：https://developer.nvidia.com/nccl
• Dell’Oro Group，《AI Networks for AI Workloads》，2024年7月摘要
• 650 Group，資料中心乙太網路交換晶片季度報告，2024年4月
• LightCounting，《High-Speed Optics Report》，2024年4月
• Broadcom、Marvell、Arista等公司財報與投資者會議記錄（2023—2024年）
• Google Cloud文件，TPU系統架構，2024年
• Ultra Ethernet Consortium官方網站：https://ultraethernet.org
• 開放學術論文：《Efficient Large-Scale Language Model Training on GPU Clusters》等，及MLPerf公開成績
• 行業開源測試工具：nccl-tests、perftest等