鏈路降速（Link Downspeeding）

3 秒看懂

鏈路降速是指高速互聯鏈路在物理層協商或執行過程中，因訊號完整性劣化而從目標速率回落到更低速率的現象。在萬卡級 AI 叢集中，一條鏈路降速可能拖慢整張 AllReduce 通訊圖，直接影響大型模型訓練的有效算力利用率。

3 分鐘產業解釋

為什麼 AI 產業鏈突然關心”鏈路降速”？

當 AI 訓練叢集從千卡擴充套件到萬卡乃至十萬卡規模時，鏈路總數躍升到百萬級。即便單條鏈路的降速機率只有萬分之幾，整個叢集中每天都有數量可觀的鏈路在”帶病執行”——它們物理上是通的，但速率跑不滿。

這不是一個”修根線纜就好”的運維小事：

訓練吞吐直接掉：AllReduce 等集合通訊的完成時間取決於最慢的那條鏈路（木桶效應）。一條 400G 鏈路降速到 200G，對應的通訊 Group 整體頻寬腰斬。
排查成本極高：降速鏈路不等於斷鏈，埠狀態是 UP，告警系統未必觸發，但訓練效能在緩慢下降。
影響叢集有效利用率：Google、Meta 等公開經驗表明，網路互聯質量是大規模訓練中 GPU 利用率（MFU）波動的第一大非算力因素之一。

產業邏輯：誰能讓每條鏈路都跑滿速——靠更好的 SerDes PHY、更好的光模組、更好的線纜、更好的網路監控——誰就能在 AI 叢集中”擠出”更多有效算力。這直接關聯交換晶片、光模組、DAC/AOC 線纜、網路監控軟體等供應鏈環節。

15 分鐘專家深入

從物理層到訓練層的全鏈路視角

1. 降速發生的典型層級

層級	場景	降速表現
SerDes / PHY	112G PAM4 SerDes 無法維持目標 BER	鏈路自動回落到更低速率（如 56G PAM4 甚至 NRZ）
乙太網路鏈路訓練	400GbE / 800GbE 鏈路訓練失敗	裝置可能自動以更低速率進行重訓練（如降至 200GbE / 400GbE 或更低）
PCIe / CXL	主機板走線過長或 via 過多導致 Gen5 訊號劣化	降速到 Gen4，頻寬直接減半
InfiniBand / NVLink	NVLink 通道中部分 lane 訊號不達標	部分 lane 降速或失效，等效頻寬下降
光鏈路	光模組老化、溫度漂移、光纖微彎	光功率預算不足，觸發降速或 BER 上升

2. 為什麼 AI 叢集特別脆弱？

規模效應 + 同步壁壘是兩個核心原因：

規模：一個典型萬卡 AI 叢集包含數十萬個高速鏈路埠。以 Fat-Tree 拓撲為例，僅 Spine 層就可能有數千個 400G 埠。任何一個 Spine 鏈路降速，都會影響其下掛的整個 Pod。
同步：分散式訓練中的 AllReduce（Ring/Tree）和 All-to-All（MoE dispatch）要求所有參與者在每一步完成同步。一條慢鏈路 = 所有參與者等它。通訊瓶頸的”放大係數”遠超單一鏈路的頻寬損失比例。

3. 降速的物理根源：PAM4 的”窄眼圖”困境

現代 AI 叢集主流的 100G/lane 及以上速率均採用 PAM4 調變（4 電平脈衝幅度調變，每符號承載 2 bit）。相比傳統 NRZ（2 電平），PAM4 的訊雜比需求提高約 9.5 dB，眼圖高度縮小約 1/3。

這意味著：

對 ISI（碼間干擾）、串擾、抖動、阻抗失配等損傷因素的容忍度大幅降低
走線上的每一個 via、每一處阻抗不連續、每一顆光模組的老化，都更容易把訊號推到 FEC 無法糾錯的邊緣
當糾錯後殘餘誤位元速率（Post-FEC BER）無法滿足目標閾值時，鏈路層觸發降速

NRZ 眼圖（示意）          PAM4 眼圖（示意）
   ┌──────────┐            ┌──┐
   │          │            │  │  ← 3 個眼，每個都很小
───┘          └───      ───┤  ├──
                  ──────   │  │
                   ┌──┐    └──┘
                   │  │    ───┤  ├──
                   └──┘       └──┘

4. FEC 與降速的博弈

高速鏈路普遍依賴 前向糾錯（FEC） 來彌補 PAM4 的訊雜比劣勢。主流 FEC 方案（如 RS-544,514 等 Reed-Solomon 碼，具體選擇取決於協議標準和廠商實現）能在一定糾錯能力範圍內將 Pre-FEC BER 壓低到可用水平。

降速閾值觸發邏輯（定性描述，各廠商實現有差異）：

物理層持續監測 Post-FEC BER 或 Pre-FEC BER
當 BER 持續超過閾值（通常與鏈路協議/廠商韌體相關）一定時間視窗
觸發鏈路重新訓練（retrain），嘗試以更低速率建立連線
若更低速率訓練成功 → 鏈路降速執行（埠仍然 UP，但頻寬下降）
若重訓也失敗 → 鏈路 flap 或 DOWN

關鍵誤區：降速鏈路的埠管理狀態仍然是 UP。僅靠埠 up/down 告警系統無法發現降速鏈路。需要主動監控鏈路實際協商速率和 BER 統計。

5. 在 AI 叢集中的影響建模

對於一個 AllReduce Ring 通訊（Ring AllReduce），假設 N 個參與節點，每個節點有上下行鏈路：

理想情況下 Ring 吞吐 = min(上行頻寬, 下行頻寬)
如果 Ring 中任意一條鏈路降速，整個 Ring 的吞吐被拖到該鏈路的速率
影響放大：一條鏈路降速 50% → 整個 Ring 吞吐下降約 50%（取決於 Ring 的通訊排程策略）

對於 All-to-All（MoE 場景），情況更復雜：

All-to-All 通常通過交換網路實現，每條路徑是獨立的
但如果降速鏈路恰好處於多個 flow 的共享路徑上（Spine 交換器埠），影響範圍會擴充套件

技術原理

物理層降速機制詳解

SerDes 自適應均衡與降速

┌─────────────────────────────────────────────────────┐
│                  SerDes 傳送端                        │
│                                                       │
│  TX FIR (前饋均衡) ──→ DAC ──→ 通道 ──→           │
│                                                       │
├─────────────────────────────────────────────────────┤
│                  SerDes 接收端                        │
│                                                       │
│  ← ADC ← CTLE(連續時間線性均衡) ← DFE(判決反饋均衡)│
│         ┌───────────┐                                │
│         │ BER 監測   │                                │
│         │ 均衡器收斂 │                                │
│         │ 訊號質量評估│                                │
│         └─────┬─────┘                                │
│               │                                       │
│        ┌──────▼──────┐                               │
│        │ 鏈路訓練狀態機│                               │
│        │             │                                │
│        │ 訓練成功 → UP│                               │
│        │ 訓練失敗 →   │                               │
│        │  降速重訓    │                               │
│        │  或 link DOWN│                               │
│        └─────────────┘                               │
└─────────────────────────────────────────────────────┘

鏈路訓練（Link Training）過程：

傳送端和接收端交換訓練模式（training pattern）
接收端的均衡器（CTLE、DFE、FFE 等）根據接收到的訓練序列進行自適應調整
均衡器收斂後，切換到正常資料模式
開始統計 BER / 錯誤幀數
若 BER 超過閾值，進入重訓或降速流程

乙太網路 Auto-Negotiation 與降速

高速乙太網路（100G 及以上）的自動協商遵循 IEEE 802.3 Clause 73 定義，主要用於能力交換和 FEC 模式協商，不負責速率的自動回退。鏈路的目標速率通常由管理配置決定，而實際執行中出現的降速（例如從 400GbE 降至 200GbE）並非標準 auto-negotiation 的結果，而是鏈路訓練失敗後，由廠商專有的降速重試機制實現的。

雙方通過 Clause 73 交換物理層能力，如支援的速率集、FEC 模式等
配置的管理速率決定了鏈路訓練的目標速率
訓練成功後鏈路進入正常執行
如果訓練失敗（例如因訊號完整性不足），某些實現會嘗試以低於目標速率的模式重新訓練，形成“降速”

400GbE 典型 lane 配置：

8 × 50G PAM4（較早期實現）
4 × 100G PAM4（較新實現）

當以 100G/lane 為目標訓練的鏈路失敗時，裝置可能自動嘗試以 50G/lane 進行重訓練，於是原本的 400G 鏈路降為 200G 執行。

注意：具體降速粒度和路徑取決於交換晶片 SerDes 的可支援速率組合和廠商韌體策略，不同廠商實現存在差異。

PCIe / CXL 降速機制

PCIe 規範定義了明確的鏈路降速（Link Downgrade / Speed Change）機制：

LTSSM（Link Training and Status State Machine） 在 Detect → Polling → Configuration → L0 各階段中，如果高速率訓練失敗，會回退到更低速率
PCIe Gen5（32 GT/s）仍採用 NRZ 調變，訊號完整性要求比 Gen4（16 GT/s, NRZ）大幅提高
主機板設計中走線長度、via 數量、材料選擇（低損耗 PCB vs 標準 FR-4）都直接影響 Gen5 建鏈成功率
實際執行中若檢測到鏈路錯誤率上升，也可能觸發降速

具體 PCIe Gen5 降速到 Gen4 的頻寬損失：Gen5 x16 雙向理論頻寬約為 Gen4 x16 的兩倍。降速後頻寬減半。

技術演進史

時間段	速率階段	降速關注度	驅動因素
2010s 前期	10G/25G NRZ	低	NRZ 訊雜比裕量大，降速罕見
2015-2018	50G NRZ / 56G PAM4 初期	中等	PAM4 引入，訊雜比裕量縮小，降速開始成為問題
2019-2022	100G PAM4（SerDes）、200G/400G 埠	升高	大規模雲端資料中心部署，鏈路數量暴增，降速影響規模化
2022-至今	112G SerDes、400G/800G 埠、AI 萬卡叢集	高	AI 訓練對頻寬極端敏感，一條降速鏈路可能影響數千 GPU
2025+	224G SerDes（PAM4 或可能的更高階調變）	預期更高	單 lane 速率再翻倍，訊號裕量進一步壓縮

趨勢觀察：

業界從”鏈路能通就行”到”每條鏈路都必須滿速”的認知轉變
網路可觀測性（Network Observability）從”錦上添花”變為”剛需基礎設施”
矽光子、CPO（Co-Packaged Optics）等新技術的推進，部分動因就是解決高速鏈路的訊號完整性瓶頸

技術路線對比

不同互聯介質的降速風險對比

維度	銅纜 DAC	有源光纜 AOC	可插拔光模組	矽光/CPO（預期）
典型距離	≤3m（常規 DAC）；≤5m（增強 DAC）	中長距離，數十米到數百米	數百米到數公里	片上/封裝級，短距為主
降速風險主因	線纜質量不均、聯結器氧化、彎曲	光器件老化、溫度漂移	光功率劣化、相容性問題	片上光耦合效率、熱管理
降速機率趨勢	中等（質量控制是關鍵）	中等偏高（器件可靠性）	中等	預期較低（減少光電轉換環節）
排查難度	中（物理可更換）	高（模組級更換成本）	高（多廠商相容問題）	低（片上整合，可診斷性好）
AI 叢集適用性	短距機櫃內互聯首選	中距 Spine-Leaf 連線	長距跨機房連線	未來 GPU-to-Switch 封裝級互聯

行業觀察[供應鏈估算]：在已部署的 AI 叢集中，DAC 線纜相關降速事件通常佔總降速事件的較高比例（因用量最大），光模組相關降速事件佔比在增長（隨 800G 光模組大規模上量）。

不同協議/標準的降速處理策略

協議	降速粒度	FEC 依賴度	降速後的可觀測性
乙太網路	速率等級回退（如 400G→200G）	高（PAM4 必須有 FEC）	需檢視 PHY 暫存器/LLDP 能力交換
InfiniBand	鏈路訓練協商降速	高	子網管理器（SM）可見，有診斷工具
NVLink	Lane 級降速/遮蔽	中等（短距銅互聯，設計裕量相對大）	NVIDIA 內部診斷工具可檢測
PCIe/CXL	速率代際回退（Gen5→Gen4）	PCIe 6.0起需要 FEC	LTSSM 狀態可觀測

上下游

鏈路降速涉及的產業鏈環節

上游（晶片/器件層）
├── SerDes IP 供應商：Synopsys, Cadence, Alphawave, Credo, Marvell 等
│   └── 關鍵：SerDes 的均衡能力、PAM4 餘量、降速閾值策略
├── 交換晶片廠商：Broadcom (Memory/網路), NVIDIA (Spectrum/Quantum), Marvell 等
│   └── 關鍵：晶片整合 SerDes 的訊號完整性設計
├── 光模組/光器件：Coherent, Lumentum, 中際旭創, 光迅科技 等
│   └── 關鍵：光器件一致性和可靠性
└── 線纜/聯結器：Amphenol, TE, Molex, 立訊精密 等
    └── 關鍵：銅纜/光纖製造精度

中游（系統/方案層）
├── 交換器廠商：NVIDIA, Arista, 思科, 新華三, 銳捷 等
│   └── 關鍵：整機訊號完整性設計、韌體降速策略
├── AI 伺服器廠商：NVIDIA DGX, 超微, 廣達, 緯創 等
│   └── 關鍵：板級走線質量、NVLink/PCIe 降速率
└── 網路監控/管理軟體：NVIDIA UFM, 各廠商 NOS 內建工具 等
    └── 關鍵：降速鏈路的主動發現和定位

下游（使用者/運營層）
├── 雲端/AI 訓練運營商：AWS, Azure, GCP, 位元組, 阿里雲端 等
│   └── 關鍵：鏈路健康度持續監控、訓練任務排程最佳化
└── AI 訓練架構：Megatron-LM, DeepSpeed, FSDP 等
    └── 關鍵：拓撲感知排程、通訊拓撲自適應

關鍵指標

評估鏈路降速影響的核心指標

指標	含義	典型閾值/目標	備註
Post-FEC BER	糾錯後殘餘誤位元速率	目標 < 10⁻¹⁵（乙太網路）	高於此閾值的鏈路被認為不可接受
Pre-FEC BER	糾錯前原始誤位元速率	反映通道質量	越接近 FEC 糾錯能力邊界，降速風險越大
鏈路協商速率	實際執行速率 vs 標稱速率	期望 = 標稱速率（如 400G）	低於標稱速率即為降速
降速鏈路佔比	叢集中降速埠數 / 總埠數	目標 < 0.1%	大型叢集中即使是 0.01% 也可能意味著上百條
鏈路 flap 頻率	單位時間內鏈路 up/down 次數	目標 = 0	flapping 通常意味著嚴重訊號完整性問題
FEC 糾錯率（Correctable Error Rate）	FEC 每秒糾正的符號數	持續上升是降速前兆	可作為預防性告警指標
通訊有效頻寬利用率	實際集合通訊吞吐 / 理論頻寬	目標 > 95%	降速鏈路會顯著拉低此指標

供需與市場資料

宏觀背景

以下資料主要基於公開行業報告和供應鏈估算，具體數字標註來源口徑。

AI 叢集規模趨勢：全球主要 AI 訓練叢集正在從萬卡向十萬卡邁進。Meta 公開揭露的 GPU 叢集已達到數萬張級別（[Meta 公開部落格]）。
單叢集鏈路數量估算[行業估算]：一個 10 萬 GPU 的訓練叢集，每 GPU 按 8-10 條高速鏈路（NVLink + InfiniBand/RoCE）計算，總高速鏈路數在 80 萬到 100 萬條 量級。
降速鏈路的運維成本：每次降速排查和更換線纜/模組的成本包括人工、停機損失和計算資源浪費，單次事件成本在數百到數千美元不等（[運維經驗估算]，取決於規模和定位速度）。

關聯市場規模

AI 交換晶片市場：800G 及以上交換晶片是鏈路質量的核心決定因素。主流廠商包括 Broadcom（Memory/網路系列）、NVIDIA（Spectrum-X/Quantum 系列）等。
AI 光模組市場：800G 光模組正處於大規模出貨階段（2024-2025），市場參與者包括 Coherent、中際旭創等。光模組的一致性和可靠性直接影響降速率。
DAC/AOC 市場：銅纜 DAC 在 AI 叢集短距連線中仍佔主導，用量巨大。線纜質量管理成為供應鏈關鍵議題。
網路監控/可觀測性市場：隨著 AI 叢集規模擴大，鏈路健康監控成為新增需求，NVIDIA UFM（Unified Fabric Manager）是該領域的代表產品。

趨勢[行業觀察]：AI 叢集運營商正在從”事後被動排查降速”轉向”事前主動預測降速”，推動了網路遙測（Network Telemetry）和 AI for Networking（用 AI 管理網路）的需求。

代表公司與資本對映

產業鏈環節	代表公司	與鏈路降速的關聯	備註
交換晶片/SerDes	Broadcom, NVIDIA, Marvell, Credo, Alphawave	晶片內 SerDes 的訊號質量直接決定降速率	Credo, Alphawave 是專注 SerDes IP 的公司
光模組	Coherent (COHR), 中際旭創 (300308), 新易盛 (300502), 光迅科技 (002281)	光模組一致性和可靠性是降速的關鍵變數	800G 光模組出貨量增長的同時，質控成為關鍵
線纜/聯結器	Amphenol (APH), TE Connectivity (TEL), 立訊精密 (002475)	銅纜質量和聯結器工藝影響短距鏈路降速率	AI 叢集對 DAC 線纜的需求量級巨大
交換器/系統	NVIDIA (NVDA), Arista (ANET), Cisco (CSCO), 新華三, 銳捷	整機設計和韌體策略影響降速處理	NVIDIA 的端到端方案（交換器+UFM）有整合優勢
網路監控/管理	NVIDIA UFM, Arista CloudVision, Cisco ACI	降速鏈路的主動發現和診斷	這是一個快速增長的細分需求

投資視角：鏈路降速問題的加劇，可能驅動對以下方向的需求增長：(1) 更高一致性的光模組；(2) 更智慧的網路管理軟體；(3) 下一代 SerDes IP（更寬的訊號裕量）；(4) CPO 等減少光電轉換環節的新技術路線。

投資邏輯

鏈路降速視角下的 AI 產業鏈投資思考

核心邏輯：AI 算力的瓶頸正在從”GPU 夠不夠”擴充套件到”GPU 之間的路通不通”。鏈路降速是”路通但不暢”的典型表現。

光模組質控溢價：在大規模 AI 叢集中，光模組的降速率成為採購決策的核心考量之一。具備更高一致性和更低降速率的光模組供應商，可能獲得質量溢價。
網路可觀測性：降速鏈路的隱蔽性意味著傳統告警系統不夠用。能提供主動鏈路健康監控、預測性維護的解決方案（軟體或硬體），面臨增量需求。
SerDes IP 升級：從 112G 到 224G 的 SerDes 演進中，訊號裕量會進一步壓縮。SerDes IP 供應商如果能在更高速率下維持低降速率，將獲得技術壁壘溢價。
CPO（Co-Packaged Optics）/ 矽光子：將光學引擎直接整合到交換晶片封裝中，從根本上減少光電轉換環節和訊號路徑長度，是從源頭降低降速風險的技術路線。
AI 叢集運維服務：萬卡級 AI 叢集的鏈路健康管理需要專業運維能力。具備大規模網路運維經驗的服務商可能獲得服務營收增長。

風險提示

AI 叢集技術路線可能快速變化（如從 InfiniBand 轉向乙太網路），影響不同環節的需求結構
降速問題可能被交換晶片廠商在下一代產品中大幅改善，降低相關供應鏈的緊迫性
單一技術指標（如降速率）不應作為投資決策的唯一依據，需結合整體技術競爭力和財務基本面

常見誤讀糾偏

❌ 誤讀一：“鏈路降速就是線纜壞了，換根線就好”

糾偏：鏈路降速的原因是多元的，線纜只是其中一個環節。晶片端 SerDes 的設計裕量、PCB 走線質量、光模組一致性、聯結器工藝、溫度環境等都可能導致降速。在實際運維中，更換線纜後問題依舊存在的情況並不罕見。正確的做法是系統性排查，從 BER 統計、FEC 錯誤分佈、溫度記錄等多維資料綜合判斷根因。

❌ 誤讀二：“埠狀態是 UP 就沒問題”

糾偏：這是最常見的運維盲區。鏈路降速後端口管理狀態仍然是 UP——它只是以低於標稱速率在執行。如果網路監控系統僅依賴 up/down 告警，完全無法發現降速鏈路。必須主動讀取鏈路協商速率（通過 LLDP、SNMP、gNMI 或廠商專用 API）和 PHY 層統計資訊。在大型 AI 叢集中，這一監控盲區可能導致訓練效能在數天甚至數週內持續緩慢下降而不被察覺。

❌ 誤讀三：“AI 叢集中鏈路降速的影響是線性的——降 25% 帶速，通訊就慢 25%”

糾偏：影響通常非線性且被放大。在 AllReduce Ring 中，一條鏈路降速會拖慢整個 Ring；在 All-to-All 中，降速鏈路如果位於流量密集的 Spine 路徑上，影響範圍遠超單條鏈路。此外，通訊和計算是交替進行的（pipeline bubble），通訊變慢會導致 GPU 空等（idle），實際 MFU 下降幅度通常超過通訊頻寬下降比例。

❌ 誤讀四：“降速只是老鏈路的問題，新部署不會遇到”

糾偏：新部署同樣可能遇到降速問題。常見原因包括：(1) 新批次線纜/光模組質量一致性差異；(2) 新 PCB 設計中的走線問題（尤其在 PCIe Gen5 / NVLink 場景）；(3) 環境溫度在叢集滿載執行後上升，導致原本空載時達標的鏈路在滿載時降速。壓力測試（滿載熱機狀態下的鏈路質量驗證）是新叢集上線前的必要環節。

學習路徑

從入門到深入

入門：瞭解乙太網路物理層基礎——PAM4 vs NRZ 調變、BER 概念、FEC 基本原理
- 推薦：IEEE 802.3 標準中關於 100G/400G/800G 乙太網路物理層的概述章節
進階：理解鏈路訓練（Link Training）和自動協商（Auto-Negotiation）機制
- 關注 SerDes 自適應均衡（CTLE, DFE, FFE）的基本原理
- 瞭解 PCIe LTSSM 狀態機的工作流程
深入：理解大規模 AI 叢集中的網路拓撲與通訊模式
- Fat-Tree、Dragonfly 等拓撲結構
- Ring AllReduce、Tree AllReduce、All-to-All 等集合通訊原語
- Megatron-LM 中的張量並行通訊模型
實戰：學習網路可觀測性和鏈路健康監控
- 瞭解 gNMI/gRPC Network Management Interface 在網路遙測中的應用
- 瞭解 NVIDIA UFM（Unified Fabric Manager）的功能和鏈路監控能力
- 關注 DCGM（Data Center GPU Manager）中的網路指標
前沿：關注下一代技術路線
- CPO（Co-Packaged Optics）對鏈路質量的改善
- 224G SerDes 的訊號完整性挑戰
- UALink（Ultra Accelerator Link）等新興 AI 互聯標準的鏈路管理策略

一句話總結

鏈路降速是 AI 萬卡叢集中的”隱性算力殺手”——埠 UP 但速率不滿，一條慢鏈路拖垮整張通訊圖，它是物理層訊號完整性問題在 AI 訓練吞吐上的直接對映。

延伸閱讀與來源

IEEE 802.3 標準系列：乙太網路物理層和鏈路訓練規範（400G/800G 相關條款）
- 連結：standards.ieee.org
PCI-SIG PCIe 規範：PCIe Gen5/Gen6 鏈路訓練和降速機制
- 連結：pcisig.com
NVIDIA UFM（Unified Fabric Manager）文件：InfiniBand 網路管理和鏈路健康監控
- 連結：network.nvidia.com/products/ufm
Meta Engineering Blog — “Building Meta’s GenAI Infrastructure”（2024）：大規模 AI 叢集網路架構和運維挑戰
- 連結：engineering.fb.com
Google Cloud Blog — “TPU network architecture” 系列：AI 叢集互聯中對鏈路質量的考量
- 連結：cloud.google.com/blog
SerDes 與高速訊號完整性參考：
- Eric Bogatin, “Signal and Power Integrity — Simplified”（教科書級參考）
- Samtec, Keysight 等廠商的技術白皮書（關於 PAM4 訊號完整性測試）
800G/1.6T 乙太網路聯盟（Ethernet Technology Consortium）：下一代速率標準演進
- 連結：ethernet.org

免責宣告：本頁中未標註具體來源的數字和判斷均為定性分析或行業估算，不構成投資建議。具體技術規格以各廠商官方文件和標準組織釋出為準。