Equalization

3 秒看懂

均衡 (Equalization) 在深度學習與高效能運算語境下，並非單一技術，而是一個橫跨訊號完整性、模型計算、系統架構、資料處理的多面概念。其核心思想是：消除偏差、補償損失、統一差異，以達成系統的最優狀態。在 AI 晶片領域，它主要指高速訊號傳輸的通道均衡；在訓練並行中，它指負載均衡；在資料處理與演算法中，它指分佈均衡化。三者共同目標是保證從位元流到資料流的“不失真”、“不擁塞”。

3 分鐘產業解釋

在 AI 硬體與系統的工業化實踐中，“Equalization”至少包含三個關鍵場景：

1. 高速互聯物理層——訊號均衡：AI 晶片間通過 SerDes (序列器/解串器) 進行 TB/s 級通訊 (如 NVLink、PCIe、CXL)。電訊號在銅介質傳輸時高頻衰減，造成符號間干擾 (ISI)。訊號均衡通過傳送端預加重 (FFE) 和接收端連續時間線性均衡 (CTLE) 及判決反饋均衡 (DFE)，在接收端共同“修復”訊號眼圖：CTLE 在模數轉換前（模擬域）進行高頻補償，DFE 在模數轉換後的數字域減去判決反饋符號拖尾，確保位元誤位元速率 (BER) 滿足訓練叢集的可靠性要求。
2. 大型模型訓練並行——負載均衡：在混合專家模型 (MoE) 或流水線並行中，若不同專家或計算階段分得的 token 數或計算量不均，部分裝置會“空等”，導致 GPU 利用率陡降。負載均衡通過輔助損失 (Load Balancing Loss) 和動態路由策略，強制 token 均勻分配到各 Expert (專家)，使總吞吐量接近理論峰值。這本質是計算資源的 “Equalization”。
3. 資料與演算法——分佈均衡：訓練資料標籤不平衡時，模型會偏向多數類，Equalization 體現為重取樣或加權損失；在影像處理中，直方圖均衡化 (Histogram Equalization) 拉昇對比度，輔助預處理；在量化感知訓練 (QAT) 中，通過在訓練時插入模擬量化節點，使模型學會適應量化噪聲，從而平滑量化誤差。此外，後訓練量化中常用的跨層均衡 (CLE) 等技術則通過均衡權重/啟用分佈來縮小動態範圍。

綜上，在 AI 產業語境下，Equization 是保障資訊無損流動、計算無閒浪費的系統性技術。

15 分鐘專家深入

要深入理解 Equalization 對 AI 系統的價值，需按物理層、通訊層、計算層三層棧解構。每層目標一致，但機制截然不同。

物理層：高速 SerDes 鏈路均衡

• 根本矛盾：AI 大算力晶片 (GPU/ASIC) 依賴多通道高速序列鏈路擴充套件頻寬 (如 HBM 的 1024-bit 介面、C2C (Chip-to-Chip) 互聯)。頻率進入 GHz (如 112Gbps/224Gbps PAM4)，印刷電路板 (PCB) 走線的趨膚效應和介質損耗使高頻分量衰減遠大於低頻，一個 bit 的電壓跳變會受到前序 bit 的殘餘電壓影響 (ISI)，導致接收端無法在取樣點準確判決。
• 核心機制：均衡不是“放大”，而是通過頻率選擇性濾波，重塑訊號頻譜。
  • 傳送端 (TX Equalization)：多采用有限衝激響應 (FIR) 濾波器，如 3-tap 或 4-tap 前饋均衡 (FFE)，提前對當前 bit 進行反預畸變，預補償預判的碼間干擾。
  • 接收端 (RX Equalization)：
    • 模擬域：連續時間線性均衡 (CTLE)，一個高通/帶通放大器，直接補償通道低通特性。
    • 數字域：判決反饋均衡 (DFE)，利用已判決 bit 反饋，精確減去對當前符號的拖尾干擾 (Post-cursor ISI)，但難以處理前向回波。
• 關鍵引數：均衡能力常用“補償損耗 (dB)”衡量。例如，PCIe 6.0 (64GT/s PAM4) 要求接收端能容忍超過 36dB 的 Nyquist 頻率通道損耗 [PCI-SIG 規範]。

計算層：模型並行與路由均衡

在模型訓練中，Equization 指代計算負載的均衡分佈，是消除“木桶短板效應”的關鍵。

• 混合專家模型 (MoE) 路由均衡 MoE 將 FFN 層分解為多個“Expert” (專家)，門控網路 (Gating) 為每個 token 選擇性啟用少數專家。若路由崩壞，熱門專家接收巨量 token，冷門專家閒置，形成拖尾延遲。

  • 機制：
    • 輔助損失 (Load Balancing Loss) [例如：GShard, Lepikhin et al., 2021]：在訓練總損失中追加一項，量化 token 分配分佈的熵或平方變異係數。常用公式：

      Loss_aux = w · Σ_e (f_e · P_e)

      其中 f_e 是分配給專家 e 的 token 比例，P_e 是門控輸出該專家的平均機率。最佳化此損失推動 gating 產生均勻分佈。
    • 專家容量 (Expert Capacity)：強制限制每個 Expert 處理的 token 數上限。超出 token 被丟棄或溢位到殘差流。容量因子 (Capacity Factor) 權衡均衡度與 token 丟棄率。
    • 硬體拓撲感知路由：在跨節點 MoE 中，All-to-All 通訊是瓶頸。均衡不僅要算力均分，還應考慮節點內/間頻寬非對稱性 (e.g., NVLink vs. InfiniBand) [DeepSpeed-MoE]。

• 流水線並行 (PP) 負載均衡 樸素的層切割易導致各 Stage 計算量不一，產生“氣泡 (Bubble)”。通過自動分圖演算法 (如 PipeDream-2BW) 計算各層 FLOPS、引數/啟用大小，以二分搜尋或動態規劃均衡切分各 stage 的總計算時間，最小化流水線空泡。

演算法層：資料與梯度均衡

• 類別不平衡的 Equalization：重取樣少數類 (Over-sampling)，或修改損失函式權重，實現對不同類別的梯度貢獻均衡，避免模型被多數類“淹沒”。
• 量化中的 Cross-Layer Equalization (CLE)：當採用 8-bit 量化時，不同通道的權重範圍差異巨大，大數值通道產生巨大截斷誤差。CLE 利用 ReLU 或 PReLU 的線性伸縮性質，將殘差瓶頸層的權重尺度“均衡”到相鄰層，在不改變數學等價性的前提下，縮小各通道的數值動態範圍，顯著提升量化精度。

技術原理

1. 訊號均衡的深層機制

以一臺連線 GPU 與遠端記憶體池的 112Gbps PAM4 鏈路為背景。

問題建模：通道頻率響應 H(f) 呈現低通特性。時域接收訊號： y(t) = Σ a_k · h(t - kT) + n(t) 其中 a_k 是傳送符號，h 是脈衝響應 (含拖尾)，T 是符號週期。拖尾導致前序符號干擾當前判決，即 ISI。

均衡器操作 (以 ADC-based 接收機為例)

[ 模擬前端 & CTLE ] -> [ ADC 取樣 ] -> [ FFE ] -> [ 判決器 ] -> [ 輸出符號 ]
                                                      ↑ 反饋
                                                    [ DFE ]

• CTLE：傳遞函式可簡化表示為：

  H_CTLE(s) = A_dc · (1 + s/ω_z1) / ((1 + s/ω_p1)(1 + s/ω_p2))

  通過調整零點 ω_z 和極點 ω_p，對選定高頻增益，補償通道衰減滾降，同時控制噪聲放大。

• FFE (前饋均衡)：在數字域實現多抽頭 FIR 濾波：

  y_ffe[n] = Σ c_j · x[n - j]  ,  j = -K_pre ... K_post

  K_pre 處理前標回聲，K_post 處理後標拖尾。係數 c_j 一般通過自適應演算法 (如 Sign-Sign LMS) 收斂。

• DFE (判決反饋均衡)：直接減去已判決符號引起的拖尾：

  z[k] = y_ffe[k] - Σ d_j · a_{k-j}  ,  j = 1 ... N_dfe

  其中 a_{k-j} 是歷史判決符號，d_j 是反饋抽頭係數。由於反饋的是無噪聲的判決符號，DFE 不會放大噪聲，是處理嚴重 ISI 的關鍵。但存在誤差傳播風險。

2. MoE 負載均衡的數學形式

Dual-Objective 最佳化：

• 主損失：L_CE (交叉熵)，最佳化語言建模質量。
• 輔助損失：L_balance，最佳化路由均勻度。

典型實現中 [GShard, Lepikhin et al., 2021]，門控機制： g = softmax( TopK( W_g · x ) ) 輔助損失常定義為：

L_balance = α · Σ_{e=1}^E m_e · P_e

• m_e：專家 e 在微批次中被選中的 token 比例。
• P_e：門控分配給專家 e 的總機率比例。
• α：乘數因子。

最最佳化 L_balance 促進 m_e = P_e = 1/E，即所有專家接收等量 token、等量機率。此機制和訊號均衡消除碼間干擾異曲同工——消除 token 分配不均引發的計算資源“干擾”和空等。

技術演進史

• 模擬均衡時代 (~1990s-2000s)：早期磁碟讀取電路和低速通訊主要用連續時間模擬濾波器實現固定或手動可調的高頻補償。
• 自適應數字均衡 (~2005-2015)：隨著 PCIe 3.0 (8GT/s) 誕生，高速背板損耗激增，自適應的 DFE 和鏈路訓練中的均衡引數協商成為標配。傳送端開始整合預強調(Pre-emphasis)。
• ADC+DSP 全數字均衡 (~2017 至今)：隨著 56Gbps/112Gbps PAM4 (如 400G/800G 乙太網路) 到來，簡單 DFE 不足以處理。業界轉向採用高速 ADC 將混有大量噪聲和 ISI 的訊號全部數字化，用 DSP 進行強大的 FFE、多抽頭 DFE 乃至最大似然序列估計 (MLSD)。
• 計算負載均衡 (~2017 至今)：從 Shazeer 2017 年的 Sparsely-Gated MoE 提出負載均衡損失，到 GShard、DeepSpeed-MoE 引入隨機路由、容量因子，負載均衡成為 MoE 架構的核心最佳化。這從算網角度將 “Equalization” 概念由訊號層提升到分散式系統層。
• 跨層均衡與資料均衡 (正交同步發展)：量化領域的 CLE 與資料預處理的重取樣、增強一直伴隨深度學習發展，完善 Equalization 的技術內涵。

技術路線對比 (量化表)

維度	訊號均衡 (SerDes / DSP)	計算負載均衡 (MoE / PP)	資料/演算法均衡
核心問題	頻率相關損耗 (ISI)，對比度低	子模型 token/計算量分配不均	類別分佈不均，權重範圍不均
均衡物件	接收模擬/數字訊號的頻譜	分散式裝置/子網路的計算負載	資料標籤 / 層間權重尺度
關鍵機制	CTLE, FFE, DFE, MLSD	輔助均衡損失，專家容量強制	過取樣/欠取樣，類權重，Cross-Layer Equalization
度量指標	BER (誤位元速率), Eye Height/Width, 通道損耗 (dB)	專家利用率, 流水線氣泡率, 總吞吐 (Tokens/s)	少數類 F1-Score, SQNR (量化訊雜比)
典型實現場景	PCIe 6.0, 224G SerDes, NVLink	MoE 模型訓練 (Mixtral, DeepSeek-MoE), PP/TP 劃分	分類任務訓練, 8-bit/4-bit 量化推論
技術挑戰	高壓控比，DSP 功耗，噪聲放大	門控崩潰，All-to-All 通訊擁塞	欠取樣導致多樣性丟失，CLE 限於殘差結構

上下游

• 訊號均衡
  • 上游：高速鏈路 IP (SerDes PHY) 提供商 (Synopsys, Cadence)；高頻寬示波器/眼圖儀 (Keysight, Tektronix)；聯結器與電纜。
  • 下游：AI 晶片設計廠商；超大規模資料中心互聯 (DCI) 和機櫃內互聯 (NVLink5/6, UALink)；HBM 的矽中介層 (Si Interposer) 高速走線。
• 計算負載均衡
  • 上游：架構級並行庫 (如 DeepSpeed, Megatron-LM, Alpa) 及編譯器 (XLA, TVM)；硬體拓撲感知路由策略。
  • 下游：千億/萬億引數大型模型訓練服務 (GPT, Gemini, 各類 MoE 模型)；大規模推論服務叢集 (多例項 GPU 均衡)。
• 資料/演算法均衡
  • 上游：資料標註與預處理工具；自動化資料重取樣演算法；量化工具包 (TensorRT, Qualcomm AI Engine)。
  • 下游：長尾分佈資料集模型 (醫療影像少見病檢測、工業缺陷檢測)；端側低位元部署 (手機、汽車)。

關鍵指標

• 訊號均衡：在目標誤位元速率下 (如 BER < 1e-15) 的最大通道損耗 (dB at Nyquist) 是衡量 SerDes 能力的最核心指標；同時關注功耗（pJ/bit）和DSP 面積。
• 負載均衡：專家負載方差 (Variance of Load) 或 系統吞吐提升百分比。通常目標是將專家閒置率控制在 5% 以下，取得 90% 以上的理論並行加速。
• 資料均衡：少數類召回率 (Recall) 和 F1-Score 提升幅度。量化均衡看量化前後模型準確率跌落幅度 (<0.5% 為優)。

供需與市場資料

[缺乏精確、權威的“Equalization”整體市場規模資料，以下基於行業報告及供應鏈估算，僅供參考]

• SerDes IP 市場：作為訊號均衡的直接載體，全球高速 SerDes IP 市場受 AI 片間互聯驅動，在 2023-2028 年預計保持高增長。112G/224G SerDes IP 每條授權費高昂，是 IP 公司的核心營收項 [供應鏈估算]。
• 資料中心互聯 (DCI)：800G/1.6T 光模組與有源銅纜 (ACC/AEC) 整合複雜的均衡 DSP，光模組出貨量相關市場 2026 年預計超 100 億美元 [行業報告測算]，均衡 DSP 是其核心晶片成本項之一。
• MoE 模型訓練：2024-2025 年釋出的前沿大型模型中，MoE 比例顯著提升，負載均衡是其能否商業可行的隱形技術支撐。沒有有效均衡，MoE 訓練成本將是理論值的數倍 [未充分揭露具體市場規模]。

代表公司與資本對映

• 訊號均衡鏈
  • Synopsys / Cadence：提供最先進的 224G SerDes 物理層 IP，覆蓋 PAM4 均衡全套演算法硬化，為無晶圓廠設計公司的 AI 晶片提供互聯基座。市場給予穩定高估值，受益於 AI 晶片設計潮。
  • Broadcom：SerDes 核心技術用於其 Tomahawk / Jericho 系列交換晶片及定製 AI ASIC (TPU 系列)，均衡能力直接決定交換器吞吐能力上限和互聯密度。
  • Marvell：PAM4 電光均衡 DSP 全球領軍，Alaska 系列用於有線連線，Nova 系列 DSP 用於 AI 資料中心光模組 (800G/1.6T)，AI 定製 ASIC 亦使用其先進 SerDes。
• MoE 推論/訓練負載均衡
  • 負載均衡以軟體和架構形式固化，非獨立產品，是萬億美元巨頭建置大型模型的重要技術護城河，對應Google (GShard), Meta (FSC, Megatron), Microsoft (DeepSpeed/Tutel) 等超大規模使用者。無獨立的“負載均衡”上市公司標的。

投資邏輯

1. 不可替代性：進入 224G PAM4 時代，依靠無源通道提升速率的路徑已死。均衡技術是有源電氣鏈路的必需品，技術領先者 (擁有關鍵 SerDes 或 DSP IP) 在 AI 叢集互聯升級中佔據價值卡口。
2. 系統效率放大器效應：對於既有的 AI 加速硬體，訊號均衡保障互聯頻寬，負載均衡保障計算利用率。兩者任一失效，叢集有效算力將斷崖式下跌。它們是典型的“高槓杆”技術。
3. 持續迭代與技術壁壘：均衡演算法、自適應訓練演算法極其依賴通道建模經驗和歷史資料 (實測長尾噪聲分佈)，後進者無法繞過的“Know-How”壁壘。利好長時間從事高效能序列鏈路設計的老牌公司。
4. 風險：共封裝光學 (CPO) 等 Optical I/O 若能在中期內商用，對 DCI 側電均衡 DSP 需求可能造成替代。同時，過分追求負載均衡可能犧牲模型精度，存在折中風險。

常見誤讀糾偏

• 誤讀:“均衡就是直方圖均衡化 (Histogram Equalization)” 矯正：影像直方圖均衡化是 Equalization 的最淺層應用。在 AI 晶片與系統領域，Equization 99% 的場景指向訊號完整性 (SI) 和分散式計算負載分配，二者涉及的物理、數學機制完全不同於對比度拉伸，是建置算力基座的核心工程學科。
• 誤讀:“AI 晶片只要算力 (FLOPS) 大就行，均衡是次要問題” 矯正：算力 (FLOPS) 是裸芯峰值，互聯頻寬與負載均衡效率決定了算力的實際交付率。若跨晶片 224G 鏈路因通道不良、均衡不力導致大量重傳，或 MoE 路由不均使一半的 HBM 頻寬閒置，則名義算力虛高無意義。在系統層面，Equalization 是算力兌現率的關鍵乘數。

學習路徑

1. 訊號均衡入門：《高速數字系統設計》 -> 眼圖與 ISI 概念 -> PCIe 規範 (Base Spec) 中電氣與均衡章節 -> SerDes 架構白皮書 (Synopsys/Cadence)。
2. 負載均衡深入：閱讀 “Outrageously Large Neural Networks” (Shazeer, 2017) 掌握負載均衡損失根源 -> 研讀 GShard 論文 -> 現在 MoE 架構 DeepSpeed-MoE 的官方教程及 GitHub 程式碼。
3. 面向前沿：關注 IEEE JSSC、ISSCC、OFC 會議有關 224G/448G SerDes、CPO 以及 MLSys/OSDI 有關下一代 MoE 並行策略和硬/軟體協同均衡的論文。

一句話總結

Equalization (均衡) 是確保資料在物理通道“不失真”和在計算叢集“不偏沉”的系統性關鍵技術，直接決定百億億次 AI 叢集的有效算力輸出。

延伸閱讀與來源

• [Signal Integrity: Applied Electromagnetics and Professional Practice, S. H. Hall]
• [PCIe 6.0 Base Specification, Equalization Section] [來源：PCI-SIG]
• [Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer, Shazeer et al., 2017] [來源：arxiv]
• [GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding, Lepikhin et al., 2021] [來源：arxiv]
• [DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale, 2022] [來源：arxiv / GitHub]
• [Cross-Layer Equalization for Convolutional Neural Networks, Nagel et al.] [來源：arxiv]
• 博文：PCIe Equalization 詳解 [來源：部落格園，檢索提供]
• Synopsys/Cadence/Marvell 官網技術白皮書 (224G SerDes/DSP) [供應鏈資料]