RMSNorm
3 秒看懂
一句話：RMSNorm 去掉了 LayerNorm 裡的”減均值”步驟，只做”除以均方根”，計算更快、效果幾乎一樣。 現代大語言模型（LLaMA、Mistral、Qwen、DeepSeek 等）幾乎已全面取代 LayerNorm。
3 分鐘產業解釋
為什麼這個”小運算元”值得關注？
在大語言模型（LLM）中，Normalization 層被呼叫的頻率遠高於任何單一 Attention 或 FFN 層——每一層 Transformer Block 內部會呼叫 2 次（Attention 前 + FFN 前，Pre-Norm 架構），一塊擁有 80–120 層的模型，一個 token 前向傳播就會觸發 160–240 次 Norm 操作。因此：
- 每一毫秒的 Norm 加速，在訓練百萬 GPU·小時的叢集上都會被放大數十億倍。
- RMSNorm 的實現比 LayerNorm 少一次全張量規約（mean 計算），在大 hidden dimension（如 4096–8192）下，帶來的 kernel 啟動與記憶體頻寬節省具有實際意義。
產業現狀： 截至 2024 年，主流開源和閉源 LLM 幾乎 100% 採用 RMSNorm。這不僅是一個演算法選擇，更成為了訓練推論架構（如 vLLM、TensorRT-LLM、Megatron-LM）中經過深度最佳化的基礎設施級元件。
15 分鐘專家深入
1. 從 LayerNorm 到 RMSNorm 的推導
Layer Normalization（Ba et al., 2016）對每個 token 的 d 維隱藏向量 mathbf(x) \in mathbb(R)^d 做：
text(LayerNorm)(mathbf(x)) = \frac{mathbf(x) - \mu}{\sigma} \odot \gamma + \beta
其中 \mu = frac(1){d}\sum_{i=1}^{d}x_i，\sigma = \sqrt{frac(1){d}\sum_{i=1}^{d}(x_i - \mu)^2 + \epsilon}。
這個操作包含 兩步核心計算：
- Re-centering（去均值）：減去
\mu - Re-scaling（重縮放）：除以標準差
\sigma
Zhang & Sennrich (2019) 在論文《Root Mean Square Layer Normalization》（NeurIPS 2019）中提出了一個關鍵洞察：
Re-centering（減均值）在實踐中貢獻甚微，去掉它幾乎不影響模型效能；真正起穩定訓練作用的是 Re-scaling。
因此 RMSNorm 的定義為：
text(RMSNorm)(mathbf(x)) = \frac{mathbf(x)}{text(RMS)(mathbf(x))} \odot \gamma
其中：
text(RMS)(mathbf(x)) = \sqrt{frac(1){d}\sum_{i=1}^{d}x_i^2 + \epsilon}
與 LayerNorm 的三個關鍵區別：
| 對比項 | LayerNorm | RMSNorm |
|---|---|---|
| 減均值 (re-centering) | ✅ 有 | ❌ 無 |
| 計算方差 | ✅ 需要 | ❌ 不需要 |
偏置項 \beta | ✅ 有（可學習） | ❌ 無 |
縮放項 \gamma | ✅ 有（可學習） | ✅ 有（可學習） |
| 全張量規約次數 | 2 次（mean + variance） | 1 次（sum of squares） |
| 可學習引數/每層 | 2d（\gamma + \beta） | d（\gamma 僅） |
2. 計算效率分析
以 hidden dimension $d = 4096$ 的單次 Norm 操作為例（估算量級）：
- LayerNorm： 2 次全規約（mean → variance，各需遍歷 d 個元素）+ 2 次逐元素仿射變換
- RMSNorm： 1 次全規約（sum of squares）+ 1 次逐元素仿射變換
粗略估算，RMSNorm 的浮點運算量約為 LayerNorm 的 ~60–70%，記憶體頻寬開銷也相應減少（少了 mean 和 \beta 的讀寫）。在長序列、大 batch 場景下，Norm 操作是 memory-bandwidth bound 的，頻寬節省直接轉化為延遲縮短。
注意： 具體加速比依賴硬體架構、hidden dimension、kernel 融合程度等因素。原論文在特定設定下報告了可觀的加速，但實際工程中的收益需以 profiling 為準，此處不編造具體百分比。
3. 為什麼去掉 re-centering 可行？
原論文提供了經驗性和初步理論性的解釋：
- 經驗層面： 在多項機器翻譯任務上，RMSNorm 與 LayerNorm 效能相當甚至略優。
- 直覺解釋： 對於經過充分訓練的深層網路，隱藏啟用值的分佈已經在很大程度上被各層的殘差連線和初始化策略所”錨定”，均值項的實際調節作用有限。真正關鍵的是防止啟用值的幅度爆炸或消失，即控制方差/RMS。
- 正則化效應： 去掉 mean 和
\beta減少了引數和自由度，可能帶來微弱的隱式正則化。
技術原理（最深）
數學形式（逐元素）
給定輸入 mathbf(x) = [x_1, x_2, \ldots, x_d]：
Step 1: 計算均方根
_________________
RMS = √ (1/d · Σᵢ xᵢ²) + ε
Step 2: 逐元素除以 RMS 並乘可學習縮放因子
ŷᵢ = (xᵢ / RMS) · γᵢ虛擬碼（PyTorch 風格）：
class RMSNorm(nn.Module):
def __init__(self, d_model: int, eps: float = 1e-6):
super().__init__()
self.eps = eps
self.weight = nn.Parameter(torch.ones(d_model)) # γ, shape=[d]
def forward(self, x: torch.Tensor) -> torch.Tensor:
# x: [batch, seq_len, d_model]
rms = torch.sqrt(torch.mean(x ** 2, dim=-1, keepdim=True) + self.eps)
return (x / rms) * self.weight關鍵實現細節：
- eps 的作用： 防止 RMS 為零導致除零錯誤，典型值為
10^{-6}或10^{-5}（LLaMA 官方實現預設10^{-6}，10^{-5}是其他部分模型的預設值，需以具體程式碼庫為準）。 - 數值穩定性最佳化： 實際融合 kernel（如 Triton/FlashNorm）常使用
rsqrt（快速平方根倒數）指令，一步完成1/RMS的計算。 - 計算位置（Pre-Norm）： 現代 LLM 幾乎統一採用 Pre-Norm 架構，即 RMSNorm 在子層（Attention/FFN）之前應用，配合殘差連線：
# Pre-Norm Transformer Block (典型 LLaMA 風格)
h = x + Attention(RMSNorm(x))
out = h + FFN(RMSNorm(h))核心層面的最佳化考量
┌───────────────────────────────────────────────────┐
│ RMSNorm Fused Kernel 策略 │
├───────────────────────────────────────────────────┤
│ │
│ 輸入 x: [B, S, d] │
│ │
│ Pass 1 (融合): │
│ 同時計算 Σxᵢ² → RMS → x/RMS → ×γ │
│ 僅遍歷輸入一次（one-pass） │
│ │
│ 記憶體頻寬: │
│ 讀: x [B,S,d] + γ [d] │
│ 寫: y [B,S,d] │
│ 總: ~2×B×S×d 個元素的頻寬（忽略 γ 的小量； │
│ LayerNorm 需額外讀取 β，頻寬約 2×B×S×d + 2d）│
│ │
└───────────────────────────────────────────────────┘注意： 上述記憶體頻寬估算為簡化模型。實際 kernel 實現中，LayerNorm 的 one-pass 融合實現（如 Welford 演算法）也能在一次遍歷中同時算出 mean 和 variance，因此 RMSNorm 的算術計算量優勢比記憶體頻寬優勢更顯著。具體收益取決於 kernel 實現質量。
技術演進史
| 時間 | 事件 | 意義 |
|---|---|---|
| 2016 | Ba, Kiros & Hinton 發表 Layer Normalization | 提出對單個樣本做歸一化，解決 BN 在序列模型中的侷限 |
| 2016–2018 | LayerNorm 成為 Transformer 標配（Vaswani et al., 2017） | 與殘差連線共同構成深層 Transformer 訓練的穩定基礎 |
| 2019 | Zhang & Sennrich 發表 Root Mean Square Layer Normalization (NeurIPS 2019) | 提出去掉 re-centering 的簡化方案 |
| 2019–2022 | 早期採用：部分學術模型 | RMSNorm 開始在開源社群獲得關注 |
| 2023.02 | Meta LLaMA 釋出，全面採用 RMSNorm + Pre-Norm | RMSNorm 成為事實標準，此後幾乎所有主流 LLM 跟進 |
| 2023–2024 | Mistral、Qwen、DeepSeek、Yi、Gemma 等均採用 | RMSNorm 成為 LLM 領域壓倒性的預設選擇 |
| 2024 | PyTorch 官方整合 torch.nn.RMSNorm（約 PyTorch 2.4 時期） | 標誌著架構級原生支援，降低使用門檻 |
趨勢判斷： LayerNorm 在 NLP/LLM 領域已基本被 RMSNorm 替代。在 CV（Vision Transformer）領域，LayerNorm 仍佔主導，但部分 ViT 變體也在探索 RMSNorm。
技術路線對比（量化表）
| 維度 | BatchNorm | LayerNorm | RMSNorm | DeepNorm (2022) |
|---|---|---|---|---|
| 規約維度 | Batch (N) | Hidden (d) | Hidden (d) | Hidden (d) + 殘差縮放 |
| Re-centering | ✅ | ✅ | ❌ | ✅（LayerNorm 變體） |
| 可學習引數/層 | 2d（γ,β） | 2d（γ,β） | d（γ） | 2d（γ,β），另有一個固定的殘差縮放 α（由深度決定） |
| 全規約次數 | 2 | 2 | 1 | 2 |
| 需要 batch 統計 | ✅ | ❌ | ❌ | ❌ |
| 適合序列模型 | ❌ | ✅ | ✅ | ✅（Pre-Norm 變體） |
| 典型 FLOPs 佔比 | — | 低（<1%） | 更低（~0.5–0.7%） | 同 LayerNorm |
| 主流應用 | CNN | 早期 Transformer / ViT | 現代 LLM | 超深 Transformer（1000+層研究） |
| 代表模型 | ResNet | GPT-2, BERT, GPT-3 | LLaMA, Mistral, Qwen | 用於極深模型訓練研究 |
FLOPs 佔比說明： Norm 層的計算量在完整 Transformer Block 中佔比極小（遠低於 1%），但它是訪存瓶頸型操作，延遲不可忽略。具體佔比以實際 profiling 為準，上表數字為數量級估算。
上下游
上游（RMSNorm 依賴什麼）
┌──────────────────────────────────────────────┐
│ 上 遊 供 應 鏈 │
├──────────────────────────────────────────────┤
│ │
│ 演算法層: │
│ · Layer Normalization (Ba et al., 2016) │
│ · 隱藏維度 d_model 的選擇 │
│ │
│ 架構層: │
│ · PyTorch / JAX / TensorRT 內建運算元 │
│ · Triton / CUTLASS 自定義 kernel │
│ │
│ 硬體層: │
│ · CUDA 核心 SFU 的 rsqrt 指令吞吐 │
│ · HBM 頻寬（Norm 是 bandwidth-bound） │
│ │
│ 精度: │
│ · FP32 / BF16 / FP16 訓練精度 │
│ · 推論量化下 Norm 通常保留高精度 │
│ │
└──────────────────────────────────────────────┘下游（RMSNorm 服務於什麼）
┌──────────────────────────────────────────────┐
│ 下 遊 應 用 │
├──────────────────────────────────────────────┤
│ │
│ 直接下游: │
│ · LLM 訓練 (Pre-Training, SFT, RLHF) │
│ · LLM 推論 (Prefill + Decode) │
│ · 多模態模型 (VLM 中的 Language Tower) │
│ │
│ 間接下游: │
│ · 聊天/程式碼生成/推論等 LLM 應用 │
│ · Agent / RAG 等上層架構 │
│ │
│ 架構/編譯器: │
│ · 推論引擎 (vLLM, TensorRT-LLM, SGLang) │
│ · 編譯最佳化 (運算元融合, kernel 自動調優) │
│ │
└──────────────────────────────────────────────┘關鍵指標
| 指標 | 說明 | 典型值/範圍 |
|---|---|---|
| 隱藏維度 d | Norm 操作的規約長度 | 2048–8192（常見 LLM） |
| eps（數值穩定項） | 防止除零 | 10^{-6} ~ 10^{-5} |
| 可學習引數 | 每個 RMSNorm 層的引數量 | d 個（僅 γ） |
| 單次 Norm FLOPs | 粗略：~2d 次浮點運算（平方+乘法等） | 極小，但呼叫頻次極高 |
| 頻寬 / 單次呼叫 | 讀 x + γ，寫 y | ~3d 個元素（約 48 KB，d=4096, FP32） |
| 呼叫頻率 | Pre-Norm: 每層 2 次 | 80 層模型 → 160 次/forward |
| 推論中的定位 | 幾乎總是 bandwidth-bound，非 compute-bound | — |
供需與市場資料
RMSNorm 本身不是一個獨立的商業產品或市場，它是 Transformer 架構中的一個基礎設施級運算元。其市場影響力體現在：
- 架構支援： PyTorch、JAX、TensorRT、ONNX Runtime 等主流架構均原生支援或通過社群貢獻支援 RMSNorm。
- 硬體指令集： NVIDIA GPU 的
__frsqrt_rn（快速平方根倒數）指令是 RMSNorm kernel 的核心原語。該指令吞吐與 Tensor Core 運算在 pipeline 上不衝突，因此 Norm kernel 常與 GEMM kernel 重疊執行。 - 推論最佳化： 在 vLLM、TensorRT-LLM 等推論架構中，RMSNorm 常被融合進 FlashAttention 或 FFN 的 kernel 中（Norm + Linear fused kernel），進一步減少 kernel 啟動開銷。
- 訓練中的佔比： 在大規模 LLM 預訓練中，Norm 層的計算量佔總 FLOPs 的比例極低（<1%），但因為是 memory-bound 操作且每步必經，對端到端延遲有不可忽視的影響。
無獨立市場規模資料。 RMSNorm 的”市場”即是整個 LLM 基礎模型市場的一個投影。
代表公司與資本對映
RMSNorm 不直接對映到上市公司或獨立創業公司，但以下實體與其深度相關：
| 實體 | 角色 | 關聯方式 |
|---|---|---|
| Meta | 最大推動者 | LLaMA 系列全面採用 RMSNorm，開源後成為行業標準 |
| Mistral AI | 採用者 | Mistral/Mixtral 系列採用 RMSNorm |
| Alibaba (通義千問) | 採用者 | Qwen 系列採用 RMSNorm |
| DeepSeek | 採用者 | DeepSeek-V2/V3 採用 RMSNorm |
| Google DeepMind | 採用者/研究者 | Gemma 系列部分採用，PaLM 亦有使用（需確認具體版本） |
| NVIDIA | 硬體最佳化者 | TensorRT-LLM 中對 RMSNorm kernel 做深度最佳化 |
| PyTorch / Linux Foundation | 架構支援 | 提供標準實現 |
投資對映思路： RMSNorm 本身不可投，但它是判斷”模型架構是否採用現代技術棧”的一個快速訊號。如果一家 AI 公司仍在使用 LayerNorm 且未遷移到 RMSNorm，可能意味著其技術棧落後於當前最佳實踐。
投資邏輯
為什麼關注這個”小運算元”？
-
技術成熟度訊號： RMSNorm 被全面採用標誌著 LLM 架構從”實驗探索期”進入”工程收斂期”。當基礎元件趨於統一，創新競爭上移到更高層次（架構設計、資料、對齊方法），這對投資判斷產業鏈成熟度有參考價值。
-
編譯器/架構投資線索： 對 Norm 運算元的 kernel 最佳化（融合、精度自適應）是推論引擎競爭力的一個微觀維度。關注 vLLM、TensorRT-LLM、SGLang 等專案的技術演進時，Norm 融合最佳化的深度是一個觀察視窗。
-
未來架構演進方向： 如果出現”Norm-free”架構（如某些研究探索去掉歸一層的做法），將對現有 kernel 最佳化路徑產生顛覆性影響。當前來看，Norm 層仍是不可或缺的穩定訓練元件，短期內不會消失。
常見誤讀糾偏
❌ 誤讀 1：“RMSNorm 是 LayerNorm 的簡化版，所以效果一定更差”
糾偏： Zhang & Sennrich (2019) 的原始實驗在機器翻譯任務上表明 RMSNorm 與 LayerNorm 效能相當。後續 LLaMA 等模型的大規模實驗（數十億到數千億引數規模）進一步驗證了這一點。在當前 LLM 規模下，RMSNorm 與 LayerNorm 在模型質量上沒有可觀測的差異。 去掉 re-centering 帶來的”資訊損失”在實踐中可以忽略。
❌ 誤讀 2：“RMSNorm 就是把 LayerNorm 的均值設為零”
糾偏： 不準確。RMSNorm 不是”強制均值為零”，而是完全不計算也不使用均值。它直接用 x_i^2 的均值的平方根（即 RMS）做歸一化。數學上，如果輸入的均值確實為零，那麼 text(RMS)(mathbf(x)) = \sigma（標準差），此時 RMSNorm 與去均值後的 LayerNorm 等價。但一般情況下均值不為零，兩者有本質區別。
❌ 誤讀 3：“RMSNorm 適用於所有深度學習任務”
糾偏： RMSNorm 的驗證主要集中在 NLP/LLM 領域。在 CV（Vision Transformer）、多模態模型的視覺編碼器部分，LayerNorm 仍然是主流選擇。部分 ViT 變體已開始探索 RMSNorm，但尚未形成共識。不建議在未經驗證的領域盲目替換。
❌ 誤讀 4：“RMSNorm 節省的計算量很小，不值得換”
糾偏： 單次 Norm 呼叫的計算量確實很小。但在：
- 每個 Transformer Block 呼叫 2 次
- 一個模型有數十到上百層
- 訓練需要數十萬到數百萬個 step
- 每個 step 處理大量 token
的乘數效應下，累計節省是可觀的。更重要的是，RMSNorm 減少了一個全張量規約操作，在 bandwidth-bound 場景下對延遲的改善比 FLOPs 節省更能體現。換用 RMSNorm 的 ROI 極高：幾乎零質量損失 + 免費的計算節省。
學習路徑
入門（30 分鐘）
- 閱讀 Ba et al. (2016) 的 Layer Normalization 論文，理解歸一化的基本動機
- 閱讀 Zhang & Sennrich (2019) 的 RMSNorm 論文（重點看 Section 3 和實驗部分）
- 在 PyTorch 中手寫一個 RMSNorm，與
nn.LayerNorm對比輸出
進階（2 小時）
- 閱讀 LLaMA 論文（Touvron et al., 2023），理解 RMSNorm 在完整模型架構中的位置
- 閱讀 Megatron-LM 原始碼中的 RMSNorm 實現，理解張量並行下的 Norm 處理
- 對比不同 eps 值、不同精度（FP32/BF16）下 RMSNorm 的數值行為
高階（1 天）
- 閱讀 Triton/FlashAttention 相關 kernel 實現，理解 RMSNorm 的融合 kernel 最佳化
- 研究 DeepNorm、QK-Norm 等歸一化變體的動機和適用場景
- 探索 “Norm-free” 架構的研究進展，理解歸一化層的理論根基
一句話總結
RMSNorm 是一個”用更少的計算做幾乎同樣的事”的工程最佳化典範——它去掉 LayerNorm 中非必要的均值計算，以極低代價成為現代大語言模型的標配基礎設施，體現了大規模 AI 中”毫秒級最佳化 × 萬億次呼叫 = 巨大價值”的核心邏輯。
延伸閱讀與來源
| 來源 | 說明 |
|---|---|
| Zhang & Sennrich (2019), “Root Mean Square Layer Normalization”, NeurIPS 2019 | RMSNorm 原始論文，必讀 |
| Ba, Kiros & Hinton (2016), “Layer Normalization” | 前置知識：LayerNorm 原始論文 |
| Touvron et al. (2023), “LLaMA: Open and Efficient Foundation Language Models” | RMSNorm 在工業級模型中的應用範例 |
| Megatron-LM GitHub (NVIDIA) | 檢視 Pre-Norm Transformer Block 中 RMSNorm 的實際程式碼 |
| vLLM / TensorRT-LLM 原始碼 | 檢視推論引擎中 RMSNorm kernel 的最佳化實現 |
PyTorch 官方文件 torch.nn.RMSNorm | 架構級標準實現參考 |
宣告： 本文中未標註來源的具體數字均為定性估算或數量級描述，不作為精確工程參考。具體硬體效能資料請以實際 profiling 為準。