殘差連線
3 秒看懂
殘差連線=讓輸入跳過中間層，直接加到輸出上。
數學本質：輸出 = 經過變換的輸入 + 原始輸入。
它讓梯度在反向傳播時多了一條“高速直達通道”，深層網路的底層引數不再“收不到訊號”。一句話：沒有殘差連線，幾百層以上的網路根本訓不動，ChatGPT 這類大型模型無從談起。
3 分鐘產業解釋
2015 年之前，深度學習卡在一個尖銳矛盾裡：理論上，網路越深，表達能力越強；實際上，堆到幾十層後，訓練誤差不降反升——這不是過擬合（過擬合是訓練誤差低、測試誤差高），而是最佳化困難，稱為退化問題。根源在反向傳播的梯度連乘：層數越多，梯度呈指數衰減，底層引數幾乎不更新。
何愷明等人提出 殘差網路（ResNet），解法極其簡潔：在每兩三層間加一條“短路”，把輸入 x 原樣送到輸出端做加法——H(x) = F(x) + x。反向傳播時，梯度被拆成兩項，其中一項通過恆等路徑 1∶1 傳回淺層，幾乎不衰減。
這條“加法線”立刻成為產業基礎設施：
- 計算機視覺：ResNet 及其變體（ResNeXt、預啟用 ResNet）成為影像分類、檢測、分割的標配主幹網路。2015 年 ResNet 拿下 ILSVRC 分類冠軍時，首次將網路深度推到 152 層，此前的冠軍網路 VGG 僅 19 層。
- 自然語言處理：2017 年 Transformer 把殘差連線 + 層歸一化（Add & Norm）設為每個子層的標準配置，多頭注意力和前饋網路得以無縫堆疊，直接催生 BERT、GPT 系大型模型。GPT-3（2020 年）有 96 層，GPT-4（2023 年）據公開分析推測在 120 層以上，每一層都離不開殘差。
- 多模態 / 生成式 AI：Stable Diffusion 的 U-Net 去噪器、Vision Transformer（ViT）、Swin Transformer 全部內建殘差設計。
從產業視角看，殘差連線沒有獨立的商業價值，但它從根本上放大了模型規模的上限，是深度學習從“淺層特徵工程”跨越到“深層表徵學習”的關鍵工程技巧。更深更大的模型遵循 Scaling Law 推升算力需求，間接拉動 GPU/TPU、高速互聯（NVLink、InfiniBand）、大記憶體頻寬等全產業鏈。
技術原理
1. 核心機制
殘差塊的基本公式（後啟用形式）：
y = F(x, {Wi}) + x
F(x)通常是權重層（卷積 / 全連線）→ 歸一化 → 啟用的堆疊。- 當輸入輸出維度不匹配時，短路支路對
x做 1×1 卷積或線性投影對齊通道/特徵維度，即y = F(x) + W_s·x。 - 加法操作在反向傳播時天然傳遞梯度副本：
∂L/∂x = ∂L/∂y · (∂F/∂x + I)，其中的單位矩陣I使恆等支路梯度無損。
2. 為什麼有效：損失景觀重述與恆等對映先驗
最佳化視角：普通深層網路難以學到恆等對映 H(x) = x。殘差連線將學習目標重寫為 H(x) = F(x) + x，等價於讓網路學殘差 F(x) = H(x) - x。如果理想對映接近恆等，只需讓 F(x) 逼近零，權重趨零即可，比讓非線性層憑空擬合恆等容易得多。
損失景觀視角（Li et al., 2018）：殘差連線顯著平滑了損失函式的幾何形態，減少了尖銳的區域性極小值，使隨機梯度下降更容易找到平坦的泛化區域。這解釋了殘差網路不僅容易訓練，且泛化誤差通常更低的深層原因。
3. 歸一化與啟用位置的博弈
後啟用（Post-Activation）：卷積 → BN → ReLU → 卷積 → BN → 加法 → ReLU。原始 ResNet 結構，梯度流需經過 ReLU 後再通過 BN 反傳。
預啟用（Pre-Activation）：BN → ReLU → 卷積 → BN → ReLU → 卷積 → 加法。梯度路徑完全線性，資訊可從任意深層直達淺層，訓練千層以上網路時優勢明顯（He et al., 2016, ECCV）。
Transformer 把這一機制移植到序列模型：子層輸出 LayerNorm(x + Sublayer(x))，其中 + 即殘差。後歸一化（Post-LN）一度是主流，但近年大型模型趨勢轉向預歸一化（Pre-LN），以穩定深層訓練。
4. 瓶頸塊與計算效率
深層 ResNet（如 ResNet-50/101/152）使用瓶頸塊（Bottleneck）降低引數量：
1×1 卷積降維 → 3×3 卷積 → 1×1 卷積升維
64→64 通道時，瓶頸塊僅需約 70K 引數，標準殘差塊約 110K。通道數越大，節省越顯著。這是大規模部署時的常用設計選擇。
關鍵引數
殘差連線的核心是結構選擇而非數值超參，以下引數決定了殘差網路的實際行為：
| 引數維度 | 典型選項 / 範圍 | 說明 |
|---|---|---|
| 連線方式 | 恆等對映（Identity） | 無引數、梯度無損，事實標準 |
| 1×1 投影 | 維度不匹配時對齊特徵，引數量小 | |
| 門控（Highway） | 可學習門控係數，引數增加，2015 年後較少使用 | |
| 歸一化型別 | BatchNorm | CV 任務標準，依賴 batch 統計 |
| LayerNorm | Transformer 標準，獨立於 batch | |
| GroupNorm / InstanceNorm | 小 batch 或特定任務的替代方案 | |
| 歸一化位置 | 後啟用（Post-Activation） | 原始 ResNet；歸一化在卷積後 |
| 預啟用（Pre-Activation） | 梯度路徑更優，極深網路推薦 | |
| 瓶頸比 | 4×（64→256→64） | ResNet-50+ 標準設定 |
| 下采樣方式 | Stride=2 的 1×1 卷積 | 短路支路與主支路維度同步 |
技術路線
1. 前殘差時代：深度困境與早期跳躍連線
2015 年之前，VGG（19 層）和 GoogLeNet（Inception，22 層）是深度極限。Highway Networks（Srivastava et al., 2015）首次提出帶門控的跳躍連線，用可學習的變換門 T(x) 和攜帶門 C(x) 調節資訊流：y = H(x)·T(x) + x·C(x)。門控機制引數量大，訓練複雜，為殘差連線提供了直接啟發，但未能成為主流。
2. ResNet：恆等連線一統 CV（2015–2017）
何愷明等提出 ResNet（CVPR 2016 best paper），用無引數的恆等短路實現 152 層深度訓練，ILSVRC 2015 奪冠。隨後的預啟用 ResNet（ECCV 2016）最佳化歸一化位置，Wide ResNet（2016）證明適當加寬比無限加深更高效，ResNeXt（2017）引入分組卷積，在不增加引數的前提下提升表達能力。同期 DenseNet（2017）將所有層密集連線，特徵複用極致但視訊記憶體消耗大。
3. Transformer 繼承：從 CV 到 NLP 的範式遷移（2017–2020）
Transformer（Vaswani et al., 2017）將殘差連線 + 層歸一化設為每個子層標配，使其成為序列模型的基礎元件。BERT（2018）、GPT-2（2019）、GPT-3（2020）依次推升引數規模，殘差連線是訓練穩定的核心保障。
4. 大型模型時代的殘差變體（2020–至今）
Vision Transformer（Dosovitskiy et al., 2021）將自注意力與殘差融合引入 CV；Swin Transformer（Liu et al., 2021）在移動視窗注意力中使用殘差；MoE 架構（如 Mixtral, 2023–2024）中，每個專家子網均使用殘差結構；大語言模型普遍採用 Pre-LN + 殘差配置以支援百層以上穩定訓練。
上游
殘差連線本身是數學結構，其上游是支撐其高效執行的基礎設施：
1. 深度學習架構
- PyTorch（Meta）：
nn.Module的加法操作天然支援殘差實現，torchvision提供預訓練的 ResNet 全系列。Meta 開源生態（Detectron2、SAM 等）大量依賴殘差主幹。 - JAX / Flax（Google）：函式式 API 下殘差塊實現簡潔，與 TPU 訓練生態深度耦合。
- 架構底層融合運算元（BatchNorm+ 卷積融合、注意力 + 殘差融合）由各架構編譯器（TorchInductor、XLA）持續最佳化。
2. 硬體與互聯
- GPU：NVIDIA A100/H100/B200 系列，高視訊記憶體頻寬（H100 SXM 達 3.35 TB/s，NV 官網 2023 年資料）對殘差網路的訓練吞吐至關重要。
- TPU：Google 自研，v5p 單 Pod 可達 petaflop 級算力（Google Cloud 2023 年公佈）。
- 互聯：NVLink（NVIDIA）、InfiniBand 用於張量並行時的殘差加法跨裝置歸約（AllReduce），網路頻寬直接影響分散式訓練效率。
產業觀察：殘差網路更深的訓練需求，正驅動硬體供應商向更高頻寬、更低延遲的方向迭代。
下游
殘差連線滲透到幾乎所有需要深層神經網路的應用領域：
- 計算機視覺：影像分類（ResNet 全系列）、目標檢測（Faster R-CNN、YOLO 系列通常以殘差網路為主幹）、影像分割（Mask R-CNN、DeepLab）、影像生成（Stable Diffusion 的 U-Net 含密集殘差塊）。
- 自然語言處理：所有 Transformer 系模型（GPT-4o、Claude、Gemini、Llama 3、Qwen、DeepSeek 等大語言模型均以殘差 + 層歸一化為基本塊）。
- 語音處理：Whisper（OpenAI）、Conformer（Google）等語音識別/合成模型，殘差連線貫穿編碼器與解碼器。
- 科學計算與蛋白質：AlphaFold 2/3（DeepMind）的 Evoformer 模組大量使用殘差連線的變體來傳播序列與結構資訊。
殘差連線已是深層模型設計的事實標準，任何需要堆疊 10 層以上的網路幾乎都會採用某種形式的跳躍連線。
受益公司
殘差連線是無專利壁壘的學術成果，全行業共享。以下組織因其放大的算力需求而間接受益（純產業觀察，不含任何投資建議）：
| 組織 | 受益邏輯 | 相關動態 |
|---|---|---|
| NVIDIA | 大型模型訓練推動 GPU 及互聯方案採購 | 資料中心業務 FY2024 營收 475 億美元，年增率 +217%（NVIDIA FY2024 年報） |
| 台積電 | 先進製程（4nm/3nm）代工 AI 晶片 | 2023 年 HPC 業務佔比 43%，首超智慧手機（台積電 2023 年報） |
| Google（Alphabet） | TPU 自研 + 雲端服務，Gemini 訓練 | 2023 年資本支出 323 億美元，主要用於 AI 基礎設施（Alphabet 10-K） |
| Microsoft | Azure 雲端服務，OpenAI 獨家雲端合作伙伴 | FY2024 資本支出超 500 億美元，部分投向 AI 算力基礎設施（Microsoft 10-K） |
| Meta | 開源大型模型 Llama 系列訓練 | 2024 年展望資本支出 350–400 億美元，含 AI 基礎設施（Meta Q1 2024 電話會） |
市場規模與算力拉動
殘差連線作為數學機制，沒有直接的市場規模。其對產業的價值，體現在它使能的大型模型訓練算力市場：
- 據 Fortune Business Insights 估算，2023 年全球 AI 晶片市場規模約 536 億美元，預計 2030 年超 2000 億美元。訓練晶片佔比約 35–40%（公開第三方估算，口徑存在差異）。
- 據 IDC（2023 年），全球 AI 伺服器支出 2023 年約 250 億美元，2027 年預計超 500 億美元，其中 GPU 伺服器佔主導。
- 大型模型訓練的算力需求增長率超出摩爾定律。據 Epoch AI（2024 年公開報告），訓練前沿大型模型所需算力自 2018 年以來每 6–10 個月翻一番。殘差連線作為深層訓練的前提，是這輪算力增長的底層使能器之一。
- 由深層模型衍生的推論市場同樣龐大：據 Bloomberg Intelligence（2024 年），全球生成式 AI 推論市場規模 2024 年約 200 億美元，2032 年預計超 3000 億美元（公開第三方預測，存在不確定性）。
玩家對比
基於開源生態、模型能力與基礎設施的雷達圖式對比（定性，不含投資評估，2025 年中截面資料）：
| 維度 | NVIDIA | Microsoft/ OpenAI | Meta | |
|---|---|---|---|---|
| 硬體供應 | ★★★★★ H100/B200 主導 | ★★★★ TPU 自研 | ★★★ 採購為主 | ★★ 採購為主 |
| 架構生態 | CUDA 護城河極深 | JAX/ TF 較弱 | PyTorch 為主 | PyTorch 主導 |
| 大型模型能力 | 無直接模型 | Gemini 系列 | GPT-4o 系列 | Llama 3 系列 |
| 開源深度 | 運算元庫閉源 | 有限開源 | 模型開權重 | 全棧開源最深 |
| 殘差相關創新 | cuDNN 融合最佳化 | Pre-LN 推廣 | 規模化訓練經驗 | ResNet 產業應用 |
注：★為定性比較，非精確排名。基於 2025 年 6 月前公開資訊。
風險（純技術/產業維度，不含投資評估）
- 架構顛覆風險：若未來出現無需梯度反傳的訓練範式（如直接最佳化、進化策略、光子 / 憶阻器計算），殘差連線作為面向反向傳播的設計可能失去剛需。截至 2025 年 6 月，此類技術尚未進入主流，但學術界有持續探索（如 Forward-Forward 演算法，Hinton, 2022）。
- 替代性跳躍連線：DenseNet 的特徵複用、MoE 的條件路由、Mamba 的狀態空間模型等在特定場景可能具備邊緣優勢，雖不足以替代殘差，但可能壓縮其在特定領域的絕對統治力。
- 訓練效率的邊際遞減：極深網路中（>500 層），殘差連線的增益遞減，訓練穩定性的維持需要更精細的初始化與歸一化策略，工程複雜度上升。
- 產業集中度過高：殘差連線使能的算力市場高度集中於少數晶片和雲端服務供應商（NVIDIA 在訓練 GPU 市佔率據 Mercury Research 估算超過 80%，2024 年資料），供應鏈風險（產能瓶頸、地緣政策）可能經由算力層間接傳導至 AI 產業下游。
- 能效與環保約束：更深更大的模型帶動能源消耗指數增長，全球資料中心用電量據 IEA 資料 2022 年佔全球總用電量的約 1–1.3%，2026 年可能翻倍。能效監管趨嚴可能影響模型規模的無限擴張邏輯。
誤讀糾偏
誤讀 1：“殘差連線完全解決了梯度消失。” 糾偏：殘差連線通過恆等支路保住了梯度的“下限”，但權重層的梯度分量依然可能消失或爆炸。極端深度（千層以上）時仍需配合精心設計的歸一化和初始化策略。它沒有消除問題，而是提供了安全網。
誤讀 2：“殘差連線必須是恆等對映。” 糾偏：恆等對映（無引數）因其簡潔高效成為事實標準，但並非唯一形式。維度不匹配時必須使用 1×1 卷積投影；歷史上有 Highway Networks 的門控版本、以及含可學習標量係數的加權殘差變體。恆等對映勝在無額外引數且不引入梯度干擾。
誤讀 3：“只有 BatchNorm 才能搭配殘差。” 糾偏：BatchNorm 是 CV 場景下與殘差結合最成熟的方案，但 Transformer 全系使用 LayerNorm，證明殘差與不同的歸一化策略均可良好協作。選擇取決於任務特性與 batch size 的約束。
誤讀 4：“殘差連線本身驅動算力需求增長。” 糾偏：殘差連線沒有自己的市場，它只是讓模型可以“堆得更深”的使能技術。推動算力需求暴漲的主因是 Scaling Law 和產業競爭邏輯下模型規模的膨脹，殘差連線是必要條件而非充分條件。
最新事件
（截至 2025 年 6 月公開的學術/產業動態，按時間倒序）
- Llama 4 釋出（2025 年 4 月，Meta）：模型使用改進的殘差架構支援超長上下文，具體層數和殘差配置未公開。
- GPT-4.1 釋出（2025 年 4 月，OpenAI）：延續 Transformer + 殘差的架構路線，技術報告未揭露引數細節。
- DeepSeek V3 / R1（2024 年底 – 2025 年初）：MoE 架構中使用殘差連線，公開技術報告詳述 Multi-head Latent Attention 中的殘差設計（DeepSeek-V3 技術報告, 2024 年 12 月）。
- Sora 類影片生成模型（2024 年，OpenAI / Google Veo）：擴散 Transformer（DiT）架構將殘差嵌入噪聲預測網路的核心模組。
- 學術界殘差理論進展：NeurIPS 2024 有多篇論文探討殘差連線與神經網路的隱式正則化關係，以及大語言模型中 Post-LN 與 Pre-LN 的穩定性理論。
追蹤指標
（用於持續追蹤殘差連線及相關技術的演進態勢）
學術指標
- Top-1 ImageNet 分類準確率（反映殘差架構作為視覺主幹的有效性邊界）
- 已訓練的最大型模型層數（如 Llama、GPT、Gemini 系列公開的層數資訊）
- 每層殘差塊的梯度範數變化（學術界/實驗室指標，公開資料少）
產業指標
- NVIDIA / AMD / 台積電在 AI 硬體季度營收及展望（公開財報）
- 主要大型模型（GPT-5、Llama 5 等）的引數規模與層數配置（公開部落格/技術報告）
- 主要雲端服務商（AWS、Azure、GCP）的 AI 算力相關資本支出
財務指標（僅觀察行業趨勢）
- NVIDIA 資料中心營收年增率增速（NVIDIA 季度財報）
- 臺灣主要晶圓代工廠（台積電）的先進製程營收佔比（公開法說會材料）
信源
- He et al., 2016. Deep Residual Learning for Image Recognition. CVPR 2016. (ResNet 原始論文)
- He et al., 2016. Identity Mappings in Deep Residual Networks. ECCV 2016. (預啟用 ResNet)
- Vaswani et al., 2017. Attention Is All You Need. NeurIPS 2017. (Transformer 中的殘差設計)
- Srivastava et al., 2015. Highway Networks. arXiv:1505.00387.
- Huang et al., 2017. Densely Connected Convolutional Networks. CVPR 2017. (DenseNet)
- Li et al., 2018. Visualizing the Loss Landscape of Neural Nets. NeurIPS 2018.
- Dosovitskiy et al., 2021. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. ICLR 2021. (ViT)
- Liu et al., 2021. Swin Transformer: Hierarchical Vision Transformer using Shifted Windows. ICCV 2021.
- DeepSeek-AI, 2024. DeepSeek-V3 Technical Report. arXiv:2412.19437.
- NVIDIA Corporation. FY2024 Annual Report. 2024. 公開財務資料。
- Alphabet Inc. Form 10-K, FY2023. 2024. 公開財務資料。
- Microsoft Corporation. Form 10-K, FY2024. 2024. 公開財務資料。
- Fortune Business Insights. Artificial Intelligence (AI) Chips Market Report. 2024. 第三方行業估算。
- Epoch AI. Trends in Machine Learning Hardware. 2024. 公開研究報告。
- Hinton, 2022. The Forward-Forward Algorithm: Some Preliminary Investigations. arXiv:2212.13345.
注：市場資料部分使用了公開的第三方機構估算，具體口徑和來源已在正文中標示。技術描述基於學術文獻中的共識性結論。本文僅提供概念解釋與產業分析，不構成任何形式的投資建議。