残差连接

3 秒看懂

残差连接=让输入跳过中间层，直接加到输出上。 数学本质：输出 = 经过变换的输入 + 原始输入。 它让梯度在反向传播时多了一条“高速直达通道”，深层网络的底层参数不再“收不到信号”。一句话：没有残差连接，几百层以上的网络根本训不动，ChatGPT 这类大模型无从谈起。

3 分钟产业解释

2015 年之前，深度学习卡在一个尖锐矛盾里：理论上，网络越深，表达能力越强；实际上，堆到几十层后，训练误差不降反升——这不是过拟合（过拟合是训练误差低、测试误差高），而是优化困难，称为退化问题。根源在反向传播的梯度连乘：层数越多，梯度呈指数衰减，底层参数几乎不更新。

何恺明等人提出 残差网络（ResNet），解法极其简洁：在每两三层间加一条“短路”，把输入 x 原样送到输出端做加法——H(x) = F(x) + x。反向传播时，梯度被拆成两项，其中一项通过恒等路径 1∶1 传回浅层，几乎不衰减。

这条“加法线”立刻成为产业基础设施：

• 计算机视觉：ResNet 及其变体（ResNeXt、预激活 ResNet）成为图像分类、检测、分割的标配主干网络。2015 年 ResNet 拿下 ILSVRC 分类冠军时，首次将网络深度推到 152 层，此前的冠军网络 VGG 仅 19 层。
• 自然语言处理：2017 年 Transformer 把残差连接 + 层归一化（Add & Norm）设为每个子层的标准配置，多头注意力和前馈网络得以无缝堆叠，直接催生 BERT、GPT 系大模型。GPT-3（2020 年）有 96 层，GPT-4（2023 年）据公开分析推测在 120 层以上，每一层都离不开残差。
• 多模态 / 生成式 AI：Stable Diffusion 的 U-Net 去噪器、Vision Transformer（ViT）、Swin Transformer 全部内置残差设计。

从产业视角看，残差连接没有独立的商业价值，但它从根本上放大了模型规模的上限，是深度学习从“浅层特征工程”跨越到“深层表征学习”的关键工程技巧。更深更大的模型遵循 Scaling Law 推升算力需求，间接拉动 GPU/TPU、高速互联（NVLink、InfiniBand）、大内存带宽等全产业链。

技术原理

1. 核心机制

残差块的基本公式（后激活形式）： y = F(x, {Wi}) + x

• F(x) 通常是权重层（卷积 / 全连接）→ 归一化 → 激活的堆叠。
• 当输入输出维度不匹配时，短路支路对 x 做 1×1 卷积或线性投影对齐通道/特征维度，即 y = F(x) + W_s·x。
• 加法操作在反向传播时天然传递梯度副本：∂L/∂x = ∂L/∂y · (∂F/∂x + I)，其中的单位矩阵 I 使恒等支路梯度无损。

2. 为什么有效：损失景观重述与恒等映射先验

优化视角：普通深层网络难以学到恒等映射 H(x) = x。残差连接将学习目标重写为 H(x) = F(x) + x，等价于让网络学残差 F(x) = H(x) - x。如果理想映射接近恒等，只需让 F(x) 逼近零，权重趋零即可，比让非线性层凭空拟合恒等容易得多。

损失景观视角（Li et al., 2018）：残差连接显著平滑了损失函数的几何形态，减少了尖锐的局部极小值，使随机梯度下降更容易找到平坦的泛化区域。这解释了残差网络不仅容易训练，且泛化误差通常更低的深层原因。

3. 归一化与激活位置的博弈

后激活（Post-Activation）：卷积 → BN → ReLU → 卷积 → BN → 加法 → ReLU。原始 ResNet 结构，梯度流需经过 ReLU 后再通过 BN 反传。

预激活（Pre-Activation）：BN → ReLU → 卷积 → BN → ReLU → 卷积 → 加法。梯度路径完全线性，信息可从任意深层直达浅层，训练千层以上网络时优势明显（He et al., 2016, ECCV）。

Transformer 把这一机制移植到序列模型：子层输出 LayerNorm(x + Sublayer(x))，其中 + 即残差。后归一化（Post-LN）一度是主流，但近年大模型趋势转向预归一化（Pre-LN），以稳定深层训练。

4. 瓶颈块与计算效率

深层 ResNet（如 ResNet-50/101/152）使用瓶颈块（Bottleneck）降低参数量： 1×1 卷积降维 → 3×3 卷积 → 1×1 卷积升维 64→64 通道时，瓶颈块仅需约 70K 参数，标准残差块约 110K。通道数越大，节省越显著。这是大规模部署时的常用设计选择。

关键参数

残差连接的核心是结构选择而非数值超参，以下参数决定了残差网络的实际行为：

技术路线

1. 前残差时代：深度困境与早期跳跃连接

2015 年之前，VGG（19 层）和 GoogLeNet（Inception，22 层）是深度极限。Highway Networks（Srivastava et al., 2015）首次提出带门控的跳跃连接，用可学习的变换门 T(x) 和携带门 C(x) 调节信息流：y = H(x)·T(x) + x·C(x)。门控机制参数量大，训练复杂，为残差连接提供了直接启发，但未能成为主流。

2. ResNet：恒等连接一统 CV（2015–2017）

何恺明等提出 ResNet（CVPR 2016 best paper），用无参数的恒等短路实现 152 层深度训练，ILSVRC 2015 夺冠。随后的预激活 ResNet（ECCV 2016）优化归一化位置，Wide ResNet（2016）证明适当加宽比无限加深更高效，ResNeXt（2017）引入分组卷积，在不增加参数的前提下提升表达能力。同期 DenseNet（2017）将所有层密集连接，特征复用极致但显存消耗大。

3. Transformer 继承：从 CV 到 NLP 的范式迁移（2017–2020）

Transformer（Vaswani et al., 2017）将残差连接 + 层归一化设为每个子层标配，使其成为序列模型的基础组件。BERT（2018）、GPT-2（2019）、GPT-3（2020）依次推升参数规模，残差连接是训练稳定的核心保障。

4. 大模型时代的残差变体（2020–至今）

Vision Transformer（Dosovitskiy et al., 2021）将自注意力与残差融合引入 CV；Swin Transformer（Liu et al., 2021）在移动窗口注意力中使用残差；MoE 架构（如 Mixtral, 2023–2024）中，每个专家子网均使用残差结构；大语言模型普遍采用 Pre-LN + 残差配置以支持百层以上稳定训练。

上游

残差连接本身是数学结构，其上游是支撑其高效运行的基础设施：

1. 深度学习框架

• PyTorch（Meta）：nn.Module 的加法操作天然支持残差实现，torchvision 提供预训练的 ResNet 全系列。Meta 开源生态（Detectron2、SAM 等）大量依赖残差主干。
• JAX / Flax（Google）：函数式 API 下残差块实现简洁，与 TPU 训练生态深度耦合。
• 框架底层融合算子（BatchNorm+ 卷积融合、注意力 + 残差融合）由各框架编译器（TorchInductor、XLA）持续优化。

2. 硬件与互联

• GPU：NVIDIA A100/H100/B200 系列，高显存带宽（H100 SXM 达 3.35 TB/s，NV 官网 2023 年数据）对残差网络的训练吞吐至关重要。
• TPU：Google 自研，v5p 单 Pod 可达 petaflop 级算力（Google Cloud 2023 年公布）。
• 互联：NVLink（NVIDIA）、InfiniBand 用于张量并行时的残差加法跨设备归约（AllReduce），网络带宽直接影响分布式训练效率。

产业观察：残差网络更深的训练需求，正驱动硬件供应商向更高带宽、更低延迟的方向迭代。

下游

残差连接渗透到几乎所有需要深层神经网络的应用领域：

• 计算机视觉：图像分类（ResNet 全系列）、目标检测（Faster R-CNN、YOLO 系列通常以残差网络为主干）、图像分割（Mask R-CNN、DeepLab）、图像生成（Stable Diffusion 的 U-Net 含密集残差块）。
• 自然语言处理：所有 Transformer 系模型（GPT-4o、Claude、Gemini、Llama 3、Qwen、DeepSeek 等大语言模型均以残差 + 层归一化为基本块）。
• 语音处理：Whisper（OpenAI）、Conformer（Google）等语音识别/合成模型，残差连接贯穿编码器与解码器。
• 科学计算与蛋白质：AlphaFold 2/3（DeepMind）的 Evoformer 模块大量使用残差连接的变体来传播序列与结构信息。

残差连接已是深层模型设计的事实标准，任何需要堆叠 10 层以上的网络几乎都会采用某种形式的跳跃连接。

受益公司

残差连接是无专利壁垒的学术成果，全行业共享。以下组织因其放大的算力需求而间接受益（纯产业观察，不含任何投资建议）：

市场规模与算力拉动

残差连接作为数学机制，没有直接的市场规模。其对产业的价值，体现在它使能的大模型训练算力市场：

• 据 Fortune Business Insights 估算，2023 年全球 AI 芯片市场规模约 536 亿美元，预计 2030 年超 2000 亿美元。训练芯片占比约 35–40%（公开第三方估算，口径存在差异）。
• 据 IDC（2023 年），全球 AI 服务器支出 2023 年约 250 亿美元，2027 年预计超 500 亿美元，其中 GPU 服务器占主导。
• 大模型训练的算力需求增长率超出摩尔定律。据 Epoch AI（2024 年公开报告），训练前沿大模型所需算力自 2018 年以来每 6–10 个月翻一番。残差连接作为深层训练的前提，是这轮算力增长的底层使能器之一。
• 由深层模型衍生的推理市场同样庞大：据 Bloomberg Intelligence（2024 年），全球生成式 AI 推理市场规模 2024 年约 200 亿美元，2032 年预计超 3000 亿美元（公开第三方预测，存在不确定性）。

玩家对比

基于开源生态、模型能力与基础设施的雷达图式对比（定性，不含投资评估，2025 年中截面数据）：

注：★为定性比较，非精确排名。基于 2025 年 6 月前公开信息。

风险（纯技术/产业维度，不含投资评估）

1. 架构颠覆风险：若未来出现无需梯度反传的训练范式（如直接优化、进化策略、光子 / 忆阻器计算），残差连接作为面向反向传播的设计可能失去刚需。截至 2025 年 6 月，此类技术尚未进入主流，但学术界有持续探索（如 Forward-Forward 算法，Hinton, 2022）。
2. 替代性跳跃连接：DenseNet 的特征复用、MoE 的条件路由、Mamba 的状态空间模型等在特定场景可能具备边缘优势，虽不足以替代残差，但可能压缩其在特定领域的绝对统治力。
3. 训练效率的边际递减：极深网络中（>500 层），残差连接的增益递减，训练稳定性的维持需要更精细的初始化与归一化策略，工程复杂度上升。
4. 产业集中度过高：残差连接使能的算力市场高度集中于少数芯片和云服务供应商（NVIDIA 在训练 GPU 市占率据 Mercury Research 估算超过 80%，2024 年数据），供应链风险（产能瓶颈、地缘政策）可能经由算力层间接传导至 AI 产业下游。
5. 能效与环保约束：更深更大的模型带动能源消耗指数增长，全球数据中心用电量据 IEA 数据 2022 年占全球总用电量的约 1–1.3%，2026 年可能翻倍。能效监管趋严可能影响模型规模的无限扩张逻辑。

误读纠偏

误读 1：“残差连接完全解决了梯度消失。” 纠偏：残差连接通过恒等支路保住了梯度的“下限”，但权重层的梯度分量依然可能消失或爆炸。极端深度（千层以上）时仍需配合精心设计的归一化和初始化策略。它没有消除问题，而是提供了安全网。

误读 2：“残差连接必须是恒等映射。” 纠偏：恒等映射（无参数）因其简洁高效成为事实标准，但并非唯一形式。维度不匹配时必须使用 1×1 卷积投影；历史上有 Highway Networks 的门控版本、以及含可学习标量系数的加权残差变体。恒等映射胜在无额外参数且不引入梯度干扰。

误读 3：“只有 BatchNorm 才能搭配残差。” 纠偏：BatchNorm 是 CV 场景下与残差结合最成熟的方案，但 Transformer 全系使用 LayerNorm，证明残差与不同的归一化策略均可良好协作。选择取决于任务特性与 batch size 的约束。

误读 4：“残差连接本身驱动算力需求增长。” 纠偏：残差连接没有自己的市场，它只是让模型可以“堆得更深”的使能技术。推动算力需求暴涨的主因是 Scaling Law 和产业竞争逻辑下模型规模的膨胀，残差连接是必要条件而非充分条件。

最新事件

（截至 2025 年 6 月公开的学术/产业动态，按时间倒序）

• Llama 4 发布（2025 年 4 月，Meta）：模型使用改进的残差架构支持超长上下文，具体层数和残差配置未公开。
• GPT-4.1 发布（2025 年 4 月，OpenAI）：延续 Transformer + 残差的架构路线，技术报告未披露参数细节。
• DeepSeek V3 / R1（2024 年底 – 2025 年初）：MoE 架构中使用残差连接，公开技术报告详述 Multi-head Latent Attention 中的残差设计（DeepSeek-V3 技术报告, 2024 年 12 月）。
• Sora 类视频生成模型（2024 年，OpenAI / Google Veo）：扩散 Transformer（DiT）架构将残差嵌入噪声预测网络的核心模块。
• 学术界残差理论进展：NeurIPS 2024 有多篇论文探讨残差连接与神经网络的隐式正则化关系，以及大语言模型中 Post-LN 与 Pre-LN 的稳定性理论。

跟踪指标

（用于持续追踪残差连接及相关技术的演进态势）

学术指标

• Top-1 ImageNet 分类准确率（反映残差架构作为视觉主干的有效性边界）
• 已训练的最大模型层数（如 Llama、GPT、Gemini 系列公开的层数信息）
• 每层残差块的梯度范数变化（学术界/实验室指标，公开数据少）

产业指标

• NVIDIA / AMD / 台积电在 AI 硬件季度营收及指引（公开财报）
• 主要大模型（GPT-5、Llama 5 等）的参数规模与层数配置（公开博客/技术报告）
• 主要云服务商（AWS、Azure、GCP）的 AI 算力相关资本支出

财务指标（仅观察行业趋势）

• NVIDIA 数据中心收入同比增速（NVIDIA 季度财报）
• 台湾主要晶圆代工厂（台积电）的先进制程营收占比（公开法说会材料）

信源

1. He et al., 2016. Deep Residual Learning for Image Recognition. CVPR 2016. (ResNet 原始论文)
2. He et al., 2016. Identity Mappings in Deep Residual Networks. ECCV 2016. (预激活 ResNet)
3. Vaswani et al., 2017. Attention Is All You Need. NeurIPS 2017. (Transformer 中的残差设计)
4. Srivastava et al., 2015. Highway Networks. arXiv:1505.00387.
5. Huang et al., 2017. Densely Connected Convolutional Networks. CVPR 2017. (DenseNet)
6. Li et al., 2018. Visualizing the Loss Landscape of Neural Nets. NeurIPS 2018.
7. Dosovitskiy et al., 2021. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. ICLR 2021. (ViT)
8. Liu et al., 2021. Swin Transformer: Hierarchical Vision Transformer using Shifted Windows. ICCV 2021.
9. DeepSeek-AI, 2024. DeepSeek-V3 Technical Report. arXiv:2412.19437.
10. NVIDIA Corporation. FY2024 Annual Report. 2024. 公开财务数据。
11. Alphabet Inc. Form 10-K, FY2023. 2024. 公开财务数据。
12. Microsoft Corporation. Form 10-K, FY2024. 2024. 公开财务数据。
13. Fortune Business Insights. Artificial Intelligence (AI) Chips Market Report. 2024. 第三方行业估算。
14. Epoch AI. Trends in Machine Learning Hardware. 2024. 公开研究报告。
15. Hinton, 2022. The Forward-Forward Algorithm: Some Preliminary Investigations. arXiv:2212.13345.

注：市场数据部分使用了公开的第三方机构估算，具体口径和来源已在正文中标示。技术描述基于学术文献中的共识性结论。本文仅提供概念解释与产业分析，不构成任何形式的投资建议。