PCIe

3 秒看懂

PCIe（Peripheral Component Interconnect Express）是计算机内部连接 CPU 与各类高速外设（GPU、NVMe SSD、网卡等）的串行总线标准，扮演着“数据高速公路”的角色。在 AI 算力集群中，它既是 GPU 与系统内存/存储之间的桥梁，也是多卡互连的主要路径，其每一代带宽倍增直接制约着大规模模型训练的数据搬运效率。当前主流 AI 服务器已从 PCIe 4.0 向 PCIe 5.0 快速切换。

3 分钟产业解释

PCIe 由 PCI-SIG 组织制定，采用点对点、全双工、多通道（Lane）可聚合的封装格式，天然具备高吞吐、低延迟、可扩展特性。在 AI 产业链中，它的作用分布在三个层级：

• CPU ↔ GPU：训练节点内，CPU 通过一组 PCIe x16 链路（或经 Switch 扩展）连接多块加速卡，负责下发指令、搬运已处理的数据。
• GPU ↔ 存储：本地 NVMe SSD 通过 PCIe 挂载，承载训练集的快速读取与检查点保存。
• GPU ↔ 网络：SmartNIC/DPU 通过 PCIe 将多节点 ROCE/RDMA 的数据流注入 GPU 显存，实现跨机通信。

与英伟达 NVLink 形成鲜明对比：前者是通用生态总线，走向更高速的 PCIe 6.0/7.0，并衍生出 CXL（Compute Express Link）以在内存相干互连层面挑战 NVLink；后者是 GPU 点对点的私有高速通路，带宽通常是同代 PCIe 的 2× 以上。因此，PCIe 的演进节奏，很大程度上决定了 AI 服务器架构设计、SSD 接口形态、以及单机多卡“集群”性能上限。

15 分钟专家深入

PCIe 并非单一速率实体，而是一套分版本、分通道宽度、分拓扑的复杂技术体系。理解其细节需要掌握三类参数：

1. 信号速率（Raw bit rate）：每 lane 每秒传输的原始比特数，单位为 GT/s（十亿次传输每秒）。由于编码开销，实际有效数据带宽约打 80%–100% 折扣（PCIe 1.0/2.0 使用 8b/10b 编码，1000 MT/s 仅供 800 MB/s 有效；3.0 起改用 128b/130b 编码，编码损失极低）。
2. 通道宽度：单 lane 可组成 x1、x4、x8、x16 链路，性能线性累积。
3. 拓扑灵活性：PCIe 交换芯片可将一个上游端口扩展为多个下游端口，形成树状结构，这是单机多 GPU 常见的连接方式。

在 AI 训练服务器中，典型的 PCIe 拓扑为一颗 CPU（如 AMD EPYC 或 Intel Xeon）提供 128 条 PCIe lane，分别连接 8 个 GPU（每卡通常占用 x16），剩余 lane 分配给 NVMe SSD、网卡以及芯片间互连。此时，CPU 和 GPU 之间需要经过 PCIe 链路和根复合体（Root Complex）进行内存读写。然而，PCIe 通信需由 CPU 参与发起，即使采用 GPUDirect RDMA 绕过系统内存拷贝，其路径也依赖 PCIe 的事务层和 CPU 的地址翻译。这一点与 NVLink 不经过根复合体的直接内存访问有本质差异，造成了额外的延迟和协议栈开销。

进一步看，PCIe 在现代 GPU 集群中的角色正在被重新定义。英伟达 DGX 类系统虽然内部使用 NVSwitch + NVLink 构成 GPU 高速域，但仍保留 PCIe 通道用于连接 InfiniBand/以太网网卡和存储，甚至在 NVIDIA Grace Hopper 架构中采用 NVLink‑C2C（基于 PCIe 物理层的定制芯片间互连）将 CPU 和 GPU 的高带宽内存进行相干共享。这表明 PCIe 物理层已成为数据中心内部互连的“普通话”，在其之上生长出不同的事务层协议（PCIe 原生、CXL、甚至可能的 UCIe 小芯片互连）。

对投资分析而言，PCIe 的升级意味着接口芯片（Retimer、Redriver、Switch）、IP 核、PCB 板材、连接器的量价齐升，这一产业链动向已在 2023–2024 年 AI 服务器出货放量中得到充分验证。

技术原理（最深）

PCIe 是一种分层协议，自上而下为：事务层（Transaction Layer）、数据链路层（Data Link Layer）、物理层（Physical Layer）。

物理层
采用全双工差分信号传输，每 lane 由两对差分对（TX+/TX-、RX+/RX-）构成，支持 2.5 GT/s 起步的串行速率。为克服高频信号衰减，物理层包含多种信号调理手段：

• 预加重（Pre-emphasis）/去加重（De-emphasis）：发送端人为增强高频分量，以补偿传输线低通效应。
• 接收端均衡（CTLE/DFE）：接收器主动恢复信号。
• Retimer/Redriver：在长链路或通道扩展时，需加入中继芯片。Redriver 仅模拟放大，Retimer 则重新生成时钟和数据（进至 PCIe 4.0/5.0，Retimer 已成必需品）。

物理层逻辑子层负责 8b/10b、128b/130b 编码和扰码，确保直流平衡和时钟恢复。通道绑定（x4、x8、x16）时，多 Lane 需保持确定性的偏斜补偿（De-skew），使所有 Lane 上的符号符号对齐到同一时钟域。

数据链路层
负责包排序、错误检测（LCRC，链路循环冗余校验）、重传机制（Ack/Nak）。它确保不可靠的物理链路上提供可靠通信。同时，还承担链路级电源管理（L0、L0s、L1、L1 sub-states 等休眠状态）和流控协商。

事务层
向上层提供地址空间抽象：内存读/写、配置、消息、I/O。TLP（事务层包）封装实际负载，含 Header（含 Requester ID、Tag、地址、长度等）和 Data。NVMe 命令即通过内存写 TLP 提交 SQ（Submission Queue）。对于大吞吐场景，利用 Max Payload Size（MPS，最大 4 KB）和 Read Completion Boundary 参数优化效率。TLP 还能标记 Relaxed Ordering、ID-based Ordering（PCIe 6.0 引入）以改善并行度，这在多 GPU 收发大量 RDMA 请求时至关重要。

AI 场景下的传输模式
GPU 显存间大规模数据搬移大量依赖 PCIe 的 Peer-to-Peer（P2P） 传输。在同一 PCIe 域下，GPU 可直接通过 TLP 互访对方 BAR 空间。配合 GPUDirect RDMA，网卡可通过 PCIe 直接读写 GPU 显存，无需 CPU 参与，但其控制路径依旧通过 CPU 提交门铃（Doorbell）。因此，PCIe 带宽和延迟仍成为制约单机 8 卡以上规模 AllReduce 操作的瓶颈。常采用 PCIe Switch 构建 GPU 互连的拓扑，以尝试替代昂贵的 NVSwitch。

[CPU] ---- [Root Complex] ---- [PCIe Switch]  
                                 |         |  
                               GPU0..3  GPU4..7  
                   (P2P 访问须经过 Switch，带宽共享 upsream 端口)  

在此拓扑下，GPU 间 P2P 通信均需占用 Switch 上行端口与 CPU 相连的总线，有效带宽除以并发数。这正是许多训练框架让 GPU 之间数据流通绕道 NVLink 而避开 PCIe 的主要原因。

技术演进史

• PCI 时代（1992–2004）：并行总线，133 MB/s（32‑bit/33 MHz），共享带宽架构，已无法满足千兆网络和图形需求。
• PCIe 1.0a（2003）：2.5 GT/s，x16 单向约 4 GB/s（包含编码），全面转向串行点到点，取代 AGP。
• PCIe 2.0（2007）：5 GT/s，引入动态电源管理，初代 NVMe 设备的载体。
• PCIe 3.0（2010）：8 GT/s，改用 128b/130b 编码，有效带宽大幅提升，成为服务器主板最长寿标准，也是首个广泛承载 GPU 计算的代际（NVIDIA Kepler/Maxwell）。AI 训练早期多卡系统主要跑在 PCIe 3.0 x16 上。
• PCIe 4.0（2017）：16 GT/s，带宽翻倍，引发 Retimer 产业扩张。2019 年以后，AMD EPYC 率先全面支持，AI 训练用 GPU 如 A100 即支持 PCIe 4.0。存储端 NVMe SSD 读速破 7 GB/s。
• PCIe 5.0（2019）：32 GT/s，x16 单向约 63 GB/s（双工约 126 GB/s）。2022 年后发布的 H100 等新一代 AI 芯片原生支持 PCIe 5.0。CXL 1.1/2.0 基于 PCIe 5.0 物理层问世，使得内存池化、相干加速成为可能。
• PCIe 6.0（2022 规范发布）：64 GT/s，x16 单向约 121 GB/s。核心技术巨变：信号调制从 NRZ 转向 PAM4（四阶脉冲幅度调制），每 Unit Interval（UI）承载 2 比特，同时引入 FEC（前向纠错）和 FLIT（固定长度传输单元）模式，彻底改变事务层/链路层交互范式。AI 服务器预计在 2025–2026 年导入量产。
• PCIe 7.0（计划 2025 规范）：128 GT/s，继续 PAM4，引入新材料与连接器设计以应对百 GB 级每秒的传输。

从演进中可见两条主线：速率每三年翻一番，以及**基本信号范式改变（NRZ→PAM4）**带来的成本/功耗拐点。这直接影响了 AI 服务器互连的经济性。

技术路线对比（量化表）

上下游

上游：

• PCIe 控制器 IP：Synopsys、Cadence 提供各版本控制器与 PHY IP，芯片设计公司的关键采购对象。
• Retimer/Redriver 芯片：Astera Labs、Renesas、TI、Microchip。AI 服务器里一个 8‑GPU 平台可能用上十余颗 PCIe 5.0 Retimer，单价 15–30 美元。
• Switch 芯片：Broadcom、Microchip（原 Microsemi）主导，提供高密度 PCIe 交换方案，用于构建多 GPU 或 NVMe JBOF。
• 连接器与电缆：Molex、Amphenol、TE Connectivity 供应高速背板连接器、SlimSAS、M.2 等物理接口。
• PCB 板材与验证：PCIe 5.0/6.0 对低损耗板材（如 M6、MEGTRON）需求激增，生益科技等材料商受益。

下游：

• 服务器 OEM/ODM（Dell、HPE、浪潮、超微）将 PCIe 通道布局到主板与 Riser 卡。
• GPU/AI 加速卡厂商：NVIDIA、AMD、Intel 等在其产品上实现 PCIe 接口。
• 存储系统：PCIe retimer 应用于 E1.S / E3.S / U.2 SSD 以及存储阵列。
• 网卡：NVIDIA ConnectX-7 等使用 PCIe 5.0 x16 承载 400GbE 数据；Intel E810 系列使用 PCIe 4.0 x16，主要支持 100GbE。

关键指标

• 每 Lane 原始速率（GT/s）：直接决定总带宽天花板。
• 通道宽度和配置灵活性（Bifurcation）：能否将 x16 拆成 2×x8 或 4×x4，影响单 CPU 挂载多设备的能力。
• 有效带宽（Payload throughput）：由于 TLP 头、编码、流控更新等开销，满速压力测试下有效带宽约 90% 理论值。
• 端到端延迟：CPU 发起到 GPU BAR 写完成的延迟（通常亚微秒级），体现为 TLP 往返开销。越小对通信密集的 HPC/AI 越有利。
• 误码率（BER）：目标 <10⁻¹²（无 FEC），引入 FEC（PCIe 6.0）后改善至 <10⁻¹⁵，避免重传引起尾部延迟。
• 信号完整度眼图（Eye height/width）：链路训练时确定的信号窗口，裕量不足将降速（如 PCIe 5.0 降级 4.0 运行）。

供需与市场数据

根据多家第三方市场研究机构（Yole、Gartner）的估算，2023 年全球 PCIe Retimer 市场规模约 3–5 亿美元，随着 AI 服务器出货量暴增以及 PCIe 5.0 渗透率从 2023 年约 20% 提升到 2025 年超过 60%，这一数字将在 2025–2026 年翻倍。PCIe Switch 市场约 10 亿美元，受限于 GPU 内部 NVSwitch 替代效应，但来自智能网卡、CXL 交换机与存储分解的需求将保持高增长。

从 AI 服务器看，每台配置 8 颗高性能 GPU 的服务器大约需要 8–12 颗 PCIe 5.0 Retimer（用于 GPU‑to‑CPU、NVMe 笼以及 Riser 卡）。2024 年全球 AI 服务器出货量近 200 万台（多数为 4–8 GPU 配置），对 PCIe 5.0 芯片形成强劲需求，一度出现 Retimer 交期拉长至 20 周以上的紧张状况。

PCB 与连接器方面，PCIe 5.0/6.0 推动高端材料需求，超低损耗材料用量增加，相关供应商营收因 AI 服务器增厚显著（据估算，AI 服务器单机 PCB 价值量可达传统服务器的 5–8 倍，其中 PCIe 相关走线占比贡献可观）。

（数据来源：多份投行研报及供应链调查，具体数字为行业估算。）

代表公司与资本映射

芯片/IP 层

• Astera Labs (ALAB)：PCIe Retimer 龙头，率先量产 PCIe 5.0 Retimer，深度绑定 AI 服务器平台，被视作“AI 互连的卖铲人”，上市后市值大幅攀升。
• Synopsys (SNPS)、Cadence (CDNS)：提供 PCIe 6.0 控制器与 PHY 的 IP，从 AI 芯片设计潮中直接受益。
• Broadcom (AVGO)：PCIe Switch 全球第一，同时推出 PCIe/CXL Retimer。
• Renesas、Montage Technology（澜起科技）：切入 PCIe 5.0 Retimer 市场。

元器件与制造

• 生益科技、台耀、联茂：高速 CCL（覆铜板）供应商，AI 服务器 PCIe 走线需超低损耗材料，利润率表现突出。
• 沪电股份、胜宏科技、景旺电子：高阶 HDI、背板 PCB 制造商，直接受益于 AI 服务器高价值 PCB 订单。
• 安费诺、Molex、泰科：高速连接器龙头，单机 PCIe 连接器价值量随通道数增加而上升。

终端与生态

• NVIDIA (NVDA)：虽优先推荐 NVLink，但其 GPU 均集成最新 PCIe 控制器，并带动上游 Retimer 需求。
• Intel (INTC)、AMD (AMD)：CPU 平台提供 PCIe lane 数量与代际决定了整体生态节奏。
• Dell、HPE、浪潮、超微：AI 服务器制造商，下游集成方，供应链配置直接受 PCIe 升级周期驱动。

投资逻辑

1. 代际升级带来的价值增量
从 4.0 到 5.0，再从 5.0 到 6.0，每一个节点都伴随 Retimer 用量激增或单价提升。PCIe 6.0 引入 PAM4 和 FEC，Retimer 复杂度上升，单颗价值量可能进一步抬升，且 Switch 芯片因 CXL 需求有望迎来第二增长曲线。

2. AI 服务器出货量与单机价值共振
单台 GPU 服务器 PCIe 相关芯片 + 连接器 + PCB 增值总和可达数百美元。当 AI 服务器出货量年增 40–50%，该细分市场即具有高弹性。

3. CXL 打开第二市场空间
CXL 基于 PCIe 5.0/6.0 物理层，可连接 CPU 与加速器、内存控制器，实现解耦资源池。一旦数据中心内存池化成为主流，PCIe Switch/Retimer 将在结构内扮演核心互连角色，需求可从现有服务器扩展至整个机柜级解耦网络。

风险提示：竞争风险（部分 GPU 间通信完全转向私有 NVLink 而减少对高带宽 PCIe 的依赖）、技术替代风险（UCIe 等小芯片互连可能会绕过板级 PCIe）、价格竞争风险（Retimer 供应商增多导致毛利率下滑）。

常见误读纠偏

误读 1：PCIe x16 的实际数据率就是 128 GT/s（PCIe 5.0 为例）
事实：PCIe 5.0 单 lane 原始速率是 32 GT/s，x16 链路总原始速率为 512 GT/s（双工合计 1024 GT/s）。每个方向原始速率为 32 GT/s × 16 = 512 GT/s。经 128b/130b 编码，有效载荷率约为 128/130，但还要扣除 TLP 包 Header、链路流控包等开销，最终应用层能获得的单向带宽一般不超过 60 GB/s。用户常把“双向总带宽”与“单向可用带宽”混淆。

误读 2：有 NVLink 的 GPU 系统不需要操心 PCIe
事实：即使所有 GPU 都通过 NVLink 全互连，它仍需 PCIe 来连接系统内存（CPU 端）、NIC 和存储。CPU 与 GPU 之间的控制通路、显存页迁移等依然依赖 PCIe。在 Grace Hopper 这类紧耦合系统中，NVLink‑C2C 成为相干连接的核心，NVLink 仅负责 GPU 间带宽，两者角色迥异，不可替代。

误读 3：PCIe 6.0 只是速度更快，没有本质变化
从 NRZ 变 PAM4 是物理层信号范式的改变，意味着过去积累的信道设计经验几乎需要重来。引入 FLIT 和 FEC 彻底打乱了传统的 TLP 交付和重传模型，对交换芯片、端点控制器的设计复杂度影响深远。这会重置部分厂商的竞争格局。

学习路径

1. 基础规范：阅读 PCI-SIG 官方基础白皮书，理解 3 层结构和通道初始化流程。
2. 信号完整性：学习 NRZ 与 PAM4 眼图、误码率、均衡技术（CTLE, DFE）。
3. 系统架构：剖析一款 GPU 服务器（如 NVIDIA DGX 或 HGX）的 PCIe 树状拓扑，导出 lspci -t 对比理解。
4. 抓包分析：使用 PCIe 协议分析仪捕获 TLP，观察内存读/写、完成报文。
5. 演进追踪：精读 PCIe 6.0/7.0 规范更新（尤其 FLIT 与 FEC），同步跟踪 CXL 3.0 规范。
6. 产业跟踪：关注 Retimer 厂商（Astera Labs, Renesas）和 Switch 厂商（Broadcom）的财报与设计 win 公告，把握渗透节奏。

一句话总结

PCIe 是 AI 基础设施的“数据大动脉”——它定义了 CPU 与加速器、存储、网络之间的带宽边界，每一次代际升级都重新划分了数据中心互连的价值版图。

延伸阅读与来源

• PCI-SIG 官网：PCIe Base Specification 各版本
• Astera Labs 上市招股书（S‑1），详细披露 Retimer 市场规模与公司份额
• Synopsys “PCIe 6.0 – The Next Generation” 技术白皮书
• NVIDIA “NVIDIA AI Enterprise Platform Architecture” 白皮书（了解 PCIe 在 DGX 平台的角色）
• CXL Consortium：CXL 3.0 规范，展示基于 PCIe 物理层的未来
• 行业第三方报告：Yole “PCIe Retimer Market Tracker”，Gartner “Server Interconnect Forecast”
• 国内券商深度报告（如中信建投、国信证券关于服务器互连芯片的专题研报）