PCIe Switch

1. 3 秒看懂

PCIe Switch 是服务器与数据中心内部的“高速立交桥”与“带宽复用枢纽”。其本质功能是把主机 CPU 数量有限的 PCIe 通道，扩张为数十条、甚至上百条下行通道，在 GPU、NVMe SSD、智能网卡与 CPU 之间构建无阻塞、低延迟的数据交换平面。对于 2025 年主流的 4-16 GPU AI 训练节点而言，没有 PCIe Switch，单靠 CPU 直连根本无法挂载全部设备，它是 AI 算力节点内部不可或缺的连接中枢。

2. 3 分钟产业解释

若将一颗服务器 CPU 的 PCIe 通道想象成一座城市仅有的几条高速公路入口，每个 GPU、SSD、网卡都是散布在周边的大型工业园区。若所有园区的货运车辆都必须挤进中央收费站（CPU），城市会在入口处瘫痪。PCIe Switch 相当于在高速入口和多个工业园区之间建设了一座多层立体交通枢纽。它允许不同园区之间的货车（数据）通过枢纽内部的高架匝道直通，无需再进入市中心绕行；同时通过智能调度，将有限的上行高速入口资源，动态分配给最需要对外运输的园区。

在 2025 年大模型训练集群中，一台 8 GPU 的 AI 服务器需要同时连接 GPU、高速网卡、NVMe 存储盘。CPU 提供的 96 条 PCIe 5.0 通道根本不够用。PCIe Switch 通过 少量上行端口连接 CPU，扩展出几十条下行端口连接外设，同时允许 GPU 之间直接通过 Switch 做 P2P 通信，避开 CPU 瓶颈。没有这个枢纽，大规模 GPU 集群内部的高速通信将无法高效运行。

3. 技术原理

PCIe Switch 的本质是一个在 PCIe 事务层运行的智能交叉开关矩阵，它不是简单的分线器，而是一套完整的片上网络。

• 交叉开关矩阵：Switch 核心为 N×N 的 Crossbar 结构。当一个下行 GPU 端口需要向另一个 GPU 发送梯度数据时，数据包进入 Switch 后，矩阵可为这两个端口建立直连路径，与其它端口间的通信并行不悖。理论上所有端口对之间可同时建立连接。
• 事务层路由：每个 PCIe TLP 事务包中携带目标设备的 Bus/Device/Function 地址。Switch 内部维护一张路由表，通过查找目标地址决定数据包从哪个下行端口发出。对于 P2P 传输，数据包无需上传至 CPU 根复合体，而是直接在 Switch 内部转发至目标下行端口。
• 虚拟通道与 QoS：PCIe 协议在原链路中定义多个虚拟通道，各通道有独立缓冲区与优先级。Switch 为每个 VC 维持独立的队列和仲裁逻辑。当 GPU 间 All-Reduce 通信与 SSD 读写请求同时竞争上行带宽时，高优先级的 GPU 通信 VC 可获得优先调度，使关键训练流量不被普通 I/O 阻塞。
• 非透明桥接：在双主机或多主机场景，NTB 端口对两端主机分别呈现为一个标准的 PCIe 端点。两个独立的 PCIe 域各自枚举到这个端点，通过该端点中转完成跨主机的数据交换，实现多主机共享下游存储资源，这是高可用存储集群与 NVMe-oF 目标端的硬件基础。
• 直通与广播：Switch 还支持多播与广播功能，可将同一份数据同时发送给多个下游设备，对分布式训练中的数据同步操作具有实际价值。

graph TB
    subgraph “PCIe Switch 内部架构”
        A[Upstream Port 上行端口
连接 CPU Root Complex] --> B[Central Crossbar Matrix
中心交叉开关矩阵]
        B --> C[Downstream Port 1
GPU 0]
        B --> D[Downstream Port 2
GPU 1]
        B --> E[Downstream Port 3
NVMe SSD]
        B --> F[Downstream Port 4
网卡]
        B --> G[Downstream Port 5
NTB 连接第二主机]
    end

4. 关键参数

PCIe Switch 的核心参数直接影响服务器系统设计的可行性与集群效率。以下为 2025 年数据中心级产品的主要参考指标。

• 端口数量与可配置性：产品通常标示为 “总 lane 数 + 可配置端口宽度”，如 100 lanes、可拆分为 x16/x8/x4 组合。AI 服务器常见要求为：2 个上行 x16 端口，8-16 个下行 x8 端口。Broadcom PEX89000 系列（PCIe 5.0）最大支持约 144 lanes（公开资料未见官方完整 datasheet 确认，该数字来自行业引用，可能存在型号差异）。
• 聚合带宽：以 PCIe 5.0 每 lane 约 4 GB/s（双向，128b/130b 编码扣除后）计，144 lanes 的 Switch 理论聚合带宽可超过 500 GB/s。实际可用带宽受内部阻塞与目标设备吞吐限制。
• 转发延迟：这是区分高端与中低端 Switch 的核心指标。主流 AI 用 PCIe 5.0 Switch 的端口至端口最小转发延迟约在 100-150 ns 量级（公开资料未见 Broadcom 与 Microchip 对最新型号的明确数值披露，此为行业共识区间）。延迟会随虚拟通道数、拥塞程度而变化。
• P2P 带宽：理论上同 Switch 下游两张 GPU 间 P2P 双向带宽可达单端口线速（PCIe 5.0 x16 约 128 GB/s），实际受 GPU 内部接口能力与驱动栈影响。Broadcom 与 Microchip 在宣传材料中均强调线速 P2P 能力，但未见公开第三方独立评测。
• 虚拟通道与流量类别数：PCIe 5.0 Switch 一般支持 8 条以上 VC，可映射多个 TC，用于 GPU 通信、存储、网络管理等流量隔离。VC 越多，调度逻辑越复杂，芯片面积越大。
• 功耗：高端 PCIe 5.0 Switch 芯片 TDP 通常在 20-40 W 级别（基于行业推演，具体型号未获官方 TDP 公开数据）。16 GPU 节点若部署 4 颗 Switch，合计约 80-160 W，需在系统散热预算中预留。
• PCIe 代际与 FEC：PCIe 4.0/5.0/6.0 的编码方式分别为 128b/130b、128b/130b、PAM4+FEC。PCIe 6.0 引入前向纠错导致延迟增加，Switch 设计需权衡带宽提升与延迟恶化。

5. 技术路线

• PCIe 2.0/3.0 时代：核心任务为端口扩展。代表产品为 Microchip Switchtec 与 Broadcom（原 PLX）PEX8700/PEX9700 系列。主要应用场景为存储阵列与通信设备。P2P 性能未作为首要设计目标，NTB 功能开始实用化。
• PCIe 4.0/5.0 时代（当前主流）：AI 训练需求驱动 P2P 性能成为核心卖点。Broadcom PEX88000（PCIe 4.0）与 PEX89000（PCIe 5.0）、Microchip Switchtec PFX/PAX 系列各自代表了产品方向。内部交叉矩阵进一步优化，延迟降低，增加硬件 QoS 与遥测功能，支持 SR-IOV、ACS 等虚拟化特性。2025 年 AI 服务器的大规模出货均基于此代 Switch。
• PCIe 6.0 与 CXL 融合（2025-2028）：PCIe 6.0 物理层采用 PAM4 调制和 FEC，单 lane 带宽翻倍至 8 GB/s，但信令复杂度剧增。同时，CXL.io 协议基于 PCIe 5.0/6.0 物理层运行，CXL.cache 与 CXL.mem 需要 Switch 内部对缓存一致性和内存访问语义进行额外处理。未来产品将是 “PCIe 6.0 + CXL 3.x Switch”，向下兼容 PCIe 设备，向上支持内存池化。博通在 2023-2024 年已展示 CXL Switch 原型，Microchip 也在推进相关产品线（公开资料未见 2025 年量产具体型号与时间表）。
• 芯片制程路线：PCIe 3.0 Switch 多在 40-28 nm 工艺制造；PCIe 5.0 高端型号向 16 nm/7 nm 迁移以控制功耗和提升 SerDes 性能；PCIe 6.0/CXL Switch 预计将主流采用 5 nm/4 nm 制程，以获得能效比优势。不过成熟制程仍在部分中低端型号中沿用，先进制程并非全品类的必要条件。

6. 上游

• PCIe SerDes PHY IP：高端 Switch 厂商几乎全部自研 SerDes。Broadcom 与 Microchip 拥有数十年的模拟混合信号设计积累，其 SerDes IP 是核心护城河。独立 IP 供应商如 Synopsys、Cadence 可提供 PCIe PHY IP，但主要面向 ASIC 或中小型芯片公司，不具备与自研方案在高性能场景中竞争的能力。
• 晶圆代工：2025 年，PCIe 5.0 Switch 主流代工节点为 16 nm/14 nm FinFET，主要流片于台积电的成熟制程。先进 PCIe 6.0/CXL Switch 开始进入 5 nm/4 nm 平台。台积电是该领域的主导代工厂，部分产品可能出现于三星 Foundry，但公开资料未见明确份额数据。
• 先进封装：高端 Switch 芯片对封装基板层数和信号完整性要求极高。FC-BGA 是标准封装形式。随着 SerDes 速率从 32 GT/s（PCIe 5.0）提升至 64 GT/s（PCIe 6.0），基板材料与设计成为影响量产良率和信号质量的关键环节。先进封装（如 CoWoS）并非 Switch 芯片的主流方案，但未来 CXL Switch 若集成高带宽内存控制器，可能引入 2.5D 封装，目前公开资料未见量产实例。
• 测试与验证设备：PCIe 5.0/6.0 高速信号测试依赖高端示波器、误码仪与协议分析仪，主要供应商为是德科技、泰克、安立。这是确保 Switch 芯片符合 PCI-SIG 认证的必要条件。

7. 下游

• AI 服务器厂商：主要客户。单台 8 GPU 的 HGX 系统通常配置 4 颗 PCIe 5.0 Switch，16 GPU 系统可能更高。2025 年主要采购方包括 Dell、HPE、Supermicro、联想、浪潮信息、新华三等，直接向 Broadcom 或 Microchip 采购芯片或通过 ODM/合同制造商集成到主板/PCIe 背板。
• 超大规模云厂商白盒设计：AWS、Microsoft Azure、Google Cloud、Meta 等厂商大量采用自研白盒服务器。它们通过 ODM（广达、纬创、英业达等）指定使用特定型号的 PCIe Switch，作为板上互联的标准件。该类需求量大、型号集中，对 Switch 厂商而言是头部订单来源。
• GPU 平台厂商：NVIDIA 的 HGX/OEM 参考设计中明确规定了 PCIe Switch 的型号与拓扑，Switch 厂商的产品一旦进入 NV 认证物料清单，即可锁定大量订单。AMD Instinct 的类似参考设计也遵循这一模式。
• 高性能存储阵列厂商：Pure Storage、NetApp、Dell EMC 的全闪存阵列中，控制器与 NVMe 盘柜之间的互联依赖 PCIe Switch 实现扇出与多路径。这个市场需求相对稳定，但总量远小于 AI 服务器。
• 网络与 DPU 厂商：NVIDIA BlueField DPU、AMD Pensando、Intel IPU 及各种智能网卡常通过 PCIe Switch 连接多个加速器或 NVMe 盘，构成可组合的 SmartNIC 系统。

8. 受益公司

• Broadcom（博通，AVGO）：目前全球 PCIe Switch 市场的绝对龙头。PEX 系列是 AI 服务器参考设计中的主导选择，市场份额据 Mercury Research 与行业供应链估计约 70-80%（具体精确份额每年波动，此为 2024 年行业共识区间）。该业务隶属于博通半导体解决方案部门下的交换芯片产品线，属于高毛利、高壁垒的利基市场。博通同时布局 PCIe 6.0 与 CXL Switch，具有从连接层到协议层全面覆盖的优势。
• Microchip Technology（微芯科技，MCHP）：通过收购 Microsemi（前身为 PMC-Sierra）获得 Switchtec 产品线，是第二大厂商，份额估计约 15-25%（2024 年行业估算）。Switchtec 在存储、工业、通信等非AI领域根基深厚，在 AI 服务器市场处于追赶地位。其优势在于可编程性和配套软件生态，但在 AI 超大规模客户中的 Design Win 少于 Broadcom。
• 其他潜在进入者：部分国内芯片公司已公开或半公开地布局 PCIe Switch 研发，部分完成 PCIe 4.0/5.0 原型的流片。杭州、上海等地多家公司在该领域进行长期探索，但截至 2025 年上半年，公开资料未见在大型 AI 服务器中有规模商业化部署的明确量产证据。澜起科技拥有 PCIe/CXL Retimer 产品线，其为信号调理芯片而非 Switch，但揭示了国内公司在 PCIe 高速互联领域的技术积累正在积累。未来是否能向上演进至 Switch，存在技术可能但面临专利、生态与客户认证门槛。

9. 市场规模

• 全球出货量：数据中心用 PCIe Switch 芯片年出货量估计在 1,500 万 - 2,500 万颗区间（2024 年行业估算，来自 Mercury Research、LightCounting 等机构对服务器互联芯片的总量推算，结合 AI 服务器渗透率校正，未获得精确官方数字）。其中 AI 服务器约占 30-40%，且占比提升速度较快。
• 平均单价：PCIe 4.0/5.0 Switch 单价在 30-150 美元区间，高端多端口型号单价更高。按加权均价约 60 美元估算，全球 PCIe Switch 芯片市场规模约 9-15 亿美元（2024 年估算，口径为芯片级销售，不包含板卡或系统集成价值）。面向 PCIe 6.0/CXL 的下一代 Switch 单价有望增至 150-300 美元。
• 市场总空间展望：考虑 AI 服务器出货持续增长、PCIe 代际升级和 CXL 融合趋势，2027-2028 年全球 PCIe/CXL Switch 芯片市场有望触及 25-35 亿美元（行业愿景级推算，公开资料未见权威机构的精确预测报告），但路径依赖于 CXL 内存池化等场景的商业化进度。
• 量价拆分：量的驱动力来自 GPU 数量增长与单服务器 Switch 用量提升（8 GPU → 16 GPU）；价的驱动力来自 PCIe 6.0/CXL 的芯片复杂度上升和单价提高。

10. 玩家对比

雷达图示意（定性）：

graph LR
    subgraph 市场地位与能力对比
        direction TB
        A[市场占有率] --> B[Broadcom: 极高]
        A --> C[Microchip: 中]
        A --> D[国内厂商: 暂低]
        E[AI服务器渗透] --> F[Broadcom: 极高]
        E --> G[Microchip: 低]
        E --> H[国内厂商: 暂无]
        I[软件生态] --> J[Broadcom: 中]
        I --> K[Microchip: 较高]
        I --> L[国内厂商: 公开不详]
    end

11. 风险

• 技术融合风险：NVLink-NVSwitch 是 NVIDIA 专有的 GPU 间互联系统，与 PCIe Switch 在功能上部分重叠。如果 NVIDIA 未来在更多型号和场景中强化 NVLink-NVSwitch 的板级与机架级能力，可能在一定程度上降低系统对通用 PCIe Switch 的依赖。但目前的产业共识是两者为分层互补关系，而非完全替代。该风险的大小取决于 NVLink 生态的开放程度与行业扩散范围。
• 供应链单一性风险：博通在 PCIe Switch 市场的高份额，使得大型 AI 服务器厂商的供应链存在集中度风险。若出现工艺交付问题或突发产能瓶颈，部分 AI 服务器出货可能受芯片供应约束。Microchip 作为第二供应商提供了一定对冲，但其产能与客户验证速度未必能快速填补缺口。
• CXL 商业化不及预期：CXL Switch 被行业视为下一代增长点，但 CXL 内存池化、CXL 存储等场景目前仍处于早期商用验证阶段。如果 CXL 生态搭建缓慢，则 Switch 厂商在 PCIe 6.0/CXL 产品上的研发投入可能会延迟变现。
• 国产替代周期风险：国内公司进入该领域面临着 PCIe 协议专利池、SerDes IP 自研难度、客户认证周期长等壁垒。从 Retimer 到 Switch 并非线性升级，Switch 在事务层、路由、虚拟化等方面的复杂度显著更高，商业化时间表存在高度不确定性。
• PCIe 6.0 信号完整性挑战：新一代 PAM4 信令在 PCB、连接器和背板上的信号衰减显著加剧，Switch 芯片自身的设计容限变窄，可能推高系统集成难度和整体成本，从而影响客户升级意愿。

12. 误读纠偏

• 误读一：“PCIe Switch 就是服务器里面的网络交换机。” 纠偏：两者的本质区别在于协议栈层次与应用位置。以太网交换机工作在 L2 及以上，处理以太网帧，用于跨机架、跨数据中心的远距离网络互联。PCIe Switch 在事务层处理 TLP 数据包，用于同一台服务器内部主板或背板上 CPU 与 GPU、SSD 之间的板级互联，距离仅为数十厘米，延迟要求极低。不恰当的类比会模糊两者的技术门槛与设计目标。

• 误读二：“英伟达的 NVLink 淘汰了 PCIe Switch。” 纠偏：NVLink 解决的是 GPU-GPU 间超高带宽、超低延迟的专属通信需求，其协议并非 PCIe 标准，且不连接 CPU、NVMe SSD 或标准网卡。PCIe Switch 仍然是 GPU 与 CPU 之间、GPU 与 NVMe 存储之间、GPU 与网络接口之间的通用基础互联中枢。实际 GPU 服务器中，两种互联技术是并存的：GPU 之间用 NVLink 搬运权重/梯度，GPU 与其余外设及 CPU 之间的控制信息、存储 I/O 等，大量依赖 PCIe Switch 转发。

• 误读三：“CXL 出来以后 PCIe Switch 会被 CXL Switch 完全替代。” 纠偏：CXL 本身复用 PCIe 物理层，CXL Switch 的底层仍然是高速 PCIe SerDes 与物理链路。CXL Switch 更像是在 PCIe Switch 基础上增加了对 CXL.cache 与 CXL.mem 协议的处理能力，可以视为 PCIe Switch 的功能超集。对于不需要内存池化和缓存一致性的通用 PCIe 设备来说，纯 PCIe Switch 依然是最经济高效的选择。二者将在未来较长时间内共存，而非替代。

13. 最新事件

• Broadcom 发布 PCIe 6.0/CXL Switch 样品（2024 年 - 2025 年初）：Broadcom 在 2024 年多场行业会议上展示基于 5 nm 工艺的 PCIe 6.0 交换芯片及 CXL 功能原型，强调向下兼容 PCIe 5.0/4.0 设备。公开资料未见 2025 年上半年确切量产出货公告。
• Microchip 推出新一代 Switchtec PCIe 5.0 产品（2023 年 - 2024 年）：Microchip 发布了支持更高端口数和更低功耗的新款 Switchtec PFX/PAX 系列，目标瞄准 AI/ML 服务器与存储，但未披露具体头部客户的采用情况。
• CXL 3.1 规范发布（2024 年底）：CXL 联盟更新至 3.1 版本，增强了对内存共享、安全与多级交换拓扑的支持，为 CXL Switch 在 2025-2026 年的商用铺平规范基础。
• 英伟达在 GTC 2025 展示 PCIe 6.0 互联方案（2025 年 3 月）：英伟达最新一代 GPU 平台开始引入 PCIe 6.0 物理连接，并公开提及与 Switch 供应商的合作，进一步明确 PCIe 交换芯片在未来几代 DGX/HGX 系统中的持续关键地位。公开报道未披露具体供应商份额分配。
• OCP 标准组织推动 PCIe/CXL 交换模块标准化（2024-2025 年）：开放计算项目开始制定模块化 PCIe Switch 卡与背板的形状规格，以降低白盒设计中的验证成本，中长期有望使第二供应商更容易进入生态系统。

14. 跟踪指标

• 博通季度交换芯片营收：可通过博通财报中半导体业务下相关产品线的披露，推算 PCIe 交换芯片的大致增长趋势。注意区分数据中心交换芯片（以太网）与 PCIe 交换芯片的不同收入流（公开财报通常不单独拆分 PCIe Switch 的具体收入，只能通过管理层陈述推测）。
• AI 服务器出货量：以季度 GPU 服务器出货数量（来自 IDC、TrendForce 等机构数据）结合单台服务器 PCIe Switch 搭载量（通常 4 颗为主流），自下而上推算需求规模。2025 年主要关注的变量是 8 GPU/16 GPU 系统各自占比。
• PCIe 5.0 Switch 的 Design Win 与认证：关注主要云厂商和服务器 ODM 的物料清单更新，以及 NVIDIA HGX 参考设计的最新版本，确认 Broadcom 与 Microchip 的份额变化及国内厂商是否有实质性进入。
• CXL 交换芯片商用时间表：跟踪博通与 Microchip 的 CXL Switch 量产公告，以及 AWS、Azure、Google 在 CXL 内存池化方案上的落地进度，这是判断行业第二增长曲线是否启动的核心信号。
• 第二代供应商进展：观察国内相关公司的流片、送样与客户测试信息，区分 PCIe Retimer、PCIe Switch、CXL Switch 的不同产品阶段，避免概念混淆。
• NVIDIA 下一代平台内部互联拓扑：Blackwell Ultra、Rubin 等后续平台的公开内部框图，揭示 NVLink 与 PCIe Switch 的数量配比是否发生重大变化，将是判断 PCIe Switch 长期需求结构的关键线索。
• 贸易政策与芯片合规动态：部分高性能交换芯片可能受到特定国家出口管制政策的影响，需持续追踪法规更新及其对供给格局的潜在扰动。

15. 信源

• PCI-SIG 官方规范：PCIe Base Specification 各版本，是理解 Switch 事务层行为、虚拟通道、ACS、SR-IOV 等技术细节的权威文本。
• 博通 PCIe Switch 产品线页面：Broadcom 官方网站对 PEX 系列的公开介绍，提供功能亮点与目标应用概述，具体数据手册通常未公开。
• Microchip Switchtec 产品资料：Switchtec 系列的公开技术文档与软件 SDK，包含部分架构说明和配置示例。
• 行业分析报告：Mercury Research、LightCounting、650 Group 等关于数据中心互联芯片的市场报告，提供 TAM、份额等估算数据（费用较高，多为摘要公开）。
• Hot Chips / OCP / PCI-SIG DevCon 会议论文与演讲：博通、Microchip、英伟达等厂商的技术演讲，是获取 PCIe Switch 与 CXL Switch 前沿进展的重要渠道。
• 服务器 ODM 与云厂商公开硬件设计：OCP 开放硬件规格、部分云厂商开源的白盒服务器设计文档，可从中解析 PCIe Switch 的拓扑与选型。
• 注：本文中涉及的市场规模、份额、单价、延迟等具体数值，部分基于行业公认的估算区间与原理推演，并已标注来源类别与不确定性。所有未标注精确出处的财务/市场数字，在引用时需注意其属于行业估算而包含误差。