交换托盘
3 秒看懂
交换托盘是专为大规模AI数据中心设计的高密度网络交换设备物理形态。它不是一个独立的机箱,而是像硬盘或服务器刀片一样,可以被插入标准化机柜(机架)中,实现网络交换功能的高密度、模块化部署。它的核心价值在于,以远高于传统盒式交换机的端口密度和带宽,支撑AI训练与推理所需的海量GPU间通信。
3 分钟产业解释
在AI大模型时代,单个GPU算力有限,必须将成千上万的GPU(如NVIDIA的H100、B100)连接成一个协同工作的“超级计算机”。这个连接网络被称为“后端网络”或“AI后端网络”。交换托盘就是这个网络的“交通枢纽”和“高速公路立交桥”。
- 形态:它通常是一个符合标准机架单元(如4U或更薄)的平板式设备,内部集成了多个高速交换芯片(ASIC)和配套的电源、散热模块。
- 关键作用:将数千个GPU通过高速光模块和光纤连接起来,确保数据(如模型参数、梯度)能在它们之间低延迟、高带宽地传输。没有它,GPU集群就是一堆孤立的计算单元。
- 产业位置:它是AI算力硬件基础设施的网络层核心,上承AI服务器/集群,下接光模块与光纤布线。其技术演进直接决定了AI集群的规模和效率上限。
15 分钟专家深入
交换托盘的兴起源于AI训练网络对带宽、密度和成本的极致追求。传统数据中心采用盒式交换机(如思科的Nexus系列)通过机柜顶部的交换机(ToR)连接服务器,层级较多,延迟和成本在万卡集群中变得不可接受。
- 技术路线:当前主流路线是基于Clos(或Fat-Tree)的扁平化网络架构。交换托盘在此架构中,常作为“Spine”(骨干层)交换机使用。它拥有极高的下行端口密度(连接服务器或下层交换机)和上行端口密度(连接其他Spine交换机),以支持无阻塞或接近无阻塞的网络。
- 市场格局:这是一个由少数几家主导的利基市场。
- 自研派:以谷歌(TPU网络)为代表的超大规模云厂商,倾向于自研交换芯片和交换托盘,以深度优化软硬件协同。微软等厂商则自研交换系统,但依赖商用交换芯片。
- 商用市场:主要被NVIDIA(Spectrum-X系列)、Arista Networks等公司占据。NVIDIA提供从交换芯片到完整交换托盘的全栈解决方案,Arista Networks等系统集成商则基于商用芯片提供交换托盘。博通作为核心交换芯片供应商,提供芯片及参考设计,不直接销售整机。
- 供应链关键:其核心是高速交换芯片(ASIC),主要由博通和NVIDIA(通过收购Mellanox获得)供应。国内厂商如盛科网络也在努力追赶。
- 技术挑战:
- 信号完整性:在极小的PCB面积上实现超过100G/lane甚至更高(向400G/lane演进)的信号传输,对PCB材料、连接器和物理设计是巨大挑战。
- 功耗与散热:单个交换托盘功耗可达数千瓦,必须采用高效的液冷或高级风冷方案。
- 软件与协议:需要支持RoCEv2、拥塞控制、自适应路由等针对AI流量优化的无损网络协议。
技术原理
交换托盘的内部架构可简化为一个“多层交换矩阵”。
+-------------------------------------------------------------------+
| 交换托盘 (Switch Tray) |
| +-----------+ +-----------+ +-----------+ +-----------+ |
| | 交换芯片 | | 交换芯片 | | 交换芯片 | | 交换芯片 | ... |
| | ASIC | | ASIC | | ASIC | | ASIC | |
| +-----+-----+ +-----+-----+ +-----+-----+ +-----+-----+ |
| | | | | |
| +-----v--------------v--------------v--------------v-----+ |
| | 高速背板 / 中板 (Backplane/Midplane) | |
| +-----+--------------+--------------+--------------+-----+ |
| | | | | |
| +-----v-----+ +-----v-----+ +-----v-----+ +-----v-----+ |
| | 前面板 | | 前面板 | | 前面板 | | 前面板 | ... |
| | 高速光口 | | 高速光口 | | 高速光口 | | 高速光口 | |
| | (QSFP-DD, OSFP) | | | | | |
| +-----------+ +-----------+ +-----------+ +-----------+ |
| |
| +----------------+ +----------------+ |
| | 电源模块 | | 散热风扇 | |
| +----------------+ +----------------+ |
+-------------------------------------------------------------------+
关键机制与参数(基于行业通用架构推断):
- 交换芯片互联:多个交换芯片(ASIC)通过高速SerDes(串行器/解串器)链路连接到背板/中板上的高速总线或交叉开关(Crossbar),形成一个大的逻辑交换芯片。这是一种分布式转发架构。
- 端口配置:一个典型的交换托盘可能提供数十个 400G或800G的QSFP-DD/OSFP光模块插槽。具体端口数量取决于交换芯片的容量和托盘的物理尺寸。
- 转发能力:整个托盘的总交换容量通常在数Tbps到数十Tbps量级([行业估算])。这个数字是衡量其性能的核心指标之一。
- 关键组件:
- 交换芯片:决定托盘容量、功能(如对无损网络的支持)的核心。典型厂商如博通的Tomahawk/Jericho系列、NVIDIA的Spectrum-4等。
- 光模块:400G/800G OSFP/QSFP-DD光模块是主要成本和功耗来源之一。
- 电源与散热:采用高效率的开关电源和强力风扇或液冷方案。
技术演进史
- 前AI时代(~2016):数据中心主流是传统三层架构和盒式交换机,交换托盘形态多用于运营商核心路由,非数据中心主流。
- AI训练兴起(2016-2020):随着GPU集群规模扩大,扁平化Leaf-Spine架构成为标准。高密度、模块化的交换设备需求开始出现,“白盒交换机” 概念兴起,推动了基于博通芯片的交换托盘在超大规模数据中心的部署。
- AI大爆发(2021-至今):万亿参数模型训练需要万卡甚至十万卡互联。交换托盘成为AI数据中心后端网络的“脊梁骨”。技术焦点转向:
- 速率升级:从100G/400G向800G、1.6T演进。
- 协议优化:深度集成无损网络(RDMA over Converged Ethernet)、智能拥塞控制。
- 深度集成:与液冷系统、AI调度软件深度耦合,成为AI基础设施的有机组成部分。
技术路线对比
| 特性维度 | 传统盒式交换机 (ToR/Leaf) | 交换托盘 (AI Spine/Core) | 自研专用网络设备 (如Google TPU) |
|---|---|---|---|
| 物理形态 | 独立机箱,通常1U-2U | 标准化托盘,可插入机柜,通常4U+ | 定制化机柜或托盘 |
| 端口密度 | 中等,通常48x 25G/100G + 8x 100G/400G | 极高,数十个400G/800G端口 | 极高,定制化接口 |
| 部署规模 | 每服务器机柜1-2台 | 用于汇聚层,数量远少于服务器 | 规模与自研芯片集群匹配 |
| 主要目标 | 连接服务器,提供基础二层/三层功能 | 实现超大规模、低延迟、无阻塞AI后端网络 | 极致优化特定工作负载(如LLM训练)的通信效率 |
| 成本考量 | 单机成本相对较低,但总拥有成本(TCO)在AI场景下可能不优 | 单机成本高,但能降低每Gbps带宽成本和网络层级复杂度 | 巨额研发投入,但长期可能降低TCO |
| 典型厂商 | Arista, Cisco, HPE | NVIDIA, Arista, 博通 (芯片+设计) | Google, Microsoft |
| 技术来源 | 成熟商用方案 | 商用芯片+优化系统设计 | 全栈自研(芯片、软件、系统) |
上下游
- 上游:
- 核心芯片:交换芯片ASIC(博通、NVIDIA、中兴微电子、盛科)、CPU(用于管理面,如Intel、AMD)。
- 关键器件:高速光模块/光引擎(II-VI/Coherent、Lumentum、中际旭创、新易盛)、PCB板材(深南电路、生益科技)、高速连接器(Amphenol、泰科电子)。
- 基础部件:电源模块、散热组件、结构件。
- 中游:交换托盘/系统制造商(NVIDIA、Arista、锐捷网络、新华三、华为、中兴通讯,以及ODM厂商如Celestica、Edgecore)。
- 下游:
- 终端用户:云计算厂商(AWS, Azure, GCP)、互联网公司(Meta, 字节跳动)、电信运营商、AI企业(如智谱、百川)。
- 应用:AI大模型训练集群、高性能计算(HPC)集群、大规模分布式存储网络。
关键指标
- 总交换容量:整个托盘的吞吐能力,单位Tbps。是规模能力的直接体现。
- 端口密度与速率:支持的400G/800G/1.6T端口数量。
- 转发延迟:数据包从入口到出口的延迟,在AI训练中至关重要(通常要求<1μs)。
- 无损网络特性:是否支持RDMA、优先级流控(PFC)、显式拥塞通知(ECN)等。
- 功耗效率:每Tbps交换容量的功耗(W/Tbps),影响数据中心运营成本。
- 可靠性:电源、风扇、关键芯片的冗余设计,平均无故障时间(MTBF)。
- 可管理性:支持的网络操作系统(NOS)、自动化、遥测功能。
供需与市场数据
- 需求驱动:全球AI算力资本开支是核心驱动力。每一个超大规模AI训练集群(万卡以上)都需要大量交换托盘作为Spine层设备。随着模型参数规模从千亿向万亿演进,以及多模态模型发展,集群规模仍在扩大。
- 供应格局:市场高度集中。交换芯片供应(博通、NVIDIA)是瓶颈,其产能和交付节奏直接影响交换托盘整机产出。光模块供应链同样关键。
- 市场规模:缺乏公开的、针对“交换托盘”这一细分品类的精确市场数据。它被包含在“数据中心交换机”市场中。根据多家行业分析机构(如Dell‘Oro Group, IDC)的报告,AI相关网络基础设施是数据中心交换市场中增长最快的子领域,年增速可能远超行业平均水平。(注:此为行业趋势定性判断,具体数字未充分披露)
- 价格:一个高端交换托盘(含芯片、光模块等)的整机价格可能高达数十万至上百万人民币,具体取决于配置和厂商。[供应链估算]
代表公司与资本映射
- 设备与系统商:
- NVIDIA (NVDA):通过Spectrum-X系列提供从交换芯片到完整交换托盘的全栈方案,是AI网络领域的领导者。
- Arista Networks (ANET):在大型云厂商和AI网络中占据重要份额,提供高端数据中心交换平台。
- 锐捷网络 (301165.SZ) / 新华三 (母公司紫光股份 000938.SZ) / 中兴通讯 (000063.SZ):国内主要厂商,在政企及部分互联网市场有布局,正向AI网络领域拓展。
- 核心芯片商:
- 博通 (AVGO):全球数据中心交换芯片霸主,其芯片被大量交换托盘采用。
- 盛科网络 (688702.SH):国内商用交换芯片领军企业,产品正向更高速率迭代。
- 关键部件商:
- 中际旭创 (300308.SZ) / 新易盛 (300502.SZ):全球领先的高速光模块供应商,是交换托盘上游供应链的关键一环。
- 深南电路 (002916.SZ) / 生益科技 (600183.SH):高端PCB供应商,受益于交换托盘等高性能网络设备的需求。
投资逻辑
- AI基础设施的“卖水人”逻辑:无论AI应用如何发展,构建底层算力基础设施是确定性最高的环节。交换托盘作为网络层核心组件,受益于全球AI算力投资的浪潮。
- 技术壁垒与格局优势:交换芯片设计和高端网络系统集成具有高技术壁垒,市场格局清晰,龙头企业护城河深。
- 供应链瓶颈机会:交换芯片、高端光模块等关键环节可能因供不应求而拥有更强的定价权和利润空间。
- 关注国产替代:在复杂地缘政治环境下,国内AI算力自主可控需求迫切,为国内交换芯片(盛科)、网络设备(锐捷、新华三、中兴)及光模块厂商提供了长期成长窗口。
常见误读纠偏
- 误读1:交换托盘就是一种高速交换机。
- 纠偏:更准确地说,它是专为AI/HPC场景优化的、高密度模块化交换机的一种物理形态。其设计重点在于超高端口密度、低延迟和无损网络支持,与传统企业交换机在目标和架构上有显著区别。把它理解为“AI网络的脊柱设备”更贴切。
- 误读2:有了交换托盘,网络延迟问题就彻底解决了。
- 纠偏:交换托盘是降低网络设备转发延迟的关键,但整个AI训练的网络延迟还包括光传输延迟、协议栈处理延迟、软件调度延迟等。需要从网络架构、协议、硬件、软件进行全栈优化,交换托盘只是其中一环。
- 误读3:交换托盘市场完全由终端设备厂商主导。
- 纠偏:核心交换芯片的供应才是真正的制高点。博通、NVIDIA等芯片厂商通过定义芯片能力(带宽、特性),深刻影响着交换托盘整机的功能和演进路线。整机厂商更多是在芯片基础上进行系统集成和软件优化。
学习路径
- 基础:了解计算机网络基础,特别是以太网协议、IP网络、数据中心网络架构(如Leaf-Spine)。
- 进阶:学习RDMA、RoCE、无损网络技术,理解AI训练对网络的特殊需求(All-Reduce通信模式等)。
- 深入:
- 研究主流交换芯片厂商(博通、NVIDIA)的技术文档(如芯片数据手册)。
- 关注IEEE 802.3以太网标准、OIF(光互联论坛)的CEI(通用电气接口)标准,了解速率演进路线图(如200G/lane, 400G/lane)。
- 阅读头部云厂商和设备商发布的技术博客、白皮书(如NVIDIA关于Spectrum-X的文档)。
- 产业视角:跟踪Dell‘Oro Group、IDC等分析机构关于数据中心网络市场的报告,以及主要公司的财报电话会,理解市场趋势和竞争动态。
一句话总结
交换托盘是构建万卡AI算力集群不可或缺的“网络中枢”,其技术演进与市场格局直接关系到AI大模型发展的速度和成本,是当前AI硬件产业链中一个关键且高价值的环节。
延伸阅读与来源
- 技术白皮书:NVIDIA《Spectrum-X: An Ethernet Networking Platform for AI》;Arista《AI Networking for Large Language Models》。
- 行业报告:Dell‘Oro Group《Data Center Optics & Interconnects Advanced Research Report》;IDC《Worldwide Datacenter Network Tracker》。
- 技术标准:IEEE 802.3 Ethernet Working Group;OIF CEI-112G/224G Implementation Agreement。
- 公司资料:博通、NVIDIA、Arista等公司的投资者关系网站及产品页面。
- 供应链调研:光模块、PCB等领域的行业分析报告(需谨慎甄别信息来源)。