Packet Trimming

1 3 秒看懂

• 是什么：Packet Trimming（包修剪）是网络硬件在数据传输过程中，实时剥离数据包内冗余协议头部与填充字节的“瘦身”技术，只保留有效应用载荷。
• 为什么重要：在大模型分布式训练的梯度同步中，频繁的小数据包会因协议开销浪费 30%–50% 的带宽。修剪技术将更多带宽“刀刃化”用于实际数据搬运，直接降低 GPU 通信等待，缩短单次训练迭代时间，在万卡集群中可节省数百万美元的算力闲置成本。
• 谁在用：NVIDIA 将修剪与聚合嵌入 InfiniBand 交换机的 SHARP（针对集合通信的加速引擎）中；AWS 自研 SRD 协议并在 Nitro 适配器上实现类似修剪，用于弹性网络适配器（EFA）；Google 在其 TPU 片间互联（ICI）中同样运用了剪裁思路。
• 关键看点：这不是一个独立软件或协议名称，而是一类“通信栈瘦身与硬件卸载”的方法合集，常与 RDMA、网内计算（In-Network Computing）深度绑定，是 AI 基础设施从“连接”转向“计算”的标志性技术之一。

2 3 分钟产业解释

分布式训练已成为大语言模型和多模态模型取得 SOTA 的必由之路，而训练效率的三大支柱是算力、显存和通信。当单 GPU 显存无法容纳模型时，参数、梯度和优化器状态必须切分到数百乃至上万个加速器上，并高频交换数值——典型如 AllReduce 梯度同步，每迭代一步就可能产生数 GB 的通信量，且由千千万万个细小消息构成。

这些细小消息在传统 TCP/IP 或 RDMA over Converged Ethernet（RoCEv2）中，必须附带至少 40 字节的协议头部（以太网＋IP＋UDP＋IB 传输头部），并且因定长对齐要求（例如以太网最小帧 64 字节）而填充大量无效字节。在极端场景（如 4 字节浮点数梯度），头部和填充实际可占传输总量的 90% 以上，让昂贵的 400 Gbps 端口真正用于模型数据传输的比例大打折扣。与此同时，GPU 为了等待通信结束而不断陷入停滞，“木桶效应”被无限放大。

Packet Trimming 就是在这种背景下被推向台前：直接在网卡或交换机 ASIC 的转发管线中，借助预先配置好的连接状态（如 RDMA 的队列对 QP），识别出属于集合通信流的包，将其头部和填充字节“刮掉”，只保留原始梯度值，并以硬件线速送入下一步处理——可能是直接 DMA 写入 GPU 显存，也可能是先在交换机上进行求和（网内聚合）再转发结果。这相当于将传统的“尽力而为”搬运网络，改造成一个能感知应用消息边界、并在运输中做数据简化的智慧通道。

从产业位置看，Packet Trimming 并不孤立存在。它向上支撑 PyTorch、JAX 等框架底层的 NCCL、RCCL 通信库；横向上依赖 InfiniBand 或 RoCE 等 RDMA 网络提供内核旁路和可靠传输；向下则与可编程交换机、智能网卡（SmartNIC）和数据处理器（DPU）的硬件能力紧密耦合。正因如此，它被业界视为 AI 高性能互连的“核心中间件优化”，是判断一家云厂商或硬件供应商能否经济地运营十万卡级集群的关键能力之一。

3 技术原理

3.1 协议“肥肉”从何而来

以主流的 RoCEv2（RDMA over UDP/IP/Ethernet）为例，一个梯度包可能包含：

• Ethernet 头部（14 字节）＋VLAN 标签（可选 4 字节）
• IP 头部（20 字节）
• UDP 头部（8 字节）
• InfiniBand 传输头部（包括基本传输头、扩展传输头等，至少 12 字节）
• 实际负载（如 4 字节浮点数）
• 填充字节（pad）以使帧达到 64 字节最小长度。

若训练框架一次 AllReduce 发送 4 字节梯度，整个以太网帧却长 64 字节，有效载荷占比仅约 6%。当通信轨迹偏向海量小消息时，这种膨胀会急剧恶化带宽利用率，并增加串行化延迟。

3.2 修剪的硬件实现流程

Packet Trimming 的核心是在网络处理流水线中加入一个“应用层消息感知”的微引擎，其运行不引入额外 CPU 中断。典型流程：

1. 流分类：当包进入支持修剪的交换机端口或网卡 RX 侧时，硬件通过匹配五元组（源/目的 IP、UDP 端口、QP 编号等）识别该包属于已注册的集合通信流。
2. 头部剥离：根据预先下发的流表，解析器刮除 Ethernet、IP、UDP 和 IB 传输头，只保留“净荷起始指针”。
3. 填充剔除：硬件根据通信库预设的消息长度（payload size），将帧尾部超出的填充字节直接截断。
4. 载荷缓存与处理：修剪后的纯数据被存入片上小缓冲区。如果配置了网内聚合（如 SHARP），多个端口发来的同类消息在此进行 sum/min/max 等归约操作；如不聚合，数据直接包装进一个更精简的内部帧格式，发往接收端。
5. 远端重组：接收端的网卡或交换机利用 QP 上下文（预期的消息长度、序号等）将修剪后的载荷重新装配成完整的消息，再通过 RDMA 写入目的内存。整个过程对应用透明。

3.3 依赖可靠传输上下文

修剪后的数据包失去了三层路由头部，无法按 IP 标准在多跳网络中独立转发，因此只能在以下场景使用：

• 带有预设路径和连接状态的 RDMA 传输（面向无环的 InfiniBand 子网，或基于 SDN 的严格路由）；
• 发送、接收双方维护完整的包序号和消息边界信息，确保即使乱序到达亦可恢复；
• 交换节点需支持“重写头部”能力，在出口重新封装以适配下行物理口。

这就解释了为何 Packet Trimming 总是与 RDMA 和可编程交换机相伴出现，而不会出现在普通尽力而为的 IP 网络上。

3.4 与集合通信拓扑的耦合

在 AllReduce 环形算法或树形算法中，每个参与的 GPU 既发送又接收。修剪动作可以发生在：

• 环形场景：每台交换机仅对途经的梯度流做修剪和“本地加总”，从而在每一跳都缩减数据量。
• 树形场景：叶节点向上的梯度在汇聚交换机中修剪并累加，最终根部再发还给所有节点。SHARP 即采用逻辑树，配合修剪让根交换仅需要处理一个已归约的数组，大幅减少上行带宽需求。

由于集合通信的消息长度、数据类型和归约操作在训练开始时就固定并被通信库分发到网络设备，交换机/网卡有了足够的先验知识来正确修剪，不会误删变长或未知格式的消息。

3.5 与网内计算的协同

Packet Trimming 常被视作网内计算的预处理阶段。因为只有去除杂乱的头尾结构，硬件算术单元才能直接从标准化的内存对齐位置读取梯度数据。后续的网内聚合、压缩甚至稀疏化都由同一 ASIC 管线一气呵成。这种流水线被称为“fly‑through processing”——数据在穿过交换机的数百纳秒内完成了运输、裁剪和运算，最终仅将精简结果发出，极大降低了网络中的总字节收敛时间。

4 关键参数

评估 Packet Trimming 能力时，业界不会使用单一“修剪”指标，而是结合以下多项性能表征。所标注年份、测试条件与来源均力求公开可查，不确定处已注明。

说明：由于 Packet Trimming 不是独立出售的商品，市场上无统一测试基准，上述参数主要来自头部厂商的自我披露。在购买网络设备或选择云实例时，需结合应用负载的通信矩阵实测，不可仅凭修剪“有/无”决策。

5 技术路线

从实现方式与生态开放性来看，目前的技术路线可分为三极，并正朝向下一代统一标准演进。

5.1 InfiniBand 原生卸载路线（NVIDIA SHARP）

• 代表：NVIDIA Mellanox Quantum 系列交换机，ConnectX-7/8 网卡。
• 实现：修剪与聚合逻辑通过固件直接固化在交换机 ASIC 的算术单元中。控制平面通过 InfiniBand 子网管理器（SM）下发集合通信树，硬件自动识别 QP 流、修剪数据、执行归约。
• 优势：极致性能，延时确定，已在大规模生产集群（如微软 Azure、Oracle Cloud、Meta 等）验证，截至 2024 年仍是唯一提供成熟网内浮点归约方案的技术栈。
• 局限：封闭生态，专有协议，无法与普通以太网交换机互通；硬件单价高（2024 年各厂商 InfiniBand 交换机均价约 2000 美元/端口以上，来源：产业调研，公开报价未见）；需要整网 InfiniBand 部署，带来锁定效应。

5.2 以太网端网协同路线（AWS SRD）

• 代表：AWS EFA 适配器（Nitro 卡）及底层 SRD（Scalable Reliable Datagram）协议。
• 实现：SRD 在 UDP 之上构建一个轻量级、多路径、乱序的可靠传输层。在 Nitro ASIC 中，SRD 流被解析出消息边界，去除多余的 UDP 和包装头部，并将分片重构为大消息后再 DMA 至实例内存。此过程不要求交换机具备修剪能力，修剪完全在端点 DPU 中完成。
• 优势：基于标准以太网物理层（可在 AWS 数据中心内的 100 Gbps/400 Gbps 以太网运行），云平台大规模部署成本可控；支持乱序多路径转发，对胖树拓扑的故障容忍度高。
• 局限：目前仅限 AWS 环境，SRD 协议不开源，外部无法部署；端点 DPU 需较强处理力，但 Nitro 定制硬件使摊销成本被庞大实例基数吸收。

5.3 超大规模自研互连路线（Google ICI 及类似方案）

• 代表：Google TPU v4/v5p 使用的 Inter-Chip Interconnect（ICI），以及 Meta、微软等在下一代自研加速器中的片间互联。
• 实现：ICI 直接定义芯片到芯片的短距电气/光互联及精简协议。由于消息格式完全由 TPU 控制，协议头被压缩到仅数字节的“拓扑路由标签”，包修剪几乎是天然的——收发端口同步获知消息长度后就无需任何多余头部。网络中的光链路交换单元（OCS）仅做电路交换，数据在光学域透传，完全无修剪操作，但效果相当于已“预先修剪”。
• 优势：延迟最低（微秒级片间通信），开销接近理论极限，面向 TPU 的全栈协同设计，效能最高。
• 局限：完全不通用，与第三方硬件无法互操作；成本与技术门槛极高，仅适用于超大规模自研芯片团队。

5.4 未来演进：Ultra Ethernet Consortium（UEC）

到了 2024 年底，以 AMD、Intel、Meta、Microsoft、Broadcom 等为首的 UEC 发布了传输层 1.0 规范草案，旨在为 AI 和 HPC 打造下一代开放以太网。

• UEC 计划引入消息语义，允许交换机识别集合通信操作并执行类似修剪和聚合的“网内处理”。这意味着 Packet Trimming 可能从各自闭源的定制方案演进为标准以太网的通用特性。
• 技术路线尚在硅片验证阶段，预计 2025–2026 年会出现首批商用 ASIC 和网卡。如果成功，将打破 NVIDIA 在网内计算领域的独供格局，让更多 OEM、ODM 和云厂商有机会低成本部署修剪能力。

6 上游

上游主要由提供修剪能力的 ASIC、网卡、交换芯片和 IP 核供应商构成。

• 交换芯片供应商

  • NVIDIA（Mellanox）：自主研发 Quantum 和 Spectrum 系列交换芯片，其中 Quantum 系列内嵌 SHARP 引擎，Spectrum 系列部分高端型号也已引入基于 RoCE 的修剪和遥测能力。NVIDIA 不对外单独销售交换芯片，仅以整机（交换机/网卡）形式交付，因此其芯片实际上只出现在自家及授权 OEM（如 NVIDIA LinkX 交换机产品线）中。
  • Broadcom：Tomahawk 5（2022 年量产）与 Thor 系列（2024 发布）为 AI 大叶交换机提供高达 51.2 Tbps 的吞吐能力，内部具备可编程报文处理管道，理论上可以加载修剪和聚合微码。但截至 2025 年初，公开资料中未见 Broadcom 官方发布商用的网内集合聚合功能，多数使用 Tomahawk 的 OEM 仍依赖端点侧解决方案。
  • Intel（原 Barefoot Tofino，现为 IPU/FPGA 战略）：Tofino 系列 P4 可编程芯片允许客户编写自定义包处理流水线，可通过 P4 编程实现修剪原型，曾被学术界用于研究。但 Intel 已将主要投资转向 IPU（Infrastructure Processing Unit），自研芯片的持续迭代情况公开信息不足。
  • 云厂商自研：AWS 的 Nitro ASIC（SRD 修剪）、Google 的 TPU ICI 物理接口芯片、阿里云 CIPU 等均属于其专属硬件，不对外供货，只被用于自家云底座。

• 网卡/DPU/智能网卡

  • NVIDIA ConnectX 系列：ConnectX-7/8 支持 RoCE 并配合交换机 SHARP 实现完整的聚合修剪流水线，网卡端主要负责连接状态维护和 DMA。
  • Intel IPU E2000/E3000：设计用于基础设施卸载，可定制数据面，但未见对集合修剪的官方成品方案，主要以存储和安全卸载为主。
  • AMD Pensando：DPU 可编程化网络服务，截至 2024 年末尚未宣布针对 AI 集合通信的专用修剪产品，更多聚焦流量管理和加密。
  • FPGA/其它：学术界和部分大型互联网公司使用 Xilinx Alveo 或 Achronix 等 FPGA 卡做自研修剪和聚合原型，但在规模化部署中成本与功耗难与 ASIC 匹敌。

总结：当前具备生产级 Packet Trimming 能力的上游核心硬件几乎完全集中在 NVIDIA 的产品矩阵内。其他硅供应商虽在数据面可编程性上留有空间，但缺乏成熟商用的集合通信会话层与配套软件栈，因此短期内上游“有效供给”仍高度集中。

7 下游

下游涵盖所有依赖大规模分布式训练的 AI 平台、公有云/私有云服务以及集成这些能力的超大规模企业。

• 公共云 AI 平台：AWS 通过 EFA 原生提供修剪类特性，并在 P5、Trn1 等实例中作为默认高速网络；Azure 的 NDv5 系列采用 InfiniBand 和 NCCL，SHARP 默认启用；Google Cloud 通过 Cloud TPU v4/v5p 使用 ICI 专有互连；阿里云 PAI 灵骏及华为云 ModelArts 的相关高速网络能力也部分引入类似卸载思想，但具体修剪细节公开披露极少。
• 私有化超级计算机/训练集群：Meta 的 Research SuperCluster（RSC，超 16,000 GPU）使用 InfiniBand 与 SHARP；Tesla Dojo、xAI Colossus 等新建万卡集群在公开报道中同样采用 InfiniBand 或等效高速网络方案。这些集群将 Packet Trimming 作为提高训练利用率的必要组件，而非可选功能。
• 软件框架与通信库：NCCL、RCCL 等底层通信库通过调用 InfiniBand Verbs 接口与硬件修剪功能交互，向上为 PyTorch、TensorFlow、JAX 等提供统一的 AllReduce 抽象。此外，腾讯的 TCCL、字节跳动的 MegaScale 自研通信库也对接交换机的 in‑network 功能，间接依赖修剪能力。
• 网络设备集成商：Dell、HPE、Supermicro、Lenovo 等服务器和交换机 OEM 在出货 NVIDIA InfiniBand 和 Spectrum 交换机时，默认激活 SHARP 等能力，将修剪功能随硬件一起交付给终端运营商。

整体而言，无论是租用云实例还是自建集群，只要采用基于 InfiniBand 或 AWS EFA 的 RDMA 网络，下游用户几乎默认受益于 Packet Trimming，而无需额外配置。唯一例外是自建纯 RoCE 以太网且未引入端点修剪的情况，此时下游无法获得同类效果。

8 受益公司

结合公开财务数据和市场格局，以下企业在 Packet Trimming 相关技术浪潮中获得了直接或间接的商业回报。所有数据均注明年份、来源和口径，无投资建议。

注：受益或关联关系不等同于投资价值，上述数据均来自各公司财报或公开披露，不构成任何买卖建议。

9 市场规模

公开资料未见针对 Packet Trimming 技术独立统计或预测的市场规模报告。 该技术作为一种内嵌能力，其商业价值附着在 AI 高速网络设备（交换芯片、网卡、DPU）和内建该能力的云服务之上，无法被简单切分。以下从相邻市场的规模，间接反映其所在领域的体量与增长态势。

• AI 后端网络设备市场（InfiniBand + high‑speed Ethernet）：根据 Dell‘Oro Group 2024 年 7 月发布的《AI Networks for AI Workloads》报告，2024 年全球 AI 网络交换机市场（含 InfiniBand 和专用于 AI 后端的高速以太网）预计将达到约 $15 亿–$17 亿美元，到 2027 年有望超过 $80 亿美元（年复合增长率 > 80%）。该口径涵盖承载修剪功能的物理交换机设备。报告强调，InfiniBand 仍占据 AI 网络的大半份额，但高速以太网正快速追赶。
• 智能网卡/DPU 市场：Packet Trimming 的端点侧处理依赖 DPU 或 SmartNIC。据 650 Group 2024 年数据，全球 DPU/智能网卡市场规模 2024 年约 $28 亿美元，预计 2028 年达到 $100 亿美元（来源：650 Group 2024 年 4 月新闻稿）。这类设备是 AI 云实例提供修剪能力（如 AWS Nitro）的硬件基础。
• 头部厂商相关细分营收：如“受益公司”部分所述，仅 NVIDIA 网络业务在 FY2024 就创造了 131.5 亿美元的收入，其中大部分与 InfiniBand 及 SHARP 修剪技术直接相关。这从侧面印证了相关硬件市场的庞大经济体量。Broadcom 的 AI 相关网络芯片营收同样在 2024 财年贡献超 30 亿美元。两家头部厂商的合计 AI 网络营收已在 2024 年接近 170 亿美元量级（数据来自财报），即便修剪功能只是其中部分驱动因素，其重要性不言而喻。

审视：以上数据反映的是整个 AI 网络硬件市场的高速增长，而 Packet Trimming 作为军备竞赛级的技术卖点之一，增强了厂商的产品溢价和客户粘性，市场规模估算的合理上限应当小于上述 AI 网络交换机与智能网卡市场的总体值，具体比例公开资料无法量化。

10 玩家对比

为清晰呈现不同实现方案的差异，下表对比当前主流玩家在 Packet Trimming 相关能力上的公开特性(截至 2025 年初)。