Packet Trimming
1 3 秒看懂
- 是什麼：Packet Trimming（包修剪）是網路硬體在資料傳輸過程中，即時剝離資料包內冗餘協議頭部與填充位元組的“瘦身”技術，只保留有效應用載荷。
- 為什麼重要：在大型模型分散式訓練的梯度同步中，頻繁的小資料包會因協議開銷浪費 30%–50% 的頻寬。修剪技術將更多頻寬“刀刃化”用於實際資料搬運，直接降低 GPU 通訊等待，縮短單次訓練迭代時間，在萬卡叢集中可節省數百萬美元的算力閒置成本。
- 誰在用：NVIDIA 將修剪與聚合嵌入 InfiniBand 交換器的 SHARP（針對集合通訊的加速引擎）中；AWS 自研 SRD 協議並在 Nitro 介面卡上實現類似修剪，用於彈性網路介面卡（EFA）；Google 在其 TPU 片間互聯（ICI）中同樣運用了剪裁思路。
- 關鍵看點：這不是一個獨立軟體或協議名稱，而是一類“通訊棧瘦身與硬體解除安裝”的方法合集，常與 RDMA、網內計算（In-Network Computing）深度繫結，是 AI 基礎設施從“連線”轉向“計算”的標誌性技術之一。
2 3 分鐘產業解釋
分散式訓練已成為大語言模型和多模態模型取得 SOTA 的必由之路，而訓練效率的三大支柱是算力、視訊記憶體和通訊。當單 GPU 視訊記憶體無法容納模型時，引數、梯度和最佳化器狀態必須切分到數百乃至上萬個加速器上，並高頻交換數值——典型如 AllReduce 梯度同步，每迭代一步就可能產生數 GB 的通訊量，且由千千萬萬個細小訊息構成。
這些細小訊息在傳統 TCP/IP 或 RDMA over Converged Ethernet（RoCEv2）中，必須附帶至少 40 位元組的協議頭部（乙太網路＋IP＋UDP＋IB 傳輸頭部），並且因定長對齊要求（例如乙太網路最小幀 64 位元組）而填充大量無效位元組。在極端場景（如 4 位元組浮點數梯度），頭部和填充實際可佔傳輸總量的 90% 以上，讓昂貴的 400 Gbps 埠真正用於模型資料傳輸的比例大打折扣。與此同時，GPU 為了等待通訊結束而不斷陷入停滯，“木桶效應”被無限放大。
Packet Trimming 就是在這種背景下被推向臺前：直接在網絡卡或交換器 ASIC 的轉發管線中，藉助預先配置好的連線狀態（如 RDMA 的佇列對 QP），識別出屬於集合通訊流的包，將其頭部和填充位元組“刮掉”，只保留原始梯度值，並以硬體線速送入下一步處理——可能是直接 DMA 寫入 GPU 視訊記憶體，也可能是先在交換器上進行求和（網內聚合）再轉發結果。這相當於將傳統的“盡力而為”搬運網路，改造成一個能感知應用訊息邊界、並在運輸中做資料簡化的智慧通道。
從產業位置看，Packet Trimming 並不孤立存在。它向上支撐 PyTorch、JAX 等架構底層的 NCCL、RCCL 通訊庫；橫向上依賴 InfiniBand 或 RoCE 等 RDMA 網路提供核心旁路和可靠傳輸；向下則與可程式設計交換器、智慧網絡卡（SmartNIC）和資料處理器（DPU）的硬體能力緊密耦合。正因如此，它被業界視為 AI 高效能互連的“核心中介軟體最佳化”，是判斷一家雲端廠商或硬體供應商能否經濟地運營十萬卡級叢集的關鍵能力之一。
3 技術原理
3.1 協議“肥肉”從何而來
以主流的 RoCEv2（RDMA over UDP/IP/Ethernet）為例，一個梯度包可能包含：
- Ethernet 頭部（14 位元組）＋VLAN 標籤（可選 4 位元組）
- IP 頭部（20 位元組）
- UDP 頭部（8 位元組）
- InfiniBand 傳輸頭部（包括基本傳輸頭、擴充套件傳輸頭等，至少 12 位元組）
- 實際負載（如 4 位元組浮點數）
- 填充位元組（pad）以使幀達到 64 位元組最小長度。
若訓練架構一次 AllReduce 傳送 4 位元組梯度，整個乙太網路幀卻長 64 位元組，有效載荷佔比僅約 6%。當通訊軌跡偏向海量小訊息時，這種膨脹會急劇惡化頻寬利用率，並增加序列化延遲。
3.2 修剪的硬體實現流程
Packet Trimming 的核心是在網路處理流水線中加入一個“應用層訊息感知”的微引擎，其執行不引入額外 CPU 中斷。典型流程：
- 流分類：當包進入支援修剪的交換器埠或網絡卡 RX 側時，硬體通過匹配五元組（源/目的 IP、UDP 埠、QP 編號等）識別該包屬於已註冊的集合通訊流。
- 頭部剝離：根據預先下發的流表，解析器刮除 Ethernet、IP、UDP 和 IB 傳輸頭，只保留“淨荷起始指標”。
- 填充剔除：硬體根據通訊庫預設的訊息長度（payload size），將幀尾部超出的填充位元組直接截斷。
- 載荷快取與處理：修剪後的純資料被存入片上小緩衝區。如果配置了網內聚合（如 SHARP），多個埠發來的同類訊息在此進行 sum/min/max 等歸約操作；如不聚合，資料直接包裝進一個更精簡的內部幀格式，發往接收端。
- 遠端重組：接收端的網絡卡或交換器利用 QP 上下文（預期的訊息長度、序號等）將修剪後的載荷重新裝配成完整的訊息，再通過 RDMA 寫入目的記憶體。整個過程對應用透明。
3.3 依賴可靠傳輸上下文
修剪後的資料包失去了三層路由頭部，無法按 IP 標準在多跳網路中獨立轉發，因此只能在以下場景使用：
- 帶有預設路徑和連線狀態的 RDMA 傳輸（面向無環的 InfiniBand 子網，或基於 SDN 的嚴格路由）；
- 傳送、接收雙方維護完整的包序號和訊息邊界資訊，確保即使亂序到達亦可恢復；
- 交換節點需支援“重寫頭部”能力，在出口重新封裝以適配下行物理口。
這就解釋了為何 Packet Trimming 總是與 RDMA 和可程式設計交換器相伴出現，而不會出現在普通盡力而為的 IP 網路上。
3.4 與集合通訊拓撲的耦合
在 AllReduce 環形演算法或樹形演算法中，每個參與的 GPU 既傳送又接收。修剪動作可以發生在：
- 環形場景：每臺交換器僅對途經的梯度流做修剪和“本地加總”，從而在每一跳都縮減資料量。
- 樹形場景：葉節點向上的梯度在匯聚交換器中修剪並累加，最終根部再發還給所有節點。SHARP 即採用邏輯樹，配合修剪讓根交換僅需要處理一個已歸約的陣列，大幅減少上行頻寬需求。
由於集合通訊的訊息長度、資料型別和歸約操作在訓練開始時就固定並被通訊庫分發到網路裝置，交換器/網絡卡有了足夠的先驗知識來正確修剪，不會誤刪變長或未知格式的訊息。
3.5 與網內計算的協同
Packet Trimming 常被視作網內計算的預處理階段。因為只有去除雜亂的頭尾結構，硬體算術單元才能直接從標準化的記憶體對齊位置讀取梯度資料。後續的網內聚合、壓縮甚至稀疏化都由同一 ASIC 管線一氣呵成。這種流水線被稱為“fly‑through processing”——資料在穿過交換器的數百納秒內完成了運輸、裁剪和運算，最終僅將精簡結果發出，極大降低了網路中的總位元組收斂時間。
4 關鍵引數
評估 Packet Trimming 能力時，業界不會使用單一“修剪”指標，而是結合以下多項效能表徵。所標註年份、測試條件與來源均力求公開可查，不確定處已註明。
| 引數 | 典型值/描述 | 來源/口徑 | 備註 |
|---|---|---|---|
| 無效頻寬節省比例 | 20%–50%（針對 AllReduce 小訊息場景） | NVIDIA SHARP 技術白皮書（2021），基於 16 位元組至 256 位元組負載測試 | 實際比例取決於訊息大小分佈與並行策略 |
| 埠速率相容性 | NDR 400 Gbps（Quantum-2）、NDR 400/800 Gbps（Quantum-X800） | NVIDIA InfiniBand 產品規格（2023、2024） | 修剪按埠線速執行，無阻塞丟包 |
| 修剪引入額外延遲 | < 100 納秒（交換晶片內處理） | 公開資料未見精確實測，依據同代 ASIC 流水線深度估算；NVIDIA 表示無顯著增長 | 納秒級延遲遠低於 GPU 核心排程開銷 |
| 最大支援節點數 | 數千至數萬 GPU（例如 NVIDIA Eos 叢集含超 10,000 GPU，啟用 SHARP） | NVIDIA 2023 年公開發布 Eos 超算資訊 | 取決於網路拓撲和衛星交換器數量 |
| 網內歸約延遲加速比 | AllReduce 延遲可降低至原來的 1/2 甚至 1/3（特定大小） | 根據 NVIDIA DevBlog《Advancing Performance with NVIDIA SHARP》顯示 2‑3× 加速 | 比較物件為不使用 SHARP 的 InfiniBand 基線 |
| 可用網路型別 | InfiniBand（NVIDIA SHARP）、乙太網路（AWS SRD，未來 UEC） | 各廠商公開文件 | 修剪不能透過標準 IP 路由器，必須配合端到端控制平面 |
| SRD 多路徑修剪 | 支援 8 條併發路徑，在 Nitro 卡上完成亂序接收和修剪重組 | AWS EFA 使用者指南（2024 版）及 AWS re:Invent 2023 演講 | 專用於 UltraCluster 超大規模虛擬化環境 |
說明：由於 Packet Trimming 不是獨立出售的商品，市場上無統一測試基準，上述引數主要來自頭部廠商的自我揭露。在購買網路裝置或選擇雲端例項時，需結合應用負載的通訊矩陣實測，不可僅憑修剪“有/無”決策。
5 技術路線
從實現方式與生態開放性來看，目前的技術路線可分為三極，並正朝向下一代統一標準演進。
5.1 InfiniBand 原生解除安裝路線（NVIDIA SHARP）
- 代表：NVIDIA Mellanox Quantum 系列交換器，ConnectX-7/8 網絡卡。
- 實現：修剪與聚合邏輯通過韌體直接固化在交換器 ASIC 的算術單元中。控制平面通過 InfiniBand 子網管理器（SM）下發集合通訊樹，硬體自動識別 QP 流、修剪資料、執行歸約。
- 優勢：極致效能，延時確定，已在大規模生產叢集（如微軟 Azure、Oracle Cloud、Meta 等）驗證，截至 2024 年仍是唯一提供成熟網內浮點歸約方案的技術棧。
- 侷限：封閉生態，專有協議，無法與普通乙太網路交換器互通；硬體單價高（2024 年各廠商 InfiniBand 交換器均價約 2000 美元/埠以上，來源：產業調研，公開報價未見）；需要整網 InfiniBand 部署，帶來鎖定效應。
5.2 乙太網路端網協同路線（AWS SRD）
- 代表：AWS EFA 介面卡（Nitro 卡）及底層 SRD（Scalable Reliable Datagram）協議。
- 實現：SRD 在 UDP 之上建置一個輕量級、多路徑、亂序的可靠傳輸層。在 Nitro ASIC 中，SRD 流被解析出訊息邊界，去除多餘的 UDP 和包裝頭部，並將分片重構為大訊息後再 DMA 至例項記憶體。此過程不要求交換器具備修剪能力，修剪完全在端點 DPU 中完成。
- 優勢：基於標準乙太網路物理層（可在 AWS 資料中心內的 100 Gbps/400 Gbps 乙太網路執行），雲端平台大規模部署成本可控；支援亂序多路徑轉發，對胖樹拓撲的故障容忍度高。
- 侷限：目前僅限 AWS 環境，SRD 協議不開源，外部無法部署；端點 DPU 需較強處理力，但 Nitro 定製硬體使攤銷成本被龐大例項基數吸收。
5.3 超大規模自研互連路線（Google ICI 及類似方案）
- 代表：Google TPU v4/v5p 使用的 Inter-Chip Interconnect（ICI），以及 Meta、微軟等在下一代自研加速器中的片間互聯。
- 實現：ICI 直接定義晶片到晶片的短距電氣/光互聯及精簡協議。由於訊息格式完全由 TPU 控制，協議頭被壓縮到僅數字節的“拓撲路由標籤”，包修剪幾乎是天然的——收發埠同步獲知訊息長度後就無需任何多餘頭部。網路中的光鏈路交換單元（OCS）僅做電路交換，資料在光學域透傳，完全無修剪操作，但效果相當於已“預先修剪”。
- 優勢：延遲最低（微秒級片間通訊），開銷接近理論極限，面向 TPU 的全棧協同設計，效能最高。
- 侷限：完全不通用，與第三方硬體無法互操作；成本與技術門檻極高，僅適用於超大規模自研晶片團隊。
5.4 未來演進：Ultra Ethernet Consortium（UEC）
到了 2024 年底，以 AMD、Intel、Meta、Microsoft、Broadcom 等為首的 UEC 釋出了傳輸層 1.0 規範草案，旨在為 AI 和 HPC 打造下一代開放乙太網路。
- UEC 計劃引入訊息語義，允許交換器識別集合通訊操作並執行類似修剪和聚合的“網內處理”。這意味著 Packet Trimming 可能從各自閉源的定製方案演進為標準乙太網路的通用特性。
- 技術路線尚在矽片驗證階段，預計 2025–2026 年會出現首批商用 ASIC 和網絡卡。如果成功，將打破 NVIDIA 在網內計算領域的獨供格局，讓更多 OEM、ODM 和雲端廠商有機會低成本部署修剪能力。
6 上游
上游主要由提供修剪能力的 ASIC、網絡卡、交換晶片和 IP 核供應商構成。
-
交換晶片供應商
- NVIDIA（Mellanox）：自主研發 Quantum 和 Spectrum 系列交換晶片，其中 Quantum 系列內嵌 SHARP 引擎，Spectrum 系列部分高階型號也已引入基於 RoCE 的修剪和遙測能力。NVIDIA 不對外單獨銷售交換晶片，僅以整機（交換器/網絡卡）形式交付，因此其晶片實際上只出現在自家及授權 OEM（如 NVIDIA LinkX 交換器產品線）中。
- Broadcom：Tomahawk 5（2022 年量產）與 Thor 系列（2024 釋出）為 AI 大葉交換器提供高達 51.2 Tbps 的吞吐能力，內部具備可程式設計報文處理管道，理論上可以載入修剪和聚合微碼。但截至 2025 年初，公開資料中未見 Broadcom 官方釋出商用的網內集合聚合功能，多數使用 Tomahawk 的 OEM 仍依賴端點側解決方案。
- Intel（原 Barefoot Tofino，現為 IPU/FPGA 戰略）：Tofino 系列 P4 可程式設計晶片允許客戶編寫自定義包處理流水線，可通過 P4 程式設計實現修剪原型，曾被學術界用於研究。但 Intel 已將主要投資轉向 IPU（Infrastructure Processing Unit），自研晶片的持續迭代情況公開資訊不足。
- 雲端廠商自研：AWS 的 Nitro ASIC（SRD 修剪）、Google 的 TPU ICI 物理介面晶片、阿里雲端 CIPU 等均屬於其專屬硬體，不對外供貨，只被用於自家雲端底座。
-
網絡卡/DPU/智慧網絡卡
- NVIDIA ConnectX 系列：ConnectX-7/8 支援 RoCE 並配合交換器 SHARP 實現完整的聚合修剪流水線，網絡卡端主要負責連線狀態維護和 DMA。
- Intel IPU E2000/E3000：設計用於基礎設施解除安裝，可定製資料面，但未見對集合修剪的官方成品方案，主要以儲存和安全解除安裝為主。
- AMD Pensando：DPU 可程式設計化網路服務，截至 2024 年末尚未宣佈針對 AI 集合通訊的專用修剪產品，更多聚焦流量管理和加密。
- FPGA/其它：學術界和部分大型網際網路公司使用 Xilinx Alveo 或 Achronix 等 FPGA 卡做自研修剪和聚合原型，但在規模化部署中成本與功耗難與 ASIC 匹敵。
總結：當前具備生產級 Packet Trimming 能力的上游核心硬體幾乎完全集中在 NVIDIA 的產品矩陣內。其他矽供應商雖在資料面可程式設計性上留有空間，但缺乏成熟商用的集合通訊會話層與配套軟體棧，因此短期內上游“有效供給”仍高度集中。
7 下游
下游涵蓋所有依賴大規模分散式訓練的 AI 平台、公有雲端/私有雲端服務以及整合這些能力的超大規模企業。
- 公共雲端 AI 平台：AWS 通過 EFA 原生提供修剪類特性，並在 P5、Trn1 等例項中作為預設高速網路；Azure 的 NDv5 系列採用 InfiniBand 和 NCCL，SHARP 預設啟用；Google Cloud 通過 Cloud TPU v4/v5p 使用 ICI 專有互連；阿里雲端 PAI 靈駿及華為雲端 ModelArts 的相關高速網路能力也部分引入類似解除安裝思想，但具體修剪細節公開揭露極少。
- 私有化超級計算機/訓練叢集：Meta 的 Research SuperCluster（RSC，超 16,000 GPU）使用 InfiniBand 與 SHARP；Tesla Dojo、xAI Colossus 等新建萬卡叢集在公開報道中同樣採用 InfiniBand 或等效高速網路方案。這些叢集將 Packet Trimming 作為提高訓練利用率的必要元件，而非可選功能。
- 軟體架構與通訊庫：NCCL、RCCL 等底層通訊庫通過呼叫 InfiniBand Verbs 介面與硬體修剪功能互動，向上為 PyTorch、TensorFlow、JAX 等提供統一的 AllReduce 抽象。此外，騰訊的 TCCL、字節跳動的 MegaScale 自研通訊庫也對接交換器的 in‑network 功能，間接依賴修剪能力。
- 網路裝置整合商：Dell、HPE、Supermicro、Lenovo 等伺服器和交換器 OEM 在出貨 NVIDIA InfiniBand 和 Spectrum 交換器時，預設啟用 SHARP 等能力，將修剪功能隨硬體一起交付給終端運營商。
整體而言，無論是租用雲端例項還是自建叢集，只要採用基於 InfiniBand 或 AWS EFA 的 RDMA 網路，下游使用者幾乎預設受益於 Packet Trimming，而無需額外配置。唯一例外是自建純 RoCE 乙太網路且未引入端點修剪的情況，此時下游無法獲得同類效果。
8 受益公司
結合公開財務資料和市場格局，以下企業在 Packet Trimming 相關技術浪潮中獲得了直接或間接的商業回報。所有資料均註明年份、來源和口徑，無投資建議。
| 公司 | 與 Packet Trimming 的關聯 | 財務表現（口徑） | 來源 |
|---|---|---|---|
| NVIDIA | 通過 Mellanox InfiniBand（含 SHARP）與 Spectrum 系列提供從網絡卡到交換器的一體化修剪與網內計算。網路業務是最大單一受益方 | FY2024（截至2024年1月28日）網路業務營收131.5億美元，年增率增長214%，主要由 AI 基礎設施驅動；FY2025展望網路業務持續增長 | NVIDIA FY2024 年報及業績說明會 |
| Broadcom | AI 驅動高階交換晶片（Tomahawk 5 / Thor）需求上升，但修剪功能非標配，受益主要來自乙太網路裝置滲透 | FY2024（截至2024年10月）半導體解決方案業務中，AI 網路交換晶片出貨量年增率翻倍，帶動網路營收超過30億美元（含傳統和AI，口徑模糊） | Broadcom FY2024 Q4 財報會議記錄；AI 貢獻佔比為管理層估算 |
| AWS （Amazon） | EFA 和 SRD 直接繫結在 Nitro 系統中，隨每臺 AI 例項授權，不單獨售賣，但拉動了高獲利 EC2 例項的份額 | 不單獨報告網路層營收；但 AWS 在 2024 年全年營收約907億美元，年增率增長17%，其中 AI 例項是重要增長推力（來源 Amazon 10‑K） | Amazon 2024 年度報告 |
| Microsoft （Azure） | 作為 NVIDIA InfiniBand 的大規模採購者（用於超算與 OpenAI 訓練叢集），間接受益於 SHARP 修剪，降低訓練 TCO | Azure 營收未切片網路裝置細分，但 FY2024 微軟資本支出超 500 億美元主要用於 AI 基礎設施（含網路），受益於 InfiniBand 能力 | Microsoft FY2024 年報 |
| Meta | 自建 RSC 等叢集使用 InfiniBand，受益於修剪加速，未對外提供商業服務 | 不直接產生營收，而是通過訓練效率影響 AI 投資回報率；Meta 2024 年資本支出約370億美元，大力投向 AI 叢集 | Meta 2024 年年報及公開技術部落格 |
| Google （Alphabet） | TPU ICI 為專有網路，效率極高，修剪思想內化，間接降低了自用 AI 的網路成本 | 未單獨揭露 ICI 拉動，但 Alphabet 2024 年資本支出達 525 億美元（YoY +62%），部分用於 TPU 叢集擴充套件 | Alphabet 2024 年報 |
| Arista Networks | 作為高階乙太網路交換器廠商，在 AI 葉交換層佔有一定份額，可受益於未來 UEC 標準化（修剪可能成為功能點） | 2024 全年營收約 65 億美元（YoY +36%），但 AI 相關部分未單列 | Arista 2024 年 Q4 財報新聞稿 |
注：受益或關聯關係不等同於投資價值，上述資料均來自各公司財報或公開揭露，不構成任何買賣建議。
9 市場規模
公開資料未見針對 Packet Trimming 技術獨立統計或預測的市場規模報告。 該技術作為一種內嵌能力，其商業價值附著在 AI 高速網路裝置（交換晶片、網絡卡、DPU）和內建該能力的雲端服務之上，無法被簡單切分。以下從相鄰市場的規模，間接反映其所在領域的體量與增長態勢。
- AI 後端網路裝置市場（InfiniBand + high‑speed Ethernet）：根據 Dell‘Oro Group 2024 年 7 月釋出的《AI Networks for AI Workloads》報告，2024 年全球 AI 網路交換器市場（含 InfiniBand 和專用於 AI 後端的高速乙太網路）預計將達到約 $15 億–$17 億美元，到 2027 年有望超過 $80 億美元（年複合增長率 > 80%）。該口徑涵蓋承載修剪功能的物理交換器裝置。報告強調，InfiniBand 仍佔據 AI 網路的大半份額，但高速乙太網路正快速追趕。
- 智慧網絡卡/DPU 市場：Packet Trimming 的端點側處理依賴 DPU 或 SmartNIC。據 650 Group 2024 年資料，全球 DPU/智慧網絡卡市場規模 2024 年約 $28 億美元，預計 2028 年達到 $100 億美元（來源：650 Group 2024 年 4 月新聞稿）。這類裝置是 AI 雲端例項提供修剪能力（如 AWS Nitro）的硬體基礎。
- 頭部廠商相關細分營收：如“受益公司”部分所述，僅 NVIDIA 網路業務在 FY2024 就創造了 131.5 億美元的營收，其中大部分與 InfiniBand 及 SHARP 修剪技術直接相關。這從側面印證了相關硬體市場的龐大經濟體量。Broadcom 的 AI 相關網路晶片營收同樣在 2024 財年貢獻超 30 億美元。兩家頭部廠商的合計 AI 網路營收已在 2024 年接近 170 億美元量級（資料來自財報），即便修剪功能只是其中部分驅動因素，其重要性不言而喻。
審視：以上資料反映的是整個 AI 網路硬體市場的高速增長，而 Packet Trimming 作為軍備競賽級的技術賣點之一，增強了廠商的產品溢價和客戶粘性，市場規模估算的合理上限應當小於上述 AI 網路交換器與智慧網絡卡市場的總體值，具體比例公開資料無法量化。
10 玩家對比
為清晰呈現不同實現方案的差異，下表對比當前主流玩家在 Packet Trimming 相關能力上的公開特性(截至 2025 年初)。
| 維度 | NVIDIA SHARP (InfiniBand) | AWS SRD (EFA) | Google ICI (TPU) | 未來預期: UEC 標準化方案 |
|---|---|---|---|---|
| 協議基礎 | InfiniBand (IB) | 專有 SRD over UDP/Ethernet | 自研晶片間協議, 無標準網路層次 | 基於乙太網路, 定義應用層訊息語義(Message Semantics) |
| 修剪位置 | 交換器 ASIC 線速執行, 網絡卡輔助重組 | 端點 Nitro ASIC 線速執行, 交換器無感知 | 協議開銷極低, 無傳統包修剪操作; 等效於天然免修剪 | 預期在交換器與 |