流量

3 秒看懂

在 AI 語境下，“流量”（Flow Rate）特指單位時間內通過計算系統、網路鏈路或資料通道的位元/位元組、樣本或令牌的數量，是衡量資料吞吐能力與通訊效率的核心指標。它直接決定大型模型訓練速度、分散式擴充套件上限與推論即時性。如果把算力比作心臟，流量就是血管中血液的流速——管壁太窄、路徑太長或排程失當，都會導致大腦缺血、全身機能癱瘓。

3 分鐘產業解釋

在深度學習產業中，流量呈現為多層次、多形態的綜合概念：

片內/卡內流量 計算單元與 HBM（高頻寬記憶體）之間的資料搬移頻寬，常以 TB/s 衡量。這是單卡算力真正釋放的第一道門檻。如果算術密度（Operations/Byte）過高而視訊記憶體頻寬跟不上，GPU 內部大量計算單元將陷入空轉，實測利用率可能從 70% 跌至 30% 以下。

卡間流量 GPU 通過 NVLink 或 PCIe/CXL 等介面實現拓撲互聯，承載張量並行中的張量切分與聚合、專家並行中的路由分發以及混合並行方案的中間資料交換。Blackwell 架構單 GPU 的 NVLink 雙向頻寬已突破 1.8 TB/s（依據 NVIDIA 2024 年 GPU 架構白皮書），但仍趕不上模型規模的增速。

節點間流量 InfiniBand NDR/XDR（400Gb/s 起步）、RoCE（RDMA over Converged Ethernet，融合乙太網路遠端直接記憶體訪問）乙太網路等高速互聯，支撐萬卡甚至十萬卡叢集的群體通訊，包括 AllReduce（全歸約）、All-to-All（全對全通訊）、ReduceScatter（散射歸約）等。單次梯度同步通訊量可達數百 GB 級別。

端到端流量 從分散式儲存讀取訓練樣本，到中間計算與通訊流水，再到推論請求返回結果，整個資料鏈路的吞吐量將最終體現為訓練一個模型的總時長（TTT，Time-To-Train）或推論單個 Token 的延遲與成本。

高流量系統要求匹配的交換晶片、重定時器（Retimer）、光模組、高密度聯結器以及高效擁塞控制演算法。當某一環節流量不足成為瓶頸，其他昂貴硬體投資即被限速。因此，流量指標貫穿 AI 基礎設施的設計、採購與調優全流程，是衡量總擁有成本（TCO，Total Cost of Ownership）的關鍵抓手。

技術原理

流量產生的物理層與協議層機制

以分散式訓練中一次跨節點 AllReduce 操作為例，完整的流量鏈路可拆解為以下階段：

+-----------+       +-----------+        +-----------+
| GPU 0     |       | NVSwitch  |        | GPU 1     |
|   計算核  | ----> |  （可選）  | ----> |   計算核  |
| HBM <---> NVLink |           | NVLink |   HBM     |
+-----------+       +-----------+        +-----------+
       |                                        ^
       v                                        |
  ConnectX-7                              ConnectX-7
       |                                        ^
       v                                        |
+-----------------+                +-----------------+
|  交換器         |  <-- InfiniBand -->   |  交換器         |
|  (HDR/NDR)     |                |  (HDR/NDR)     |
+-----------------+                +-----------------+

（上圖為分散式訓練節點間通訊的典型資料流拓撲，展示了 GPU 內部、卡間及網路三層流量的承載關係）

區域性流量（片內） HBM 頻寬普遍可達每棧數百 GB/s 至 TB/s 量級（具體數值代際差異極大，例如 H100 的 HBM3 為 3.35 TB/s，H200 的 HBM3e 約 4.8 TB/s，均依據 NVIDIA 公開技術文件）。過多併發計算請求會引發埠爭搶（Bank Conflict），需藉助快取合併（Cache Coalescing）與多通道交織（Interleaving）來攤平峰值。

卡間流量 NVLink 4.0 每條鏈路單向頻寬 50 GB/s（雙向 100 GB/s），Blackwell 的 NVLink 5 進一步提升（雙向 1.8 TB/s）。NVSwitch 將多 GPU 全互聯，資料以包為單位傳輸，支援組播（Multicast）和歸約硬體解除安裝（Reduction Offload），延遲低至亞微秒級。

網路流量 InfiniBand NDR 單埠速率 400 Gb/s，採用 64/66 編碼後的有效載荷率約 97%。結合 SHARP（Scalable Hierarchical Aggregation and Reduction Protocol，可擴充套件分層聚合與歸約協議），交換器可直接在轉發路徑中完成求和、求最大值等歸約操作，使得返回 GPU 的流量精簡數倍甚至數十倍，大幅縮減節點側注入頻寬需求。

通訊演算法視角的流量建模

• Ring AllReduce（環狀全歸約）：N 個節點，每個節點發送與接收 (2(N-1)/N) 倍模型大小資料，總通訊量恆定約 2M（M 為模型引數量），與節點數幾乎無關。這在大規模叢集中具備極好的可擴充套件性，但延遲隨節點數線性增長。
• Tree AllReduce（樹狀全歸約）：總通訊量同樣約 2M，延遲為對數級（約 2log₂N），但對中間節點頻寬要求更高，易形成根節點瓶頸。
• All-to-All（全對全通訊）：在 MoE（混合專家）中，每 Token 在路由階段被分發到 K 個專家，吞吐量正比於（總 Token 數 × K × hidden_dim），突發性和異質性極強，極易打滿覆蓋網路匯聚層鏈路。
• ReduceScatter + AllGather（散射歸約+全收集）：總通訊量與 AllReduce 相同，但分拆後的子操作更便於在網路限制下分步實施。

流量管理的底層硬體基礎包括 SerDes（串並轉換器）速率、調變方式（PAM4，四階脈衝幅度調變 vs NRZ，不歸零編碼）、FEC（前向糾錯）增益以及光模組的頻寬距離積（Bandwidth-Distance Product）。例如，PAM4 在同等波特率下承載兩倍於 NRZ 的資料量，但訊雜比要求更苛刻，需更強的 FEC 保護，進而引入納秒級增量延遲。

關鍵引數

評估流量系統的核心指標體系可拆解為五類共 15 項，每項均與工程決策直接關聯：

頻寬類

• 物理層速率：單向埠速率，Gb/s 或 GB/s。例如 NDR 單埠 400 Gb/s，扣除協議開銷後有效載荷約 97 Gb/s 每埠（InfiniBand 64/66 編碼，依據 IBTA 規範）。
• 聚合頻寬：系統總雙向頻寬，例如 8 卡 HGX 底板的 NVLink 聚合頻寬達 900 GB/s（雙向，依據 NVIDIA HGX 規格文件）。
• 有效吞吐：在特定集合通訊演算法下實測達到的頻寬佔峰值的百分比（常稱為 Bus Bandwidth 利用率）。理想 AllReduce 的 Bus 頻寬為 (2(N-1)/N) × 有效資料量/耗時，現實中可低於峰值的 60%，取決於演算法實現、拓撲及擁塞。

延遲類

• 端到端延遲：一個最小包從傳送端應用緩衝區到接收端應用緩衝區的耗時，含序列化、傳輸、轉發、排隊四部分。InfiniBand 硬體層埠到埠延遲約 1 μs（NDR），RoCE 在無損網路下約 2–5 μs，公有雲端多跳疊加後可達數十 μs。
• 尾延遲（Tail Latency）：P99 或 P999 訊息延遲，對同步型並行（Barrier/AllReduce 末尾）危害極大——一個慢節點延遲直接拖慢全部參與者。

訊息速率類

• MPS（Messages Per Second，每秒訊息數）：對小包（如 MoE Token 路由中數百 Byte 的控制訊息）更為關鍵。高速網絡卡處理能力多在 100–200 M MPS（依據 NVIDIA ConnectX-7 規格，約 215 M MPS）。

擁塞與公平性類

• 流完成時間（FCT, Flow Completion Time）：長短流混跑場景下，長流長期佔滿緩衝區引發短流飢餓（Starvation），需靠多佇列（如 8 條優先順序佇列 + 顯式擁塞通知 ECN）和基於 Credit（信用額度）的排程緩解。
• 擁塞視窗（CWND）行為：RoCE 依賴 DCQCN（資料中心量化擁塞通知）演算法調整發送速率，但引數對大規模拓撲敏感，調優不佳易導致吞吐崩塌。

效率與成本類

• 功耗效率：單位位元能耗（pJ/bit）。短距銅纜 DAC 約 1–2 pJ/bit，板載光模組（如 CPO，共封裝光學）目標 < 5 pJ/bit，長距可插拔光模組 400G FR4 約 15–20 pJ/bit。在萬卡叢集中，僅光互聯功耗即可突破 100 kW（按 10 萬根光纖、每根 1.5W 估算），成為運營成本大頭。
• 每 TFLOPS 通訊下行頻寬比：訓練叢集設計中，每 PFlops BF16 算力至少需配套 100–200 Gb/s 的網路注入頻寬（依據 Meta 等公開叢集設計方法論），以避免網路瓶頸限制 GPU 利用率。

上述指標並非孤立存在。例如，2023 年某公開的 4,096 GPU 叢集報告中，AllReduce 總頻寬利用率為 65%，根因不是埠頻寬不足，而是訊息速率瓶頸導致小包握手頻繁超時（來源：MLPerf Training 提交報告及分析）。

技術路線

當前流量技術路線呈“三足鼎立、長期共存”格局，對比見表：

技術路線	頻寬/埠（典型值）	延遲（典型值）	擴充套件方式	相對成本	優勢場景
NVLink + NVSwitch	GPU 至 GPU 單向頻寬可達 100+ GB/s（Blackwell NVLink 5），聚合 TB/s 級 [廠商白皮書]	亞微秒級（GPU-Native）	全互聯或 Switch Fabric，單域 72 GPU（2024 年 Blackwell 架構）	極高（專有封閉）	單機/單架內張量並行、專家並行，極致頻寬需求
InfiniBand NDR/XDR	NDR 400 Gb/s；XDR 800 Gb/s（規劃） [IBTA 路線圖]	~1–3 μs（硬體 RDMA，繞過 OS 核心）	胖樹、Dragonfly+，已驗證支援萬卡級	高（Mellanox/NVIDIA 生態）	中大規模訓練，追求最低最穩延遲，高階科學計算
RoCE 乙太網路（400G / 800G）	400 Gb/s；800G 開始匯入（2024–2025），依賴 112G SerDes 或 224G SerDes [IEEE P802.3df]	數微秒至十餘微秒（受軟體棧與擁塞控制影響）	胖樹/脊葉，理論上可擴至 10 萬+ 節點	中等（通用生態，多供應商可選）	大規模且成本敏感的雲端資料中心，通用虛擬化混合場景
PCIe 5.0 / CXL 3.x	32 GT/s 每通道（PCIe 5），x16 雙向約 64 GB/s；CXL 3.0 引入 64 GT/s	數百納秒（Load-Store 語義）	樹形，記憶體/裝置池化，邏輯可跨多主機	相對低（融入 CPU 南橋/SoC）	CPU-GPU 耦合、記憶體解耦/池化、儲存加速
UALink / Ultra Ethernet	UALink 目標每通道 200 Gb/s（2026 聯盟目標）；UEC 傳輸協議最佳化中 [公開聯盟宣告]	待實測驗證	開放聯盟，GPU 間標準化	預計中低（晶片多源）	打破專有鎖定，2026 年後可能覆蓋部分訓練和推論

（注：以上數值為多代產品典型量級，不構成對特定型號的契約性承諾。“[ ]”內為技術來源或參考標準，供讀者自行檢索驗證。）

架構演進趨勢

• Scale-Up（縱向擴充套件）：以 NVSwitch 為代表，在單機/單機架內將更多 GPU 緊密耦合，頻寬提至 TB/s 級，延遲壓至亞微秒。2024 年 GTC 上釋出的新一代 NVSwitch 支援 576 個 GPU 互聯（據 NVIDIA 公開 Keynote 演示），標誌著 Scale-Up 域已跨越傳統單機邊界進入機架級。
• Scale-Out（橫向擴充套件）：乙太網路陣營通過 UEC（Ultra Ethernet Consortium，超乙太網路聯盟）引入基於 Credit 的流控、多路徑包噴灑（Packet Spraying）和選擇性重傳，力圖抹平與 InfiniBand 在尾部延遲和網路歸約解除安裝方面的差距。首批 UEC 規範預計 2025 年釋出（據 UEC 公開路線圖）。
• Scale-Through（貫通擴充套件）：CXL 3.0 和 UALink 推動記憶體與 GPU 互聯標準化，讓片間流量不經過 PCIe 根複雜體（Root Complex）瓶頸，實現 CPU-GPU、GPU-GPU 及 GPU-SSD 的統一流量排程。

上游

流量系統的上游核心器件劃分為六大層級，每一層均存在技術稀缺性壁壘：

1. 交換器晶片（Switch ASIC）

• 代表廠商：博通（Tomahawk 5 / Jericho 3-AI，25.6T/51.2T）、輝達（Spectrum-4 / Quantum-3，51.2T）、Marvell（Teralynx 10）、思科（Silicon One）。
• 關鍵指標：轉發容量（Tb/s）、可程式設計流水線粒度、快取大小（對 RoCE 無損至關重要，百 MB 級）、遙測（Telemetry）能力。
• 趨勢：2024–2025 年 51.2T 晶片已量產匯入超大規模叢集，102.4T 晶片在研（依據博通及輝達公開路線圖）。交換晶片交付週期一度長達 26–40 周（2023 年供應鏈追蹤資料，據 Omdia 行業分析報告）。

2. 網絡卡 / DPU / SuperNIC

• 代表廠商：輝達（ConnectX-7 / BlueField-3）、Intel（IPU E2100）、AMD（Pensando）、國內廠商（阿里雲端 CIPU、雲端豹智慧等）。
• 關鍵指標：埠速率（400Gb/s）、RDMA 訊息速率（200+ M MPS）、集合通訊解除安裝引擎（如 SDK 庫的網路歸約加速）。
• 趨勢：DPU 正在向 Arm 多核+加速引擎的異構架構升級，承擔流量整形、加解密、儲存協議的全面解除安裝。NVIDIA 推出針對 AI 的 SuperNIC 品類，將擁塞控制和包噴灑硬體化。

3. 光模組與電聯結器

• 代表廠商：中際旭創、天孚通訊（光引擎/無源器件）、新易盛、Coherent、Lumentum（光晶片）。
• 速率演進：2024 年 800G DR8/FR4 批量出貨（主要承載 400G 以上互聯），1.6T 產品送樣（224G SerDes 驅動，據旭創 2024 半年報及 LightCounting 產業報告）。
• 短距互聯：無源銅纜 DAC（直連電纜）和有源銅纜 ACC/AEC（有源電纜）在 2.5 米內佔據成本優勢，功耗比光模組低一個數量級。CPO（共封裝光學）2023–2024 年已由博通（Bailly 系列）、輝達（與 TSMC 合作）等推出樣品，將光子引擎與交換晶片封裝在同一基板上，目標 51.2T 交換器功耗下降 30–50%（依據博通 2023 年技術演示）。
• 聯結器：高速背板聯結器（Samtec、Amphenol、Molex）及板載內插線（Flyover Cable）成為跨 GPU 基板流量的物理載體。

4. SerDes 與物理層 IP

• 代表廠商：Synopsys（新思科技）、Cadence（益華電腦）、Alphawave Semi。
• 趨勢：112G SerDes 已隨 4nm/5nm 晶片規模量產，224G SerDes 面向下一代 1.6T 介面，需 PAM4 + 更復雜 DSP 均衡，功耗和麵積挑戰加大。

5. HBM 記憶體

• 代表廠商：SK 海力士（HBM3e 市場份額據稱第一，[TrendForce 2024Q3 資料]）、三星、美光。
• 現狀：HBM 頻寬隨代際從 3.2 Gb/s/pin 增至 9.8 Gb/s/pin（HBM3e），HBM4 規劃在 2026 年（JEDEC 標準制定中）。HBM 容量與頻寬是“流量第一公里”，供應持續緊張，2023–2024 年海力士及三星營收中 HBM 佔比急速攀升（年報已證）。

6. 機櫃級元件

• 包括液冷管路、高密度光纖配線架、雷射光源（External Laser Source）等。CPO 普及後，外接光源將成為機房標配元件，目前主要供應商為 Lumentum、Coherent 等。

下游

下游需求方形成“三大梯隊 + 長尾”結構：

第一梯隊：超大規模雲端廠商自建 AI 叢集

• 代表：Microsoft（與 OpenAI 合作，2024 年釋出自研 Maia 100 AI 加速卡及配套乙太網路）、Google（TPU v5p 叢集，自研光交換器 OCS，據論文與公開 Blog）、Amazon（Trainium2，自研 NeuronLink 互聯）、Meta（公開宣稱 2024 年底部署 350,000 卡 H100 叢集，[Meta AI 公開部落格]）、國內：阿里雲端、華為雲端、字節跳動等。
• 特點：百萬卡量級採購，主導架構定製，傾向白盒交換器和開放網路，並對 UEC 等聯盟施加巨大影響力。

第二梯隊：國家/區域智算中心

• 由政府或運營商主導，常繫結政策任務（如大型模型孵化、科學計算、氣象模擬），規模在百 PFlops 至數千 PFlops 不等。流量方案多采用 InfiniBand 與乙太網路雙棧，追求建設確定性，但運維能力參差。

第三梯隊：企業級私有化部署與垂直行業

• 金融、醫療、自動駕駛等領域，出於資料合規和低延遲推論需求，部署小規模（數十到數百卡）AI 叢集。流量瓶頸點在於訓練調優和推論的即時性保障，通常採用成熟的 RoCE 方案以控制成本。

長尾市場：中小企業微調與邊緣推論節點，如邊緣閘道器、5G MEC（多接入邊緣計算）平台內建輕量 AI 推論卡，流量在卡內和本地網路端到端完成，對成本與功耗極度敏感。

受益公司

以下公司為產業鏈各環節的代表性企業，列舉目的僅為產業研究，不構成投資建議類別。

海外（美股）

• NVIDIA（端到端硬體 + NVLink/Quantum InfiniBand/Spectrum 乙太網路交換器全覆蓋，定義整個流量架構，手握端到端全棧控制力）
• Broadcom（交換晶片全球市場份額超 65% [Omdia 2023]，且光模組 DSP、SerDes IP 及 CPO 均處第一梯隊）
• Arista / Cisco（面向超大規模的白盒交換器與軟體，Arista 在 Meta、微軟的 400G/800G 叢集中份額顯著 [Arista 季度報告]）
• Coherent / Lumentum（光器件與雷射源，CPO 核心供應商）
• Marvell（資料中心 DPU、定製 ASIC 及 PAM4 DSP）

A 股對映（舉例）

• 光模組/光引擎：中際旭創（據 2024 年半年報，800G 出貨量年增率大增，高階光模組主要供應北美雲端客戶）、天孚通訊（高速光引擎和無源器件核心供應商）、新易盛（400G / 800G 批量出貨）
• 交換器/網路裝置：紫光股份/新華三（國內乙太網路交換器龍頭，AI 叢集交換器份額提升）、銳捷網路（白盒與資料中心交換器）
• 介面與互聯晶片：瀾起科技（DDR5 記憶體介面及配套晶片，PCIe Retimer 晶片已量產）、盛科通訊（國產交換器晶片，以中低端為主，高階在研，[招股書及年報]）
• PCB / 基板 / 聯結器：滬電股份（高多層 AI 伺服器及交換器背板 PCB）、深南電路、興森科技
• 銅纜/聯結器元件：兆龍互聯（高速無源銅纜元件，隨 DAC 需求而受益）、立訊精密（高速聯結器及模組）

需要強調：上述為產業研究層面的代表性列舉。公司受益程度與兌現週期受產品節奏、大客戶認證週期、交付能力及宏觀環境等多因素影響，公開報價及研究報告揭露的具體財務數字請查閱最新財報，此處不逐項列出以免過時。

市場規模

AI 流量相關核心器件的市場規模在過去兩年經歷了爆發式增長，並在中短期內維持高景氣：

光模組市場

• 據 LightCounting 2024 年 9 月報告（口徑：全球光模組市場規模），2023 年 AI 用光模組（200G 及以上）銷售額約 38 億美元，年增率增幅超 140%。該機構預測 2024 年將突破 80 億美元，主要由 800G DR/FR 推動；2026–2027 年 1.6T 上量後，年市場總規模或衝擊 150 億美元。
• 其中，中際旭創在 2023 年全球光模組市場份額位居第一（約 13.6%，含全品類，[LightCounting 2024Q2 報告]），在 800G 細分市場佔據明顯先發優勢。

交換晶片與交換器市場

• 據 Dell’Oro Group 2024 年 8 月報告（口徑：資料中心乙太網路交換器銷售額），2023 年全年高速交換器市場約 210 億美元，其中 200/400 Gb/s 埠交換器增長超過 100%。該機構預計 2025 年 AI 後端網路（Back-end Network）交換器佔總市場比重將從 2022 年的 個位數升至 25% 以上。
• InfiniBand 市場 2023 年約 35 億美元，NVIDIA 佔據 90%+ 份額（據 Crehan Research 及 Omdia 估計，公開資料未見 2024 年確認資料）。

HBM 市場

• TrendForce 2024 年 6 月預估（口徑：全球 HBM 市場規模），2023 年約 43 億美元，2024 年受 HBM3e 大規模出貨驅動將逾 180 億美元，年增率增長約 320%。HBM 佔 DRAM 總產值比例從 2023 年的 8% 躍升至 2024 年的約 21%。

高速互聯（合計）

• 多家分析機構（Yole Intelligence、650 Group 等）給出的“AI 用高速互聯市場”年複合增長率普遍在 25%–45%（2023–2028 年）。口徑各有差異，但共識是：連線和頻寬開銷佔 AI 基礎設施總資本支出的比例已從 2020 年的約 10% 上升至 2024 年的 15%–25%，且仍在攀升。

以上數字均轉引自第三方研究機構公開報告，不保證精確性，僅供參考產業量級判斷。

玩家對比

除上述受益公司外，主要參與者在完整解決方案上的競爭如下：

維度	NVIDIA	博通	AMD	乙太網路白盒（Arista + 博通/客戶自研）	華為
卡間互聯方案	NVLink + NVSwitch（封閉，全棧最佳化）	通過 PCIe/CXL 生態及定製 ASIC 配合客戶	Infinity Fabric + 開放標準（如 UALink 規劃）	依賴 PCIe 和標準乙太網路，無專有 GPU 匯流排	自研 HCCS（Huawei Cache Coherence System）+ 乙太網路
網路側策略	Quantum IB + Spectrum 乙太網路雙線，自有 DPU	Tomahawk/Jericho 交換晶片 + 為各雲端商定製	收購 Pensando DPU、自研網絡卡，搭配標準交換器	多廠商白盒交換器 + 標準 NIC，推動 UEC 和 SONiC 開源	自研 CloudEngine 交換器、自研 DPU，通過光模組自研降本
優勢	端到端極致效能，軟硬協同（NCCL/CUDA）	交換晶片絕對市佔率，其定製 ASIC 被大客戶深度採用	CPU+GPU 協同，低成本推論解決方案	開放性最佳，成本可視，迭代快	全棧國產替代，供應鏈自主
風險	生態封閉引發客戶“反捆綁”訴求，高毛利招致圍剿	AI 晶片總需求受大型模型能否商用驗證影響	軟體生態弱，客戶遷移成本高	擁塞控制與網路歸約解除安裝等高階能力落地慢，複雜場景穩定性待提高	先進製程受限，海外生態接入壁壘

以上對比基於 2024 年行業現狀，廠商路線圖及產品可達性請參照各自官方最新發布。

風險

1. 技術路線不確定性 CPO 與可插拔光模組之爭遠未定案。CPO 密度和功耗優勢明顯，但工藝良率、維護便利性和多源供應商生態薄弱。UEC 能否在 2026 年前後真正提供對 InfiniBand 的“替代級”體驗，特別是尾部延遲和網路歸約解除安裝，公開資料尚無大規模驗證結論。若核心客戶轉向自研或押注特定生態，硬體供應商可能迅速被動化。

2. 大客戶集中度過高 AI 基礎設施建設高度集中於微軟、Meta、Google、亞馬遜、字節跳動、阿里等少數巨頭。單一客戶資本支出節奏波動會成倍放大到上游。2023 年下半年，某北美雲端服務商調整光模組採購節奏，曾引發多家供應商短期營收大幅波動（據相關公司季度財報及投資者電話會議，此處隱含細節不便點名）。

3. 速率迭代的“斷崖風險” 2024–2025 年 800G 規模出貨，若 1.6T 生態因 224G SerDes 功耗或訊號完整性驗證延遲，則產業鏈可能出現“青黃不接”——研發費用已投入，但大單落地推遲，中小型供應商現金流量承壓。

4. 地緣政治與供應鏈安全 HBM、先進封裝（CoWoS）及交換晶片核心製程集中於台積電及三星、SK 海力士。地緣衝突或出口管制升級（如 2023 年 10 月美國擴展出口管制規則，限制先進晶片及光刻環節）可能導致分配失衡，甚至迫使中資客戶從高效能方案降級為“低代際+多卡”堆疊，從而影響高速互聯器件需求結構。

5. 模型架構變化的顛覆風險 若非 Transformer 架構（如 Mamba、RWKV 等狀態空間模型）在大規模訓練中獲得實用優勢，其通訊模式可能大幅區別於現有 MoE/密集 Transformer 的 AllReduce 及 All-to-All 密集模式，原先為特定流量帕累托最優設計的高階交換器、光模組可能出現需求結構性下滑。

6. 產能與價格戰 HBM 和光模組量價雙升的邏輯已被市場較強預期定價。若 2025–2026 年產能集中釋放導致供需快速逆轉，可能引發價格戰，壓低全產業鏈毛利率。2023 年已有部分低速光模組品類出現價格年增率下降超 20% 的情形（據 LightCounting 產業鏈調查）。

誤讀糾偏

誤讀 1：“頻寬越高 = 流量效能越好” 糾正：這是產業中最常見的迷思。忽略延遲、訊息大小和集合通訊演算法，頻寬可能大量浪費。例如 MoE 模型的 All-to-All Epilogue 中，單條訊息常僅數百位元組，此時訊息速率（MPS）和網絡卡自身處理延遲成為瓶頸。一條 400 Gb/s 鏈路若只跑幾億個小包每秒，實際有效載荷吞吐可能不足標稱速率的 20%。流量工程需要頻寬、延遲和訊息處理能力三者平衡。

誤讀 2：“InfiniBand 永遠碾壓乙太網路” 糾正：InfiniBand 在穩定延遲和 SHARP 網路歸約解除安裝上的確有不可忽略的優勢，尤其在千卡以下小規模叢集的實測報告中。但 RoCE v2 結合自適應路由和精細流控，在針對網路拓撲進行專門調優後，大規模分散式訓練效能已逼近 IB（依據 IEEE Hot Interconnects 及 MLPerf 公開記錄的多家公司提交）。UEC 提出的 Credit-based 流控和包噴灑，如果 2025–2026 年被大規模驗證，差距有可能縮小到多數應用無需挑剔的水平。

誤讀 3：“流量瓶頸只發生在網路” 糾正：單卡內部 HBM 頻寬與計算吞吐（算術強度）失衡是更隱蔽的瓶頸。例如，BF16 精度下，A100 的 HBM2e 頻寬約 2 TB/s，FP32 吞吐約 19.5 TFLOPS，算術強度要求約 10 Flops/Byte 方能讓計算不等待資料。當視訊記憶體頻寬跟不上時，即便網路頻寬再充裕，GPU 單元使用率也很難超過 50%，形成“昂貴的計算單元在等待記憶體喂數”。片內、卡間、網路三層流量須協同規劃。

誤讀 4：“網路流量越少越好，壓縮率越高越優” 糾正：梯度壓縮（Top-k 稀疏化、量化、低秩分解）確實能削減數十倍通訊量，但會引入梯度偏差，可能損害最終收斂質量甚至導致訓練不穩定，需要額外的誤差補償（Error Feedback）和人工調參。因此，流量壓縮不是免費的午餐，必須在壓縮比、精度損失和計算開銷之間做工程權衡。

最新事件

以下事件按時間倒序排列，反映近 18 個月（2023–2025 年初）產業關鍵動態：

• 2025 年 1 月：輝達在 CES 釋出 GeForce RTX 50 系列，繼續強化 Blackwell 架構的 GDDR7 視訊記憶體頻寬；並介紹 NVIDIA NVLink Switch 賦能 72 GPU 的單機架互聯方案（據 NVIDIA CES 主題演講）。
• 2024 年 10 月：博通在 OCP 峰會展示 51.2T 交換器平台 Tomahawk 5 Bailly CPO 原型，宣稱可降低功耗 40% 以上（據博通新聞釋出）。
• 2024 年 9 月：Ultra Ethernet Consortium 釋出首版傳輸層協議規範 0.5 草案，就多路徑包噴灑和選擇性重傳達成架構共識（據 UEC 官方宣告）。
• 2024 年 8 月：中際旭創釋出 2024 年半年報，800G 光模組出貨量年增率增長數倍，營收與淨利均錄得大幅增長，並透露 1.6T 已批次送樣（據公司半年報）。
• 2024 年 6 月：AMD 聯合博通釋出 UALink 聯盟白皮書，目標在 2026 年前推出 GPU 間開放互聯標準，每通道 200 Gb/s，以對抗 NVLink 生態（據 AMD 官方部落格）。
• 2024 年 3 月：Meta 公開 24,576 卡 H100 叢集設計，使用 RoCE v2 900 Gb/s 總頻寬的乙太網路，介紹了 ECN 引數調優、基於拓撲感知的 NCCL 配置策略（據 Meta Blog《Building Meta’s GenAI Infrastructure》）。
• 2023 年 11 月：H200 釋出，配備 141 GB HBM3e，視訊記憶體頻寬提升至 4.8 TB/s（依據 NVIDIA 技術文件），短期內緩解部分算術強度瓶頸。
• 2023 年 10 月：美國 BIS 更新半導體出口管制規則，對部分高效能運算晶片和光刻裝置施加更嚴格限制，對中國客戶獲取 HBM 及高速互聯晶片的可及性產生深遠影響（據 BIS 官方檔案）。

追蹤指標

產業鏈研究可定期關注以下公開資料來源和指標，形成高頻認知更新：

季度財務資料

• NVIDIA 資料中心部門營收結構，關注“Networking”分項（包含 NVSwitch、IB 交換器、DPU）的絕對值與毛利率。
• 中際旭創、新易盛等季度營收季增率及毛利率變動，尤其 400G/800G 出貨均價趨勢（公司財報電話會常透露展望）。
• 博通“Networking”部門交換器晶片出貨（視為交換器總需求的前置 2–4 個月指標）。

行業機構季度報告

• LightCounting《High-Speed Optics Report》，每季度更新光模組出貨、價格、供應商份額。
• Dell’Oro Group《Data Center Switch Quarterly Report》，追蹤 100G 以上端口出貨量。
• TrendForce HBM / DRAM 季度追蹤，評估先進記憶體產能分配與市佔變遷。

頭部客戶資本支出

• 微軟、Meta、Google、亞馬遜、Oracle 季報中的 CapEx（資本支出）絕對值和展望。2023–2024 年四家資本支出合計持續突破季度 400 億美元，是流量硬體前期需求的最權威先行指標。
• 字節跳動、阿里巴巴、騰訊資本支出，綜合國內企業的年報及網路公開資料。

技術會議與標準進展

• Hot Interconnects、NSDI、SIGCOMM 論文（尤其是由雲端廠商和輝達工程師聯合釋出的片上網路與擁塞控制文章）。
• UEC 和 UALink 的規範釋出節點（檢索聯盟官網即可）。
• OCP（開放計算專案，Open Compute Project）峰會上博通、Arista 等的最新原型展示。

供應鏈報價與交期

• 第三方渠道（如 IT 經銷商對 InfiniBand 交換器的報價，專業光模組電商平台）反映的現貨與合約價格走勢。
• 上游晶圓（台積電 CoWoS）及 HBM 的公開交付新聞，可作為供應緊張度的定性訊號。

上述指標均為公開可查資料，建議交叉驗證多家來源，避免單一來源偏差。

信源

本文關鍵事實、資料和判斷來源或推薦檢索路徑包括但不限於：

1. NVIDIA 官方：H100/B100/B200 GPU 架構白皮書、NCCL 文件、《NVIDIA Networking》技術部落格、季度財報與投資者簡報。
2. Meta：《Building Meta’s GenAI Infrastructure》（2024 年 3 月公開）等工程部落格和技術論文。
3. 博通：Tomahawk 5 / Jericho 3-AI 釋出部落格、OCP 2023/2024 技術簡報。
4. Ultra Ethernet Consortium / UALink 聯盟：官方網站白皮書與新聞稿。
5. 第三方分析機構：LightCounting《High-Speed Optics Report》、Dell’Oro Group《Data Center Switch Quarterly》、Omdia《Data Center IT Capex & Networking》、TrendForce 關於 HBM 和 DRAM 產業更新。
6. 學術/技術會議：SIGCOMM、NSDI、Hot Interconnects 近三年論文（特別是擁塞控制、拓撲與集合通訊演算法最佳化等方向）。
7. MLPerf（MLCommons）：各組織的訓練子項提交記錄，含詳細的系統描述和實測頻寬資料，是真實流量的寶貴公開來源。
8. 公司公告：中際旭創、新易盛、瀾起科技等季度/年度報告及投資者交流紀要（A 股通過巨潮資訊網可查，美股通過 SEC EDGAR 或公司 IR 頁面可查）。

（全文完）