流量

3 秒看懂

在 AI 语境下，“流量”（Flow Rate）特指单位时间内通过计算系统、网络链路或数据通道的比特/字节、样本或令牌的数量，是衡量数据吞吐能力与通信效率的核心指标。它直接决定大模型训练速度、分布式扩展上限与推理实时性。如果把算力比作心脏，流量就是血管中血液的流速——管壁太窄、路径太长或调度失当，都会导致大脑缺血、全身机能瘫痪。

3 分钟产业解释

在深度学习产业中，流量呈现为多层次、多形态的综合概念：

片内/卡内流量 计算单元与 HBM（高带宽内存）之间的数据搬移带宽，常以 TB/s 衡量。这是单卡算力真正释放的第一道门槛。如果算术密度（Operations/Byte）过高而显存带宽跟不上，GPU 内部大量计算单元将陷入空转，实测利用率可能从 70% 跌至 30% 以下。

卡间流量 GPU 通过 NVLink 或 PCIe/CXL 等接口实现拓扑互联，承载张量并行中的张量切分与聚合、专家并行中的路由分发以及混合并行方案的中间数据交换。Blackwell 架构单 GPU 的 NVLink 双向带宽已突破 1.8 TB/s（依据 NVIDIA 2024 年 GPU 架构白皮书），但仍赶不上模型规模的增速。

节点间流量 InfiniBand NDR/XDR（400Gb/s 起步）、RoCE（RDMA over Converged Ethernet，融合以太网远程直接内存访问）以太网等高速互联，支撑万卡甚至十万卡集群的群体通信，包括 AllReduce（全归约）、All-to-All（全对全通信）、ReduceScatter（散射归约）等。单次梯度同步通信量可达数百 GB 级别。

端到端流量 从分布式存储读取训练样本，到中间计算与通信流水，再到推理请求返回结果，整个数据链路的吞吐量将最终体现为训练一个模型的总时长（TTT，Time-To-Train）或推理单个 Token 的延迟与成本。

高流量系统要求匹配的交换芯片、重定时器（Retimer）、光模块、高密度连接器以及高效拥塞控制算法。当某一环节流量不足成为瓶颈，其他昂贵硬件投资即被限速。因此，流量指标贯穿 AI 基础设施的设计、采购与调优全流程，是衡量总拥有成本（TCO，Total Cost of Ownership）的关键抓手。

技术原理

流量产生的物理层与协议层机制

以分布式训练中一次跨节点 AllReduce 操作为例，完整的流量链路可拆解为以下阶段：

+-----------+       +-----------+        +-----------+
| GPU 0     |       | NVSwitch  |        | GPU 1     |
|   计算核  | ----> |  （可选）  | ----> |   计算核  |
| HBM <---> NVLink |           | NVLink |   HBM     |
+-----------+       +-----------+        +-----------+
       |                                        ^
       v                                        |
  ConnectX-7                              ConnectX-7
       |                                        ^
       v                                        |
+-----------------+                +-----------------+
|  交换机         |  <-- InfiniBand -->   |  交换机         |
|  (HDR/NDR)     |                |  (HDR/NDR)     |
+-----------------+                +-----------------+

（上图为分布式训练节点间通信的典型数据流拓扑，展示了 GPU 内部、卡间及网络三层流量的承载关系）

局部流量（片内） HBM 带宽普遍可达每栈数百 GB/s 至 TB/s 量级（具体数值代际差异极大，例如 H100 的 HBM3 为 3.35 TB/s，H200 的 HBM3e 约 4.8 TB/s，均依据 NVIDIA 公开技术文档）。过多并发计算请求会引发端口争抢（Bank Conflict），需借助缓存合并（Cache Coalescing）与多通道交织（Interleaving）来摊平峰值。

卡间流量 NVLink 4.0 每条链路单向带宽 50 GB/s（双向 100 GB/s），Blackwell 的 NVLink 5 进一步提升（双向 1.8 TB/s）。NVSwitch 将多 GPU 全互联，数据以包为单位传输，支持组播（Multicast）和归约硬件卸载（Reduction Offload），延迟低至亚微秒级。

网络流量 InfiniBand NDR 单端口速率 400 Gb/s，采用 64/66 编码后的有效载荷率约 97%。结合 SHARP（Scalable Hierarchical Aggregation and Reduction Protocol，可扩展分层聚合与归约协议），交换机可直接在转发路径中完成求和、求最大值等归约操作，使得返回 GPU 的流量精简数倍甚至数十倍，大幅缩减节点侧注入带宽需求。

通信算法视角的流量建模

• Ring AllReduce（环状全归约）：N 个节点，每个节点发送与接收 (2(N-1)/N) 倍模型大小数据，总通信量恒定约 2M（M 为模型参数量），与节点数几乎无关。这在大规模集群中具备极好的可扩展性，但延迟随节点数线性增长。
• Tree AllReduce（树状全归约）：总通信量同样约 2M，延迟为对数级（约 2log₂N），但对中间节点带宽要求更高，易形成根节点瓶颈。
• All-to-All（全对全通信）：在 MoE（混合专家）中，每 Token 在路由阶段被分发到 K 个专家，吞吐量正比于（总 Token 数 × K × hidden_dim），突发性和异质性极强，极易打满覆盖网络汇聚层链路。
• ReduceScatter + AllGather（散射归约+全收集）：总通信量与 AllReduce 相同，但分拆后的子操作更便于在网络限制下分步实施。

流量管理的底层硬件基础包括 SerDes（串并转换器）速率、调制方式（PAM4，四阶脉冲幅度调制 vs NRZ，不归零编码）、FEC（前向纠错）增益以及光模块的带宽距离积（Bandwidth-Distance Product）。例如，PAM4 在同等波特率下承载两倍于 NRZ 的数据量，但信噪比要求更苛刻，需更强的 FEC 保护，进而引入纳秒级增量延迟。

关键参数

评估流量系统的核心指标体系可拆解为五类共 15 项，每项均与工程决策直接关联：

带宽类

• 物理层速率：单向端口速率，Gb/s 或 GB/s。例如 NDR 单端口 400 Gb/s，扣除协议开销后有效载荷约 97 Gb/s 每端口（InfiniBand 64/66 编码，依据 IBTA 规范）。
• 聚合带宽：系统总双向带宽，例如 8 卡 HGX 底板的 NVLink 聚合带宽达 900 GB/s（双向，依据 NVIDIA HGX 规格文档）。
• 有效吞吐：在特定集合通信算法下实测达到的带宽占峰值的百分比（常称为 Bus Bandwidth 利用率）。理想 AllReduce 的 Bus 带宽为 (2(N-1)/N) × 有效数据量/耗时，现实中可低于峰值的 60%，取决于算法实现、拓扑及拥塞。

延迟类

• 端到端延迟：一个最小包从发送端应用缓冲区到接收端应用缓冲区的耗时，含串行化、传输、转发、排队四部分。InfiniBand 硬件层端口到端口延迟约 1 μs（NDR），RoCE 在无损网络下约 2–5 μs，公有云多跳叠加后可达数十 μs。
• 尾延迟（Tail Latency）：P99 或 P999 消息延迟，对同步型并行（Barrier/AllReduce 末尾）危害极大——一个慢节点延迟直接拖慢全部参与者。

消息速率类

• MPS（Messages Per Second，每秒消息数）：对小包（如 MoE Token 路由中数百 Byte 的控制消息）更为关键。高速网卡处理能力多在 100–200 M MPS（依据 NVIDIA ConnectX-7 规格，约 215 M MPS）。

拥塞与公平性类

• 流完成时间（FCT, Flow Completion Time）：长短流混跑场景下，长流长期占满缓冲区引发短流饥饿（Starvation），需靠多队列（如 8 条优先级队列 + 显式拥塞通知 ECN）和基于 Credit（信用额度）的调度缓解。
• 拥塞窗口（CWND）行为：RoCE 依赖 DCQCN（数据中心量化拥塞通知）算法调整发送速率，但参数对大规模拓扑敏感，调优不佳易导致吞吐崩塌。

效率与成本类

• 功耗效率：单位比特能耗（pJ/bit）。短距铜缆 DAC 约 1–2 pJ/bit，板载光模块（如 CPO，共封装光学）目标 < 5 pJ/bit，长距可插拔光模块 400G FR4 约 15–20 pJ/bit。在万卡集群中，仅光互联功耗即可突破 100 kW（按 10 万根光纤、每根 1.5W 估算），成为运营成本大头。
• 每 TFLOPS 通信下行带宽比：训练集群设计中，每 PFlops BF16 算力至少需配套 100–200 Gb/s 的网络注入带宽（依据 Meta 等公开集群设计方法论），以避免网络瓶颈限制 GPU 利用率。

上述指标并非孤立存在。例如，2023 年某公开的 4,096 GPU 集群报告中，AllReduce 总带宽利用率为 65%，根因不是端口带宽不足，而是消息速率瓶颈导致小包握手频繁超时（来源：MLPerf Training 提交报告及分析）。

技术路线

当前流量技术路线呈“三足鼎立、长期共存”格局，对比见表：

（注：以上数值为多代产品典型量级，不构成对特定型号的契约性承诺。“[ ]”内为技术来源或参考标准，供读者自行检索验证。）

架构演进趋势

• Scale-Up（纵向扩展）：以 NVSwitch 为代表，在单机/单机架内将更多 GPU 紧密耦合，带宽提至 TB/s 级，延迟压至亚微秒。2024 年 GTC 上发布的新一代 NVSwitch 支持 576 个 GPU 互联（据 NVIDIA 公开 Keynote 演示），标志着 Scale-Up 域已跨越传统单机边界进入机架级。
• Scale-Out（横向扩展）：以太网阵营通过 UEC（Ultra Ethernet Consortium，超以太网联盟）引入基于 Credit 的流控、多路径包喷洒（Packet Spraying）和选择性重传，力图抹平与 InfiniBand 在尾部延迟和网络归约卸载方面的差距。首批 UEC 规范预计 2025 年发布（据 UEC 公开路线图）。
• Scale-Through（贯通扩展）：CXL 3.0 和 UALink 推动内存与 GPU 互联标准化，让片间流量不经过 PCIe 根复杂体（Root Complex）瓶颈，实现 CPU-GPU、GPU-GPU 及 GPU-SSD 的统一流量调度。

上游

流量系统的上游核心器件划分为六大层级，每一层均存在技术稀缺性壁垒：

1. 交换机芯片（Switch ASIC）

• 代表厂商：博通（Tomahawk 5 / Jericho 3-AI，25.6T/51.2T）、英伟达（Spectrum-4 / Quantum-3，51.2T）、Marvell（Teralynx 10）、思科（Silicon One）。
• 关键指标：转发容量（Tb/s）、可编程流水线粒度、缓存大小（对 RoCE 无损至关重要，百 MB 级）、遥测（Telemetry）能力。
• 趋势：2024–2025 年 51.2T 芯片已量产导入超大规模集群，102.4T 芯片在研（依据博通及英伟达公开路线图）。交换芯片交付周期一度长达 26–40 周（2023 年供应链跟踪数据，据 Omdia 行业分析报告）。

2. 网卡 / DPU / SuperNIC

• 代表厂商：英伟达（ConnectX-7 / BlueField-3）、Intel（IPU E2100）、AMD（Pensando）、国内厂商（阿里云 CIPU、云豹智能等）。
• 关键指标：端口速率（400Gb/s）、RDMA 消息速率（200+ M MPS）、集合通信卸载引擎（如 SDK 库的网络归约加速）。
• 趋势：DPU 正在向 Arm 多核+加速引擎的异构架构升级，承担流量整形、加解密、存储协议的全面卸载。NVIDIA 推出针对 AI 的 SuperNIC 品类，将拥塞控制和包喷洒硬件化。

3. 光模块与电连接器

• 代表厂商：中际旭创、天孚通信（光引擎/无源器件）、新易盛、Coherent、Lumentum（光芯片）。
• 速率演进：2024 年 800G DR8/FR4 批量出货（主要承载 400G 以上互联），1.6T 产品送样（224G SerDes 驱动，据旭创 2024 半年报及 LightCounting 产业报告）。
• 短距互联：无源铜缆 DAC（直连电缆）和有源铜缆 ACC/AEC（有源电缆）在 2.5 米内占据成本优势，功耗比光模块低一个数量级。CPO（共封装光学）2023–2024 年已由博通（Bailly 系列）、英伟达（与 TSMC 合作）等推出样品，将光子引擎与交换芯片封装在同一基板上，目标 51.2T 交换机功耗下降 30–50%（依据博通 2023 年技术演示）。
• 连接器：高速背板连接器（Samtec、Amphenol、Molex）及板载内插线（Flyover Cable）成为跨 GPU 基板流量的物理载体。

4. SerDes 与物理层 IP

• 代表厂商：Synopsys（新思科技）、Cadence（楷登电子）、Alphawave Semi。
• 趋势：112G SerDes 已随 4nm/5nm 芯片规模量产，224G SerDes 面向下一代 1.6T 接口，需 PAM4 + 更复杂 DSP 均衡，功耗和面积挑战加大。

5. HBM 内存

• 代表厂商：SK 海力士（HBM3e 市场份额据称第一，[TrendForce 2024Q3 数据]）、三星、美光。
• 现状：HBM 带宽随代际从 3.2 Gb/s/pin 增至 9.8 Gb/s/pin（HBM3e），HBM4 规划在 2026 年（JEDEC 标准制定中）。HBM 容量与带宽是“流量第一公里”，供应持续紧张，2023–2024 年海力士及三星收入中 HBM 占比急速攀升（年报已证）。

6. 机柜级组件

• 包括液冷管路、高密度光纤配线架、激光光源（External Laser Source）等。CPO 普及后，外置光源将成为机房标配组件，目前主要供应商为 Lumentum、Coherent 等。

下游

下游需求方形成“三大梯队 + 长尾”结构：

第一梯队：超大规模云厂商自建 AI 集群

• 代表：Microsoft（与 OpenAI 合作，2024 年发布自研 Maia 100 AI 加速卡及配套以太网）、Google（TPU v5p 集群，自研光交换机 OCS，据论文与公开 Blog）、Amazon（Trainium2，自研 NeuronLink 互联）、Meta（公开宣称 2024 年底部署 350,000 卡 H100 集群，[Meta AI 公开博客]）、国内：阿里云、华为云、字节跳动等。
• 特点：百万卡量级采购，主导架构定制，倾向白盒交换机和开放网络，并对 UEC 等联盟施加巨大影响力。

第二梯队：国家/区域智算中心

• 由政府或运营商主导，常绑定政策任务（如大模型孵化、科学计算、气象模拟），规模在百 PFlops 至数千 PFlops 不等。流量方案多采用 InfiniBand 与以太网双栈，追求建设确定性，但运维能力参差。

第三梯队：企业级私有化部署与垂直行业

• 金融、医疗、自动驾驶等领域，出于数据合规和低延迟推理需求，部署小规模（数十到数百卡）AI 集群。流量瓶颈点在于训练调优和推理的实时性保障，通常采用成熟的 RoCE 方案以控制成本。

长尾市场：中小企业微调与边缘推理节点，如边缘网关、5G MEC（多接入边缘计算）平台内置轻量 AI 推理卡，流量在卡内和本地网络端到端完成，对成本与功耗极度敏感。

受益公司

以下公司为产业链各环节的代表性企业，列举目的仅为产业研究，不构成投资建议类别。

海外（美股）

• NVIDIA（端到端硬件 + NVLink/Quantum InfiniBand/Spectrum 以太网交换机全覆盖，定义整个流量架构，手握端到端全栈控制力）
• Broadcom（交换芯片全球市场份额超 65% [Omdia 2023]，且光模块 DSP、SerDes IP 及 CPO 均处第一梯队）
• Arista / Cisco（面向超大规模的白盒交换机与软件，Arista 在 Meta、微软的 400G/800G 集群中份额显著 [Arista 季度报告]）
• Coherent / Lumentum（光器件与激光源，CPO 核心供应商）
• Marvell（数据中心 DPU、定制 ASIC 及 PAM4 DSP）

A 股映射（举例）

• 光模块/光引擎：中际旭创（据 2024 年半年报，800G 出货量同比大增，高端光模块主要供应北美云客户）、天孚通信（高速光引擎和无源器件核心供应商）、新易盛（400G / 800G 批量出货）
• 交换机/网络设备：紫光股份/新华三（国内以太网交换机龙头，AI 集群交换机份额提升）、锐捷网络（白盒与数据中心交换机）
• 接口与互联芯片：澜起科技（DDR5 内存接口及配套芯片，PCIe Retimer 芯片已量产）、盛科通信（国产交换机芯片，以中低端为主，高端在研，[招股书及年报]）
• PCB / 基板 / 连接器：沪电股份（高多层 AI 服务器及交换机背板 PCB）、深南电路、兴森科技
• 铜缆/连接器组件：兆龙互联（高速无源铜缆组件，随 DAC 需求而受益）、立讯精密（高速连接器及模组）

需要强调：上述为产业研究层面的代表性列举。公司受益程度与兑现周期受产品节奏、大客户认证周期、交付能力及宏观环境等多因素影响，公开报价及研报披露的具体财务数字请查阅最新财报，此处不逐项列出以免过时。

市场规模

AI 流量相关核心器件的市场规模在过去两年经历了爆发式增长，并在中短期内维持高景气：

光模块市场

• 据 LightCounting 2024 年 9 月报告（口径：全球光模块市场规模），2023 年 AI 用光模块（200G 及以上）销售额约 38 亿美元，同比增幅超 140%。该机构预测 2024 年将突破 80 亿美元，主要由 800G DR/FR 推动；2026–2027 年 1.6T 上量后，年市场总规模或冲击 150 亿美元。
• 其中，中际旭创在 2023 年全球光模块市场份额位居第一（约 13.6%，含全品类，[LightCounting 2024Q2 报告]），在 800G 细分市场占据明显先发优势。

交换芯片与交换机市场

• 据 Dell’Oro Group 2024 年 8 月报告（口径：数据中心以太网交换机销售额），2023 年全年高速交换机市场约 210 亿美元，其中 200/400 Gb/s 端口交换机增长超过 100%。该机构预计 2025 年 AI 后端网络（Back-end Network）交换机占总市场比重将从 2022 年的 个位数升至 25% 以上。
• InfiniBand 市场 2023 年约 35 亿美元，NVIDIA 占据 90%+ 份额（据 Crehan Research 及 Omdia 估计，公开资料未见 2024 年确认数据）。

HBM 市场

• TrendForce 2024 年 6 月预估（口径：全球 HBM 市场规模），2023 年约 43 亿美元，2024 年受 HBM3e 大规模出货驱动将逾 180 亿美元，同比增长约 320%。HBM 占 DRAM 总产值比例从 2023 年的 8% 跃升至 2024 年的约 21%。

高速互联（合计）

• 多家分析机构（Yole Intelligence、650 Group 等）给出的“AI 用高速互联市场”年复合增长率普遍在 25%–45%（2023–2028 年）。口径各有差异，但共识是：连接和带宽开销占 AI 基础设施总资本开支的比例已从 2020 年的约 10% 上升至 2024 年的 15%–25%，且仍在攀升。

以上数字均转引自第三方研究机构公开报告，不保证精确性，仅供参考产业量级判断。

玩家对比

除上述受益公司外，主要参与者在完整解决方案上的竞争如下：

以上对比基于 2024 年行业现状，厂商路线图及产品可达性请参照各自官方最新发布。

风险

1. 技术路线不确定性 CPO 与可插拔光模块之争远未定案。CPO 密度和功耗优势明显，但工艺良率、维护便利性和多源供应商生态薄弱。UEC 能否在 2026 年前后真正提供对 InfiniBand 的“替代级”体验，特别是尾部延迟和网络归约卸载，公开资料尚无大规模验证结论。若核心客户转向自研或押注特定生态，硬件供应商可能迅速被动化。

2. 大客户集中度过高 AI 基础设施建设高度集中于微软、Meta、Google、亚马逊、字节跳动、阿里等少数巨头。单一客户资本开支节奏波动会成倍放大到上游。2023 年下半年，某北美云服务商调整光模块采购节奏，曾引发多家供应商短期营收大幅波动（据相关公司季度财报及投资者电话会议，此处隐含细节不便点名）。

3. 速率迭代的“断崖风险” 2024–2025 年 800G 规模出货，若 1.6T 生态因 224G SerDes 功耗或信号完整性验证延迟，则产业链可能出现“青黄不接”——研发费用已投入，但大单落地推迟，中小型供应商现金流承压。

4. 地缘政治与供应链安全 HBM、先进封装（CoWoS）及交换芯片核心制程集中于台积电及三星、SK 海力士。地缘冲突或出口管制升级（如 2023 年 10 月美国扩展出口管制规则，限制先进芯片及光刻环节）可能导致分配失衡，甚至迫使中资客户从高性能方案降级为“低代际+多卡”堆叠，从而影响高速互联器件需求结构。

5. 模型架构变化的颠覆风险 若非 Transformer 架构（如 Mamba、RWKV 等状态空间模型）在大规模训练中获得实用优势，其通信模式可能大幅区别于现有 MoE/密集 Transformer 的 AllReduce 及 All-to-All 密集模式，原先为特定流量帕累托最优设计的高端交换机、光模块可能出现需求结构性下滑。

6. 产能与价格战 HBM 和光模块量价双升的逻辑已被市场较强预期定价。若 2025–2026 年产能集中释放导致供需快速逆转，可能引发价格战，压低全产业链毛利率。2023 年已有部分低速光模块品类出现价格同比下降超 20% 的情形（据 LightCounting 产业链调查）。

误读纠偏

误读 1：“带宽越高 = 流量性能越好” 纠正：这是产业中最常见的迷思。忽略延迟、消息大小和集合通信算法，带宽可能大量浪费。例如 MoE 模型的 All-to-All Epilogue 中，单条消息常仅数百字节，此时消息速率（MPS）和网卡自身处理延迟成为瓶颈。一条 400 Gb/s 链路若只跑几亿个小包每秒，实际有效载荷吞吐可能不足标称速率的 20%。流量工程需要带宽、延迟和消息处理能力三者平衡。

误读 2：“InfiniBand 永远碾压以太网” 纠正：InfiniBand 在稳定延迟和 SHARP 网络归约卸载上的确有不可忽略的优势，尤其在千卡以下小规模集群的实测报告中。但 RoCE v2 结合自适应路由和精细流控，在针对网络拓扑进行专门调优后，大规模分布式训练性能已逼近 IB（依据 IEEE Hot Interconnects 及 MLPerf 公开记录的多家公司提交）。UEC 提出的 Credit-based 流控和包喷洒，如果 2025–2026 年被大规模验证，差距有可能缩小到多数应用无需挑剔的水平。

误读 3：“流量瓶颈只发生在网络” 纠正：单卡内部 HBM 带宽与计算吞吐（算术强度）失衡是更隐蔽的瓶颈。例如，BF16 精度下，A100 的 HBM2e 带宽约 2 TB/s，FP32 吞吐约 19.5 TFLOPS，算术强度要求约 10 Flops/Byte 方能让计算不等待数据。当显存带宽跟不上时，即便网络带宽再充裕，GPU 单元使用率也很难超过 50%，形成“昂贵的计算单元在等待内存喂数”。片内、卡间、网络三层流量须协同规划。

误读 4：“网络流量越少越好，压缩率越高越优” 纠正：梯度压缩（Top-k 稀疏化、量化、低秩分解）确实能削减数十倍通信量，但会引入梯度偏差，可能损害最终收敛质量甚至导致训练不稳定，需要额外的误差补偿（Error Feedback）和人工调参。因此，流量压缩不是免费的午餐，必须在压缩比、精度损失和计算开销之间做工程权衡。

最新事件

以下事件按时间倒序排列，反映近 18 个月（2023–2025 年初）产业关键动态：

• 2025 年 1 月：英伟达在 CES 发布 GeForce RTX 50 系列，继续强化 Blackwell 架构的 GDDR7 显存带宽；并介绍 NVIDIA NVLink Switch 赋能 72 GPU 的单机架互联方案（据 NVIDIA CES 主题演讲）。
• 2024 年 10 月：博通在 OCP 峰会展示 51.2T 交换机平台 Tomahawk 5 Bailly CPO 原型，宣称可降低功耗 40% 以上（据博通新闻发布）。
• 2024 年 9 月：Ultra Ethernet Consortium 发布首版传输层协议规范 0.5 草案，就多路径包喷洒和选择性重传达成框架共识（据 UEC 官方声明）。
• 2024 年 8 月：中际旭创发布 2024 年半年报，800G 光模块出货量同比增长数倍，营收与净利润均录得大幅增长，并透露 1.6T 已批量送样（据公司半年报）。
• 2024 年 6 月：AMD 联合博通发布 UALink 联盟白皮书，目标在 2026 年前推出 GPU 间开放互联标准，每通道 200 Gb/s，以对抗 NVLink 生态（据 AMD 官方博客）。
• 2024 年 3 月：Meta 公开 24,576 卡 H100 集群设计，使用 RoCE v2 900 Gb/s 总带宽的以太网，介绍了 ECN 参数调优、基于拓扑感知的 NCCL 配置策略（据 Meta Blog《Building Meta’s GenAI Infrastructure》）。
• 2023 年 11 月：H200 发布，配备 141 GB HBM3e，显存带宽提升至 4.8 TB/s（依据 NVIDIA 技术文档），短期内缓解部分算术强度瓶颈。
• 2023 年 10 月：美国 BIS 更新半导体出口管制规则，对部分高性能计算芯片和光刻设备施加更严格限制，对中国客户获取 HBM 及高速互联芯片的可及性产生深远影响（据 BIS 官方文件）。

跟踪指标

产业链研究可定期关注以下公开数据源和指标，形成高频认知更新：

季度财务数据

• NVIDIA 数据中心部门收入结构，关注“Networking”分项（包含 NVSwitch、IB 交换机、DPU）的绝对值与毛利率。
• 中际旭创、新易盛等季度营收环比及毛利率变动，尤其 400G/800G 出货均价趋势（公司财报电话会常透露指引）。
• 博通“Networking”部门交换机芯片出货（视为交换机总需求的前置 2–4 个月指标）。

行业机构季度报告

• LightCounting《High-Speed Optics Report》，每季度更新光模块出货、价格、供应商份额。
• Dell’Oro Group《Data Center Switch Quarterly Report》，跟踪 100G 以上端口出货量。
• TrendForce HBM / DRAM 季度追踪，评估先进内存产能分配与市占变迁。

头部客户资本开支

• 微软、Meta、Google、亚马逊、Oracle 季报中的 CapEx（资本支出）绝对值和指引。2023–2024 年四家资本开支合计持续突破季度 400 亿美元，是流量硬件前期需求的最权威先行指标。
• 字节跳动、阿里巴巴、腾讯资本开支，综合国内企业的年报及网络公开数据。

技术会议与标准进展

• Hot Interconnects、NSDI、SIGCOMM 论文（尤其是由云厂商和英伟达工程师联合发布的片上网络与拥塞控制文章）。
• UEC 和 UALink 的规范发布节点（检索联盟官网即可）。
• OCP（开放计算项目，Open Compute Project）峰会上博通、Arista 等的最新原型展示。

供应链报价与交期

• 第三方渠道（如 IT 经销商对 InfiniBand 交换机的报价，专业光模块电商平台）反映的现货与合约价格走势。
• 上游晶圆（台积电 CoWoS）及 HBM 的公开交付新闻，可作为供应紧张度的定性信号。

上述指标均为公开可查数据，建议交叉验证多家来源，避免单一来源偏差。

信源

本文关键事实、数据和判断来源或推荐检索路径包括但不限于：

1. NVIDIA 官方：H100/B100/B200 GPU 架构白皮书、NCCL 文档、《NVIDIA Networking》技术博客、季度财报与投资者演示文稿。
2. Meta：《Building Meta’s GenAI Infrastructure》（2024 年 3 月公开）等工程博客和技术论文。
3. 博通：Tomahawk 5 / Jericho 3-AI 发布博客、OCP 2023/2024 技术演示文稿。
4. Ultra Ethernet Consortium / UALink 联盟：官方网站白皮书与新闻稿。
5. 第三方分析机构：LightCounting《High-Speed Optics Report》、Dell’Oro Group《Data Center Switch Quarterly》、Omdia《Data Center IT Capex & Networking》、TrendForce 关于 HBM 和 DRAM 产业更新。
6. 学术/技术会议：SIGCOMM、NSDI、Hot Interconnects 近三年论文（特别是拥塞控制、拓扑与集合通信算法优化等方向）。
7. MLPerf（MLCommons）：各组织的训练子项提交记录，含详细的系统描述和实测带宽数据，是真实流量的宝贵公开来源。
8. 公司公告：中际旭创、新易盛、澜起科技等季度/年度报告及投资者交流纪要（A 股通过巨潮资讯网可查，美股通过 SEC EDGAR 或公司 IR 页面可查）。

（全文完）