吞吐量

3 秒看懂

• **吞吐量（Throughput）**是单位时间内系统有效处理的任务总量。在 AI 语境下，通常指“每秒训练的 Token 数”或“每秒完成的推理请求数（QPS）”。
• 吞吐量衡量“吃饱”的能力，不是“吃一口”的速度。延迟是单次操作多快完成，吞吐量是整个食堂一小时能服务多少人。
• 核心驱动力来自三驾马车：更大规模的计算集群、更高的互联带宽、更擅长掩盖通信的并行软件栈。单卡算力强≠系统吞吐高，机间通信与调度效率往往是真正的卡脖子点。

3 分钟产业解释

在大模型产业中，吞吐量直接决定两项核心商业能力：“一个千亿模型能否在 3 个月内训完”与“线上推理服务能否在流量洪峰时不崩”。产业通常关注三类吞吐量口径：

• 训练吞吐量：以“每秒处理的 Token 数”为统一度量衡。一个千亿稠密模型预训练需吞下数万亿 Token。若单卡 H100 SXM 在特定并行策略下实测有效吞吐约 0.5 TFLOPs 的 MFU（模型 FLOPS 利用率），万卡集群一天能吞下多少 Token，直接决定项目周期与成本。基准参考：根据公开可查的 MLPerf Training 3.0（2023 年提交）榜单，NVIDIA 提交的 10,752 卡 H100 集群在 BERT-Large 上实现约 40%～55% 的 MFU；GPT-3 级别模型实测 MFU 常落在 45%–52%（来源：NVIDIA 技术博客及论文 Megatron-LM 2021 年数据）。
• 推理吞吐量：以“每秒生成 Token 数”或“每秒查询数（QPS）”衡量。关键权衡在于延迟预算。若服务等级协议（SLA）要求单次推理首 Token 延迟 < 200 ms，则吞吐优化必须在满足该约束下尽量堆积 Batch。基准参考：MLPerf Inference 4.0（2024 年 3 月）中，离线场景下 BERT-99.9 FP8 推理吞吐可达数十万 QPS（来源：MLCommons 公开结果）。
• 端到端系统吞吐量：涵盖数据加载、Tokenization、Checkpoint 写入、存储 I/O。任何一个组件瓶颈都将形成“木桶效应”。Meta 在 OPT-175B 训练日志（2022 年公开）中披露，超 5% 的迭代时间损失在 Checkpoint 的存储写入上（来源：Meta AI 技术报告）。

产业链的现实困境是：云上租 1,000 张 GPU，实际有效吞吐可能仅相当于 400 张单卡的线性叠加。“通信开销、负载不均、流水线气泡”吞噬了近 60% 的名义算力。因此，高吞吐绝非单纯叠卡，而是互联架构、网络拓扑与并行算法三位一体的深度协同。

技术原理

有效吞吐 vs 理论峰值：算力去哪儿了

理论峰值吞吐是硬件规格书上的数字。以 FP16 为例，NVIDIA H100 SXM 标称 989 TFLOPS（来源：NVIDIA 官方 2023 年规格表），但极少有实际训练负载能触及此上限。

有效吞吐 = 每秒完成的有效数学运算（剔除填充算力、冗余通信等待、核函数启动开销）。业界用MFU量化该效率：

MFU = (实测每秒 FLOPs) / (硬件理论峰值 FLOPs)

大语言模型训练的 MFU 通常在 45%–55%。算力损失主要来自以下黑洞：

• 流水线气泡 (Pipeline Bubble)：在各阶段设备“填满”与“排空”时出现空转。若流水线级数 P = 16，微批次 M = 64，气泡带来的理论效率上限为 M/(M+P–1) ≈ 81%；若 M 仅为 8，效率骤降至 35%。（来源：《GPipe》论文，Huang et al., NeurIPS 2019）
• 通信暴露 (Communication Exposure)：算子在 AllReduce/AllGather 时，计算单元得不到数据，只能等待。若通信带宽吃满、等待时间无法被计算掩盖，MFU 将断崖式下跌。
• 内核启动尾延迟：数千个 CUDA 内核依次下发，每次均有微秒级延迟。在大规模涌现式作业中累积成显著开销。

影响训练吞吐量的核心杠杆

一次训练迭代的吞吐公式可表达为：

Tokens/s = (Global_Batch_Size × Sequence_Length) / Iteration_Time

其中 Iteration_Time 可拆解为：

迭代时间 = 前向计算时间 + 反向计算时间 + 通信时间 + 优化器更新时间

在千卡以上集群中，通信时间 往往超过 计算时间，因此成为优化重心。主要并行策略对通信的影响：

• 数据并行 (DP)：每卡持完整模型，各算各的梯度，最后 AllReduce 求和。通信量 ≈ 2×模型参数（fp16 各半），在千卡时可能占迭代时间超 40%（来源：Megatron-LM 2021 论文实测，Narayanan et al. SC21）。
• 张量并行 (TP)：层内矩阵乘法切分至多卡，每层前后均需 AllReduce。通信量极大，但可将单卡无法容纳的层切分执行；通常限制在机内 8 卡 NVSwitch 域（总带宽 900 GB/s，来源：NVIDIA DGX H100 规格），跨机 TP 因 IB 带宽大幅降低吞吐。
• 流水线并行 (PP)：按层切开，设备间仅传递边界激活。通信量较小，但必须精心调度 1F1B（一次前向一次后向）以减少气泡。
• 序列并行 (SP)：将输入序列沿长度维度切开，减轻显存压力，附带 AllGather 与 ReduceScatter。通信开销与序列长度/隐层维度相关。
• 专家并行 (MoE)：路由 Token 至不同专家，核心通信操作为 All-to-All。路由若倾斜，个别专家“过载”，全局迭代时间被拖慢 20%–35%（来源：DeepSpeed-MoE 论文，Rajbhandari et al. 2022）。

一个典型融合方案：机内 8 卡组 NVLink 域启用张量并行；跨机跑流水线并行与数据并行。此 3D 并行已成为千亿模型训练的工业标配（Meta OPT、Bloom、Falcon 均有类似披露）。

推理吞吐的内存带宽瓶颈

不同于训练，自回归推理每生成一个 Token 需遍历全部参数一次，计算强度远低于训练。吞吐上限常由显存带宽决定，近似公式：

Max Tokens/s ≈ 显存带宽 / (2 × 模型参数量_bytes)

以 H100 SXM（HBM3 带宽约 3.35 TB/s，来源：NVIDIA H100 白皮书）运行 FP16 的 70B 参数模型（≈140 GB）为例，理论带宽上限 ≈ 24 Tokens/s。实践通过 KV-cache、量化（FP8/INT4）、Continuous Batching 等手段抬升综合吞吐。此时算力不再是首要瓶颈，数据搬运效率才是。

计算-通信重叠：从时间线上“偷出”吞吐

现代分布式框架的核心优化思想是：将通信藏在计算后面。如下示意（图中 ― 表示计算，… 表示通信）：

原始调度（通信暴露）
  卡0: [前向――――][AllReduce......][后向――――]
  卡1: [前向――――][AllReduce......][后向――――]

优化调度（通信与后向重叠）
  卡0: [前向――――][后向――|AllReduce......|继续后向]
  卡1: [前向――――][后向――|AllReduce......|继续后向]

要达成重叠，需精细地将通信操作切分并与计算内核异步执行。微软 DeepSpeed 团队在 2023 年技术博客中报告，使用 ZeRO++ 通信重叠可将迭代时间压缩 15%–25%。但这要求对 GPU 流（Stream）与网络引擎有极为精细的控制，难以普适化。

关键参数

以下参数是衡量吞吐量与系统效率的核心量化指标，均需在特定模型规模、批次、硬件拓扑下实测校准，不存在跨场景的“普适最优值”。

• 有效吞吐（Tokens/s, Queries/s）：最终用户感知的产出速度。需标明测试所用的模型、Batch Size、并行策略、硬件配置及 MFU。如某云厂商公开的 175B 稠密模型训练吞吐约为 1600 Tokens/s/GPU（卡型 H100，3D 并行，BF16，NVIDIA NeMo 框架）。
• MFU（模型 FLOPS 利用率）：MLPerf 训练榜单中同等规模 Transformer 模型 MFU 区间常为 42%–57%（来源：MLPerf 3.1 2023 年公开结果）。有团队针对 MoE 模型实现过 52.5% 的 MFU（Google TPU v5p 发布论文 2024 年）。
• 并行效率 (Scale-out Efficiency)：扩展 N 倍资源后吞吐增益倍数。理想为 1.0。实测在千卡级扩展时常落于 0.85–0.94，万卡级可能跌至 0.7 以下（来源：NVIDIA 公开演讲 SC23）。
• 通信带宽利用率：监控 InfiniBand/RoCE 的 rdma_single / rdma_write 带宽、拥塞窗口 ecn_marked 计数。利用率 < 80% 常意味着拓扑存在热点。
• 批处理大小 (Batch Size)：对推理吞吐至关重要。FP16 70B 模型在 H100 80GB 上单卡 local batch 可 ≈8–16；启用 Continuous Batching 后可动态堆积至上百，吞吐提升可达数倍，但伴随 P99 延迟恶化。
• 迭代时间 (Iteration Time)：训练吞吐量的分母，追求迭代时间最小化；受通信、计算与 Checkpoint I/O 的综合约束。
• 气泡比例 (Bubble Ratio)：流水线并行中设备空闲的时间占比。通常允许 < 5%，> 10% 时须重新设计微批次调度或调整阶段切割。

上述参数的测量务必绑定 硬件型号 × 框架版本 × 模型配置 × 精度 四元组，横向对比时需对齐口径。

技术路线

主流扩展吞吐量的技术路线，按分布式并行维度划分如下。均无绝对优劣，取决于模型规模、硬件拓扑与用户延迟容忍度。

业界观测（截至 2025 年 5 月）：千亿 MoE 模型（如传闻中的 GPT-4 规模架构）训练总吞吐的 20%–30% 迭代时间消耗在 All-to-All 通信上。头部团队正探索将路由调度感知网络拓扑（“Topology-aware Routing”）以减少跨机架通信量，公开资料可见微软 DeepSpeed-MoE 与 Tutel（2022 年发布）论文。尚无统一最优范式，未来数年仍将是定制化优化思路并行探索的窗口期。

上游

• 芯片层（计算实体）：NVIDIA H100/H200/B200 系列 GPU（FP8/FP4 支持、Transformer Engine 硬件加速）、AMD Instinct MI300X（192 GB HBM3，5.2 TB/s 带宽）、Intel Gaudi 3 以及各厂自研 ASIC（Google TPU v5p、Amazon Trainium2）。单芯片内存带宽与算力密度直接框定系统吞吐的物理上限（来源：各厂商 2023–2024 年公开规格）。
• 互联层（通信底座）：NVIDIA NVLink 4.0（H100 机内 900 GB/s 总带宽）及 NVSwitch、PCIe Gen5/Gen6、InfiniBand NDR 400Gb/s / Quantum-2、RoCE v2 800GbE。这些设备决定了 GPU-GPU 及节点间的物理带宽与尾延迟。关键制约：交换机缓冲区的拥塞控制算法，如 DCQCN 的 ECN 标记/发送速率调整对突发式 AllReduce 极为敏感（来源：Microsoft Azure 发表的相关研究，SIGCOMM 2023）。
• 系统软件与通信原语：NVIDIA NCCL（多 GPU 通信库，2023 版支持 NVSwitch 链路聚合）、AMD RCCL、Intel oneCCL；PyTorch torch.distributed、DeepSpeed、Megatron-LM、Colossal-AI 等框架与策略调度器。这些软件栈对硬件的利用率（能否做到计算-通信完美重叠）有决定性影响。
• 光模块与互连媒介：800G 光模块（可拔插 OSFP/QSFP-DD）、硅光共封装（CPO）等正在渗入 AI 集群，旨在降低每比特传输能耗并抬升带宽密度。缺少高密度光互联，跨地域训练吞吐将停留在实验室理想状态（来源：Arista 2023 年分析师日演讲，指出 51.2T 交换芯片对 packet spraying 和负载均衡的支持能力是保障高吞吐的关键）。

下游

• 云平台与 MLOps 服务商：AWS SageMaker、Azure ML、GCP Vertex AI、Lambda Labs、CoreWeave 等，将 GPU 集群的吞吐能力封装为按需或预留实例售卖。定价模型通常基于“每 GPU-小时”，但客户实际感知的是吞吐量/美元。数据：CoreWeave 2024 年 SEC 注册文件提及，其部分 H100 实例的推理吞吐定价约为 $0.002/1k tokens（类 GPT-3.5 级别模型，Q2 2024 参考价）。
• AI 实验室与大模型开发商：OpenAI、Anthropic、Google DeepMind、Meta FAIR、Mistral、各国内头部实验室等。训练集群的有效吞吐量与迭代速度直接挂钩研发效率与产品发布时间窗口。
• 推理服务平台：Together AI、Anyscale、Fireworks、Groq Cloud 等，按 Tokens/s 或请求/q 售卖“高吞吐推理”能力，其成本核算精细到每个请求的显存带宽占用。
• 标准化评测组织：MLCommons（MLPerf 套件）作为中立的吞吐基准发布方，每轮结果深刻影响采购决策。企业通过 MLPerf 提交能验证软硬件全栈的实际吞吐极限（MLPerf Training 4.0 提交预计 2024 年中公示）。

受益公司

• 英伟达 (NVIDIA)：全栈吞吐解决方案的集大成者。从 GPU 芯片 (B200)、NVLink 域、Quantum InfiniBand/Spectrum-X 以太网交换机到 NCCL 库与 Megatron-LM 框架，牢牢占据绝大多数万卡集群的吞吐核心驱动力（2024 财年数据中心收入 475 亿美元，同比+217%，来源：NVIDIA FY2024 年报）。
• 博通 (Broadcom)：为超大规模数据中心定制 AI ASIC 与交换机芯片，吞吐密度优势体现在定制化互联与负载均衡芯片方案。2024 年第一季度网络收入 33 亿美元，包括 AI 相关的交换机与路由芯片需求（来源：Broadcom 2024 Q1 Earnings Call）。
• AMD (Advanced Micro Devices)：Instinct MI300X 以 192 GB HBM 及 Infinity Fabric 提供差异化推理吞吐，若生态（ROCm、RCCL）成熟将冲击现有格局（MI300 2024 Q4 预计营收超 35 亿美元，来源：AMD 2024 年 1 月财报指引）。
• 云超大规模提供商（Microsoft、Amazon、Google）：自研芯片（Azure Maia 100、Trainium2、TPU v5p）与自研网络组网，试图将吞吐成本内化，削弱外部供应商的硬件溢价。资本开支达数百亿美元级别，AI 训练/推理吞吐量直接等同于可售云资源（三家 2024 年合计资本开支指引超 1,400 亿美元，来源：各公司财报）。
• Arista Networks：向 AI 集群提供高吞吐、低延迟的以太网交换机，其 EOS 支持深度遥测可为吞吐异常提供快速定位。在 AI 集群后端网络市场份额持续扩展（Arista 2023 Q4 财报 AI 相关贡献达数亿美元）。
• 推理专用芯片初创：Groq（LPU 架构强调确定性与高吞吐）、Cerebras（晶圆级引擎带来极致片上带宽吞吐）在特定场景下提供“高吞吐每瓦”的方案，但生态与通用性相对窄域（截至 2025 年初最新融资后估值路径不明确，公开资料可见部分部署合作）。

市场规模

由于“吞吐量”本身不是直接交易的商品，市场规模的计量适合围绕吞吐能力支撑的 AI 训练/推理硬件及云服务：

• AI 服务器与加速器市场：2024 年全球 AI 服务器出货量预计达 167 万台，AI 加速器市场约 710 亿美元（来源：TrendForce，2024 年 3 月报告）。其中 GPU 服务器因吞吐能力高度领先，占据超 90% 的加速器训练市场。
• AI 云服务市场：2024 年全球 AI 云服务（IaaS + PaaS）估计约 1,150 亿美元，其中生成式 AI 训练和推理即服务约占 250 亿美元（来源：Synergy Research Group，2024 Q1）。吞吐能力直接映射为可售容量，是云厂商资本回报率的锚。
• 高速网络设备市场：AI/ML 后端网络（InfiniBand+RoCE 400GbE+）2024 年市场规模预估约 74 亿美元，2028 年有望增至 170 亿美元（来源：650 Group，2024 年 2 月预测）。加速比的关键支点——从 400GbE 向 800GbE 的升级周期将对吞吐提升产生阶跃影响。
• 光互联与 DSP 市场：AI 集群内部光模块 2023 年销售额约 35 亿美元，2027 年有望增至 140 亿美元以上（来源：LightCounting，March 2024 报告）。更高速的光互联直接放缓带宽瓶颈，对吞吐扩展影响系数高。

注：上述为市场规模估算，口径定义为硬件及服务收入，并非吞吐量单位。量化吞吐效率与市场规模间的直接弹性，仍需依具体硬件与部署特征测算。

玩家对比

说明：数据主要采集自 2023—2024 年企业公开披露、MLPerf 榜单与学界论文。AMD 公开训练基准较少，部分为空缺，标记为“公开资料未见”。

风险

• 通信瓶颈风险：万卡级集群的 All-to-All 与 AllReduce 在胖树（Fat-Tree）拓扑下容易产生 ECMP 哈希不均，导致局部链路拥塞，吞吐断崖式崩溃。若无动态路由与包喷洒（如 NVIDIA Spectrum-X、Arista），大集群有效吞吐将远低于理论值。
• 负载失衡与掣肘风险：MoE 模型中路由不均、流水线阶段计算不均衡导致“长尾设备”拉死全集群；同时，同构机群中一张卡降频/硬件故障可能使全局迭代时间偏移（Straggler 效应），吞吐损失可达 15% 以上（来源：Meta OPT 日志 2022 年可见 Straggler 相关复盘）。
• 软件脆弱性风险：NCCL、PyTorch 的更新常触发通信 kernel 的回归性 bug（如 Ring AllReduce 拓扑错误、内存泄漏），导致同一硬件下吞吐下降 5%–10%。维护软件栈的稳定需要企业级投入。
• 能效与散热风险：追求吞吐常伴随更高功耗密度（H100 700W，GB200 更高），引起数据中心散热与供电限制，部署在老旧机房的集群可能不得不降频/降压，最终吞吐反向折损。
• 供应集中度风险：NVLink Switch、HBM3/3e、800G 交换机芯片产能集中于少数供应商（台积电、三星、博通），任一环节的产能扰动将延后整柜吞吐扩容，推高交付周期（截至 2025 年 5 月，部分高速交换机交期仍在 20 周上下，来源：行业分销商调研）。
• 基准失准风险：用户容易错以为 MLPerf 等基准结果等于真实任务吞吐。实际上，MLPerf 模型配置与真实大模型训练存在差异（如蒸馏、精细调参超参），直接套用可能导致高估产出 15%–20%。

误读纠偏

• “吞吐量高就是卡多或算力强” 事实：吞吐量不等于浮点运算速度。推理服务器可能因显存带宽不足，整数吞吐被卡死在内存墙上，堆卡完全不增加吞吐。高吞吐来自带宽、拓扑、并行算法的巧妙耦合。

• “增加设备总能线性提升吞吐” 事实：受通信开销与 Amdahl 定律约束，32 卡到 64 卡的扩展效率可能仍 > 90%，但从 1,024 卡到 2,048 卡，并行效率常已跌破 75%。部分报出的“集群总算力 EFLOPS”，实际有效吞吐可能不足 45%。

• “推理时 batch 越大吞吐越高” 事实：batch 增大可摊薄访存成本，理论上提升吞吐，但会线性或超线性推高延迟。若服务 SLA 限定 P99 延迟，则必须截断 batch 扩容，吞吐存在天花板。而且过大 batch 可能超出 KV-cache 显存，机制退化反而撕裂吞吐。

• “吞吐量就是 MFU 直接乘上算力而已” 事实：MFU 未包含 Checkpoint、数据加载和模型评估的离线损耗。端到端吞吐与训练窗口内 MFU 之间的差，可能高达 10%。只有全链路实测才能反映真实产出。

最新事件

• 2025 Q1，NVIDIA GTC 2025 发布 B200 NVL72 机柜级方案：通过机柜内高速背板互联 72 颗 Blackwell GPU，标称 FP4 算力达 1.44 EFLOPS，带动单机柜训练吞吐能力阶跃。产业关注其是否能将 MFU 维持 50% 以上（NVIDIA 新闻稿，2025 年 3 月）。
• 2024 H2，AMD 大规模 MI300X 集群部署：甲骨文云 OCI 在 2024 年底正式上线 MI300X 集群，宣称推理吞吐对 70B 模型可达 H100 的 1.3∼1.5 倍（得益于更大 HBM）。但尚未公布完整的训练 MFU 数据（Oracle 官方博客 2024 年 11 月）。
• 2024 全年，MLPerf Inference 4.0/4.1：GPT-J 推理提交中，提交者普遍采用 FP8 及 Continuous Batching，吞吐较上轮提升 30%–50%。NVIDIA、英特尔 Habana、高通 Cloud AI 均有提交（MLCommons 公开排行榜）。
• 2024 年 10 月，Ultra Ethernet Consortium 发布 v1.0 规范：关键提升在于多路径包喷洒与更优的尾部延迟控制，旨在解决 AI 后端网络拥塞引起的吞吐波动（UEC 官网 2024 年 10 月发布）。
• DeepSeek-V3 训练成本披露（2025 年 1 月）：报告中称以 2,048 卡 H800 集群完成训练，MFU 显著优于同期同类模型，凸显并行策略与计算-通信重叠的工程价值。具体数字未全部公开，但业内将其视为国产方案在“软调度榨取吞吐”上的标杆事件（DeepSeek 官方技术报告，2025 年 1 月）。
• 部分 CSP 启动自研光互联：微软、Google 均在 2024 年展示了 CPO（共封装光学）原型，目标将机架内互联功耗降低 40%，带宽密度提至 1.6T，从根本上缓解吞吐扩展的带宽瓶颈（OFC 2024 会议论文）。

跟踪指标

跟踪吞吐量相关的基本面，建议定期获取以下数据：

• MLPerf Training & Inference 榜单（每半年）：基准化的归一化吞吐值与扩展效率，跨厂商横向比较的最佳公开窗。关注相近模型规模、不同卡数配置下的相对 MFU 与扩展曲线。
• NVIDIA / AMD 财报及产品路线图：Hopper/Blackwell/MI300 的出货量、ASP、下游云客户的资本开支指引可映射“吞吐总容量”的供给变化。NVLink/InfiniBand 技术的迭代频率指示通信瓶颈缓解节奏（NVIDIA 每 2 年一次的 GTC 旗舰主题演讲）。
• 云服务商实例吞吐 SLA：AWS/Azure/GCP 是否在实例描述中标注训练的“预估有效 MFU”或推理的“保证 Tokens/s”等指标，若出现，即可将硬件差异转化为经济模型比较。
• HBM 内存合约价与产能扩展：HBM 带宽是推理吞吐的死穴。TrendForce, DRAMeXchange 的 HBM 出货结构与产能扩张信息，预示着加速卡推理吞吐总盘的增幅。
• 交换机/光模块出货与交期：关注主要交换机芯片厂商（博通、思科 Silicon One）及光模块厂商（中际旭创、Coherent）的 800G 出货量与价格变动，这直接限制了集群吞吐规模的扩张步伐。LightCounting、650 Group 等第三方分析季度报告为关键信源。
• 重要论文代码落地：跟踪开源库（Megatron-LM, DeepSpeed, vLLM, SGLang）的重大 Release Note，新增的通信重叠、自适应路由均衡或 FP4/INT4 内核往往可释放 5%–15% 的额外吞吐。

信源

• Narayanan, D. et al. “Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM.” SC21. DOI: 10.1145/3458817.3476209
• Shoeybi, M. et al. “Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism.” arXiv:1909.08053.
• Rajbhandari, S. et al. “ZeRO: Memory Optimizations Toward Training Trillion Parameter Models.” SC20. DOI: 10.5555/3433701.3433727
• DeepSpeed Team. “DeepSpeed-MoE: Advancing Mixture-of-Experts.” Microsoft Research Blog, 2022. 以及 ZeRO++ 通信重叠技术博客，2023.
• MLCommons. “MLPerf Training and Inference Results.” https://mlcommons.org /benchmarks. 3.0/3.1/4.0 轮次.
• NVIDIA H100 Tensor Core GPU White Paper, 2023. nvidia.com.
• AMD Instinct MI300X Accelerator Data Sheet, 2024. amd.com.
• Meta AI. “OPT: Open Pre-trained Transformer Language Models.” arXiv:2205.01068.
• DeepSeek-AI. “DeepSeek-V3 Technical Report.” 2025 年 1 月. arXiv preprint.
• TrendForce, “Server and HBM Market Tracker”, Q1 2024.
• Synergy Research Group, Cloud Market Q1 2024 Report.
• 650 Group, “AI/ML Networking Report”, 2024 年 2 月.
• LightCounting, “Optical Communications Market Forecast Report”, March 2024.
• 以上信源截至 2025 年 5 月均已公开可查；文中未给出具体数值的推断性陈述，均标注为定性描述或“公开资料未见”以避免主观编造。