3D 并行
3 秒看懂
3D 并行（3D Parallelism）= 数据并行 × 流水线并行 × 张量并行，三者正交叠加在同一个物理集群上。它是训练数千亿乃至万亿参数大模型的终极分布式策略：将模型从深度、宽度和样本批次三个维度同时切分，分配到成千上万个 GPU 上协同计算，用工程手段同时突破“一张卡装不下”的显存墙和“单卡算到天荒地老”的时间墙。
3 分钟产业解释
当 GPT‑4、Llama 3.1 405B 等模型参数量迈入数千亿甚至万亿时，单张 GPU（如 80GB H100）连一份完整的模型权重、梯度和优化器状态都放不下，更遑论中间激活。同时每一步训练的计算量动辄以 PetaFLOP 计，单卡推算一年也无法完成。3D 并行正是工业界为了同时解决“显存容量”和“训练吞吐”双重瓶颈而设计的多维分布方案。
它把训练集群抽象成一个三维网格： 第一维｜数据并行（Data Parallelism）：多个设备上各拥有一份完整模型副本，每个副本处理不同的数据微批次（micro‑batch），通过梯度规约（AllReduce）保持副本一致，用更多设备来摊薄海量数据集的训练时间。 第二维｜流水线并行（Pipeline Parallelism）：将模型的 Transformer 层按深度分段，不同 GPU 负责不同层段，数据像流水线一样依次穿过各层，把单卡承担过深的困境分散到多个串行设备上，并通过微批次调度减少设备空闲（气泡）。 第三维｜张量并行（Tensor Parallelism）：对单层内部的权重矩阵按列或行切分，每一个 GPU 只持有权重的一个碎片，单层的矩阵乘法由同一张量组内的多个 GPU 协同完成并即时归约结果，专门攻克个别层过宽导致单卡无法容纳的瓶颈。
三维组合之下，一块 GPU 只需负责模型的一小段深度、一小片宽度，同时只处理一小批数据，三层切分叠加，把原本单卡不可行的训练转化为数千卡协同可完成的现实。
技术原理
为什么单并行维度不够？
- 纯数据并行（DP）：要求单卡能装下完整模型，千亿参数模型权重 + 梯度 + 优化器状态（混合精度下约 12× 参数量）远超单卡显存，DP 无法独立工作。
- 纯流水线并行（PP）：沿深度切分，但 Transformer 某一层（如前馈网络）的参数量本身就可能达到百亿，单卡依旧塞不下。
- 纯张量并行（TP）：能够切分单层矩阵，但需要高密度通信，若全局批次太小会使 TP 的通信开销淹没计算收益；同时 TP 内通常需要高带宽 NVLink，参与的 GPU 数量受限，无法扩展到超大集群。
三维网格映射与拓扑
将总 GPU 数量 G 分解为三个维度：G = P_DP × P_PP × P_TP，分别代表数据并行大小、流水线并行大小、张量并行大小。整个物理集群被逻辑映射为三维网格，每个 GPU 坐标 (d, p, t) 同时属于：
- 一个数据并行组（所有 p,t 相同而 d 不同的 GPU）；
- 一个流水线并行组（所有 d,t 相同而 p 不同的 GPU）；
- 一个张量并行组（所有 d,p 相同而 t 不同的 GPU）。
典型映射示意：
TP 维（GPU 间最密通信） ──────────→ TP 组内共有 P_TP 张卡
PP 维（深度，层间） ──────────→ PP 组内共有 P_PP 张卡
DP 维（数据） ──────────→ 跨 P_DP 个副本
实际部署会根据节点内部的 NVLink 拓扑、跨节点 InfiniBand 带宽，将 TP 组尽量置于同一节点或同一 NVSwitch 域，PP 相邻阶段置于低延迟节点内，而 DP 则跨节点进行梯度同步，以分层利用带宽。
单 GPU 的工作流
每个训练迭代中，GPU 上的典型执行序列：
- 从数据并行维度获取当前微批次的输入样本；
- 在自己负责的层段（PP 阶段）中，对每一层执行张量并行切分下的前向计算（如列切分的局部矩阵乘，再通过 AllReduce/AllGather 归约结果）；
- 将激活通过点对点（P2P）发送给流水线的下一阶段，同时从前一阶段接收下一微批次的激活；
- 后向传播时，梯度沿流水线反向传递，张量并行组内归约局部梯度，最终在数据并行组内完成全局梯度同步。
为实现计算与通信的最大重叠，工程上会结合梯度累积、异步调度和 CUDA Graph 等手段。
核心通信模式与带宽要求
| 并行维度 | 主要通信原语 | 通信量（定性） | 典型承载网络 | 对带宽/延迟的要求 |
|---|---|---|---|---|
| 数据并行 | AllReduce（梯度） | 约 2×参数量（或分片规约后更少） | 跨节点 InfiniBand 或 RoCE | 中高带宽（≥100 Gbps），可容忍一定延迟 |
| 流水线并行 | P2P send/recv（激活与梯度） | 约 2×micro_bs×seq_len×hidden_dim | 节点内 NVLink 或同节点 PCIe/IB | 低延迟优先，带宽要求中等 |
| 张量并行 | AllReduce/AllGather（每层前向与后向） | 前向/后向各约 batch×hidden_dim 量级，总次数正比于层数 | 节点内 NVLink/NVSwitch，实测可达 900 GB/s | 极高带宽，超低延迟，必须同机或同 NVSwitch 域 |
注：以上为简化示意，实际通信量取决于具体的切分方案（行切、列切）、序列并行与激活重计算策略。
流水线调度与气泡消除
朴素流水线存在严重的气泡（设备空等）。3D 并行默认采用 1F1B（one‑forward‑one‑backward）调度：将一个 mini‑batch 细分为 m 个 micro‑batch，预热阶段正向排满流水线后，每个设备交替执行一个新 micro‑batch 的前向计算和一个已完成 micro‑batch 的后向计算，大幅压缩气泡。若进一步结合交替式流水线（interleaved pipeline），理论上可把气泡比例压至 O(P_PP / m)，实际千亿模型训练中常将气泡控制在 5% 以内。
与 ZeRO 的协同
3D 并行通常与 DeepSpeed ZeRO（零冗余优化器）同时使用。ZeRO 在数据并行维度对优化器状态、梯度和参数进行分片，进一步削减单卡显存开销。ZeRO‑1/2/3 分别与 PP、TP 正交叠加，可以通过增大 P_DP 或将参数分片到 DP 组内，将原本由 PP 和 TP 承担的显存压力部分转移至 DP 维度，在更大规模上平衡通信和显存占用。
扩展性渐近分析
假设单卡显存容量为 C，纯 PP 最多训练 ~P_PP × C 的模型，纯 TP 最多 ~P_TP × C。而 3D 并行可训练 ~P_PP × P_TP × C 的模型，同时数据并行维度提供近线性的吞吐加速（前提是网络带宽足够）。这是当前唯一可稳定支撑万亿参数模型预训练的成熟分布方案。
关键参数
3D 并行训练的实际效果通常由以下可量化工程指标衡量，部分数值来自已公开的千亿模型训练报告：
- 模型规模利用率：实际可训练参数量 / 理论最大容量。需计入优化器状态（Adam 约 8–12 Bytes/param）、激活内存和通信缓冲区。千亿模型训练中总内存占用通常达到模型权重静默占用的 3–4 倍。
- 模型浮点运算利用率（MFU）：实际吞吐 FLOPS 与 GPU 理论峰值 FLOPS 的比值，综合反映气泡、通信、计算低效损失。 公开案例：Meta 报告 Llama 3.1 405B 在 16,384 个 H100 GPU 上训练时，MFU 约 38–41%（来源：Meta 2024 Llama 3 论文）。未针对特定架构优化的通用训练 MFU 常见在 30%–50%，极端优化后可达 50%–60%（NVIDIA Megatron‑Turing NLG 530B 实测约 54%，来源：NVIDIA 2021）。
- 气泡率：流水线中 GPU 平均空闲时间占比。通过大量 micro‑batch（如 m=128）和交错流水线，气泡率可降至 <5%。
- 通信与计算重叠比：通信时间占总时间比重，直接制约强扩展效率。强扩展瓶颈往往出现在跨节点的 DP AllReduce 或较深的 PP 层间串扰。
- 弹性恢复率：3D 并行集群中单节点故障后恢复训练并维持吞吐的能力。当前主流框架可支持分钟级节点重连和不中断训练（如 Megatron‑LM 的异步 checkpoint 及动态重配置），但大规模异构环境下的快速恢复仍是活跃研究课题。
注：具体数值随集群规模、模型架构、并行配置不同而变化，上表为典型案例范围，非普适常量。
技术路线
技术演进脉络
- 2010s 中期：PyTorch DDP、Horovod 等数据并行方案成为标配，模型尚可装入单卡，以吞吐扩展为主。
- 2018–2019：GPipe（2018）提出 micro‑batch 流水线，首次系统性解决深度切分；Mesh‑TensorFlow 引入张量并行的概念。
- 2020：DeepSpeed ZeRO (2020) 将优化器/梯度/参数分片与数据并行结合，在 DP 维度大幅降低显存；同期 Megatron‑LM 提出 TP 的方案。
- 2021：NVIDIA Megatron‑LM v2 将 TP 与 PP 联合，训练 Megatron‑Turing NLG 530B，标志 3D 并行工程化落地；DeepSpeed 开始引入 3D 混合并行配置。
- 2022–2023：3D 并行与序列并行（Sequence Parallelism）、FlashAttention、Activation Checkpointing 深度集成，千亿级模型预训练成为主流。Llama‑2 70B 等模型公开训练细节均基于此类技术栈。
- 2024–2025：3D 并行从同构 GPU 集群向异构 GPU 集群（A100/H100/B200 混合）和跨地域集群扩展；DeepSeek‑V3（2024/2025）在万卡级 MoE 模型上实现高效 3D 并行 + 细粒度流水线调度，展示极高性价比；同时学术界开始探索 4D 并行（+ 专家并行或上下文并行）。
主流并行策略对比
| 维度 | 纯数据并行 (DP) | 纯流水线并行 (PP) | 纯张量并行 (TP) | 3D 并行 (DP+PP+TP) |
|---|---|---|---|---|
| 单卡显存约束 | 必须装下完整模型 | 只装部分层段 | 只装层内碎片 | 只需层段 × 碎片 = 极小占用 |
| 最大可训练模型 | ~单卡容量 | ~P_PP × 单卡容量 | ~P_TP × 单卡容量 | ~P_PP × P_TP × 单卡容量 |
| 计算效率（弱扩展） | 近线性 | 存在气泡 | 通信密集，小批次低 | 合理配置可达良好弱扩展 |
| 通信开销 | 低频梯度 AllReduce | 高频 P2P，量中等 | 每层高速 collective | 分层通信，需拓扑感知 |
| 实现与调优复杂度 | 低 | 中 | 高 | 极高（需三维调度、内存与通信联合优化） |
| 典型适用 | <10B 模型 | 深层模型，单层不宽 | 单层极宽模型 | 100B–1T+ 超大模型 |
注：P_PP 为流水并行度数，P_TP 为张量并行度数。定性比较，具体拐点因硬件代际而异。
上游
硬件基础设施
- GPU/加速器：NVIDIA H100、B200、AMD Instinct MI300X 等，核心参数包括显存容量（H100 80GB/HBM3、B200 192GB/HBM3e）与高精度算力（FP8/FP16/BF16 TFLOPS）。3D 并行对 GPU 间高速互联要求极高。
- 芯片间互联：NVLink 4.0/5.0 及 NVSwitch（单节点内 GPU 直连带宽 900 GB/s、B200 时代可达 1.8 TB/s），是张量并行的物理基础。
- 节点间网络：InfiniBand NDR400/NDR800、XDR，或 NVIDIA Spectrum‑X 以太网（RoCE v2），支持跨节点 DP 及 PP 跨机通信，典型配置单链路 400 Gbps，可组成 3.2 Tbps 以上的聚合带宽。
- 光模块与交换芯片：800G/1.6T 光模块、高速交换机是万卡互通的核心，3D 并行规模扩展直接拉动高端网络设备需求。
- 存储与电源：分布式共享存储（用于 checkpoint 读写）、液冷散热、高密度机架，支撑万卡级长时稳定训练。
软件框架与通信库
- 分布式训练框架：Megatron‑LM（NVIDIA）、DeepSpeed（微软）、PyTorch FSDP + torch.distributed、Colossal‑AI、Alpa（自动并行）。这些框架提供 3D 并行的声明式配置、流水线调度器及融合优化。
- 通信库：NCCL（NVIDIA 闭环）、RCCL（AMD 对应）。支撑 AllReduce、AllGather、ReduceScatter 等集合通信。针对 3D 混合并行，NCCL 的多流与 CUDA Graph 集成是保证通信与计算重叠的关键。
- 集群调度器：Slurm、Kubernetes 自定义调度器、Volcano 等，负责 GPU 拓扑感知的作业调度，最小化 TP 跨 NUMA 和跨节点布局。
- 云平台服务：AWS ParallelCluster 与 UltraCluster、Azure AI 超级计算机、Google Cloud TPU 切片等，提供 3D 并行所需的预置集群和网络环境。
下游
直接应用场景
- LLM 预训练：GPT‑4 系列、Llama 3.1 405B、Claude 3.5、Gemini Ultra 等参数规模 400B–1.7T 级的语言模型，几乎全部依赖 3D 并行或与之等效的多维分布策略。
- 混合专家模型（MoE）：如 Mixtral 8×22B、DeepSeek‑V2/V3、Grok‑1 等，在 3D 并行基础上叠加专家并行，形成事实上的 4D 并行。
- 多模态大模型：如 Gemini、GPT‑4V 等，其视觉编码器与语言解码器联合训练同样采用 3D 切分。
- 科学计算与 AI for Science：蛋白质结构预测（AlphaFold 3 等）、气象大模型、分子动力学模型，当模型规模突破百亿参数时开始引入 3D 并行。
- 推理侧扩展：虽然 3D 并行最初为训练设计，但 TP、PP 也在 LLM 推理中得到应用，如 TensorRT‑LLM 使用 TP 跨多 GPU 部署大模型，实现低延迟在线服务。
间接服务
- 云 AI 训练平台：提供预装 3D 并行栈的 GPU 集群租赁与任务托管（如 AWS SageMaker HyperPod、Azure ML 等）。
- 第三方训练代运营：如 CoreWeave、Lambda、Together AI 等，客户可直接提交训练任务，平台基于 3D 并行自动缩放。
受益公司
以下仅为技术生态映射，不构成任何投资建议。
- 核心算力硬件商：英伟达（GPU + NVLink/NVSwitch + Mellanox IB/Spectrum‑X + Megatron‑LM 框架），AMD（Instinct GPU + ROCm + RCCL），英特尔（Gaudi 系列 + 以太网方案）。
- 云计算与平台服务商：微软（DeepSpeed 框架 + Azure AI 超级计算机）、亚马逊（AWS Trainium/Inferentia + UltraCluster）、谷歌（TPU + Pathways）、甲骨文（OCI 裸金属 GPU）、CoreWeave、Lambda Labs。
- 大模型开发与垂直整合者：Meta（自研训练栈 + 开源 Llama 系列，同时贡献 PyTorch）、OpenAI（自研集群与训练框架，与微软深度合作）、Anthropic（自建集群预训练 Claude）、xAI（自建 Colossus 集群）。
- 高速网络与光模块供应商：Mellanox/NVIDIA 网络部门、Arista、Cisco；光模块/器件如中际旭创、Coherent、Lumentum 等（受益于 800G/1.6T 需求拉动）。
- 存储与电力基础设施：戴尔/慧与/超微（AI 服务器），液冷方案如 Vertiv、CoolIT。
市场规模
3D 并行的价值直接体现在大模型训练所拉动的超级 GPU 集群建设上，因此市场规模往往以“AI 训练基础设施”口径呈现。
- 据 IDC 2024 年 6 月发布的《全球人工智能基础设施追踪报告》，2024 年全球 AI 基础设施支出预计达到 340 亿美元，其中服务器占主要份额，GPU 服务器带动显著（来源：IDC，2024/6）。
- 市场调研机构 Omdia 2024 年第四季度数据显示，2024 年全球数据中心 GPU 出货量超过 280 万颗，其中 NVIDIA 占据约 90% 份额（来源：Omdia 2024Q4）。大规模训练集群是高端 GPU 的主要流量入口。
- 训练一个数千亿参数的模型通常需要 2,000–16,000 块 GPU，单次训练成本可达数千万至数亿美元（Meta 披露 Llama 3.1 405B 训练使用 16,384 个 H100，训练时间约 54 天，以云租赁成本估算超出 5,000 万美元）。
- 2025 年后随着万亿参数模型和 MoE 架构的推进，单个训练集群规模有望突破 10 万卡，带动 InfiniBand/ Spectrum‑X 交换机及 800G/1.6T 光模块需求指数增长。公开资料未见专门针对“3D 并行软件与服务”独立市场份额的统计，但 3D 并行作为万卡集群的使能技术，其需求与 AI 训练资本开支高度耦合。
注：以上数据年份为 2024 年，来自第三方机构，具体数字可能根据后续修正版本调整。
玩家对比
| 玩家 | 核心训练框架 | 硬件生态 | 并行策略特色 | 公开代表性模型 / 集群 |
|---|---|---|---|---|
| NVIDIA | Megatron‑LM, NeMo | Hopper/Blackwell GPU, NVLink, InfiniBand | 深度优化 TP+PP+DP，提供专家并行和序列并行，闭环 CUDA 生态 | Megatron‑Turing NLG 530B、NVIDIA Eos 集群 |
| 微软 | DeepSpeed (ZeRO 1-3, 3D 并行) | 采购 NVIDIA GPU，自研 Maia 加速器 | 强调 ZeRO 与 PP/TP 正交组合，提供自动调优 | Phi‑3 系列、与 OpenAI 合作训练 GPT‑4 |
| Meta | PyTorch FSDP + 自研分布式 | 大规模采购 H100，自研 MTIA | 推动开源 PyTorch 下的 3D 并行，发布 Llama 3 详细训练报告 | Llama 3.1 405B（16k H100） |
| Pathways + JAX | TPU v5p/v6，光交换机 | 使用多维数据流图，TPU 同构下简化 TP 布局 | Gemini 系列，PaLM 2 等 | |
| AMD | ROCm + FSDP / Megatron‑LM 移植 | Instinct MI300X，自有 Infinity Fabric | 尽快追赶 NVIDIA 生态，支持 3D 并行，主要面向开源社区 | 已演示 300B+ 模型训练 |
| AWS | AWS Neuron + PyTorch/Legacy Megatron | Trainium2，自有网络 | 定制训练芯片，利用重构 Megatron‑LM 实现 3D 并行 | Anthropic Claude 训练在 AWS |
| 初创/第三方平台 | Together AI, Lambda 等 | 租用 GPU，提供托管 Megatron/DeepSpeed | 降低 3D 并行使用门槛，提供预配置镜像和自动缩放 | 为多个中小 AI 公司提供训练服务 |
上表为公开信息整理，不作为性能或推荐比较。
风险
- 单一生态依赖：3D 并行的最佳实践深度绑定 NVIDIA CUDA、NCCL 和 Megatron‑LM，软件栈的迁移成本极高。一旦 GPU 供应受限或软硬件出现重大变更，训练方案重构难度巨大。
- 网络瓶颈：张量并行依赖 NVLink/NVSwitch，流水线并行和数据并行跨节点通信依赖 InfiniBand。若网络带宽不足或拓扑设计不佳，极易拖累 MFU。万卡级集群中尾延迟（tail latency）和拥塞可导致整体吞吐显著下降。
- 异构环境复杂度：生产环境中往往混合 H100、A100 甚至 B200，显存和算力不对称。3D 并行在异构设备上需要重新构建分组策略，目前主流框架支持有限，容易引发死锁或内存溢出。
- 能源与散热：一个 16k H100 集群功耗超过 10 MW，液冷配套要求苛刻，部分地区电力容量和碳排放约束可能限制集群扩张。
- 容错与弹性：大规模 3D 并行集群训练周期长达数周至数月，节点故障必然发生。当前的检查点和快速恢复机制仍可能造成数小时的训练中断，特别是在 MoE + 3D 混合并行下。
- 成本不可控：训练千亿模型的资本和电力开支已是动辄数千万美元，若 MFU 未达预期或调度低效，实际成本严重超标，对中小型团队构成极高进入壁垒。
误读纠偏
- 误读 1：“3D 并行就是 DP+PP+TP 简单堆叠” 正解：三种并行不是独立“开关”，而是需要在统一设备网格中协同设计。通信竞争、内存碎片化、调度死锁等问题要求对三维拓扑进行精细规划。若随意组合，不仅不能提升效率，反而可能导致任务崩溃或训练吞吐不及纯 DP。
- 误读 2：“张量并行只能用在 Transformer 的全连接层” 正解：张量并行可用于任何具备矩阵可分解特性的层，如多头注意力的 QKV 投影、词嵌入矩阵、输出层等。实际上 Transformer 训练中 TP 在注意力层和前馈层都同等重要，且经常沿注意力头进行切分以减少通信。
- 误读 3：“3D 并行是训练专用技术，与推理无关” 正解：当模型大到单卡无法容纳时，推理同样必须采用张量并行和流水线并行。TensorRT‑LLM、vLLM 等推理引擎均已实现 TP 和 PP，可以在多卡上部署超大模型并提供低延迟服务。3D 并行的硬件规划也直接影响推理系统的架构。
- 误读 4：“只要上了 3D 并行，GPU 利用率就会很高” 正解：实际 MFU 严重依赖配置和编译器优化，不当的并行度配比、过小的 micro‑batch、未对齐的通信甚至可能使 MFU 低于 30%。需要专业团队进行 profile‑driven 的调优。
最新事件
（2024–2025 年初，基于公开技术博客与论文）
- 2024 年 7 月｜Meta 公布 Llama 3.1 405B 训练细节：使用 16,384 个 H100 GPU，同时运用 TP、PP 和 DP，配以 ZeRO‑3 和网络拓扑优化，MFU 达 38–41%，气泡率控制在约 3.5%。（来源：Meta 2024 论文 “The Llama 3 Herd of Models”）
- 2024 年 7 月｜xAI 启动 Colossus 集群：xAI 在美国田纳西州建成首个 10 万 H100 GPU 超级集群，用于训练 Grok‑3。该集群采用 3D 并行结合 MoE 专家并行，整合了 Spectrum‑X 以太网，成为当时全球最大单体训练集群。（来源：xAI 官方技术分享与媒体报道）
- 2024 年 11 月｜NVIDIA 发布 GB200 NVL72 系统：一台机架内 72 颗 Blackwell GPU 通过 NVLink Switch 组成统一内存域，大幅提升 TP 域可容纳的 GPU 数，为万亿参数模型的张量并行提供新硬件维度。（来源：NVIDIA GTC 2024）
- 2024 年 12 月｜DeepSeek‑V3 技术报告公开：DeepSeek‑V3 在 14.8T tokens 上训练 671B MoE 模型，使用了细粒度的专家并行与 3D 并行混合策略，并在特定配置下实现优于对应 Meta 报告的 MFU，同时训练成本远低于行业均值（估算约 557 万美元）。（来源：DeepSeek‑V3 Technical Report, 2024.12）
- 2025 年 1 月｜Anthropic 透露 Claude 3.5 Opus 训练集群：信息有限，但业内人士透露其为万卡规模，Amdahl 瓶颈正推动更高并行维度的研究。公开细节待进一步发布。
- 2025 年 2 月｜AMD 发布 ROCm 6.3 增强 3D 并行支持：改善 Megatron‑LM 在 MI300X 上的通信后端，初步支持多节点的 TP+PP+DP。（来源：AMD 官方博客）
跟踪指标
以下指标可用于持续跟踪 3D 并行技术和关联市场的进展：
- GPU 数据中心收入：NVIDIA 季度财报中数据中心收入（Hopper/Blackwell GPU）反映头部训练集群部署节奏。关注 NVLink 交换机等配套收入趋势。
- 顶尖 AI 论文报告的 MFU：NeurIPS、ICML 以及工业界技术报告中千亿模型的 MFU 数值，直接体现框架和调度水平。
- 云 GPU 租用价格与供给：H100/B200 的现货云价格，以及排队等待时长，侧面反映训练集群拥挤程度。
- Infiniband 及 Spectrum‑X 交换机出货量：NVIDIA 网络部门收入或 Tolly 认证报告可推断超大规模集群建设速度。
- 光模块出货结构：200G/400G/800G/1.6T 模块比例变化，800G 拉货通常与万卡 IB 网络的扩展同步。
- 公开的万卡集群项目数量：政府、云计算厂商、AI 企业公布的 10 万卡级建设计划，如沙特、微软、xAI 等。
- 开源框架发布：Megatron‑LM、DeepSpeed、PyTorch 的版本更新中对 3D 并行、MoE 支持、异构化改进的采纳情况。
- 异构训练成功率：在生产环境中混合 GPU 代际训练 3D 并行的案例及其故障恢复时间的公开数据。
信源
- Huang, Y., et al. “GPipe: Efficient Training of Large Neural Networks using Pipeline Parallelism.” NeurIPS, 2019.
- Shoeybi, M., et al. “Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism.” arXiv, 2019.
- Narayanan, D., et al. “Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM.” SC, 2021.
- Rajbhandari, S., et al. “ZeRO: Memory Optimizations Toward Training Trillion Parameter Models.” SC, 2020.
- Rasley, J., et al. “DeepSpeed: System Optimizations Enable Training Deep Learning Models with Over 100 Billion Parameters.” KDD, 2020.
- Meta. “The Llama 3 Herd of Models.” Meta AI, 2024.
- DeepSeek-AI. “DeepSeek-V3 Technical Report.” 2024.
- NVIDIA. “NVIDIA DGX SuperPOD and Eos Supercomputer.” NVIDIA Technical Overview, 2024.
- IDC. “Worldwide AI Infrastructure Tracker, Q2 2024.” June 2024.
- Omdia. “Data Center Compute Intelligence Service – 4Q 2024.” 2024.
- AMD. “ROCm 6.3 Release Notes.” 2025.
- xAI. “Colossus: The World’s Largest AI Training Cluster.” xAI Blog, 2024.