3D 並行
3 秒看懂
3D 並行（3D Parallelism）= 資料並行 × 流水線並行 × 張量並行，三者正交疊加在同一個物理叢集上。它是訓練數千億乃至萬億引數大型模型的終極分散式策略：將模型從深度、寬度和樣本批次三個維度同時切分，分配到成千上萬個 GPU 上協同計算，用工程手段同時突破“一張卡裝不下”的視訊記憶體牆和“單卡算到天荒地老”的時間牆。
3 分鐘產業解釋
當 GPT‑4、Llama 3.1 405B 等模型引數量邁入數千億甚至萬億時，單張 GPU（如 80GB H100）連一份完整的模型權重、梯度和最佳化器狀態都放不下，更遑論中間啟用。同時每一步訓練的計算量動輒以 PetaFLOP 計，單卡推算一年也無法完成。3D 並行正是工業界為了同時解決“視訊記憶體容量”和“訓練吞吐”雙重瓶頸而設計的多維分佈方案。
它把訓練叢集抽象成一個三維網格： 第一維｜資料並行（Data Parallelism）：多個裝置上各擁有一份完整模型副本，每個副本處理不同的資料微批次（micro‑batch），通過梯度規約（AllReduce）保持副本一致，用更多裝置來攤薄海量資料集的訓練時間。 第二維｜流水線並行（Pipeline Parallelism）：將模型的 Transformer 層按深度分段，不同 GPU 負責不同層段，資料像流水線一樣依次穿過各層，把單卡承擔過深的困境分散到多個序列裝置上，並通過微批次排程減少裝置空閒（氣泡）。 第三維｜張量並行（Tensor Parallelism）：對單層內部的權重矩陣按列或行切分，每一個 GPU 只持有權重的一個碎片，單層的矩陣乘法由同一張量組內的多個 GPU 協同完成並即時歸約結果，專門攻克個別層過寬導致單卡無法容納的瓶頸。
三維組合之下，一塊 GPU 只需負責模型的一小段深度、一小片寬度，同時只處理一小批資料，三層切分疊加，把原本單卡不可行的訓練轉化為數千卡協同可完成的現實。
技術原理
為什麼單並行維度不夠？
- 純資料並行（DP）：要求單卡能裝下完整模型，千億引數模型權重 + 梯度 + 最佳化器狀態（混合精度下約 12× 引數量）遠超單卡視訊記憶體，DP 無法獨立工作。
- 純流水線並行（PP）：沿深度切分，但 Transformer 某一層（如前饋網路）的引數量本身就可能達到百億，單卡依舊塞不下。
- 純張量並行（TP）：能夠切分單層矩陣，但需要高密度通訊，若全域性批次太小會使 TP 的通訊開銷淹沒計算收益；同時 TP 內通常需要高頻寬 NVLink，參與的 GPU 數量受限，無法擴充套件到超大叢集。
三維網格對映與拓撲
將總 GPU 數量 G 分解為三個維度：G = P_DP × P_PP × P_TP，分別代表資料並行大小、流水線並行大小、張量並行大小。整個物理叢集被邏輯對映為三維網格，每個 GPU 座標 (d, p, t) 同時屬於：
- 一個數據並行組（所有 p,t 相同而 d 不同的 GPU）；
- 一個流水線並行組（所有 d,t 相同而 p 不同的 GPU）；
- 一個張量並行組（所有 d,p 相同而 t 不同的 GPU）。
典型對映示意：
TP 維（GPU 間最密通訊） ──────────→ TP 組內共有 P_TP 張卡
PP 維（深度，層間） ──────────→ PP 組內共有 P_PP 張卡
DP 維（資料） ──────────→ 跨 P_DP 個副本實際部署會根據節點內部的 NVLink 拓撲、跨節點 InfiniBand 頻寬，將 TP 組儘量置於同一節點或同一 NVSwitch 域，PP 相鄰階段置於低延遲節點內，而 DP 則跨節點進行梯度同步，以分層利用頻寬。
單 GPU 的工作流
每個訓練迭代中，GPU 上的典型執行序列：
- 從資料並行維度獲取當前微批次的輸入樣本；
- 在自己負責的層段（PP 階段）中，對每一層執行張量並行切分下的前向計算（如列切分的區域性矩陣乘，再通過 AllReduce/AllGather 歸約結果）；
- 將啟用通過點對點（P2P）傳送給流水線的下一階段，同時從前一階段接收下一微批次的啟用；
- 後向傳播時，梯度沿流水線反向傳遞，張量並行組內歸約區域性梯度，最終在資料並行組內完成全域性梯度同步。
為實現計算與通訊的最大重疊，工程上會結合梯度累積、非同步排程和 CUDA Graph 等手段。
核心通訊模式與頻寬要求
| 並行維度 | 主要通訊原語 | 通訊量（定性） | 典型承載網路 | 對頻寬/延遲的要求 |
|---|---|---|---|---|
| 資料並行 | AllReduce（梯度） | 約 2×引數量（或分片規約後更少） | 跨節點 InfiniBand 或 RoCE | 中高頻寬（≥100 Gbps），可容忍一定延遲 |
| 流水線並行 | P2P send/recv（啟用與梯度） | 約 2×micro_bs×seq_len×hidden_dim | 節點內 NVLink 或同節點 PCIe/IB | 低延遲優先，頻寬要求中等 |
| 張量並行 | AllReduce/AllGather（每層前向與後向） | 前向/後向各約 batch×hidden_dim 量級，總次數正比於層數 | 節點內 NVLink/NVSwitch，實測可達 900 GB/s | 極高頻寬，超低延遲，必須同機或同 NVSwitch 域 |
注：以上為簡化示意，實際通訊量取決於具體的切分方案（行切、列切）、序列並行與啟用重計算策略。
流水線排程與氣泡消除
樸素流水線存在嚴重的氣泡（裝置空等）。3D 並行預設採用 1F1B（one‑forward‑one‑backward）排程：將一個 mini‑batch 細分為 m 個 micro‑batch，預熱階段正向排滿流水線後，每個裝置交替執行一個新 micro‑batch 的前向計算和一個已完成 micro‑batch 的後向計算，大幅壓縮氣泡。若進一步結合交替式流水線（interleaved pipeline），理論上可把氣泡比例壓至 O(P_PP / m)，實際千億模型訓練中常將氣泡控制在 5% 以內。
與 ZeRO 的協同
3D 並行通常與 DeepSpeed ZeRO（零冗餘最佳化器）同時使用。ZeRO 在資料並行維度對最佳化器狀態、梯度和引數進行分片，進一步削減單卡視訊記憶體開銷。ZeRO‑1/2/3 分別與 PP、TP 正交疊加，可以通過增大 P_DP 或將引數分片到 DP 組內，將原本由 PP 和 TP 承擔的視訊記憶體壓力部分轉移至 DP 維度，在更大規模上平衡通訊和視訊記憶體佔用。
擴充套件性漸近分析
假設單卡視訊記憶體容量為 C，純 PP 最多訓練 ~P_PP × C 的模型，純 TP 最多 ~P_TP × C。而 3D 並行可訓練 ~P_PP × P_TP × C 的模型，同時資料並行維度提供近線性的吞吐加速（前提是網路頻寬足夠）。這是當前唯一可穩定支撐萬億引數模型預訓練的成熟分佈方案。
關鍵引數
3D 並行訓練的實際效果通常由以下可量化工程指標衡量，部分數值來自已公開的千億模型訓練報告：
- 模型規模利用率：實際可訓練引數量 / 理論最大容量。需計入最佳化器狀態（Adam 約 8–12 Bytes/param）、啟用記憶體和通訊緩衝區。千億模型訓練中總記憶體佔用通常達到模型權重靜默佔用的 3–4 倍。
- 模型浮點運算利用率（MFU）：實際吞吐 FLOPS 與 GPU 理論峰值 FLOPS 的比值，綜合反映氣泡、通訊、計算低效損失。 公開案例：Meta 報告 Llama 3.1 405B 在 16,384 個 H100 GPU 上訓練時，MFU 約 38–41%（來源：Meta 2024 Llama 3 論文）。未針對特定架構最佳化的通用訓練 MFU 常見在 30%–50%，極端最佳化後可達 50%–60%（NVIDIA Megatron‑Turing NLG 530B 實測約 54%，來源：NVIDIA 2021）。
- 氣泡率：流水線中 GPU 平均空閒時間佔比。通過大量 micro‑batch（如 m=128）和交錯流水線，氣泡率可降至 <5%。
- 通訊與計算重疊比：通訊時間佔總時間比重，直接制約強擴充套件效率。強擴充套件瓶頸往往出現在跨節點的 DP AllReduce 或較深的 PP 層間串擾。
- 彈性恢復率：3D 並行叢集中單節點故障後恢復訓練並維持吞吐的能力。當前主流架構可支援分鐘級節點重連和不中斷訓練（如 Megatron‑LM 的非同步 checkpoint 及動態重配置），但大規模異構環境下的快速恢復仍是活躍研究課題。
注：具體數值隨叢集規模、模型架構、並行配置不同而變化，上表為典型案例範圍，非普適常量。
技術路線
技術演進脈絡
- 2010s 中期：PyTorch DDP、Horovod 等資料並行方案成為標配，模型尚可裝入單卡，以吞吐擴充套件為主。
- 2018–2019：GPipe（2018）提出 micro‑batch 流水線，首次系統性解決深度切分；Mesh‑TensorFlow 引入張量並行的概念。
- 2020：DeepSpeed ZeRO (2020) 將最佳化器/梯度/引數分片與資料並行結合，在 DP 維度大幅降低視訊記憶體；同期 Megatron‑LM 提出 TP 的方案。
- 2021：NVIDIA Megatron‑LM v2 將 TP 與 PP 聯合，訓練 Megatron‑Turing NLG 530B，標誌 3D 並行工程化落地；DeepSpeed 開始引入 3D 混合並行配置。
- 2022–2023：3D 並行與序列並行（Sequence Parallelism）、FlashAttention、Activation Checkpointing 深度整合，千億級模型預訓練成為主流。Llama‑2 70B 等模型公開訓練細節均基於此類技術棧。
- 2024–2025：3D 並行從同構 GPU 叢集向異構 GPU 叢集（A100/H100/B200 混合）和跨地域叢集擴充套件；DeepSeek‑V3（2024/2025）在萬卡級 MoE 模型上實現高效 3D 並行 + 細粒度流水線排程，展示極高價效比；同時學術界開始探索 4D 並行（+ 專家並行或上下文並行）。
主流並行策略對比
| 維度 | 純資料並行 (DP) | 純流水線並行 (PP) | 純張量並行 (TP) | 3D 並行 (DP+PP+TP) |
|---|---|---|---|---|
| 單卡視訊記憶體約束 | 必須裝下完整模型 | 只裝部分層段 | 只裝層內碎片 | 只需層段 × 碎片 = 極小佔用 |
| 最大可訓練模型 | ~單卡容量 | ~P_PP × 單卡容量 | ~P_TP × 單卡容量 | ~P_PP × P_TP × 單卡容量 |
| 計算效率（弱擴充套件） | 近線性 | 存在氣泡 | 通訊密集，小批次低 | 合理配置可達良好弱擴充套件 |
| 通訊開銷 | 低頻梯度 AllReduce | 高頻 P2P，量中等 | 每層高速 collective | 分層通訊，需拓撲感知 |
| 實現與調優複雜度 | 低 | 中 | 高 | 極高（需三維排程、記憶體與通訊聯合最佳化） |
| 典型適用 | <10B 模型 | 深層模型，單層不寬 | 單層極寬模型 | 100B–1T+ 超大型模型 |
注：P_PP 為流水並行度數，P_TP 為張量並行度數。定性比較，具體拐點因硬體代際而異。
上游
硬體基礎設施
- GPU/加速器：NVIDIA H100、B200、AMD Instinct MI300X 等，核心引數包括視訊記憶體容量（H100 80GB/HBM3、B200 192GB/HBM3e）與高精度算力（FP8/FP16/BF16 TFLOPS）。3D 並行對 GPU 間高速互聯要求極高。
- 晶片間互聯：NVLink 4.0/5.0 及 NVSwitch（單節點內 GPU 直連頻寬 900 GB/s、B200 時代可達 1.8 TB/s），是張量並行的物理基礎。
- 節點間網路：InfiniBand NDR400/NDR800、XDR，或 NVIDIA Spectrum‑X 乙太網路（RoCE v2），支援跨節點 DP 及 PP 跨機通訊，典型配置單鏈路 400 Gbps，可組成 3.2 Tbps 以上的聚合頻寬。
- 光模組與交換晶片：800G/1.6T 光模組、高速交換器是萬卡互通的核心，3D 並行規模擴充套件直接拉動高階網路裝置需求。
- 儲存與電源：分散式共享儲存（用於 checkpoint 讀寫）、液冷散熱、高密度機架，支撐萬卡級長時穩定訓練。
軟體架構與通訊庫
- 分散式訓練架構：Megatron‑LM（NVIDIA）、DeepSpeed（微軟）、PyTorch FSDP + torch.distributed、Colossal‑AI、Alpa（自動並行）。這些架構提供 3D 並行的宣告式配置、流水線排程器及融合最佳化。
- 通訊庫：NCCL（NVIDIA 閉環）、RCCL（AMD 對應）。支撐 AllReduce、AllGather、ReduceScatter 等集合通訊。針對 3D 混合並行，NCCL 的多流與 CUDA Graph 整合是保證通訊與計算重疊的關鍵。
- 叢集排程器：Slurm、Kubernetes 自定義排程器、Volcano 等，負責 GPU 拓撲感知的作業排程，最小化 TP 跨 NUMA 和跨節點版面配置。
- 雲端平台服務：AWS ParallelCluster 與 UltraCluster、Azure AI 超級計算機、Google Cloud TPU 切片等，提供 3D 並行所需的預置叢集和網路環境。
下游
直接應用場景
- LLM 預訓練：GPT‑4 系列、Llama 3.1 405B、Claude 3.5、Gemini Ultra 等引數規模 400B–1.7T 級的語言模型，幾乎全部依賴 3D 並行或與之等效的多維分佈策略。
- 混合專家模型（MoE）：如 Mixtral 8×22B、DeepSeek‑V2/V3、Grok‑1 等，在 3D 並行基礎上疊加專家並行，形成事實上的 4D 並行。
- 多模態大型模型：如 Gemini、GPT‑4V 等，其視覺編碼器與語言解碼器聯合訓練同樣採用 3D 切分。
- 科學計算與 AI for Science：蛋白質結構預測（AlphaFold 3 等）、氣象大型模型、分子動力學模型，當模型規模突破百億引數時開始引入 3D 並行。
- 推論側擴充套件：雖然 3D 並行最初為訓練設計，但 TP、PP 也在 LLM 推論中得到應用，如 TensorRT‑LLM 使用 TP 跨多 GPU 部署大型模型，實現低延遲線上服務。
間接服務
- 雲端 AI 訓練平台：提供預裝 3D 並行棧的 GPU 叢集租賃與任務託管（如 AWS SageMaker HyperPod、Azure ML 等）。
- 第三方訓練代運營：如 CoreWeave、Lambda、Together AI 等，客戶可直接提交訓練任務，平台基於 3D 並行自動縮放。
受益公司
以下僅為技術生態對映，不構成任何投資建議。
- 核心算力硬體商：輝達（GPU + NVLink/NVSwitch + Mellanox IB/Spectrum‑X + Megatron‑LM 架構），AMD（Instinct GPU + ROCm + RCCL），英特爾（Gaudi 系列 + 乙太網路方案）。
- 雲端運算與平台服務商：微軟（DeepSpeed 架構 + Azure AI 超級計算機）、亞馬遜（AWS Trainium/Inferentia + UltraCluster）、Google（TPU + Pathways）、甲骨文（OCI 裸金屬 GPU）、CoreWeave、Lambda Labs。
- 大型模型開發與垂直整合者：Meta（自研訓練棧 + 開源 Llama 系列，同時貢獻 PyTorch）、OpenAI（自研叢集與訓練架構，與微軟深度合作）、Anthropic（自建叢集預訓練 Claude）、xAI（自建 Colossus 叢集）。
- 高速網路與光模組供應商：Mellanox/NVIDIA 網路部門、Arista、Cisco；光模組/器件如中際旭創、Coherent、Lumentum 等（受益於 800G/1.6T 需求拉動）。
- 儲存與電力基礎設施：戴爾/慧與/超微（AI 伺服器），液冷方案如 Vertiv、CoolIT。
市場規模
3D 並行的價值直接體現在大型模型訓練所拉動的超級 GPU 叢集建設上，因此市場規模往往以“AI 訓練基礎設施”口徑呈現。
- 據 IDC 2024 年 6 月釋出的《全球人工智慧基礎設施追蹤報告》，2024 年全球 AI 基礎設施支出預計達到 340 億美元，其中伺服器佔主要份額，GPU 伺服器帶動顯著（來源：IDC，2024/6）。
- 市場調研機構 Omdia 2024 年第四季度資料顯示，2024 年全球資料中心 GPU 出貨量超過 280 萬顆，其中 NVIDIA 佔據約 90% 份額（來源：Omdia 2024Q4）。大規模訓練叢集是高階 GPU 的主要流量入口。
- 訓練一個數千億引數的模型通常需要 2,000–16,000 塊 GPU，單次訓練成本可達數千萬至數億美元（Meta 揭露 Llama 3.1 405B 訓練使用 16,384 個 H100，訓練時間約 54 天，以雲端租賃成本估算超出 5,000 萬美元）。
- 2025 年後隨著萬億引數模型和 MoE 架構的推進，單個訓練叢集規模有望突破 10 萬卡，帶動 InfiniBand/ Spectrum‑X 交換器及 800G/1.6T 光模組需求指數增長。公開資料未見專門針對“3D 並行軟體與服務”獨立市場份額的統計，但 3D 並行作為萬卡叢集的使能技術，其需求與 AI 訓練資本支出高度耦合。
注：以上資料年份為 2024 年，來自第三方機構，具體數字可能根據後續修正版本調整。
玩家對比
| 玩家 | 核心訓練架構 | 硬體生態 | 並行策略特色 | 公開代表性模型 / 叢集 |
|---|---|---|---|---|
| NVIDIA | Megatron‑LM, NeMo | Hopper/Blackwell GPU, NVLink, InfiniBand | 深度最佳化 TP+PP+DP，提供專家並行和序列並行，閉環 CUDA 生態 | Megatron‑Turing NLG 530B、NVIDIA Eos 叢集 |
| 微軟 | DeepSpeed (ZeRO 1-3, 3D 並行) | 採購 NVIDIA GPU，自研 Maia 加速器 | 強調 ZeRO 與 PP/TP 正交組合，提供自動調優 | Phi‑3 系列、與 OpenAI 合作訓練 GPT‑4 |
| Meta | PyTorch FSDP + 自研分散式 | 大規模採購 H100，自研 MTIA | 推動開源 PyTorch 下的 3D 並行，釋出 Llama 3 詳細訓練報告 | Llama 3.1 405B（16k H100） |
| Pathways + JAX | TPU v5p/v6，光交換器 | 使用多維資料流圖，TPU 同構下簡化 TP 版面配置 | Gemini 系列，PaLM 2 等 | |
| AMD | ROCm + FSDP / Megatron‑LM 移植 | Instinct MI300X，自有 Infinity Fabric | 儘快追趕 NVIDIA 生態，支援 3D 並行，主要面向開源社群 | 已演示 300B+ 模型訓練 |
| AWS | AWS Neuron + PyTorch/Legacy Megatron | Trainium2，自有網路 | 定製訓練晶片，利用重構 Megatron‑LM 實現 3D 並行 | Anthropic Claude 訓練在 AWS |
| 初創/第三方平台 | Together AI, Lambda 等 | 租用 GPU，提供託管 Megatron/DeepSpeed | 降低 3D 並行使用門檻，提供預配置映象和自動縮放 | 為多箇中小 AI 公司提供訓練服務 |
上表為公開資訊整理，不作為效能或推薦比較。
風險
- 單一生態依賴：3D 並行的最佳實踐深度繫結 NVIDIA CUDA、NCCL 和 Megatron‑LM，軟體棧的遷移成本極高。一旦 GPU 供應受限或軟硬體出現重大變更，訓練方案重構難度巨大。
- 網路瓶頸：張量並行依賴 NVLink/NVSwitch，流水線並行和資料並行跨節點通訊依賴 InfiniBand。若網路頻寬不足或拓撲設計不佳，極易拖累 MFU。萬卡級叢集中尾延遲（tail latency）和擁塞可導致整體吞吐顯著下降。
- 異構環境複雜度：生產環境中往往混合 H100、A100 甚至 B200，視訊記憶體和算力不對稱。3D 並行在異構裝置上需要重新建置分組策略，目前主流架構支援有限，容易引發死鎖或記憶體溢位。
- 能源與散熱：一個 16k H100 叢集功耗超過 10 MW，液冷配套要求苛刻，部分地區電力容量和碳排放約束可能限制叢集擴張。
- 容錯與彈性：大規模 3D 並行叢集訓練週期長達數週至數月，節點故障必然發生。當前的檢查點和快速恢復機制仍可能造成數小時的訓練中斷，特別是在 MoE + 3D 混合並行下。
- 成本不可控：訓練千億模型的資本和電力開支已是動輒數千萬美元，若 MFU 未達預期或排程低效，實際成本嚴重超標，對中小型團隊構成極高進入壁壘。
誤讀糾偏
- 誤讀 1：“3D 並行就是 DP+PP+TP 簡單堆疊” 正解：三種並行不是獨立“開關”，而是需要在統一裝置網格中協同設計。通訊競爭、記憶體碎片化、排程死鎖等問題要求對三維拓撲進行精細規劃。若隨意組合，不僅不能提升效率，反而可能導致任務崩潰或訓練吞吐不及純 DP。
- 誤讀 2：“張量並行只能用在 Transformer 的全連線層” 正解：張量並行可用於任何具備矩陣可分解特性的層，如多頭注意力的 QKV 投影、詞嵌入矩陣、輸出層等。實際上 Transformer 訓練中 TP 在注意力層和前饋層都同等重要，且經常沿注意力頭進行切分以減少通訊。
- 誤讀 3：“3D 並行是訓練專用技術，與推論無關” 正解：當模型大到單卡無法容納時，推論同樣必須採用張量並行和流水線並行。TensorRT‑LLM、vLLM 等推論引擎均已實現 TP 和 PP，可以在多卡上部署超大型模型並提供低延遲服務。3D 並行的硬體規劃也直接影響推論系統的架構。
- 誤讀 4：“只要上了 3D 並行，GPU 利用率就會很高” 正解：實際 MFU 嚴重依賴配置和編譯器最佳化，不當的並行度配比、過小的 micro‑batch、未對齊的通訊甚至可能使 MFU 低於 30%。需要專業團隊進行 profile‑driven 的調優。
最新事件
（2024–2025 年初，基於公開技術部落格與論文）
- 2024 年 7 月｜Meta 公佈 Llama 3.1 405B 訓練細節：使用 16,384 個 H100 GPU，同時運用 TP、PP 和 DP，配以 ZeRO‑3 和網路拓撲最佳化，MFU 達 38–41%，氣泡率控制在約 3.5%。（來源：Meta 2024 論文 “The Llama 3 Herd of Models”）
- 2024 年 7 月｜xAI 啟動 Colossus 叢集：xAI 在美國田納西州建成首個 10 萬 H100 GPU 超級叢集，用於訓練 Grok‑3。該叢集採用 3D 並行結合 MoE 專家並行，整合了 Spectrum‑X 乙太網路，成為當時全球最大單體訓練叢集。（來源：xAI 官方技術分享與媒體報道）
- 2024 年 11 月｜NVIDIA 釋出 GB200 NVL72 系統：一臺機架內 72 顆 Blackwell GPU 通過 NVLink Switch 組成統一記憶體域，大幅提升 TP 域可容納的 GPU 數，為萬億引數模型的張量並行提供新硬體維度。（來源：NVIDIA GTC 2024）
- 2024 年 12 月｜DeepSeek‑V3 技術報告公開：DeepSeek‑V3 在 14.8T tokens 上訓練 671B MoE 模型，使用了細粒度的專家並行與 3D 並行混合策略，並在特定配置下實現優於對應 Meta 報告的 MFU，同時訓練成本遠低於行業均值（估算約 557 萬美元）。（來源：DeepSeek‑V3 Technical Report, 2024.12）
- 2025 年 1 月｜Anthropic 透露 Claude 3.5 Opus 訓練叢集：資訊有限，但業內人士透露其為萬卡規模，Amdahl 瓶頸正推動更高並行維度的研究。公開細節待進一步釋出。
- 2025 年 2 月｜AMD 釋出 ROCm 6.3 增強 3D 並行支援：改善 Megatron‑LM 在 MI300X 上的通訊後端，初步支援多節點的 TP+PP+DP。（來源：AMD 官方部落格）
追蹤指標
以下指標可用於持續追蹤 3D 並行技術和關聯市場的進展：
- GPU 資料中心營收：NVIDIA 季度財報中資料中心營收（Hopper/Blackwell GPU）反映頭部訓練叢集部署節奏。關注 NVLink 交換器等配套營收趨勢。
- 頂尖 AI 論文報告的 MFU：NeurIPS、ICML 以及工業界技術報告中千億模型的 MFU 數值，直接體現架構和排程水平。
- 雲端 GPU 租用價格與供給：H100/B200 的現貨雲端價格，以及排隊等待時長，側面反映訓練叢集擁擠程度。
- Infiniband 及 Spectrum‑X 交換器出貨量：NVIDIA 網路部門營收或 Tolly 認證報告可推斷超大規模叢集建設速度。
- 光模組出貨結構：200G/400G/800G/1.6T 模組比例變化，800G 拉貨通常與萬卡 IB 網路的擴充套件同步。
- 公開的萬卡叢集專案數量：政府、雲端運算廠商、AI 企業公佈的 10 萬卡級建設計劃，如沙特、微軟、xAI 等。
- 開源架構釋出：Megatron‑LM、DeepSpeed、PyTorch 的版本更新中對 3D 並行、MoE 支援、異構化改進的採納情況。
- 異構訓練成功率：在生產環境中混合 GPU 代際訓練 3D 並行的案例及其故障恢復時間的公開資料。
信源
- Huang, Y., et al. “GPipe: Efficient Training of Large Neural Networks using Pipeline Parallelism.” NeurIPS, 2019.
- Shoeybi, M., et al. “Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism.” arXiv, 2019.
- Narayanan, D., et al. “Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM.” SC, 2021.
- Rajbhandari, S., et al. “ZeRO: Memory Optimizations Toward Training Trillion Parameter Models.” SC, 2020.
- Rasley, J., et al. “DeepSpeed: System Optimizations Enable Training Deep Learning Models with Over 100 Billion Parameters.” KDD, 2020.
- Meta. “The Llama 3 Herd of Models.” Meta AI, 2024.
- DeepSeek-AI. “DeepSeek-V3 Technical Report.” 2024.
- NVIDIA. “NVIDIA DGX SuperPOD and Eos Supercomputer.” NVIDIA Technical Overview, 2024.
- IDC. “Worldwide AI Infrastructure Tracker, Q2 2024.” June 2024.
- Omdia. “Data Center Compute Intelligence Service – 4Q 2024.” 2024.
- AMD. “ROCm 6.3 Release Notes.” 2025.
- xAI. “Colossus: The World’s Largest AI Training Cluster.” xAI Blog, 2024.