流水線並行

3 秒看懂

流水線並行（Pipeline Parallelism，PP）是將深度學習模型按層切分成多個連續階段，每個階段部署到不同加速器上，讓資料像工廠流水線一樣以微批次（micro‑batch）形式依次流過各階段。它能在不顯著增加通訊量的前提下突破單卡視訊記憶體限制，使訓練千億級稠密大型模型成為可能，但會引入“流水線氣泡”（pipeline bubble）導致部分裝置暫時閒置。這是大型模型分散式訓練中與資料並行、張量並行並列的三大核心策略之一。

3 分鐘產業解釋

在訓練千億引數級大型模型時，單張GPU視訊記憶體（如NVIDIA H100‑80GB）遠不夠存下完整模型狀態（引數、梯度與最佳化器狀態）。於是出現模型切分兩條路徑：張量並行將單層內矩陣運算切分到多卡，雖能解決單層過大的問題，但通訊極密集，高度依賴節點內高速互聯（如NVLink、NVSwitch）；流水線並行則將網路按深度方向切分，把若干連續層打包為一個“階段”放在一個裝置上，資料微批次按序通過。相鄰階段只需傳遞層介面的啟用值和梯度，通訊量遠小於張量並行，天然適合跨節點擴充套件，常與資料並行構成“3D並行”範式。

產業落地時，流水線並行最大的痛點是“氣泡”——前幾個微批次注入或排空流水線時，部分下游或上游裝置在等待資料，造成計算資源浪費。為此出現了多種排程演算法：GPipe採用全前向再全後向，氣泡大但實現簡單，且會隨微批次數量線性增加視訊記憶體；1F1B（一次前向一次後向交替）能大幅壓縮氣泡並將峰值視訊記憶體控制在與流水線深度相關的常數級，被Megatron‑LM與DeepSpeed等架構廣泛採用；進一步還有交錯式1F1B，將每個裝置再分配多個更小的子階段，把氣泡打散得更均勻。

實際操作中，流水線並行常與張量並行配合：張量並行解決單層計算過重問題（限於節點內高頻寬域），流水線並行跨節點串聯多層，資料並行在最外層複製整個流水線。例如，Llama 2 70B模型訓練採用資料並行、張量並行、流水線並行相結合的3D並行，其論文明確提到基於Megatron‑LM的流水線並行實現；稠密萬億引數級模型的預訓練也普遍採用此套路。需要指出，早期代表模型GPT‑3（2020年，175B）主要使用張量並行加資料並行而未採用流水線並行，說明並非所有大型模型都必須使用PP，但在模型規模進一步擴大後流水線並行已逐漸成為剛需配置。

技術原理

問題形式化

給定一個包含 L 層的深度網路，將其切分為 K 個順序階段，第 i 個階段包含若干層，並部署在第 i 個裝置上。一個mini‑batch被進一步切分為 M 個micro‑batch。訓練過程需完成這 M 個微批次的前向與反向傳播，並以規定的順序在各階段間傳遞中間啟用與梯度。流水線並行的核心問題是設計微批次的排程順序與資源管理策略，以最小化裝置空閒時間（氣泡）並控制視訊記憶體峰值，同時保持嚴格的數值等價性（或可控的近似）。

流水線氣泡

氣泡是流水線並行的固有代價，源於流水線注入與排空期間無法讓所有裝置同時工作。GPipe 式排程下，先順序執行全部 m 個微批次的前向，再執行全部後向，其氣泡時間可直觀理解為 (K‑1)×(F+B) 的時間視窗，其中 F 和 B 分別表示單micro‑batch前向與反向時間（通常 B≈2F）。1F1B 排程將前向與後向交替進行，可將氣泡壓縮為約 (K‑1) 個微批次的時間，顯著提高裝置利用率，代價是排程實現更復雜且對微批次間依賴管理要求更高。交錯式1F1B通過將每個裝置切分為 V 個虛擬階段（virtual stages），把氣泡進一步彌散為 (K×V‑1) 段均勻小空閒，在相似硬體上可將氣泡率從1F1B的約 15–20% 壓縮至 5–10% 量級（實際數字受 K、M、模型結構等因素影響而差異較大，此處引用行業典型實驗結果作為量級參考，非特定產品指標）。

視訊記憶體與啟用管理

• GPipe模式：每個階段需保留全部 M 個微批次的中間啟用用於反向傳播，峰值視訊記憶體與 M 成正比。當 M 很大時，視訊記憶體會成為瓶頸。配合啟用重計算（activation checkpointing）可緩解此問題，但額外引入重算開銷。
• 1F1B排程：階段 i 在完成某微批次前向後，可儘早執行對應後向並釋放中間啟用，峰值視訊記憶體只與流水線深度及單個微批次啟用大小相關，與 M 無關。大規模設定下，1F1B的視訊記憶體優勢是其被廣泛採用的主導因素。
• 啟用解除安裝與ZeRO結合：DeepSpeed等方案進一步將部分中間啟用解除安裝到CPU記憶體，結合ZeRO最佳化器狀態分割，可在單機上訓練超出純GPU視訊記憶體數倍的模型。

通訊模式與對比

• 流水線並行：僅階段交界處點對點（P2P）傳遞前向啟用與反向梯度，通訊量約正比於 micro‑batch size × 層介面特徵維度。通訊可容易地與計算重疊，對網路頻寬要求相對溫和，是目前跨節點擴充套件的核心技術。
• 張量並行：對層內計算進行切分，前向後向均需密集的AllReduce或ReduceScatter集體通訊，頻寬要求極高，典型實現僅限節點內高速域（如NVLink 900 GB/s）。
• 資料並行：反向傳播後對全體梯度做一次AllReduce，通訊量與引數總量正比，通訊在全體資料並行程序中同步，擴充套件時通訊延遲上升。
• 混合並行：大規模訓練典型拓撲為——節點內張量並行（利用高頻寬），節點間流水線並行（利用中等頻寬），多副本資料並行（利用跨機池化頻寬），即“3D並行”。Meta在介紹其大型模型基礎設施時曾公開表示，3D並行是其訓練數萬億引數級別模型的核心策略。

關鍵引數

• 流水線階段數（K）：即模型分成的順序段數量，也是參與流水線的裝置組大小。增大 K 可降低單卡視訊記憶體，但也會增加氣泡佔比和通訊延遲。典型設定根據模型深度與叢集拓撲選定，常落在4–32之間；更大規模時與張量並行聯合使用。
• 微批次數（M）：每個pipe‑group在一輪訓練中處理的微批次數量。M≥4K 是一條經驗準則以將氣泡控制在可接受範圍（如<10%），但 M 受全域性batch= micro‑batch × M × DP_SIZE 約束，micro‑batch又受單卡視訊記憶體限制，因此 M 無法任意放大。
• 氣泡率：裝置空閒時間佔總計算時間之比。1F1B下氣泡率約 (K‑1)/M，在 K=8, M=32 時理論氣泡率約 22%（簡化假設 F=B，實際因通訊、負載不均而更高）。交錯式1F1B可將氣泡率壓至顯著更低水平。行業典型實驗表明，精心調優的3D並行可以將整體MFU提升至50–60%（來源：NVIDIA、Meta相關技術報告）。
• 啟用視訊記憶體峰值：直接決定模型可否裝進裝置。1F1B可大致保持峰值與 M 無關，而取決於流水線深度和單micro‑batch啟用量。結合gradient checkpointing後，啟用記憶體可再降低約 30–50%（公開資料常見資料，非單一基準）。
• 通訊頻寬利用率：PP的點對點頻寬需求遠低於TP，通常在跨節點乙太網路（25–200 Gbps）或InfiniBand（100–400 Gbps）上即可高效執行。NVIDIA公開文件建議流水線並行可運行於“低到中頻寬”網路，張量並行則需高頻寬域。

技術路線

排程驅動的技術分野

• 全同步GPipe：Google提出的經典方案，實現簡單，便於配合啟用重計算。適用於探索階段或微批次規模受限但 M 較小的場景，因視訊記憶體限制而逐漸不被作為預設選項。
• 同步1F1B（包括交錯式）：當前主流，以Megatron‑LM、DeepSpeed為代表。通過精細排程將氣泡壓縮並控制視訊記憶體，適合千卡級及以上訓練叢集。
• 非同步流水線（PipeDream及其變體）：模組間使用不同版本的權重快照進行前/反向，理論消除氣泡。但權重滯後會引入數值噪聲，需特殊最佳化器補償（如PipeDream的“Weight Staleness”校正），因收斂穩定性風險未在大廠生產環境中廣泛採用，但在某些頻寬受限或異構裝置場景仍有研究價值。微軟DeepSpeed團隊公開將其歸類為“有前景但需謹慎評估收斂行為”的方向。

架構實現路徑

• Megatron‑LM（NVIDIA）：核心提供1F1B與交錯1F1B排程，與張量並行、資料並行緊密耦合，可為每個並行維度獨立配置規模，是目前LLM訓練事實標準之一。Llama 2、Megatron‑Turing NLG等模型均明確採用。
• DeepSpeed（Microsoft）：流水線引擎結合ZeRO最佳化器，可融合流水線並行與零冗餘最佳化，支援自動混合並行配置搜尋，被開源社群廣泛採用，並在Azure AI上提供商業支援。
• Google GPipe/Pax/Pathways：GPipe是最早的通用PP架構，後續融入Pax及Pathways，支援跨TPU Pod的流水線並行，面向Google內部及雲端使用者。
• PyTorch生態系統：PyTorch通過torch.distributed提供P2P通訊原語；更高層的torch.distributed.pipelining（2023年起整合）提供統一API；Hugging Face Accelerate則進一步降低門檻，允許幾行程式碼呼叫DeepSpeed或Megatron‑LM後端。

上游

• AI加速器：GPU（NVIDIA H100/B200、AMD MI300X）、TPU（Google v5p）、NPU（昇騰910B等）。單卡視訊記憶體、算力以及卡間互聯頻寬直接決定PP切分粒度與效率。NVIDIA的NVLink‑C2C及NVSwitch為節點內TP提供高頻寬，而跨節點則依賴InfiniBand或RoCE網路。
• 高速互聯與網路設施：InfiniBand（如NVIDIA Quantum‑2 400 Gbps）、基於乙太網路的RoCE v2、PCIe 5.0/6.0構成跨節點PP通訊的物理基礎。Mellanox（現NVIDIA網路部門）提供的DPU/SmartNIC可解除安裝通訊，進一步最佳化重疊。
• 分散式通訊庫：NCCL（針對GPU最佳化）、Gloo、MPI。NCCL的P2P send/recv是PP通訊的主要承載。NCCL的版本與拓撲感知對效能至關重要，公開資料表明配置不當可能導致10–20%的效能損失。
• 叢集排程與編排系統：如Kubernetes配合Volcano、Slurm、雲端原生AI平台（如Run:ai），負責分配具有親和性的多節點資源，使流水線階段間的對映拓撲儘量縮短物理鏈路。

下游

• 大型模型預訓練：從數百億到萬億稠密引數的LLM預訓練是PP最直接的下游，亦是PP生態完善的最大驅動力。典型例項包括Llama 2 70B（Meta，2023）、Bloom 176B（BigScience，2022）、Megatron‑Turing NLG 530B（NVIDIA/Microsoft，2021）等。
• 大規模模型微調與對齊：監督微調（SFT）及RLHF階段通常仍需要PP承載全模型，由於批次較小，氣泡影響更明顯。業界普遍採用更小的PP規模或重引數化策略以保持微調效率。公開技術報告（如InstructGPT、Llama 2）顯示其在RLHF訓練中複用了預訓練流水線設定。
• 推論部署：流水線並行可天然用於模型分片推論，尤其適合大型模型的低延遲/高吞吐服務。PiPPy（PyTorch）等專案支援將訓練流水線匯出為推論服務圖；NVIDIA Triton推論伺服器支援多GPU模型分片，其中流水線是重要模式之一。
• 異構計算：PP允許不同階段部署在異構裝置上（如CPU、GPU、FPGA、ASIC），前段在GPU上做嵌入，後段在FPGA做低精度推論，實現成本與能效最佳化。雖然商用案例尚不普遍，但已被微軟Brainwave專案等研究驗證。

受益公司

• NVIDIA：Megatron‑LM核心推動者，DGX SuperPOD、HGX平台預整合NVSwitch與InfiniBand，通過硬體+軟體繫結為大型模型客戶提供端到端3D並行訓練方案。FY2024資料中心業務營收約475億美元（NVIDIA年報），大型模型相關大規模叢集是增長主要引擎之一。
• Microsoft：深度開發DeepSpeed開源架構並將整合至Azure AI服務，降低客戶訓練門檻。Azure OpenAI服務所依賴的基礎設施即為Azure大規模叢集，採用DeepSpeed最佳化。Microsoft FY2024 Q2智慧雲端營收約258億美元（Microsoft財報），AI相關貢獻持續增長但未單獨揭露份額。
• Google：通過TPU+Pathways+Pax提供內部及雲端上流水線並行能力。Google Cloud的AI基礎設施營收未單獨拆分，但公開資訊顯示TPU v5p是其與NVIDIA GPU形成差異化競爭的關鍵產品。
• Meta：雖不對外提供雲端服務，但基於開源專案（PyTorch、FairScale）大量使用和改進PP，用於訓練Llama系列模型，其公開的技術報告、論文為產業提供重要參考。
• 國內相關企業：華為（昇思MindSpore+CANN+昇騰硬體）內建流水線並行；百度（飛槳PaddlePaddle）同樣支援PP，並面向算力中心輸出方案。上述公司未公開流水線並行相關的獨立財務口徑。

市場規模

流水線並行本身屬於分散式訓練技術，不形成獨立市場，其規模蘊含在AI訓練硬體、AI雲端服務及大型模型研發開支中。

• 全球AI伺服器市場2023年約360億美元，預計2028年達870億美元（Dell’Oro Group，2024年年中報告），其中大型模型訓練叢集是增長主要因素。
• AI加速器（GPU+NPD+TPU）市場2024年預計達620億美元（Gartner，2024），NVIDIA佔據主導份額（公開機構估計達80%+）。
• HPC/AI網路互聯市場2023年約120億美元（650 Group，2024），IB+高速乙太網路因PP/TP跨節點需求受益顯著。
• 全球大型模型訓練算力支出2024年估計超350億美元，按年增長超100%（公開分析報告估測）。流水線並行作為使能技術降低訓練門檻並節省成本，對上述支出具有直接槓桿效應。具體因PP節省的算力成本佔比未見權威測算。

玩家對比

公司/專案	技術方案	開源/商業	核心優勢	典型合作/客戶
NVIDIA Megatron‑LM	1F1B+交錯1F1B+TP+DP	開源	深度耦合自家硬體，文件豐富，效能巔峰	LLM頭部團隊、雲端廠商
Microsoft DeepSpeed	1F1B+ZeRO+自動混合並行	開源	易用性高，社群龐大，Azure原生整合	Hugging Face、多數學術團隊
Google GPipe/Pax	TPU原生PP及自動化	部分開源	與TPU Pod深度最佳化，Pathways支援多工	Google內部及GCP客戶
Meta PyTorch Pipeline	torch.distributed.pipelining	開源	PyTorch原生API，與生態系統無縫	社群通用
國內主要方案（昇思/飛槳）	1F1B/自動並行	部分開源/商業	針對國產硬體最佳化，滿足合規需求	國內雲端/央國企大型模型訓練

注：各方案具體MFU、氣泡率等效能指標依賴硬體、模型及配置，未見公開標準化基準對比。

風險

• 演算法替代風險：若未來出現突破性技術使單卡視訊記憶體可容納完整超大規模模型（如基於快閃記憶體的引數解除安裝極大成熟或全新壓縮方法），則對模型並行的依賴會降低，流水線並行的獨特價值可能被削弱。但目前公開研究未見可在不損失效率的前提下完全替代PP的方案。
• 自動並行挑戰：隨著自動並行編譯技術（如Google GSPMD、PyTorch DTensor）的成熟，手工配置PP的方式可能被自動化排程部分取代，降低架構層PP差異化護城河。不過，自動並行仍需底層PP原語高效實現，不會令PP消失。
• 網路演進不確定性：若跨節點網路頻寬快速追近節點內頻寬且成本急劇下降，張量並行跨節點使用的趨勢上升，可能擠佔PP份額。然而行業主流預測仍認為PP與TP結合是未來主流（NVIDIA、Meta公開演講），尚無跡象表明短期單一併行維度可通吃。
• 收斂風險：非同步流水線雖可消除氣泡，但權重滯後帶來的收斂問題未見根本解決，可能限制其在特定應用中的推廣。生產環境主流仍為同步版本。
• 複雜性成本：PP的調優（K、M選擇，與TP/DP結合）需要較多專業知識，增加人力成本與試錯時間，是小團隊門檻。

誤讀糾偏

誤讀1：“流水線並行就是模型並行” 模型並行是總稱，包含張量並行與流水線並行兩大類。前者切分層內運算元，通訊密集；後者切分層間並按微批次流水排程，通訊稀疏。混淆兩者將導致對通訊量級與瓶頸的錯誤估計。

誤讀2：“流水線氣泡無法避免，所以PP訓練效率低” 在1F1B及交錯排程下，氣泡可被壓縮至較低水平（量級5–15%），且PP的引入本質上是用可容忍的效率代價換取視訊記憶體可容納更大型模型。若無PP，許多超大型模型根本無法訓練。此外，通過計算‑通訊重疊、適當選擇流水線深度，效率損失完全可控制在可接受範圍。

誤讀3：“微批次越多越好，能完全掩蓋氣泡” 微批次數M受全域性batch size約束（Global‑BS = micro‑BS × M × DP_SIZE），且micro‑BS受到單卡視訊記憶體壓制，無法無限增加。M 過大也會導致流水線啟動與排空時間總量上升，以及GPipe模式下視訊記憶體爆炸，必須在可用範圍內平衡。

誤讀4：“PP對網路沒有要求” 雖然PP頻寬需求遠低於張量並行，但極低頻寬（如1–10 Gbps乙太網路）仍可能使通訊成為瓶頸。實際部署中建議至少使用25 Gbps乙太網路或更高頻寬，並確保網路拓撲有利於相鄰階段通訊。

最新事件

• 2025年1月：NVIDIA釋出B200 GPU及新一代NVLink Switch，預計將進一步提高節點內TP效率，併為PP在更大規模多節點系統上的應用提供基礎設施支援（NVIDIA官方部落格與CES 2025演講）。
• 2024年底：PyTorch 2.5及後續版本持續完善torch.distributed.pipelining API，提供更簡潔的PP配置介面和排程外掛，降低使用者從架構到落地的時間（PyTorch GitHub釋出說明）。
• 2024年：DeepSpeed團隊公開討論下一代混合並行編譯器，擬將PP、TP、ZeRO在統一IR下自動搜尋最佳策略，減少手工調參工作量（Microsoft Research部落格，2024年）。
• 2024年：Meta在介紹新一代AI基礎設施的公開文章中，詳細闡述萬卡GPU叢集上PP+TP+DP三維並行提升MFU超過55%的實踐經驗（Meta Engineering Blog，2024年）。
• 相關論文方面，2024年有多篇關於端到端自動並行（含PP）的研究在MLSys、OSDI等會議發表，反映自動並行仍是熱門方向。

追蹤指標

• 架構釋出與版本更新：Megatron‑LM、DeepSpeed、PyTorch關於流水線排程、自動配置、新通訊後端的功能釋出。
• 大型模型技術報告：各頭部企業（Meta、Google、Microsoft、國內廠商）在釋出新規格模型時揭露的並行策略、PP階段數、氣泡率或MFU資料，可衡量PP實際應用成熟度。
• 硬體與網路路線圖：NVIDIA、AMD、Intel及網路裝置商的下一代產品對跨節點P2P頻寬和拓撲的改善，直接提升PP有效域。
• 雲端服務商AI訓練平台能力：如AWS SageMaker、Azure AI、阿里雲端PAI和華為ModelArts在流水線並行上的自動化支援程度、公開基準測試。
• 行業效率基準：MLPerf Training等公開基準中大規模LLM測試的MFU、吞吐，以及各參賽者對PP使用情況說明（如有）。
• 學術會議方向：NeurIPS、ICML、MLSys中關於流水線並行的新排程演算法、自動搜尋方法和收斂理論，可揭示技術演進熱點。

信源

• GPipe: Huang et al., “GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism,” NeurIPS 2019.
• Megatron‑LM: Shoeybi et al., “Megatron‑LM: Training Multi‑Billion Parameter Language Models Using Model Parallelism,” 2019.
• Efficient Megatron‑LM: Narayanan et al., “Efficient Large‑Scale Language Model Training on GPU Clusters Using Megatron‑LM,” SC 2021.
• DeepSpeed: Rasley et al., “DeepSpeed: System Optimizations Enable Training Deep Learning Models with Over 100 Billion Parameters,” KDD 2020.
• PipeDream: Narayanan et al., “PipeDream: Fast and Efficient Pipeline Parallel DNN Training,” SOSP 2019.
• Llama 2: Touvron et al., “Llama 2: Open Foundation and Fine‑Tuned Chat Models,” Meta, 2023.
• NVIDIA Megatron‑LM文件與NeMo架構說明（docs.nvidia.com/deeplearning/nemo/）。
• Microsoft DeepSpeed官方文件（deepspeed.ai）。
• PyTorch torch.distributed.pipelining 文件（pytorch.org）。
• Meta AI Infrastructure公開技術部落格（Engineering at Meta，2024）。
• Dell’Oro Group、Gartner、650 Group相關市場預測（2024年公開報告摘要）。
• 各上市公司財報及公開發佈會記錄（NVIDIA、Microsoft等，FY2024‑2025）。