流水線

1. 3秒看懂

在AI晶片內部，流水線(Pipeline) 是一種將複雜計算指令拆分為多個獨立硬體階段、並行重疊執行不同指令的技術範式。它廣泛存在於GPU的張量核心、NPU的矩陣引擎以及分散式訓練系統的軟體排程中，是提升吞吐率與能效比的核心手段。

2. 3分鐘產業解釋

可以把AI晶片想像成一個精密工廠。傳統的方式是“一人包乾”——一個工人從頭到尾裝配完一臺引擎，下一個工人才能開始。流水線則是把裝配拆成擰螺絲、裝活塞、試壓等工位，每個工位只有一項任務，當一個引擎進入第2工位時，第1工位立刻開始處理下一個引擎。所有工位同時運轉，工廠單位時間出產的引擎數量倍數級提升。

在AI計算中，單個指令的延遲並不是第一痛點，單位時間內處理多少個操作（吞吐率）才是決定訓練成本與推論速度的關鍵。NVIDIA Hopper/H100 GPU擁有數萬個計算單元，如果它們因為等待資料而“空轉”，天價晶片就變成昂貴的發熱磚。硬體流水線通過取指、排程、運算元讀取、執行、寫回等多級重疊，確保每個核心都能近乎滿負荷地工作。同時，分散式訓練還借用了同一思想，發展出流水線並行(Pipeline Parallelism)——將上百層的模型切塊分配給不同GPU，當第2塊GPU計算微批次A時，第1塊GPU已在處理微批次B，從而使叢集通訊與計算相互掩蓋，壓榨出接近線性的加速比。

正因為有了從原子級的電晶體流水線到系統級的叢集流水線這一整套方法論，從GPT‑4到Llama 3的訓練才能在可接受的時間和電力成本內完成。可以說，流水線是支撐當前AI算力經濟的無形骨架。

3. 技術原理

在處理器微架構中，一條指令的生命週期被劃分為若干子任務，每個子任務由獨立的硬體模組在一拍（時鐘週期）內完成。典型階段包括：

• 取指(Fetch)： 從指令快取讀取下一條指令；
• 譯碼(Decode)： 解析操作碼與運算元地址；
• 發射(Issue)： 將指令派發至對應執行單元，同時讀取運算元；
• 執行(Execute)： 在算術邏輯單元(ALU)、浮點單元(FPU)或張量核心(Tensor Core)中完成計算；
• 寫回(Write-back)： 將結果寫入暫存器或快取。

理想狀態下，每一個時鐘邊沿都有一條新指令進入流水線、一條完成寫回，五級流水線可以同時容納五條處於不同階段的指令，實現時間重疊。然而，幾條深層的矛盾構成了晶片設計的核心挑戰：

1. 結構冒險(Structural Hazard)： 若多個指令同時需要同一硬體資源（比如同一組快取埠），就會發生衝突，需要停頓。現代GPU通過大量暫存器堆和多埠快取設計來減少此類衝突。
2. 資料冒險(Data Hazard)： 後一條指令需要前一條尚未寫回的運算結果。典型解決手段是前遞(Forwarding)——將執行階段剛算出的值直接旁路到下一指令的輸入端，避免等待整個寫回週期。
3. 控制冒險(Control Hazard)： 由分支指令引發，處理器要在分支結果出來之前決定取哪條指令。GPU採用分支預測器和硬體自動的 warp 排程（即遇到一個 warp 的依賴就切換到另一 warp 執行）來隱藏此類氣泡。
4. 階段不平衡： 若某階段延遲顯著長於其他階段（如訪存需數百週期），整個流水線就會被堵住。AI晶片利用龐大的執行緒級別並行和延遲隱藏(Latency Hiding)，當一個 warp 等待執行結果或記憶體讀取時，流多處理器立即切換到另一就緒的 warp 繼續發射指令，大幅壓縮氣泡。

在張量核心內部，流水線進一步專化。以NVIDIA H100的第四代Tensor Core為例，每個SM分割槽擁有一個硬體排程器，專門向Tensor Core流水線發射矩陣乘加(MMA)指令。該流水線細分為矩陣運算元讀取、分散式乘加計算、累加器更新等更細的階段。H100還引入張量記憶體加速器(TMA)，將地址計算、多維資料搬運和格式轉換構成獨立的非同步流水線，使得計算與訪存可以分離重疊：當Tensor Core正在運算當前張量塊時，TMA已經在搬移下一塊資料，雙方互不阻塞。

在系統層面，流水線並行將模型按層切分成虛擬階段。設模型有3個階段，每個階段置於一個GPU，訓練時一批資料被切為6個微批次。階段1算完批次1後立即開始算批次2，同時階段2開始處理批次1的前傳，階段3處於空閒。隨時間推移，所有階段都會趨近滿負荷，流水線中的“氣泡”被微批次的填充所稀釋。常用的排程演算法GPipe和1F1B(one-forward‑one‑backward)通過交錯前向與反向傳播進一步降低峰值視訊記憶體佔用和氣泡比率。資料層面，流水線並行所需的張量跨GPU傳輸藉助NVLink等高頻寬互聯實現，NVSwitch的全互聯拓撲使得通訊流水線也能重疊。

4. 關鍵引數

衡量流水線設計優劣的核心引數包括（如下數值基於公開產品規格，未標註具體產品處為通用描述）：

• 流水線深度(Pipeline Depth)： 指令流水線的級數，通常為12到26級不等。深度較深有利於提升時脈頻率，但會增大分支預測錯誤的懲罰。NVIDIA GPU的實際級數為商業機密，公開資料未見。
• 發射寬度(Issue Width)： 每時鐘週期最多可向執行單元發射的指令條數。H100的每個流多處理器(SM)包含4個warp scheduler，每個排程器每週期可發射1條指令，即單SM理論最大發射寬度為4條指令/週期。
• 矩陣吞吐量： 衡量張量流水線最直觀的指標。據NVIDIA官方白皮書，H100 SXM5在FP8稀疏條件下Tensor Core峰值可達1979 TFLOPS；AMD Instinct MI300X在FP8下稠密算力為1634 TFLOPS（資料來源：AMD 2023年Advancing AI釋出會）。這些數字直接反映了矩陣流水線在每個時鐘週期所能完成的乘加操作廣度。
• 暫存器堆與共享記憶體容量： 支撐流水線頻繁切換 warp 的關鍵。H100每個SM擁有65536個32位暫存器，比A100提升33%，可容納更多活躍執行緒上下文，有利於隱藏流水線氣泡。
• 資料前遞與非同步引擎數量： Hopper架構引入專用TMA單元，實現硬體非同步資料搬運，其吞吐量與延遲直接決定計算流水線的飢餓程度。具體延遲數值公佈有限，但NVIDIA H100資料手冊表明TMA可支援高達每秒數TB的地址生成頻寬。
• 流水線氣泡比率（軟體層）： 在流水線並行中，氣泡比率指全域性流水線中無任何有效計算的時鐘週期佔比。1F1B排程理論上可將氣泡比率壓至低於5%，但受模型各層計算時間不均衡、微批次大小等影響，工程實測氣泡常達10~20%（資料來源：學術論文GPipe/PipeDream及Meta公開訓練日誌分析，具體數值因模型而異）。
• 能效比(TOPS/W)： 流水線最佳化的終極體現。H100的FP8密集算力約為990 TFLOPS，TDP為700W，理想能效比約1.4 TOPS/W。Google TPU v5p單晶片BF16 459 TFLOPS，TDP約450W，能效比約1.0 TOPS/W（資料來源：Google Cloud TPU v5p規格頁面及第三方估算）。實際負載中因流水線效率差異，該比值波動顯著。

5. 技術路線

當前AI晶片的流水線技術呈現三大並行路線，既相互競爭又存在融合：

路線一：SIMT+warp‑level排程 + 專用張量流水線（代表：NVIDIA CUDA Core+Tensor Core）
以經典的標量核心群為基礎，利用硬體 warp 排程器在眾多執行緒中快速切換來隱藏流水線延遲。張量核心本身採用二維Systolic Array變體，在SM內部形成固定功能的矩陣流水線。優勢是兼顧通用計算靈活性與AI算力密度。NVIDIA從Volta到Blackwell連續升級Tensor Core的矩陣尺寸、精度和非同步執行能力，逐步將流水線解耦推向極致。

路線二：粗粒度脈動陣列+巨大片上儲存（代表：Google TPU）
TPU的核心是一個128×128或更大規模的脈動陣列，資料像波浪一樣流過鄰接的處理單元(PE)流水線。與傳統處理器流水線不同，脈動陣列在矩陣維度上形成計算流水線，避免了頻繁暫存器訪問，能效極高。缺陷是靈活度較低，不適於非陣形計算。TPU v5p通過多維脈動和向量單元混合架構部分彌補。

路線三：資料流架構與晶圓級系統（代表：Cerebras WSE, Groq LPU）
Cerebras將整片晶圓設計成一個巨型晶片，將模型層對映到物理計算單元上，資料流動即計算，幾乎取消了指令流水線，轉而以空間流水線取代時間流水線。Groq的LPU則採用大量拼接的張量流處理器，每個核心專攻極窄的運算和路由，所有操作由編譯器精確編排為確定的流水線，無需分支預測與亂序，實現極低延遲。此類路線犧牲了傳統可程式設計性，但在特定推論場景下能達到驚人的吞吐與延遲表現。

在系統軟體層面，流水線並行也形成了不同的排程範式：GPipe的同步微批次方案、PipeDream的非同步流水線、以及Megatron‑LM使用的交錯1F1B策略，這些都屬於分散式流水線的技術路線，決定不同GPU間計算與通訊的重疊效率。

6. 上游

高效率流水線的實現依賴精密的設計工具、IP授權和先進製造：

• EDA工具： Synopsys（收購Ansys後增強）、Cadence提供的綜合、版面配置佈線、時序籤核工具是設計數十億電晶體流水線的必須工具。AI晶片流水線需頻繁處理多時鐘域、非同步FIFO和握手邏輯，對靜態時序分析和形式驗證提出極高要求。
• IP核與互聯技術： 片內匯流排（如ARM AMBA系列）、HBM PHY由Rambus、Synopsys、SK海力士/Avago等提供，影響資料流水線吞吐和延遲。片間互聯如NVLink、UHIE、PCIe Retimer設計也構成資料流水的物理鏈環。
• 製造工藝： 先進節點（台積電N4、N3、即將到來的N2和三星/英特爾的競品）允許在同等面積下整合更多邏輯、更寬流水線，同時提升時脈頻率與降低開關功耗。2024年H100、MI300X均採用台積電N4/N5族工藝，Blackwell B200則升級至台積電N4P定製版。地緣政治對高階製程的限制可能阻斷部分廠商獲取最佳化流水線所需的工藝。

7. 下游

流水線技術最終凝聚為具體產品與服務：

• AI加速器晶片： NVIDIA H100/B200、AMD MI300X、Intel Gaudi 3、Google TPU v5p、Amazon Trainium2、華為昇騰910B等，均將流水線效率作為核心賣點。
• AI伺服器與叢集： DGX GB200、NVIDIA HGX平台、超微、DELL、浪潮等伺服器的系統設計，必須圍繞加速晶片的流水線特性進行供電、散熱與拓撲最佳化；SuperPOD等互聯架構將單節點流水線擴充套件為多機資料流水線。
• 雲端服務： AWS（Trainium/Inferentia）、Microsoft Azure（Maia）、Google Cloud TPU將底層流水線抽象為按需付費的AI算力，使用者通過雲端API即可受益於最新流水線設計。
• AI架構與編譯棧： PyTorch、JAX、TensorFlow通過XLA、Triton等編譯器需要對硬體流水線對映進行運算元融合、流水線級排程最佳化；DeepSpeed、Megatron‑LM等分散式庫則實現軟體層面的流水線並行排程，直接影響叢集利用率。

8. 受益公司

以下梳理基於產業鏈公開資訊，僅描述業務關聯，不作價值判斷。

• 輝達(NVIDIA)： 資料中心GPU（H100/B200）的流水線效率直接定義其產品競爭力。根據NVIDIA FY2025財報（截至2024年1月28日），資料中心業務全年營收為475億美元，年增率增長217%。流水線持續升級被視為其護城河的關鍵一環。
• AMD： Instinct MI300X憑藉改進的矩陣核心流水線和統一記憶體架構切入市場。據AMD 2024年Q1財報，資料中心部門營收達23億美元，其中MI300系列GPU貢獻超過10億美元，成為有史以來增長最快的產品線。
• 博通(Broadcom)： 為Google TPU等定製ASIC提供設計服務與關鍵IP，其AI相關定製晶片營收在FY2024第二季度達到約30億美元，受益於閉環資料流水線晶片需求。
• 雲端廠商： Microsoft、Amazon、Google自研推論/訓練晶片的大量投入，其內部流水線架構直接影響雲端服務成本和獲利率，但營收貢獻無單獨細分。
• 半導體裝置與EDA： 台積電（TSMC）作為先進製程供應商，深受益於AI晶片流水線複雜度帶來的晶片面積和高階節點需求。2024年AI相關晶片貢獻臺積電營收佔比持續擴大（據TSMC 2024年Q1法說會）。Synopsys、Cadence亦受益於流水線驗證複雜度的提升。
• 系統整合與伺服器： 超微(SMCI)、Dell、惠普企業等AI伺服器整合商，流水線能力通過整體系統交付放大，但其受上游晶片供應週期影響顯著。

9. 市場規模

（本節所有資料均基於公開第三方市場研究，年份與口徑已標註，預測數字可能隨市場變化修正）

• AI晶片總體市場規模： 據MarketsandMarkets釋出的《AI Chip Market – Global Forecast to 2028》報告（2024年1月版本），全球AI晶片市場規模2023年為530億美元，預計2028年將增長至1,383億美元，年複合增長率(CAGR)約21.1%。該口徑涵蓋GPU、FPGA、ASIC、NPU等。
• 資料中心AI加速器市場： Omdia在2024年8月釋出的《Cloud and Data Center AI Processor Market Tracker》中指出，2024年全球用於資料中心的AI加速器營收預估將超過1,000億美元，其中NVIDIA佔據約80%營收份額（基於歷史季度），其餘由AMD、Intel和自研ASIC廠商瓜分。
• 分散式訓練最佳化市場： 流水線並行等訓練最佳化技術主要體現為軟體服務和系統整合，難以單獨統計市場規模，但其價值隱含在AI雲端服務和伺服器系統營收中。根據Grand View Research報告，2023年全球AI訓練服務市場約80億美元，預計2030年將達560億美元，部分增長受益於流水線並行等效率方案的採納。
• 相關產能投資： 台積電2023年資本支出約304億美元，2024年維持在280–320億美元，其中部分明確用於滿足AI晶片先進製程需求。SK海力士HBM產能2024年已被預定滿，擴產計劃間接對映流水線對高頻寬儲存的依賴。具體份額資料公開揭露有限。

10. 玩家對比

（核心維度基於各公司公開產品資料及獨立測評）

廠商/產品	流水線架構特點	典型算力 (FP8/BF16)	記憶體頻寬	突出優勢	潛在侷限
NVIDIA H100 SXM5	SIMT+Tensor Core，硬體非同步TMA解耦	1979 TFLOPS(稀疏FP8)	3.35 TB/s HBM3	CUDA生態，完備的流水線重疊	功耗高(700W)，供應受限
NVIDIA B200	第二代Transformer Engine，FP4支援，NVLink域內流水線	4,500 TFLOPS(稀疏FP4)	8 TB/s HBM3e	算力翻倍，系統級流水線設計	尚未大規模部署，成本極高
AMD MI300X	CDNA3矩陣核心，統一記憶體，大量暫存器	1634 TFLOPS(FP8稠密)	5.3 TB/s HBM3	記憶體容量/頻寬領先，高容量流水線	軟體生態ROCm適配中
Intel Gaudi 3	可配置MIMD流水線，整合媒體處理單元	約1,835 TFLOPS(FP8，英特爾預估)	3.7 TB/s HBM2e	價效比，乙太網路Scale-out	依賴特定架構最佳化
Google TPU v5p	脈動陣列+向量單元，片間ICI互聯流水	459 TFLOPS(BF16單晶片)	詳細頻寬未公開	高效能效，與GCP深度整合	僅限Google Cloud，不可購買
華為昇騰910B	達芬奇架構3D Cube流水線	約256 TFLOPS(BF16，公開資料不完整)	1.6 TB/s HBM2e	國產化替代	製程受限，軟體生態待完善
Cerebras CS‑3 (WSE‑3)	晶圓級空間流水線，無指令開銷	約125 PFLOPS(BF16，單系統)	片上快取極高頻寬	免除傳統流水線氣泡	僅適用於特定工作負載，體積龐大
Groq LPU	確定性TSP流水線，編譯器精確排程	推論效能以token/s計量(>500 tok/s per chip)	基於片內SRAM	極低延遲，可預測	模型規模受片上記憶體限制，需大量晶片

11. 風險

1. 架構顛覆風險： 存內計算(PIM)和光子計算可能從根本上消除計算與資料移動的界限，傳統基於馮·諾依曼的流水線模型可能被替代。三星、SK海力士、Lightmatter等正在推進相關技術，若突破將重繪AI晶片流水線定義。
2. 軟體生態繫結： 高並行流水線極度依賴編譯器、庫和架構的適配。若競品硬體流水線更優但缺乏類似CUDA的生態，客戶遷移成本高，導致先進硬體無法放量，制約市場選擇。
3. 先進製程斷供： 流水線的頻率和功耗最佳化只能部分彌補製程差距。地緣衝突可能導致獲取N3/N2等工藝中斷，國內廠商的流水線設計將被迫在寬鬆製程上妥協，效能差距加大。
4. 功率牆與散熱極限： B200的TDP已接近1000W，單純通過加寬流水線、增加核心數來提算力將受散熱瓶頸。液冷普及會增加系統複雜度和資料中心PUE指標，經濟性受考驗。
5. 軟體流水線的複雜性： 在分散式訓練中，流水線並行需要精細劃分模型層與微批次大小，調優不當會顯著放大氣泡比率，實際叢集利用率可能遠低於理論值；且與張量並行、資料並行混合使用進一步增加工程師門檻。
6. 商業集中度風險： 資料中心GPU市場高度集中於NVIDIA，任何供應鏈中斷（如HBM不足、封裝產能緊張）都會導致全行業AI算力部署延遲，進而影響下游AI服務推出。

12. 誤讀糾偏

• 誤讀一：“流水線越深，頻率越高，晶片就越強”。
  • 事實： 深度流水線可提升頻率，但分支預測失敗後的懲罰週期相應增加，同時加大前遞和旁路邏輯的功耗與面積。尤其在GPU這類大數據並行處理器中，頻率並非唯一槓杆。現代AI晶片更注重在給定功耗下通過寬發射和多執行緒隱藏延遲，深度流水線並非無腦選項。
• 誤讀二：“Tensor Core取代了CUDA Core的流水線”。
  • 事實： Tensor Core只負責矩陣乘加，建模流水線之外的啟用函式、歸一化、資料重排、標量控制等仍需CUDA Core的通用流水線完成。兩者協同，負載特徵決定各自利用率。忽略CUDA Core將導致晶片通用性大幅下降。
• 誤讀三：“流水線並行可以完美掩蓋通訊，實現線性加速”。
  • 事實： 雖然流水線並行通過重疊計算與通訊降低了空等，但無法完全消除。模型分割點兩側計算量不均衡、micro‑batch過小、或者梯度聚合階段仍會產生氣泡。實測中即使採用1F1B排程，氣泡佔比也常在5–15%。要實現接近線性的加速，需要結合張量並行和資料並行，並精細調優。
• 誤讀四：“只要硬體流水線好，AI訓練一定快”。
  • 事實： 硬體流水線效率最終要通過軟體編譯棧釋放。運算元融合、指令排程、暫存器分配等對流水線影響巨大。部分ASIC理論算力極高，但因編譯器無法高效安排資料流動，實際利用率遠低於理論峰值。軟硬協同是決定性因素。

13. 最新事件

• NVIDIA Blackwell平台釋出 (2024年3月)： 推出B200 GPU與GB200超級晶片，引入第二代Transformer Engine支援FP4精度，大幅提升張量流水線吞吐量。NVLink 5提供1.8 TB/s雙向頻寬和多節點流水線域，增強系統級流水線重疊。DGX GB200 NVL72系統將72顆B200連線成一個巨型低延遲流水線空間，目標訓練萬億引數模型。
• AMD MI350加速卡路線圖更新 (2024年6月)： 在Computex上AMD預告MI350系列將採用CDNA4架構，進一步提升矩陣核心流水線效率，並引入類似非同步資料搬運的機制，預計2025年面市。此舉被視為對標Blackwell的流水線升級。
• Groq LPU引爆推論市場關注 (2024年2月)： 憑藉其確定性流水線架構，Groq演示了在Llama 2 70B上實現超過240 tokens/s的推論速度，引發了業界對“極簡流水線”替代主流GPU的討論。後續Groq獲得6.4億美元融資，並啟動晶片定製服務。
• Cerebras與阿聯酋G42合作 (2024年)： 基於CS‑3系統搭建Condor Galaxy 3超級計算機，使用空間流水線訓練Jais阿拉伯語大型模型。這標誌著晶圓級流水線在特定國家主權AI中的落地。
• 國家自研ASIC流水線熱潮： 2024年，中國、印度、日本、歐盟多國宣佈或推進本土AI晶片計劃，大部分採用脈動陣列或類TPU的流水線架構，以減少對進口GPU的依賴。這推動台積電及三星先進封裝產能持續吃緊。

14. 追蹤指標

密切關注以下指標以把握流水線技術演進及其影響：

• 每代GPU/加速器峰值算力（TFLOPS）和能效（TOPS/W）提升幅度： 若製程進步放緩，算力增幅更多依賴流水線最佳化，體現微架構創新能力。
• AI訓練實測吞吐(Map)效率： MLPerf Training基準測試中，提交的模型訓練實際吞吐與晶片峰值算力的比值。該值越高，說明流水線利用率越佳，是評估軟硬協同的關鍵。
• HBM產能和價格趨勢： 流水線需要超寬資料通路，HBM的供應緊張程度直接制約晶片放量。追蹤SK海力士、三星和美光HBM路線圖和季度財報。
• NVIDIA資料中心營收增速與大客戶資本支出（如微軟、Meta）的關聯： 反映市場對極致流水線算力的需求彈性。
• CUDA及ROCm/OneAPI的開源庫迭代頻率與效能最佳化比例： 軟體層面的流水線友好度改善會直接轉化為硬體利用率的提高。
• 分散式訓練架構新特性： Megatron‑LM、DeepSpeed等釋出更優流水線交疊排程（如交錯1F1B增強），將影響千卡萬卡叢集利用率。
• 初創公司（Groq, Cerebras, d‑Matrix等）的客戶放量和融資額： 衡量非主流流水線路線的商業化可行性。
• 台積電先進封裝（CoWoS）產能擴張進度： 高效能流水線晶片均需先進封裝，產能瓶頸可能導致供貨延遲。

15. 信源

• NVIDIA H100 Tensor Core GPU Architecture Whitepaper (2022) 及 Blackwell Architecture Technical Brief (2024)
• AMD “Advancing AI” 釋出會資料及 Instinct MI300X Data Sheet (2023)
• Intel Gaudi 3 AI Accelerator White Paper (2024)
• Google Cloud TPU v5p 產品頁面及《MLPerf Training v3.1》提交結果
• GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism (Huang et al., NeurIPS 2019)
• PipeDream: Generalized Pipeline Parallelism for DNN Training (Narayanan et al., SOSP 2019)
• Megatron‑LM: Training Multi‑Billion Parameter Language Models Using Model Parallelism (Shoeybi et al., 2020) 及交錯1F1B排程相關部落格
• SemiAnalysis, “NVIDIA’s Blackwell Architecture Deep Dive” (2024.03)
• Jon Peddie Research, 各季度全球GPU出貨與市場份額報告
• MarketsandMarkets, “AI Chip Market – Global Forecast to 2028” (2024.01)
• Omdia, “Cloud and Data Center AI Processor Market Tracker” (2024.08)
• Futurum Research / Grand View Research 等公開市場研究報告摘錄
• 輝達、AMD、英特爾、台積電定期財報及法說會紀要（2023‑2024）
• Groq、Cerebras 官方技術部落格及公開演講
• 《計算機體系結構：量化研究方法》第6版 (Hennessy & Patterson)，關於流水線與指令級並行的權威論述
• 各廠商開源架構文件：CUDA Programming Guide、ROCm Documentation、OpenAI Triton語言規範