張量並行

3秒看懂

張量並行(Tensor Parallelism, TP)是一種將模型中單個張量(通常是權重矩陣)沿特定維度切分到多個GPU上的分散式訓練/推論策略。其核心特徵是單層內跨裝置並行,部分計算步驟需要裝置間通訊來整合結果,因此對GPU間高頻寬、低延遲互連(如NVIDIA NVLink)依賴極重。

一句話:把一個大矩陣切到多張卡上一起算,關鍵步驟需高速通訊同步中間結果。

典型場景:超大型模型整體引數量與最佳化器狀態超出單卡視訊記憶體，通過張量並行切分單層權重以降低每卡視訊記憶體佔用，使大型模型訓練/推論可行。

3分鐘產業解釋

為什麼需要張量並行

大型模型整體引數與最佳化器狀態遠超單GPU視訊記憶體容量。以GPT-3 175B為例，FP16引數約350GB，單卡HBM 80GB遠無法容納。資料並行每卡複製全模型,對視訊記憶體無效;流水線並行切層導致流水線氣泡;張量並行則直接切開單層權重,讓多卡協作計算同一層，顯著降低每卡視訊記憶體壓力。

產業價值

張量並行是大型模型訓練的基礎使能技術。沒有它,引數規模超千億的模型無法在現有GPU上訓練。也是推論時降低單卡視訊記憶體壓力、提升吞吐的核心手段。

核心權衡

優勢:視訊記憶體效率極高,單層可擴充套件至任意數量GPU。
代價:每次前向/反向傳播需通訊,通訊量與模型並行度正相關,對節點內高速互連(NVLink、甚至NVL72級別的超頻寬)構成硬需求。跨節點張量並行通常因頻寬不足難以工程化。

產業現狀

主流架構(NVIDIA Megatron-LM、DeepSpeed、PyTorch FSDP部分場景)均內建張量並行。GPT-4、Llama 3 400B+等萬億引數模型均依賴TP實現。NVIDIA DGX/DSS等超節點通過NVSwitch全互聯,正是為張量並行提供物理基礎。

15分鐘專家深入

核心機制分解

張量切分維度選擇(以Transformer自注意力為例):

列切分(Column-wise):按權重矩陣的列切分,每卡持有一部分列。輸入需廣播或全收集。
行切分(Row-wise):按權重矩陣的行切分,輸入需在行維度對應切分,輸出需部分求和。

通訊模式:

列並行線性層:前向無需通訊(每卡獨立計算),但後接啟用函式後進入行並行層時需AllReduce。
行並行線性層:前向需AllReduce匯聚各卡部分和,然後進入啟用函式。
Megatron-LM自注意力:組合列/行並行,巧妙安排通訊時機,減少通訊次數。

張量並行度(Tensor Parallel Size, TP Size):張量並行使用的GPU數。通常限制在單節點內(如8卡),因為跨節點頻寬急劇下降。NVIDIA Hopper架構(NVLink 4.0, 900GB/s雙向/卡)和未來NVL72(超節點級NVSwitch)在嘗試突破節點限制。

通訊原語:

AllReduce:行並行輸出匯聚。
AllGather:列並行權重切分後,輸入需在全卡可見時使用。
ReduceScatter:反向傳播時,梯度需分散回各卡。
注意:張量並行不涉及All-to-All(All-to-All多見於MoE的專家排程dispatching,是易混淆點)。

與其他並行策略的耦合(3D並行)

實際大型模型訓練採用3D混合並行:

資料並行(DP):外層,跨節點/機架,低通訊頻次,高延遲容忍。
流水線並行(PP):中間層,切分層間,減少通訊量但需處理bubble。
張量並行(TP):內層,切分層內,高通訊量,依賴節點內NVLink。

組合順序:通常TP×PP×DP。例如,2048 GPU叢集:TP=8(單節點),PP=8(層間),DP=32(資料副本)。

視訊記憶體與通訊數學

視訊記憶體:每卡儲存全量的 1/TP_Size ,切分維度引數線性壓縮。
通訊量:與TP Size正相關,與計算量之比恆定。例如,行並行層輸出One AllReduce操作,資料量為batch_size × seq_len × hidden_dim。若TP Size過大,通訊開銷抵消並行收益。

技術原理

矩陣切分原理(以Transformer自注意力示例)

簡化線性層定義:Y = X · W

列並行前向(Column Parallel Linear):

將權重W按列切為 [W_1, W_2],分別在GPU1和GPU2。
輸入X通過AllGather或預先廣播使兩卡持有完整X。
GPU1計算Y_1 = X · W_1,GPU2計算Y_2 = X · W_2。
此時兩卡各持有部分輸出列,可直接進入後續的列並行啟用函式或行並行層。

行並行前向(Row Parallel Linear):

將權重W按行切為 [W_1; W_2],分別在GPU1和GPU2。
輸入X也按列切分為 [X_1, X_2]。
GPU1計算Y_1 = X_1 · W_1,GPU2計算Y_2 = X_2 · W_2。
輸出Y = Y_1 + Y_2,需AllReduce跨卡求和,恢復完整輸出。

Megatron-LM 自注意力張量並行機制(典型實現)

以多頭自注意力為例:QKV投影和輸出投影採用矩陣切分策略,使得通訊最優。

輸入 X (已切分或完整)
    |
    ├─> 列並行 QKV 線性層(無通訊)
    |   對每個頭獨立計算 Q,K,V
    |
    ├─> 各卡獨立計算注意力上下文(Head級)
    |   本次不跨卡
    |
    └─> 行並行輸出線性層
        - 輸入經注意力後仍為切分狀態
        - 計算Y_1 = Context_1 · W_O_1, Y_2 = Context_2 · W_O_2
        - AllReduce 求和得最終輸出

關鍵:僅輸出線性層後需要一次AllReduce,前向通訊量最小化。

關鍵引數與體系結構約束

TP Size:通常2/4/8,受節點內GPU數量與NVLink拓撲限制。超節點(如NVL72)理論上可到72,但通訊效率仍需驗證。
NVLink頻寬:雙向頻寬越高的GPU(如H100 SXM, 900GB/s),張量並行效率越高。PCIe版本GPU(如H100 PCIe, 128GB/s)張量並行擴充套件性差。
計算通訊重疊:通過非同步通訊和CUDA Stream,將AllReduce與後續計算重疊,隱藏通訊延遲。

數值精度問題

張量並行切分後AllReduce求和,若使用FP16/BF16,需保證求和精度無損。主流架構採用BF16張量並行,因動態範圍大,無需loss scaling。FP8張量並行(NVIDIA Transformer Engine)通過線上縮放進一步加速。

技術演進史

時間/階段	節點	關鍵特徵
2018以前	Alex Krizhevsky單卡並行思想	提議將卷積核切分到雙GPU,是第一代張量並行(僅雙卡,架構手工實現)
2019	Megatron-LM(NVIDIA)	首次形式化Transformer張量並行,解耦列/行並行,AllReduce通訊最佳化,支撐83B模型
2020	DeepSpeed ZeRO-3	雖不是張量並行,但通過引數分片（sharding）實現類似視訊記憶體削減,與TP形成競爭與互補
2021	Megatron-LM 3D並行	提出TP+PP+DP標準模式,搭建530B MT-NLG,產業界採納
2022	Hopper架構+NVSwitch	H100節點內NVLink 4.0(900GB/s)為8卡TP提供頻寬保障,軟體站Transformer Engine推進FP8張量並行
2024	NVIDIA NVL72/DGX B200	通過NVLink Switch實現72卡全互聯單一致域,首次將TP物理規模擴至超節點,旨在突破傳統8卡TP上限
2025+	未來方向	Ultra Ethernet/InfiniBand互連升級,TP跨節點可能從“不可用”轉向“條件可用”(需應用/通訊排程進一步最佳化),與MoE排程聯合設計

技術路線對比(量化表)

維度	張量並行(TP)	流水線並行(PP)	資料並行(DP)
切分物件	單層權重(列/行)	整個模型層	輸入mini-batch
每卡視訊記憶體	降至1/TP	降至1/PP(不完美)	全模型複製(最大視訊記憶體壓力)
通訊量	高(每前向/反向需AllReduce等)	低(僅層邊界啟用/梯度傳遞)	中(梯度AllReduce,頻次1/iteration)
通訊頻次	每層或每幾步	每PP stage切換	每迭代一次
通訊頻寬需求	極高(節點內NVLink>300GB/s)	中(節點間或節點內均可)	低～中(節點間InfiniBand/RoCE)
擴充套件上限	單節點GPU數(8~72)	模型層數(可數百)	數百～數千GPU
計算效率	通訊佔比高,小模型得不償失	bubble降低效率,需微批次補償	幾乎線性加速(理想)
典型組合位	3D並行最內層	中層	最外層

結論:TP是視訊記憶體瓶頸的終極解但通訊瓶頸重,僅當模型整體視訊記憶體超出單卡時使用。

上下游

上游(依賴技術)

高速互連:NVLink(各代)、NVSwitch、InfiniBand(傳輸層),TP的物理基礎。NVLink頻寬決定了TP Size上限。
GPU架構:Tensor Core計算能力、HBM容量/HBM頻寬,HBM容量不決定TP Size,但越小,越早觸發TP。
集合通訊庫:NCCL(AllReduce/AllGather implementations)的效能決定了TP通訊開銷。NCCL對NVLink/RDMA的利用效率是核心。

下游(受益應用)

超大型模型訓練:GPT-4、Gemini、Llama 3 405B+等,單層引數量跨卡,TP是必須元件。
低延遲推論:切分單層權重到多卡,提升推論吞吐/降低單卡延遲(計算並行化)。
科學計算:物理模擬中大型稀疏矩陣並行求解,TP可類比Message Passing矩陣切分方法。
搜尋推薦模型:超大Embedding Table行並行切分,索引分佈在各卡,前向AllReduce匯聚。

關鍵指標

TP Communicaton Overhead: AllReduce耗時 / 計算耗時(層內)。理想<10%,取決於batch size與hidden dim。batch size越大,計算量上升,通訊佔比下降,TP擴充套件性改善。
MFU(Model FLOPs Utilization):實際計算吞吐/理論峰值。TP的額外通訊會降低MFU,通常8卡TP相比單卡,MFU從~~50%降至~~40%(HW依賴)。
TP Breakeven Point:TP受益臨界點。當單層引數>單卡HBM時,TP首次視訊記憶體可行;但當TP通訊時間>計算時間時,加速比負收益。通常TP Size≤8較為合理。
視訊記憶體碎片率:切分不均衡導致部分卡儲存不均勻,可能引發OOM。需架構支援自動平衡。

供需與市場資料

本部分受限於搜尋失敗,無具體行業出貨量、營收數字,以定性為主。

需求側:生成式AI訓練叢集規模化部署(萬卡至十萬卡),對TP的需求剛性。每一塊H100/B200 DGX系統內,TP作為訓練作業的標準組件啟用。
供給/硬體滲透:NVIDIA DGX/HGX提供了支援8卡全互聯的物理基座,是TP的主導硬體方案。AMD MI300X平台通過Infinity Fabric互連,也支援類TP切分(ROCm生態下)。
雲端端部署:AWS p5、Azure ND H100 v5、Google Cloud TPU v5p(TPU內有張量並行機制不同,採用ICI互聯)等例項型別內建張量並行環境。
無具體市場規模資料[需引用可信行業報告,此處未獲取]。

代表公司與資本對映

由於搜尋結果為空,以下基於公開知識定性列出,不做具體財務/股票推薦,不對標盲目投資。

NVIDIA:TP的硬+軟全棧主導者。硬體(NVLink/NVSwitch)提供TP頻寬基礎,軟體(Megatron-LM,Transformer Engine,NeMo)定義TP實踐範式。資本關聯:GPU生態份額較高,但具體份額需補權威來源後再寫入。
Google(TPU):TPU設計中張量並行由ICI(Inter-Chip Interconnect)實現,雖術語不同,本質相同,TPU v5p支援大規模TP。
AMD:MI300X等自研互連+ROCm/RCCL,開展TP生態建置,效能仍落後於NVIDIA生態,市場驗證中。
Microsoft/OpenAI:大型模型訓練重度使用TP,投資於NVIDIA硬體,自研刀鋒伺服器最佳化TP通訊。
Meta:自研硬體+PyTorch生態內建TP支援,開源貢獻大。
Hugging Face/雲端廠商:提供TP開箱即用推論服務,按Token收費,TP支撐大型模型推論API經濟。

投資邏輯

(基於技術趨勢推演,非確定性建議)

互連頻寬升級週期是TP擴散的直接受益方向:未來3年,NVLink從900GB/s向更高(如1.8TB/s)演進,跨節點統一互連(如NVL72)將擴大TP可用域,拉動高階GPU與交換器需求。
TP生態繫結加深NVIDIA護城河:Megatron-LM等庫的TP實現與NCCL強繫結,競品自研互連+集合通訊庫需長期打磨才可等效替代。
關注“TP效率稀釋”風險:進入萬卡級集群後,TP已非瓶頸,MFU主導因素轉向DP/PP和資料載入,TP增速放緩。
推論側TP增長快:大型模型推論需求爆發,TP降低延遲,成為推論部署必備,催生高密度推論伺服器(如GH200 NVL32)需求。

常見誤讀糾偏

誤讀1:張量並行與資料並行總是一起用,所以等效。

誤解:TP和DP都是“多用卡加速”,實際DP每卡存全模型,TP每卡存部分模型;視訊記憶體限制下,單靠DP無法執行大型模型,TP是視訊記憶體的破局點,二者互補非等效。

誤讀2:張量並行通訊用All-to-All。

事實:標準Transformer張量並行通訊原語是AllReduce(行並行)或AllGather/ReduceScatter(列並行變種)。All-to-All主要用於MoE的expert dispatch/combine,與TP無關。混淆將導致效能建模全錯。

誤讀3:TP Size越大越好。

事實:TP增加通訊開銷。8卡TP後的加速比顯著衰減。單節點內最大64/72卡TP(如NVL72)的理論有效性仍待工程驗證,應用需通訊計算重疊深度最佳化。

學習路徑

理論基礎
- 閱讀《Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism》(Shoeybi et al., 2019),掌握列/行切分數學。
- 理解集合通訊原語(AllReduce/AllGather/ReduceScatter),推薦《NCCL官方文件》與Amini、Broadcast等圖解。
動手實踐
- 用PyTorch的torch.distributed.tensor.parallel或DeepSpeed的TP模組,對一個小型GPT模型進行張量並行切分並分析通訊trace(Nsight Systems)。
- 在NVIDIA NeMo或Megatron-LM倉庫執行TP Size=2/4/8對比微批次吞吐。
進階研究
- 解讀Megatron-LM 3D並行碼,關注TP與PP/DP的介面互動,tensor sharding策略。
- 研究TP與序列並行的結合(sequence parallelism),以及FP8通訊壓縮,理解未來方向。

一句話總結

張量並行是解決大型模型整體引數與最佳化器狀態超出單GPU視訊記憶體的必備技術,通過切分單層權重降低每卡視訊記憶體佔用，依賴極致節點內頻寬(AllReduce)實現大型模型單層多卡協同,但通訊約束使其實踐限制在單節點內,構成大型模型3D並行的最內層核心。

延伸閱讀與來源

核心論文:
Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism, Shoeybi et al., 2019.
Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM, Narayanan et al., 2021. (含3D並行)
NVIDIA官方:
NVIDIA Megatron-LM GitHub, NVIDIA Transformer Engine文件, NCCL官方文件。
DeepSpeed:
ZeRO-3 & Tensor Parallelism Integration docs。
行業觀察:
SemiAnalysis對NVL72及張量並行架構的分析(需訂閱),但不作為資料來源。
說明:因即時檢索未果,本頁面中硬體規格(如NVLink 900GB/s)源自公開產品頁面;無第三方引用數字已標[廠商公開],並無內部資料。

三步設好你的觀察臺

選 1-3 個想觀察的人或賽道

看一份樣張

設定一次異動告警

張量並行

張量並行

3秒看懂

3分鐘產業解釋

為什麼需要張量並行

產業價值

核心權衡

產業現狀

15分鐘專家深入

核心機制分解

與其他並行策略的耦合(3D並行)

視訊記憶體與通訊數學

技術原理

矩陣切分原理(以Transformer自注意力示例)

Megatron-LM 自注意力張量並行機制(典型實現)

關鍵引數與體系結構約束

數值精度問題

技術演進史

技術路線對比(量化表)

上下游

上游(依賴技術)

下游(受益應用)

關鍵指標

供需與市場資料

代表公司與資本對映

投資邏輯

常見誤讀糾偏

誤讀1:張量並行與資料並行總是一起用,所以等效。

誤讀2:張量並行通訊用All-to-All。

誤讀3:TP Size越大越好。

學習路徑

一句話總結

延伸閱讀與來源

張量並行

3秒看懂

3分鐘產業解釋

為什麼需要張量並行

產業價值

核心權衡

產業現狀

15分鐘專家深入

核心機制分解

與其他並行策略的耦合(3D並行)

視訊記憶體與通訊數學

技術原理

矩陣切分原理(以Transformer自注意力示例)

Megatron-LM 自注意力張量並行機制(典型實現)

關鍵引數與體系結構約束

數值精度問題

技術演進史

技術路線對比(量化表)

上下游

上游(依賴技術)

下游(受益應用)

關鍵指標

供需與市場資料

代表公司與資本對映

投資邏輯

常見誤讀糾偏

誤讀1:張量並行與資料並行總是一起用,所以等效。

誤讀2:張量並行通訊用All-to-All。

誤讀3:TP Size越大越好。

學習路徑

一句話總結

延伸閱讀與來源

相關推薦

同產業鏈 · 相關公司

相關概念