叢集

3 秒看懂

叢集（Cluster）是將大量獨立計算節點通過高速網路互連、協同完成單一訓練任務的大規模平行計算系統。當單卡視訊記憶體放不下模型、訓練時間不可接受時，必須把模型或資料拆分到成百上千個加速器上執行。叢集本質上就是這種超大規模訓練的物理基礎——它把“算力池”與“通訊架構”高度耦合，以支撐千億乃至萬億引數模型的迭代。

3 分鐘產業解釋

一個面向大型模型訓練的叢集，並非多臺 GPU 伺服器的簡單堆疊。它需要同時解決三個核心矛盾：算力密度、互連頻寬與分散式協同。

算力密度：單節點通常整合 8 張或更多 AI 加速器，通過高頻寬域內互連（如 NVLink、專用匯流排）形成“超級 GPU”；再以高速網路（InfiniBand、RoCE 等）把數千個節點聯成整體。
互連頻寬：模型切分後，節點間需要頻繁交換梯度、引數和中間啟用。南北向網路決定系統規模上限，東西向網路（機櫃內 NVSwitch、機櫃間交換器）直接制約訓練效率。頻寬不足時大量計算單元空等通訊，成為系統短板。
分散式協同：涵蓋資料並行、張量並行、流水線並行、序列並行及混合策略。叢集不僅提供頻寬，還需最佳化通訊拓撲（胖樹、Dragonfly 等）與集合通訊演算法（AllReduce、AllGather、ReduceScatter、All-to-All），並依靠排程系統高效分配每一份資源。

產業現實是：萬卡乃至十萬卡叢集已經是大型模型頭部玩家的“入場門票”。機櫃功耗普遍向 40 kW、100 kW 以上演進，液冷、高密度電源和光纖佈線同步升級，整個叢集正演進為一套高度整合的極限工程系統。

技術原理

1. 通訊原語與並行策略的對映

在大規模訓練中，核心通訊操作由集合通訊庫（如 NCCL、RCCL）完成。以典型的 3D 混合並行（資料並行 + 流水線並行 + 張量並行）訓練千億引數 Transformer 為例：

資料並行：同一份模型引數複製到多個 GPU，分別消費不同的微批次資料。前向/反向獨立計算後，所有副本需要聚合梯度，執行 AllReduce。典型演算法為 Ring 或 Tree，梯度張量被劃分為小塊流水線式傳遞，通訊量與引數量成正比。
張量並行：將單層權重矩陣切分到多個 GPU。例如 Megatron 的列並行線性層在前向中需要 AllReduce 求和，而行並行線性層需要 ReduceScatter 將輸入分發。這類通訊頻率高、每層發生，延遲要求極為苛刻，通常被約束在節點內的高頻寬域（如 NVLink 域）。
流水線並行：以層為單位分配到不同 GPU，僅需在階段邊界交換啟用和梯度，使用點對點 Send/Recv。通訊量相對較小，但必須精細排程微批次以壓縮流水線氣泡。
MoE 架構：門控網路將 Token 路由到不同專家，引發 All-to-All 通訊——每個 Token 可能去往任意裝置，通訊模式非規則且突發性強，對集合通訊庫和高基交換器提出額外要求。

一個簡化的 3D 混合並行拓撲邏輯檢視（GPU 網格）：

流水線階段0 ── 流水線階段1 ── ...
    |  張量並行組0           |  張量並行組1
    |  [GPU0,GPU1]          |  [GPU2,GPU3]
    |  資料並行副本組0       |  資料並行副本組0
    |  與下方副本組1通過AllReduce同步梯度
流水線階段0副本1 ── 流水線階段1副本1 ...
    |  [GPU4,GPU5]          |  [GPU6,GPU7]

資料並行梯度同步時，所有持有相同模型引數的副本（如 GPU0 與 GPU4）必須跨節點執行 AllReduce。此時，叢集網路需要支撐全互聯的對等頻寬。

2. 拓撲結構與效能公式

超大規模叢集普遍採用胖樹（Fat-Tree）無阻塞網路。假設單埠速率為 400 Gbps，理想情況下任意兩節點間的全域性頻寬可達該速率。但 AllReduce 的有效頻寬受演算法環長等因素影響：對於 N 個節點的 Ring AllReduce，每個 GPU 傳送/接收約 2(N‑1)/N 倍的資料量，總傳輸量接近 2× 資料量。實際中，廠商通過 NVSwitch 分級聚合或交換器內計算（如 Nvidia SHARP）可以大幅減少中間資料移動，使大叢集 AllReduce 延遲接近理論下限。

訓練吞吐量（Token/s）可粗略表達為：
Throughput = (Batch_size × Seq_len × MFU × Peak_FLOPS) / (FLOPs_per_token)
其中 MFU（模型算力利用率）是度量叢集並行效率的核心指標。受通訊開銷、重計算策略、訪存效率等因素影響，千卡級 GPT‑3 類模型的 MFU 通常落在 30%–50%（依據公開文獻估算）；萬卡以上叢集若不從拓撲、演算法和排程層精細最佳化，MFU 可能大幅下滑，因此維持高效率是工程核心挑戰。

3. 儲存與資料供給

海量訓練資料依賴高吞吐分散式檔案系統或物件儲存供給，以避免 GPU 空等。計算節點本地通常部署 NVMe SSD 快取熱資料，後臺從中心儲存非同步預取下一批資料。檢查點寫入是另一大壓力源：千億引數模型每數百步儲存一次檢查點即可產生 TB 級突發寫入。為此，系統普遍採用非同步/增量檢查點策略，並將檢查點儲存與訓練網路物理隔離。

4. 軟體與排程棧

資源排程：通用容器排程器難以處理訓練作業的“all‑or‑nothing”特性（需一次性分配全部 GPU），故主流叢集使用 Slurm、Volcano 或廠商定製排程器，支援成組分配、親和性約束和拓撲感知放置。
故障恢復：訓練任務常持續數週乃至數月，硬體故障、網路閃斷、靜默資料損壞（如 ECC 錯誤）幾乎不可避免。叢集需具備故障自動檢測、節點隔離、從最新檢查點自動重啟的能力，重啟開銷須控制在分鐘級。
訓練架構：PyTorch、JAX、Megatron‑LM、DeepSpeed 等實現各類並行策略，並通過 NCCL/RCCL 等通訊庫驅動底層網路。

關鍵引數

評估一個訓練叢集的能力，通常關注以下維度（均為公開口徑或工程常用指標，具體數值因廠商而異）：

叢集理論總算力：常以 BF16/FP16 稀疏或密集算力表示，單位 EFLOPS（百億億次浮點運算每秒）或 PFLOPS。頭部訓練叢集可達數萬 PFLOPS 甚至數十 EFLOPS（具體數值未充分揭露，僅為行業定性參照）。
加速器總數與節點數：例如“萬卡叢集”指約 10,000 片量級的加速器，按單節點 8 卡計算約 1,250 節點。
對分頻寬與總網路容量：衡量東西向吞吐，單位 Tbps 或 Pbps。通常要求無阻塞設計，對分頻寬與上下行鏈路總數匹配。
單節點單向頻寬與有效 AllReduce 頻寬：前者指單網絡卡速率（如 400 Gbps）；後者通過 allreduce_perf 等工具實測，單位為 GB/s，直接反映通訊效率。
訓練有效吞吐量（Token/s 或 Samples/s）及 MFU：是業務側最關心的合成指標，綜合反映了節點算力、網路和軟體協同水平。
故障恢復時間：從故障檢測到從檢查點重啟並恢復訓練的時間，目標多在 5 分鐘以內。
能效比：常用 FLOPs/Watt 或 Token/Joule 衡量，受加速器本身功耗、網路部件和散熱方案共同影響。

來源：公開技術論文、輝達 NCCL 文件、MLPerf Training 結果等。具體廠商叢集引數多數未完全公開，以上為衡量架構。

技術路線

當前建置大規模訓練叢集存在三條主流路線，各自在延遲、頻寬、擴充套件性和生態上形成不同權衡。下表為定性對比，因各代際產品引數未完全公開，僅指示技術方向。

維度	InfiniBand 叢集	RoCEv2 乙太網路叢集	封閉域超節點（如 NVLink 域）
通訊延遲	微秒級，極限低	略高，但通過擁塞控制與 ECN 最佳化後可接近	納秒至亞微秒級（機櫃內）
頻寬特性	400/800 Gbps 逐代迭代，鏈路層確定性高	100/200/400 Gbps 廣泛部署，800 Gbps 興起，依賴 DCQCN 等協議	單鏈路頻寬極高（如 900 GB/s 級），逐代翻倍
擴充套件能力	成熟支撐數萬節點，HPC 生態深厚	可擴充套件至萬卡以上，雲端原生友好	單域節點有限（如 72/144），需結合上層網路向外擴充套件
成本與生態	專用交換硬體，單價較高；配套管理工具專用	利用通用乙太網路交換晶片，單位頻寬成本較低，運維工具鏈豐富	供應商鎖定強，系統整合度高，整機櫃交付
代表方案	Nvidia Quantum 交換器系列	博通/Tomahawk 交換晶片方案，Arista/思科交換器	Nvidia GB200 NVL72 機櫃級系統

除了上述路線，AMD 基於 Infinity Fabric 和乙太網路的 Instinct 叢集方案，以及 Google TPU 虛擬機器（藉助光電路交換器）的 Pod 架構也構成重要流派，其在軟體棧和通訊策略上各有專攻。

上游

訓練叢集上游涵蓋算力、網路和基礎設施三大領域的關鍵元件：

AI 加速器：GPU（Nvidia H100/B200 等）、TPU、自定義 ASIC（如 Amazon Trainium、微軟 Maia），是叢集絕對核心。
高速交換晶片：InfiniBand 交換器晶片由 Nvidia（Mellanox）壟斷；乙太網路側博通 Tomahawk/Jericho 系列、思科 Silicon One 等佔主導。
光模組 / DAC / AOC：連線 GPU 節點與交換器，速率從 400G 向 800G、1.6T 演進，是叢集總成本的重要組成。
高速背板與聯結器：機櫃內 NVLink 銅纜、高密度聯結器、PCB 背板等。
散熱元件：高功耗機櫃（40 kW+）迫使冷板式液冷成為標配，帶動冷液分配單元（CDU）、水泵、快接頭、冷卻塔等需求。
電源模組：冗餘大功率 PSU、機架電源和能源管理單元。

以上僅描述產業鏈角色，不構成對具體公司經營情況的判斷。

下游

叢集的下游需求方直接驅動了叢集的設計與建設：

頭部 AI 實驗室：OpenAI、Anthropic、xAI、Google DeepMind 等，率先部署數萬至十萬卡叢集，用於前沿模型訓練。
雲端服務提供商：AWS、Microsoft Azure、Google Cloud、Oracle Cloud 等，既自建叢集用於內部研發，也通過算力租賃對外服務。
大型網際網路與科技公司：Meta、字節跳動、百度、阿里、騰訊等，自建叢集支撐自身大型模型與推薦系統訓練。
國家超算中心與科研機構：用於科學計算與 AI 融合工作負載，採購或聯合搭建大型算力平台。
算力租賃與算力排程平台：利用採購的叢集向中小企業提供訓練服務，成為連線上游產能與下游需求的新形態。

受益公司

以下圍繞叢集建設與運營，按產業鏈環節梳理公開資訊中經常被提及的代表性廠商（僅陳述產業角色，不涉及價值判斷）：

算力晶片：Nvidia（Hopper/Blackwell 系列）、AMD（Instinct 系列）、Intel（Gaudi 系列）等；Google TPU、Amazon Trainium 等自研加速器亦屬重要供給。
網路晶片與裝置：Nvidia（Mellanox InfiniBand 及 Spectrum 乙太網路交換器）、博通（交換晶片與定製加速器 SerDes）、Marvell（定製 ASIC 與高速 SerDes）、Arista、思科、華為等提供交換器與網路方案。
光模組 / 聯結器：中際旭創、Coherent、Finisar（II‑VI）、新易盛等參與 400G/800G 光模組供應；安費諾、泰科、Molex 等提供高速背板聯結器與銅纜元件。
伺服器與機櫃：超微（Supermicro）、緯創、廣達、浪潮、新華三、聯想等提供 GPU 伺服器與整機櫃設計製造。
液冷與基礎設施：Vertiv、CoolIT、Cooltera、英維克、高瀾股份等提供冷板、CDU 及整體液冷解決方案。
雲端與算力平台：三大超大規模雲端廠商（AWS、Azure、Google Cloud）以及 CoreWeave、Lambda Labs 等新型算力提供商。

市場規模

目前暫無權威第三方釋出以“訓練叢集”為單一口徑的市場規模。業界通常從元件市場和雲端資本支出側面觀察。

GPU 營收視角：Nvidia 資料中心業務在 2025 財年第三季度（截至 2024 年 10 月 27 日）營收 308 億美元，年增率增長 112%（來源：Nvidia FY2025 Q3 財報）。該營收主要由 AI 訓練和推論叢集驅動，是觀察叢集投資熱度的核心先行指標。
超大規模雲端廠商資本支出：2024 年第三季度，微軟、亞馬遜、Alphabet（Google）資本支出合計約 556 億美元（來源：各公司季報；口徑：含融資租賃資本化處理），絕大多數投向雲端基礎設施與 AI 叢集建設。
光模組市場：LightCounting 在 2024 年 4 月預測，2024 年高速乙太網路光模組（100G 及以上）市場規模將超過 50 億美元，800G 模組開始放量，主要驅動力正是 AI 叢集網路升級。
伺服器端：據 TrendForce 集邦諮詢 2024 年 12 月資料，2024 年全球 AI 伺服器出貨量逾 160 萬臺，年增率增長超過 40%（口徑：搭載 GPU、FPGA 或 ASIC 且面向 AI 訓練/推論的伺服器）。
叢集採購案例：一臺配置 8 張 H100 GPU 的典型訓練伺服器廠商公開報價約 25 萬‑35 萬美元（來源：超微、戴爾等渠道公開資訊；價格隨配置波動）。一個萬卡叢集僅硬體採購成本即可達數億至約十億美元量級（具體數額視叢集設計與採購規模而定，公開資料未揭露統一數字）。

以上資料均為公開間接指標，用於佐證叢集建設投入規模，不構成具體財務預測。

玩家對比

以下從方案層面，對幾種典型的訓練叢集建置方式進行比較，資料基於公開技術文件與行業報告，不明之處標註“未公開”。

維度	Nvidia DGX SuperPOD（IB）	雲端廠商自研RoCE叢集	Google TPU v5p Pod	AMD Instinct 叢集
加速器	H100/B200 等，Nvidia GPU	Nvidia GPU 或自研 ASIC（如 Trainium）	TPU v5p，自研	MI300X 等 Instinct GPU
主要網路	InfiniBand NDR/NDR400	RoCEv2 over 乙太網路（400G/800G）	光電路交換器（OCS）與專屬高速鏈路	乙太網路及 Infinity Fabric 整合
最大公開規模	數十個 SuperPOD 級聯，可達 16,000+ GPU（如 Meta 在 2024 年公開的 H100 叢集）	單叢集 10,000 GPU 以上（AWS UltraCluster、Azure 等，具體規模未全公開）	TPU v5p Pod 最多 8,960 晶片（來源：Google 2023 年部落格）	未公開大規模單一訓練叢集上限；多節點部署已在百億億次專案中使用
軟體生態	CUDA、NCCL、Megatron‑LM 等，生態最成熟	依賴供應商自研庫與 PyTorch，排程系統自研	JAX、TensorFlow，配套 Pathways 支援模型並行	ROCm、RCCL、PyTorch，生態快速完善中
典型使用者	頭部 AI 實驗室、大型企業	雲端廠商自身及通過雲端服務外售	Google 內部及 Google Cloud 客戶	超算中心（如 Frontier）、部分企業 AI 團隊

注：RoCE 叢集與 InfiniBand 叢集的上限數字受揭露程度影響，公開資料未見清晰行業標準，僅依據各公司部落格與論文。

風險

供應集中度風險：無論是 GPU 還是 InfiniBand 交換晶片，全球供應高度集中。產能瓶頸（如 CoWoS 封裝、HBM 記憶體）可顯著延長叢集交付週期，抬高成本。
地緣政策與出口管制：高階加速器與網路裝置受到多國出口管制，可能限制部分割槽域獲取最新代次硬體，並催生分散的替代方案，但替代方案的軟體生態成熟度差距明顯。
技術路線切換風險：全光互聯、板級光學、矽光子等未來技術可能顛覆現有叢集網路架構；超節點（NVLink 域）的擴大亦可能削弱 InfiniBand/RoCE 在東西向通訊中的份額，影響供應鏈格局。
功耗與散熱瓶頸：機櫃功率密度持續上升，部分新建叢集單機櫃已超過 100 kW。對電網容量和液冷基礎設施的要求遠超傳統資料中心，選址和電力獲取成為約束。
投資回報不確定性：一個十萬卡叢集總擁有成本可達數十億美元（公開資料未見精算值），但模型商業回報尚未穩固，若應用端變現不及預期，資本支出壓力將顯著增大。
軟體與故障容錯難度：規模每擴大一個數量級，故障比例和網路擁塞管理的複雜度呈非線性增長。維持高 MFU 和長時穩定訓練需要持續投入軟體最佳化，人才稀缺。

誤讀糾偏

誤讀一：“千卡叢集互聯後就是單個超級計算機”
糾偏：儘管通訊頻寬很高，但跨機 GPU 之間的延遲遠高於本地記憶體訪問。不同並行策略下的資料放置、通訊與計算重疊需謹慎設計，不能將其等同於一個統一記憶體的大單體。
誤讀二：“叢集的峰值算力直接等於訓練速度”
糾偏：峰值算力不反映實際吞吐。MFU 常落在 30%–60%，通訊、訪存和重計算都會侵蝕有效效能。單純堆砌加速器而不升級網路和軟體，會造成嚴重的算力浪費。
誤讀三：“All‑to‑All 通訊主要出現在張量並行”
糾偏：張量並行主要採用 AllReduce/ReduceScatter，而 All‑to‑All 是 MoE 架構中專家路由的典型模式。兩者對網路的壓力和最佳化方式截然不同，需要區分應對。
誤讀四：“只要卡夠多，模型就能一直變大”
糾偏：模型規模的擴充套件受限於最大訓練時間視窗、故障率、記憶體容量和演算法本身的收斂行為。叢集規模擴大需同步提升儲存、檢查點和全域性批大小排程等外圍能力，單純增加 GPU 數量並不會自動兌換為更大的模型。

追蹤指標

投資者和從業者可通過以下公開指標追蹤訓練叢集景氣度與產業鏈變化：

輝達資料中心營收：每季財報中的 Data Center

三步設好你的觀察臺

選 1-3 個想觀察的人或賽道

看一份樣張

設定一次異動告警

叢集

叢集

3 秒看懂

3 分鐘產業解釋

技術原理

1. 通訊原語與並行策略的對映

2. 拓撲結構與效能公式

3. 儲存與資料供給

4. 軟體與排程棧

關鍵引數

技術路線

上游

下游

受益公司

市場規模

玩家對比

風險

誤讀糾偏

最新事件

追蹤指標

叢集

3 秒看懂

3 分鐘產業解釋

技術原理

1. 通訊原語與並行策略的對映

2. 拓撲結構與效能公式

3. 儲存與資料供給

4. 軟體與排程棧

關鍵引數

技術路線

上游

下游

受益公司

市場規模

玩家對比

風險

誤讀糾偏

最新事件

追蹤指標

相關推薦

同產業鏈 · 相關公司

相關概念