GShard

1. 3 秒看懂

GShard 是 Google 於 2020 年公開發布的自動模型平行計算架構。其核心定位是:當單個 AI 加速晶片(如 TPU v3/v4、GPU)的視訊記憶體與算力難以承載千億乃至萬億引數級巨型神經網路時,GShard 能夠自動將模型的張量計算圖切分為數萬個子任務,並高效排程到數千個加速器上並行執行,同時最小化跨裝置通訊開銷。

一句話本質:一個針對**稀疏門控混合專家模型(MoE)**深度定製的“智慧模型切分與分散式編排系統”。
產業歸屬:AI 產業鏈 “中游 — 基礎軟體/訓練架構層”,是連線“上游算力硬體”與“下游大型模型應用”的關鍵橋樑。
里程碑意義:2020 年助推 Google 成功訓練出 1.6 萬億引數 的 Switch Transformer 模型,首次在工業級場景驗證了超大規模 MoE 模型工程化的可行性與訓練效率。

關鍵限制提示:GShard 並非一個獨立於硬體的通用架構;其最優效能高度依賴 Google 自研的 TPU 硬體棧、高速互連 ICI (Inter-Chip Interconnect) 與 XLA (Accelerated Linear Algebra) 編譯器。

2. 3 分鐘產業解釋

2.1 它解決了什麼問題

大型模型(如 GPT-4、PaLM、Gemini 等)的引數規模從數十億向萬億跨越時,面臨兩大物理約束:

視訊記憶體牆:單顆 AI 晶片(即便是 80GB 視訊記憶體的 NVIDIA A100/H100)完全無法容納整個萬億引數模型的引數、梯度與最佳化器狀態(僅儲存即需 TB 級以上視訊記憶體)。
算力牆:即使模型能放下,單晶片序列訓練所需時間數以百年計,不具備產業可行性。

GShard 的解決方案是“分而治之”:將模型自動拆解為數百個甚至數千個“專家”子網路,每個子網路(引數規模相對較小)駐留在不同加速器上;每次輸入資料僅啟用其中少數幾個專家(稀疏啟用),從而將總計算量控制在可接受範圍,並實現數千晶片的並行加速。

2.2 它在產業鏈中的位置

GShard 處於典型的 “中游基礎軟體”環節,其核心產業鏈關係為:

上游 → GShard:AI 晶片(TPU/GPU)、高速互連(ICI/NVLink, InfiniBand)、高效能分散式儲存(Colossus/ Lustre)、伺服器叢集。
GShard → 下游:大規模 MoE 模型訓練任務(語言模型、多模態模型)、雲端運算平台的大型模型訓練 PaaS 服務(如 Google Cloud TPU Pod)、科研機構超算中心的 AI 訓練設施。

2.3 產業影響力與侷限性

GShard 的出現使得 “訓練萬億引數模型”不再是論文裡的概念,而是可供頭部科技公司實際執行的任務。它的設計思想(基於編譯器的自動分片 + 針對 MoE 的專用通訊最佳化)深刻影響了後來者,包括開源社群中的 DeepSpeed-MoE、Colossal-AI 等專案的設計思路。

不過,由於 GShard 深度綁定了 Google 內部生態(TPU/XLA/內部叢集管理系統 Borg 等),其 直接對外商業化輸出有限,更多體現為技術方法論的影響力。Google 後續推出的 Pathways 系統,可視作 GShard 思想的進一步泛化與規模化升級。

3. 技術原理

3.1 核心設計思想:稀疏 MoE 的規模化

GShard 並非為密集模型(每一層完全啟用的傳統 Transformer)設計的通用並行架構。其靈魂在於針對 MoE 層的專用化改造:

MoE 層結構:標準 Transformer 的前饋子層(FFN)被替換為一組並行的“專家”FFN(如 2048 個專家),外加一個可訓練的門控網路(Gate)。
稀疏啟用:對每個輸入 token,門控網路僅選擇 Top-k(k 通常為 1 或 2)個“最相關”專家進行計算,其餘專家保持靜默。這一特性使模型總引數量可極大擴充(萬億級),但實際計算量僅與啟用的專家數成比例,遠小於全引數模型。

GShard 的技術貢獻在於:如何讓這種“動態、稀疏、數千專家分佈在不同裝置”的架構在數千個 TPU 上穩定、高效地執行。

3.2 自動分片機制:基於編譯器的張量分佈推導

傳統資料並行或模型並行方案,往往要求研究人員手動指定每一層、每一個張量如何在裝置間切分和通訊,這對於數千個專家的 MoE 幾乎不可行。GShard 的關鍵創新在於:

註解驅動:使用者僅需在關鍵的張量維度上新增簡單的 API 註解(如 shard(x, "expert_dim")),指明哪些維度可以被分片。
編譯器自動推導:GShard 的編譯器後端(基於 XLA)會自動推導整個計算圖中每個張量的分佈方案,包括:
- 各張量應沿哪個軸切分;
- 切分後的子張量應部署在哪個裝置;
- 在何種精度下進行裝置間資料傳輸與重組。
流水線重疊:編譯器還能將計算與通訊進行流水線編排,使得裝置間的 All-to-All 或 Reduce-Scatter 通訊與專家內部計算儘可能重疊,降低整體延遲。

3.3 混合並行策略的智慧組合

GShard 實現了資料並行與模型並行的混合運用,且針對 MoE 的層次特性做了差異化處理:

非 MoE 層(如 Self-Attention 層):由於引數量相對小、計算規則,多采用常規資料並行或張量模型並行(沿 hidden dimension 切分)。
MoE 層(專家 FFN):這是 GShard 最佳化的重點。專家被跨裝置分佈,每個裝置持有部分專家(專家並行,Expert Parallelism);同時輸入資料(token)被動態路由至相應專家所在的裝置,觸發裝置間的 All-to-All 通訊。
兩級並行:使用者可指定“資料並行”維度與“專家並行”維度的組合,形成二維甚至三維的並行網格(如 8 路資料並行 × 256 路專家並行 = 2048 裝置協同),兼顧吞吐量和通訊效率。

3.4 針對 MoE 的通訊最佳化

MoE 路由過程中的 All-to-All 通訊是瓶頸:GShard 設計了專用的高速通訊原語,最佳化流程包括:

分組與打包:將發往同一遠端裝置的 token 在本地先進行區域性聚合,批次傳送,減少傳輸次數。
計算-通訊重疊:在等待遠端 token 到達時,裝置可並行處理本地已有的其他批次資料或進行非依賴性的計算任務。
負載均衡輔助損失:GShard 在模型中內建了輔助損失函式,鼓勵門控網路使 token 儘量均勻地分佈到各個專家,從演算法層面減少個別裝置處理 token 數目畸多畸少導致的通訊風暴或計算長尾。

3.5 彈性容錯與線上恢復

數千個 TPU 連續執行數週或數月,硬體故障幾乎是必然事件。GShard 包含了:

線上分散式檢查點:不中斷訓練流程,定期將模型狀態、最佳化器狀態、資料迭代器位置寫到底層分散式檔案系統(如 Google Colossus)。
快速故障恢復:一旦某 TPU 晶片或主機不可用,系統從最新檢查點自動恢復,跳過故障節點,重排裝置拓撲,繼續訓練。

公開文獻未詳細揭露其故障探測閾值(如連續多少次通訊超時判定掉線)與完整恢復耗時的精確統計分佈,僅描述其具備彈效能力。

3.6 技術侷限性

TPU 生態鎖定:最優通訊原語與 XLA 編譯器深度耦合,向 GPU/NPU 或其他硬體遷移需要大量改造,無法直接“開箱即用”。
MoE 專用性:對密集模型(如傳統 GPT 式全啟用 Transformer)的加速優勢不如 Megatron-LM 或 FSDP 等方案直接。
可除錯性差:自動分片編譯器的黑箱特性增加了研究人員對分散式執行過程的理解和除錯難度。

4. 關鍵引數

GShard 的技術指標並非通過一份公開 datasheet 列出,而是散見於 Google 在 2020 年釋出的 《GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding》 論文,及後續 Switch Transformer (2021) 論文與部落格中。以下為從公開文獻梳理的核心引數:

支援的模型規模:
- 驗證物件:Switch Transformer,引數量最高 1.6 萬億(1.6 Trillion),其中 MoE 層包含 2048 個專家。
- 公開資料未見其理論支援引數量上限的精確宣告。
並行規模:
- 論文實驗中使用 2048 個 TPU v3 核心 訓練 Switch Transformer-XXL (395B 引數)模型;更大規模的 1.6T 引數模型在相關工作中也被成功訓練(具體 TPU 核心數 Google 部落格提及使用 TPU v3 pod 級別資源,但精確卡數未在單篇論文中給出)。
訓練效率指標:
- 相對於同等算力預算下的密集模型,MoE 模型在 GShard 加持下實現了更好的 perplexity (語言建模困惑度)與訓練速度 trade-off。
- 公開論文中展示了在特定實驗條件下對比密集模型的 約 7 倍訓練速度提升(在特定引數量與算力約束下)。需注意這並非在任何場景下絕對的 7 倍加速,而是針對論文實驗設定。
通訊最佳化效果:
- GShard 宣稱通過編譯器最佳化使計算-通訊重疊達到較好的流水線效率;但公開文獻未給出具體數值(如通訊佔比、重疊率、All-to-All 吞吐量 GB/s 絕對數字)。
容錯指標:
- 論文及技術部落格定性描述其支援線上檢測與恢復,但未給出 MTBF (平均無故障時間) 改善程度或恢復時間(RTO/RPO)的具體分鐘級資料。

總結:GShard 的“關鍵引數”更多以學術實驗條件下的效能提升倍率存在,缺乏面向產業使用者的標準化指標欄位。後續類似架構(如 DeepSpeed、Megatron-LM)在引數透明度和可復現性方面提供了更詳實的 Benchmark。

5. 技術路線

GShard 並非孤立專案,其背後是 Google 在大規模機器學習系統方向的一條持續演進的技術路線:

5.1 前 GShard 時代:TPU 與 TensorFlow 並行原語

2016–2018 年,Google 主要依託 TensorFlow 的分散式策略(tf.distribute) 與 TPU Pod 的 2D 環形互連,為早期的大型模型(BERT、早期 T5)提供基礎分散式能力。
這一階段多為手動混合並行策略,專家分片和複雜流水線編排缺乏自動化工具。

5.2 GShard 階段 (2020):MoE 自動分片化

GShard 將 XLA 編譯器能力與 API 註解相結合,首次實現了針對 MoE 架構的端到端自動分片 + 動態路由 + 高效 All-to-All 排程。
這標誌著 Google 的分散式訓練從“手工作坊”式進入到“編譯器驅動”式。
同期,Google 釋出了 Switch Transformer (2021),進一步簡化 MoE 實現,彰顯 GShard 的工程可行性。

5.3 Pathways 時代 (2022–):更泛化的下一代

Google 在 2022 年釋出 Pathways 系統,其核心理念為“用一個模型處理千種任務”的稀疏啟用機制,本質上是 GShard 思想的泛化:不再侷限於語言模型 FFN 層的 MoE,而是將整個模型的不同元件視為可在海量加速器上動態排程的“專家”,實現跨 TPU v4/v5 Pod 的 超大規模異構並行。
PaLM (540B)、PaLM 2、Gemini 等 Google 最新大型模型均部分基於 Pathways 訓練;GShard 可被視作 Pathways 中負責 MoE 並行部分的重要前身。

5.4 與外部的技術路線比對

路線	技術特點	代表架構/專案
Google 路線	編譯器 + 註解,MoE 專用化 → 通用化,TPU 深度繫結	GShard → Pathways
NVIDIA 路線	手動最佳化 + 硬體加速(Megatron-LM + NVLink),密集模型優先	Megatron-LM
Microsoft/OpenAI 路線	資料並行最佳化(ZeRO 系列),逐步引入 MoE 支援,GPU/NPU 生態為主	DeepSpeed
Meta/開源社群	FSDP (完全分片資料並行) 在 PyTorch 生態的輕量級實現,逐步擴充套件 MoE	PyTorch FSDP + TorchMoE
中國路線	對標上述架構,實現自動並行,適配國產硬體(昇騰/寒武紀/DCU)	昇思MindSpore自動並行, 百度PaddlePaddle Fleet, Colossal-AI

GShard/Pathways 走的是專用化編譯器 + 稀疏模型優先路徑,而 Megatron-LM 和 DeepSpeed 則更多走通用性+大規模密集模型最佳化路徑。兩者在特定場景各有所長。

6. 上游

GShard 等大規模分散式訓練架構的上游供應鏈主要包括三個層次:

6.1 AI 晶片

GShard 的直接上游:Google 自研 TPU (Tensor Processing Unit)。
- TPU v3 (GShard 論文實驗主要用片):每個核心 BF16 算力約 123 TFLOPS,單晶片 16 GB HBM 記憶體,ICI 互連頻寬約 656 GB/s (雙向)。(資料來源:Google Cloud TPU 文件,2018–2020 年釋出的 v3 規格)
- TPU v4:2021 年釋出,單晶片 BF16 約 275 TFLOPS,32 GB HBM,ICI 頻寬約 1.2 TB/s,整體效能較 v3 提升約 2 倍以上,是 Pathways 時代的主力硬體。(資料來源:Google AI Blog, 2021 年)
非 Google 生態的上游(同類架構參考):
- NVIDIA GPU:面向 Megatron-LM、DeepSpeed 等。H100 (2023 年量產) TF32 約 989 TFLOPS (稀疏),80 GB HBM3, NVLink 4.0 頻寬 900 GB/s。(引數來源:NVIDIA 官方 Datasheet, 2023)
- 國產晶片:華為昇騰 910 系列、寒武紀 MLU 系列、海光 DCU 等,具體硬體引數詳見各廠商官方釋出。

6.2 高速互連與網路

Google ICI:用於連線 TPU Pod 內部晶片,構成 2D 環狀拓撲;GShard 的 All-to-All 通訊底層強依賴 ICI 的高頻寬與低延遲。
InfiniBand / RoCE:在 GPU 叢集中廣泛使用的 RDMA 網絡卡,構成跨節點的通訊主通道。
NVIDIA NVLink / NVSwitch:GPU 伺服器內的晶片間高速互連,可繞過 CPU 進行直連通訊。

6.3 分散式儲存與檔案系統

Google 內部使用 Colossus (下一代 GFS)為分散式檢查點提供檔案系統支援。
在通用雲端運算和超算環境,類似方案包括 Lustre、GPFS、WekaFS 等並行檔案系統,提供高吞吐的檢查點寫入能力。

6.4 對上游的影響與依賴關係

GShard 的出現實際上對上游提出了更高的互連頻寬和視訊記憶體容量要求:

MoE 模型的 All-to-All 通訊對晶片間頻寬極為敏感;若 ICI 或 NVLink 頻寬不足,GShard 的並行效率會急劇下降。
專家分散式的特性要求晶片有較大的 HBM 容量,以儘可能多地在本地容納多個專家,減少跨晶片通訊頻次。

這種“軟體架構倒逼硬體升級”的迴圈在 GShard 與 TPU v4 之間有所體現。對第三方晶片廠商而言,類似架構的部署效率受限於自身互連頻寬與視訊記憶體容量是否達到 TPU/NVIDIA 同類水平。

7. 下游

7.1 大規模 MoE 模型訓練

GShard 最直接的下游是大型模型研發任務:

語言模型:Switch Transformer (1.6T 引數),以及 Google 後續的多模型 MoE 變體。
多模態模型:將 MoE 應用於視覺 Transformer(ViT)等架構,在影像、影片、音訊任務中訓練超大規模多模態模型。
科學計算與智慧搜尋:需要海量引數記憶知識與複雜推論的場景。

7.2 雲端運算平台的訓練 PaaS 服務

Google Cloud 提供了 TPU Pod 服務和對應的訓練棧支援,其技術棧底層即融入了 GShard/Pathways 的思想與實現。使用者通過 Vertex AI 等服務,可以用相對簡化的介面呼叫大規模分散式訓練能力。

類似地:

Amazon SageMaker、Azure Machine Learning、阿里雲端 PAI 等平台均在其訓練服務中集成了分散式架構能力(如 DeepSpeed、Megatron-LM 或自研架構),構成了雲端廠商大型模型 PaaS 的核心競爭力。

7.3 企業級 AI 研發

對於擁有自建資料中心的大型網際網路公司或科技公司,GShard 所代表的方法論(如離線編譯器自動分片、MoE 層專用最佳化)被吸收到其自有架構研發中。

例如,中國的部分科技企業參考 GShard 路徑,在其國產硬體叢集上開發 MoE 友好的分散式訓練方案。

7.4 行業應用場景

超大規模推薦系統:將 MoE 應用於推薦模型的深層網路部分,以支撐千億引數級的使用者行為建模。
自動駕駛模擬:需要巨大的環境感知與規劃模型,MoE 架構可提高模型容量而不線性增加推論成本。
醫藥和科學模擬:大規模分子模擬、蛋白質結構預測等領域也開始試驗 MoE 架構。

8. 受益公司

(說明:以下僅梳理因分散式訓練架構及大規模 MoE 技術發展而在產業鏈中獲得業務支撐或技術賦能的企業或機構,不作為任何投資評價。)

8.1 領航者:Google / Alphabet

直接受益:GShard 及 Pathways 系統是大規模訓練 Google 內部模型(如 PaLM、Gemini 系列)的核心基礎設施,鞏固了其在大型模型競賽中的技術底盤。
雲端運算受益:Google Cloud 藉助 TPU + GShard/Pathways 提供差異化的 AI 訓練服務能力,與傳統 GPU 叢集服務形成競爭。

8.2 重要賦能者與生態競爭者

NVIDIA:Megatron-LM + NVLink/NVSwitch 組合,使其成為大型模型訓練事實標準之一。GShard 的並行思想間接影響 NVIDIA 後續在 Megatron 中對 MoE 等架構的支援。
Microsoft / OpenAI:DeepSpeed 架構(含 ZeRO 系列最佳化,以及 ZeRO-MoE 擴充套件),使 Azure 雲端上的大型模型訓練具備競爭力。OpenAI 的 GPT 系列訓練底層依賴微軟的並行技術棧。
Meta:PyTorch 生態與 FSDP、TorchMoE 等工具,惠及開源社群,降低大型模型訓練門檻,也反哺其內部大型模型 LLaMA 系列研發。

8.3 中國主要受益及參與企業

華為:昇騰晶片 + 昇思 MindSpore 自動並行能力,是國產軟硬體協同的典型代表,使採用昇騰生態的科研機構和企業可訓練大型模型。
百度:飛槳 PaddlePaddle Fleet API 支援大規模分散式訓練,文心大型模型系列(ERNIE)即是其直接應用場景。
阿里巴巴:阿里雲端 PAI 平台及其自研分散式訓練架構,為通義千問等大型模型提供訓練支撐。
潞晨科技:開源專案 Colossal-AI 在國際上受到關注,為無法採用 TPU 或昂貴 GPU 叢集的企業/研究者提供替代性 MoE 並行方案。其如何商業化並獲得可持續營收,公開資料未見詳細財務資料。

(以上公司/機構的營收、獲利中與大規模分散式訓練架構直接相關的份額,公開財務報告未單獨拆分,無法給出精確數字。)

9. 市場規模

9.1 無法直接統計“GShard 市場規模”

GShard 本質上是 Google 內部技術棧及學術開源思想的體現,並非一項單獨對外售賣的產品,因此不存在“GShard 市場規模”這一統計口徑。所有市場資料應聚焦其上層的大型模型訓練基礎設施市場及AI 訓練架構相關的雲端運算市場。

9.2 可參考的相關市場規模

以下資料為行業分析機構的整體估算,注意其涵蓋範圍遠大於 GShard 自身:

全球 AI 訓練伺服器市場:根據 IDC 2023 年報告,2022 年全球 AI 伺服器市場規模約 183 億美元,其中訓練伺服器佔據重要份額,預計 2026 年將增長到 350 億美元左右。(來源:IDC Worldwide AI Server Tracker, 2023。此處轉引行業公開報道口徑,精確數字以 IDC 最新發布為準。)
全球雲端運算 AI 訓練/推論服務市場:根據 Grand View Research 等機構的報告,2023 年全球 AI 雲端市場規模約 600–800 億美元量級(含訓練與推論)。(此為行業諮詢機構估算,具體口徑因包含範圍不同差異較大。)
大規模並行訓練架構相關軟體與工具市場:尚缺乏單獨獨立拆分的權威第三方資料。公開資料未見有機構將 GShard、Megatron、DeepSpeed 等架構軟體作為獨立賽道進行營收統計,因其多為內嵌於雲端平台或開源專案。

9.3 關鍵推斷

可以合理推斷,隨著千億—萬億引數大型模型逐漸成為頭部科技公司與雲端運算廠商的標配,對高效分散式訓練架構(以及相關編譯最佳化技術)的投入將持續擴大。這直接拉動上游晶片、網路和雲端基礎設施市場,而非將在架構軟體層形成獨立的大體量商業市場。

10. 玩家對比

以下將 GShard 與其他主流大規模分散式訓練方案進行對比。(所有比較基於 2020–2024 年間公開發表論文、技術部落格與開原始碼庫的特性差異,不涉及效能 Benchmarks 排名,因為不同硬體環境下的嚴格公平對比極少。)

對比維度	GShard	DeepSpeed (Microsoft)	Megatron-LM (NVIDIA)	昇思 MindSpore 自動並行 (華為)	Colossal-AI (潞晨)
開發主體	Google 內部,未開源完整可複用版本	微軟開源,Apache 2.0 協議	NVIDIA 開源	華為開源,Apache 2.0 協議	開源,社群+潞晨公司維護
核心軟體架構	編譯器驅動(註解 + XLA)	API 驅動,ZeRO 最佳化器系列	手動並行策略組合	編譯器 + 自動並行策略搜尋	自動並行 + 異構記憶體管理
主要並行策略	MoE 專用: 資料並行 + 專家並行; 編譯自動推導	資料並行最佳化(ZeRO-1/2/3),後擴充套件 ZeRO-MoE	張量模型並行 + 流水線並行 + 資料並行	自動混合並行(資料+模型+流水線)	張量並行、流水線並行、資料並行、MoE 並行
硬體繫結程度	極強:TPU + XLA 環境下最優效能	較強:NVIDIA GPU (CUDA) 生態最佳化; 逐步適配其他硬體	極強:NVIDIA GPU,NVLink/NVSwitch 深度耦合	較強:昇騰 (Ascend) 晶片深度最佳化,也支援 GPU	弱:支援 PyTorch 生態,可跨 NVIDIA GPU/部分國產硬體
MoE 最佳化程度	極高:原生為 MoE 設計,自動路由與 All-to-All 最佳化	中高:通過 DeepSpeed-MoE 擴充套件支援,持續改進中	中:有 Megatron-MoE 等擴充套件,非主線優先	中:支援 MoE 自動並行,公開 Benchmark 較少	高:創新地提供多種 MoE 並行策略,視訊記憶體最佳化友好
成熟度與社群	學術論文影響力大,不開源,社群極弱	成熟度極高,使用者基礎廣,文件齊全	成熟度極高,需較強工程能力	國內生態逐步建立,華為內部大量使用	國際開源社群活躍,專案較新,迭代快
代表訓練案例	Switch Transformer (1.6T)	MT-NLG (530B), BLOOM (176B)	NeMo Megatron 系列	鵬城盤古 (昇騰版)、華為內部大型模型	主要在學術與中小規模企業中應用例項

(注:上述對比為定性歸納,實際效能資料受具體模型架構、叢集規模、硬體版本等多種因素影響,無統一 Benchmark。)

11. 風險

11.1 技術風險

通訊瓶頸風險:隨著模型規模進一步膨脹,MoE 的 All-to-All 通訊負載非線性增長。GShard 的編譯最佳化策略是否在 5000 卡、10000 卡甚至更大叢集上依然保持線性擴充套件效率,公開文獻未見詳實資料。
硬體鎖定與遷移成本:採用 GShard 架構即意味著深度繫結 Google TPU 與內部軟體棧。一旦企業後續希望更換硬體供應商(如轉向 GPU、國產晶片),將面臨巨大的程式碼重寫和最佳化重構成本。
MoE 訓練不穩定性:MoE 模型本身的訓練(負載不均衡、門控坍塌、輸出分佈漂移)可能引發收斂問題。GShard 雖內建輔助損失與容量因子,但徹底解決該問題是開放研究難題。
可復現性差:不開源特性導致外部研究者難以復現其完整訓練環境與效率值,學術驗證和第三方審計困難。

11.2 產業與地緣風險

全球 AI 技術棧分化:美中科技生態可能沿“TPU+XLA+Google 架構” vs “國產晶片+自研架構” vs “NVIDIA+PyTorch”路徑進一步分化。技術的重複研發與互操作性缺失可能提高整體社會成本。
供應鏈安全:先進製程晶片、HBM 儲存、高速網路交換器的供應受限(如出口管制),對國內依靠同類技術路徑建置大型模型訓練設施的機構構成直接風險。GShard 所依賴的 TPU 晶片目前不對中國直接大規模出口。
人才稀缺:能夠從編譯器、通訊原語、並行策略角度對 GShard 類架構進行深度定製最佳化的工程師全球稀缺,造成人才成本高企和研發週期拉長。

11.3 倫理與社會風險

能耗與環境:訓練萬億引數模型的電力消耗與碳排放巨大。更高效的架構降低了訓練門檻,但可能反向刺激更大規模模型的訓練,形成能耗的“傑文斯悖論”(Jevons Paradox)。
競爭門檻提高:超大規模訓練能力集中於少數擁有自研晶片與架構的超級公司,研究型大學和中小企業越來越難參與基礎模型創新,可能抑制技術多樣性。
黑箱加深:自動分片與 MoE 動態路由使得模型的分散式執行過程更不透明,加大了模型審計、安全審查和行為解釋的難度。

12. 誤讀糾偏

常見誤解	事實澄清
“GShard 是一個可以直接下載安裝的開源架構”	錯誤。GShard 並沒有作為獨立開源專案釋出。公開的是其方法論論文與設計理念,Google 外部無法直接獲取和執行 GShard 完整程式碼庫。
“GShard 適用於所有大型模型訓練”	片面。GShard 的設計高度針對稀疏 MoE 架構。對於密集啟用模型(如 LLaMA 類的全引數 Transformer),其優勢不如 Megatron-LM 和 ZeRO 系列明顯。
“只要用了 GShard,萬卡訓練效率就能接近線性加速”	錯誤。任何分散式方案都無法簡單線性擴充套件。實際效率取決於模型結構、通訊模式、硬體拓撲等多種因素,文獻僅顯示其在特定實驗條件下效果優越。
“GShard 是一個過時的技術,被 Pathways 取代了”	不準確。Pathways 可視為 GShard 思路的泛化與系統化升級,但 GShard 中關於 MoE 編譯最佳化與通訊排程的許多核心思想至今仍在 Google 訓練棧中沿用。
“Google的 GShard 論文發表後,中國公司就直接照搬使用了”	不準確。中國公司與研究機構更多是吸收了其自動分片、MoE 專用通訊等思路,結合自身硬體和架構條件(如昇思、飛槳、Colossal-AI)進行再研發,並非直接複製程式碼。

13. 最新事件

(以下事件時間範圍:2023 年–2024 年,與分散式訓練架構及 MoE 技術密切相關的進展。凡來源未單獨標註的,均可通過公開科技媒體報道查閱。)

2023 年 5 月:Google 在 I/O 大會上釋出 PaLM 2 模型,其訓練底層採用下一代 Pathways 系統。雖然未點名 GShard,但證實了原 GShard 路線(編譯器+稀疏啟用)仍是 Google 核心訓練策略的一部分。(來源: Google AI Blog, 2023 年 5 月)
2023 年 12 月:Google 釋出 Gemini 多模態模型,其技術報告指出使用了 TPU v4 和 v5 的大規模叢集及 Pathways 系統訓練,同樣沿襲了自動並行、動態排程思路。(來源: Gemini Technical Report, arXiv, 2023)
2024 年 1 月—3 月:DeepSpeed 開源社群進一步加強 MoE 支援,推出改進的 ZeRO-MoE 和 Mixture-of-Experts 訓練教程,降低開發者門檻,對 GShard 理念形成事實上的開源替代。(來源: GitHub DeepSpeed 倉庫 milestones 與文件更新)
2024 年 3 月:華為昇思 MindSpore 在 2.2 版本中強化了自動並行能力與 MoE 支援,並在部分昇騰叢集上公開了千億級 MoE 模型的訓練驗證結果。(來源:昇思 MindSpore 開源社群 Release Notes)
2024 年 4 月:“潞晨科技”宣佈其 Colossal-AI 在 MoE 訓練效率上取得新進展,利用異構記憶體管理與最佳化的 All-to-All 通訊,在特定 Benchmark 上宣稱相比同類方案獲得顯著加速。但完整對比報告和資料獲取需參看其官方釋出。(需注意此類廠商自發 Benchmark 的對比條件)

總體趨勢:GShard 的思想在新一代系統中被吸收和泛化;開源社群快速追趕,逐漸弱化單一閉源架構的獨有優勢;國產軟硬體生態積極補齊 MoE 訓練能力。

14. 追蹤指標

如需追蹤 GShard 及其代表的大規模 MoE 分散式訓練領域的技術與產業化進展,可關注以下指標:

架構更新與開源動態:
- Google AI Blog、Pathways 相關新論文或技術報告發布。
- DeepSpeed、Megatron-LM、Colossal-AI、MindSpore 等架構的 GitHub Release Notes 中關於 MoE 支援、自動並行、通訊最佳化的新特性。
硬體能力迭代:
- Google TPU v5、v6 及後續代的公開規格(ICI 頻寬、HBM 容量,算力 TFLOPS)。
- NVIDIA 新一代 GPU 的 NVLink 速度與視訊記憶體容量升級。
- 國產 AI 晶片(昇騰、寒武紀、海光等)的 HBM 與晶片間互連頻寬提升數值(參照廠商釋出會或官方 datasheet)。
基準測試(Benchmark):
- MLPerf Training 排行榜中的大規模模型訓練任務(若有使用 MoE 的提交項)的成績變化。
- 頭部模型(如 Gemini、GPT、Qwen、文心等)的引數規模增長、訓練時長和報告的總能耗。
雲端運算服務能力:
- Google Cloud TPU v5p 等新例項的區域開放情況、可租用規模和價格。
- Azure、AWS、阿里雲端、華為雲端等平台的大型模型訓練 PaaS 服務中,是否開始顯著推廣 MoE 最佳化方案。
產業政策與供應鏈:
- 美國及盟友對高階晶片出口管制政策的更新情況,尤其涉及 TPU 和 HBM 的限制。
- 國內對國產 AI 訓練軟硬體平台的支持政策與重大專項立項公示。
人才市場:
- 涉及“編譯器最佳化”、“大規模分散式訓練”、“自動化並行”等職位的招聘需求熱度(來自大型科技公司與雲端運算廠商)可作為產業投入力度的側面指標。

15. 信源

以下為主要參考文獻與資訊來源,按型別劃分:

原始論文:

Lepikhin, D. et al. “GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding.” arXiv preprint arXiv:2006.16668 (2020).
Fedus, W. et al. “Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity.” Journal of Machine Learning Research 23 (2022).

技術部落格與官方文件:

Google AI Blog: “Introducing Pathways: A next-generation AI architecture” (2022).
Google Cloud: TPU System Architecture 與 TPU v4 效能說明文件 (2021–2023)。
NVIDIA: Megatron-LM GitHub 倉庫及技術文件 (2020–2024)。
Microsoft: DeepSpeed GitHub 倉庫,技術部落格及 ZeRO 論文 (2020–2024)。
華為:昇思 MindSpore 開源倉庫與釋出說明,及官方技術白皮書 (2021–2024)。

行業分析報告:

IDC, “Worldwide AI Server Tracker,” 2023 (公開摘要與報道)。
Grand View Research, “Cloud AI Market Size & Share Report,” 2023 (市場概覽資料)。

其他參考資料:

Meta PyTorch 社群:FSDP 及 TorchMoE 相關 RFC 與文件。
Colossal-AI GitHub 倉庫及官方文件 (2022–2024)。
公開科技媒體報道(如 The Verge, TechCrunch, 機器之心, 量子位等)關於大型模型訓練基礎設施及相關政策新聞(2023–2024)。

(注:上述信源涵蓋了技術原理、實驗資料、產業趨勢等層面。部分資料性內容已儘可能標註原始出處,未能核實到精確來源的均已註明“公開資料未見”或“行業報道轉引”。)

宣告:本內容僅為行業概念梳理與技術介紹,依據截至 2024 年上半年的公開論文、技術文件與行業報告撰寫。文中涉及的公司、架構和產品均為客觀列舉,不構成任何投資建議、買賣推薦或漲跌預測。AI 技術演進極快,請以最新權威資訊為準。