Pod

3 秒看懂

Pod(AI Cluster Pod)是 AI 叢集的基本排程單元——不是指 Kubernetes 原生的最小部署單元,而是直接對映到一臺物理伺服器(通常搭載 8 張 GPU)並以“整機交付”形式構成大規模算力池的邏輯節點。AI 叢集 Pod 將一組 GPU、網絡卡、記憶體和本地儲存封裝成一個可獨立供電、散熱和網路互聯的“微模組”,通過高速後端網路(如 InfiniBand 或 RoCE)與其他 Pod 互聯,共同支撐萬億引數大型模型的分散式訓練與高併發推論。

3 分鐘產業解釋

在 AI 叢集語境下,Pod 代表的是“一個預定義規格的算力單元”,通常等於一臺物理伺服器——行業內常稱為 SuperPod、GB200 NVL72 Pod、或者“8 卡節點”。它的設計邏輯圍繞三個核心需求:

1. 消除碎片化排程 Kubernetes 原生 Pod 是輕量級容器封裝,但大型模型訓練對 GPU 拓撲親和性、網路頻寬、記憶體頻寬極其敏感。AI Cluster Pod 將 8 張 GPU 通過 NVLink 全互聯成域,配合對應比例的 CPU 記憶體、網絡卡和 NVMe 儲存,作為一個不可切分的原子排程單元上線,避免跨節點通訊瓶頸。

2. 匹配並行訓練範式 張量並行要求 GPU 間通訊頻寬極高(NVLink 域內),資料並行要求節點間頻寬極大(RDMA 網絡卡跨 Pod)。AI Cluster Pod 的硬體拓撲天然對齊了這一需求:NVLink 域內跑張量並行/專家路由,Pod 間跑資料並行/流水線並行。

3. 功耗與散熱整機交付 一臺 8×H100 節點的熱設計功耗(TDP)可達 10000W 以上,供電、散熱需整機設計。AI Cluster Pod 以整機櫃或液冷微模組形式交付,配合電源 Shelf 統一供電、CDU 冷量分配,不能再拆散成單卡上架。

一個典型的 AI 訓練叢集由數百到數萬個這樣的 Pod 通過三層網路(前端管理網、儲存網、後端計算網)連線而成,每個 Pod 內 GPU 通過 NVSwitch 全互聯,Pod 間通過 400G/800Gbps InfiniBand 或 RoCE 交換器構成無阻塞 Fat-Tree 架構。

15 分鐘專家深入

AI Cluster Pod 的硬體解剖

以 NVIDIA DGX H100 為例(可作為行業參考標準):一臺 8×GPU 伺服器整合 8 塊 H100 SXM5 GPU,每塊 GPU 之間通過 NVSwitch 全互聯構成 900GB/s 的域內總頻寬,每個 GPU 配有 80GB HBM3(整機 640GB 視訊記憶體),通過 PCIe Gen5 連線 8 塊 ConnectX-7 400Gbps 單埠網絡卡,對外暴露 400GB/s (3.2Tbps) 的南北向總頻寬。內部 2 顆第四代 Intel Xeon 可擴充套件處理器,16 條 DDR5-4800 記憶體通道搭配 2TB 系統記憶體,本地 NVMe 儲存容量 30TB+。

Pod 如何嵌入 AI 訓練叢集

訓練叢集的 Pod 通常以機櫃為單位交付。一個標準 42U 機櫃可容納 4~8 臺上述 Pod,共享機櫃電源 Shelf(L-L 架構 48V 供電,支援單櫃 60kW+ 輸出)和機架級液冷 CDU。液冷有冷板式和浸沒式兩種路線:冷板式直接冷卻 GPU、CPU 等高熱密度晶片,其餘部分風冷;浸沒式將整機浸泡在絕緣液體中,散熱效率更高但運維複雜度也更高。兩種路線中,不同方案歸屬需依具體廠商規格判斷。

Pod 與 Kubernetes 的對映關係

雲端運算廠商通常將一臺物理伺服器註冊為 Kubernetes 叢集的一個節點,一個 AI 訓練任務(Job)通過 Volcano 等批次排程器向叢集申請資源。單個訓練任務的 Pod 可能會通過 StatefulSet 或自定義 Operator 固定到一組物理節點上,實現“容器級 Pod”與“物理節點”的一一對映。騰訊雲端超級節點等產品可以排程 Pod 規格到 0.25C~64C 的範圍,但 GPU 整卡訓練場景下實質上就是整機交付。[騰訊雲端產品文件]

GPU 資源通過 Kubernetes 裝置外掛暴露給容器執行時,配合 NVIDIA GPU Operator 管理驅動、CUDA 庫和 MIG 配置。訓練任務啟動後,架構(如 Megatron-LM)根據 Pod 內 GPU 拓撲呼叫 NCCL 進行集合通訊,NVLink 互聯的 GPU 間通訊不需要經過 PCIe 或網絡卡,所有跨 Pod 通訊走 RDMA 網絡卡上線。

關鍵挑戰與解決方案

叢集規模瓶頸 萬卡級訓練時,Pod 間發生網路故障的機率指數級上升。解決方案:(1) Rail Optimized Topology——Switch 到每臺 Pod 的網絡卡連線不等長,需最佳化物理佈線避免端到端延遲偏高;(2) 基於 InfiniBand SHARP 的集合通訊解除安裝,在交換器晶片上完成 Reduce 操作,減少資料往返次數。

故障恢復開銷 硬體故障無法避免,但如何最小化故障對訓練的中斷?業界普遍採用故障域隔離 + Checkpoint 快速恢復策略,單 Pod 故障時只重啟該 Pod 對應的訓練分片,其他 Pod 無需重啟,配合 NVMe 本地盤高頻 Checkpoint 寫入可做到分鐘級恢復。[行業實踐,未充分揭露具體數字]

技術原理

Pod 內多 GPU 的互聯拓撲

                  ┌─────────────────────────────┐
                  │          NVSwitch            │
                  │   (全互聯、每鏈路 50GB/s)     │
                  └─┬────┬────┬────┬───┬───┬───┐
                    │    │    │    │   │   │   │
                  ┌─▼┐ ┌─▼┐ ┌─▼┐ ┌▼─┐▼─┐▼─┐▼─┐
                  │G0│ │G1│ │G2│ ...│G6│G7│  ← 8×GPU, 80GB HBM3/卡
                  └─▲┘ └─▲┘ └─▲┘ └▲─┘▲─┘▲─┘▲─┘
                    │    │    │    │   │   │   │
          PCIe Gen5│    │    │    │   │   │   │
          ┌────────┴────┴────┴────┴───┴───┴───┘
          │     2×CPU (Sapphire Rapids)        │
          │     16×DDR5-4800 → 2TB System RAM  │
          └────┬────┬────┬────┬────┬────┬────┘
               │    │    │    │    │    │
          ┌────▼┐ ┌─▼──▼─┐ ┌▼────▼─┐ ┌▼─────▼──┐
          │CX-7 │ │CX-7  │ │CX-7   │ │CX-7      │ ← 8×400Gbps
          │400G │ │400G  │ │400G   │ │400G      │
          └──┬──┘ └──┬───┘ └───┬───┘ └────┬─────┘
             │     Leaf Switch       Spine Switch
             │   (400G/800G IB 或 RoCE)  │
             │                          │
        ┌────▼────┐              ┌──────▼──────┐
        │ Pod #01 │   ......     │ Pod #N      │
        └─────────┘              └─────────────┘

在上述拓撲結構中,張量並行(TP)工作在 NVSwitch 層——GPU 間通訊頻寬可達 900GB/s(雙向),延遲在微秒級。資料並行(DP)和流水線並行(PP)工作在網絡卡層——跨 Pod 通訊頻寬受限於網絡卡總速率(8×400Gbps = 3200Gbps ≈ 400GB/s,實際有效頻寬約 80%~90%,受 RoCE 擁塞控制、網絡卡 PCIe 間競爭影響)。

並行訓練模型拆分到 Pod 的對映機制

以 Megatron-LM 的 3D 並行為例,假設訓練一個萬億引數 MoE 模型:

• 張量並行組 8 卡(一個 Pod 內全部 GPU)。執行 NCCL AllReduce/ReduceScatter 在 NVLink 域完成,不佔用網路頻寬。注意:此處為張量並行,通訊原語是 AllReduce 或 ReduceScatter,不是 All-to-All。All-to-All 出現在 MoE 的 gating dispatch 階段,通常跨專家跨 Pod,走網絡卡。

• 流水線並行組 通常 48 個 Pod(3264 卡)。每個 Pod 負責模型連續幾層的前向和反向,Pod 間通過 Send/Recv 傳遞啟用梯度,走網絡卡 P2P 通訊。

• 資料並行組 所有 Pod 參與。每步梯度同步通過 NCCL AllReduce 完成,資料量等於模型總引數量,在數萬卡規模下需藉助分層 AllReduce(機內 Reduce → 跨機 AllReduce → 結果廣播)降低網路壓力。

• 專家並行組(MoE 特有) 每個 MoE layer 的多個專家分佈在不同 Pod。每個 token 經 gating 選擇 top-k 專家後,通過 All-to-All 將 token 分派到對應 Pod,計算完成後 All-to-All 回收。All-to-All 通訊量取決於每個 Pod 的專家容量 buffer,遠大於資料並行。

GPU 視訊記憶體與 HBM 頻寬的 Pod 級計算

一顆 H100 SXM5 GPU 搭載 80GB HBM3,介面位寬 5120-bit,理論頻寬 3.35TB/s [NVIDIA 規格書,行業標準]。一個 Pod 8 卡總計 640GB 視訊記憶體,通常分配給:

• 模型引數 約 200~250GB(可啟用 FP8 混合精度、分片儲存)
• 最佳化器狀態 約 400~500GB(Adam 使用 FP32,每引數需 12 位元組:引數、動量、方差均以 FP32 儲存)
• 啟用與瞬時 tensor 約 100~200GB(可通過啟用重計算、CPU Offload 等最佳化)

大規模訓練恆定面臨“視訊記憶體牆”,業界通過 ZeRO 最佳化器(分片儲存引數/梯度/最佳化器狀態到不同 Pod)和 CPU Offload 將最佳化器狀態解除安裝到系統記憶體,實現更大型模型訓練。最新的技術方向包括 FP8 原生推論訓練、HBM4 引入更大的容量(預計單卡 128GB+,行業預測)。

技術演進史

1. 單機 8 卡風冷時代(2016-2020) NVIDIA DGX-1 V100 開創 8×GPU 整機交付模式,通過 NVLink 1.0-2.0 實現 GPU 內互聯,節點內通訊頻寬較低(300 GB/s 級別),跨節點使用 100Gbps EDR InfiniBand。這個時期 AI 叢集 Pod 主要解決物理版面配置問題,無算力拓撲意識。

2. Pod 內引入 NVSwitch(2020-2022) DGX A100 引入 NVSwitch 技術,實現 8 卡全互聯,域內頻寬 600GB/s。Pod 間網路升級至 200Gbps HDR InfiniBand,訓練叢集開始具備“8 卡域 + Fat-Tree 網路”的拓撲能力。規模化訓練(千卡級)開始出現。

3. 液冷與 400G 網路時代(2022-2024) H100 SXM5 將域內頻寬提升至 900GB/s,對外網絡卡升級至 400Gbps NDR InfiniBand/RoCE。同時單 Pod 功耗突破 10kW,冷板液冷成為主流交付方式。Pod 開始作為“模組化算力單元”整合到機櫃級系統(如 DGX H100 SuperPod),數萬卡叢集技術成熟。

4. Pod 概念向機櫃級別延伸(2024-至今) NVIDIA GB200 NVL72 將“Pod”概念拉伸到 72 卡,一個機櫃內通過 NVLink Switch 實現 72 卡全互聯(域內頻寬 1.8TB/s),本質上將傳統 8 卡 Pod 擴充套件為“Rack-scale Pod”,消除機櫃內 POD 間網路瓶頸。同時基於 Spectrum-X 的乙太網路 AI 叢集開始挑戰 InfiniBand 的壟斷地位,Pod 間互聯出現多元技術路線。

技術路線對比

維度	傳統 8 卡 Pod(DGX H100 級別)	Rack-scale Pod(GB200 NVL72)	超大規模 Pod 陣列(NVIDIA SuperPod)
域內 GPU 數	8 卡	72 卡(單機櫃)	通過 NVSwitch 互聯 8 卡 Pod 或直接 Rack-scale 組網
域內頻寬(雙向)	900 GB/s(8×NVLink4,每鏈路 50 GB/s) [NVIDIA 公開規格]	1.8 TB/s(NVLink5,每鏈路 100 GB/s,72 卡全互聯) [NVIDIA 公開規格]	取決於上層 Switch 聚合
對外網路	8×400Gbps(3.2Tbps 南北向總頻寬)	9×800Gbps(7.2Tbps 南北向總頻寬) [NVIDIA 公開規格]	Fat-Tree 架構,無收斂或 1:1 收斂
功耗/散熱	10kW/節點,冷板液冷	80-120kW/機櫃,溫液冷或浸沒式 [供應鏈估算]	機櫃級液冷,單櫃最高 60kW+(行業現狀)
典型規模	128~1024 卡叢集	576~2048 卡(多個機櫃互聯)	4096~65536 卡(基於產品代際)
拓撲典型範例	32 臺 8 卡節點(256 GPU)	4 機櫃 288 GPU → 8 機櫃 576 GPU	256 節點 DGX GB200 構成 18432 GPU SuperPod
排程粒度	物理節點	物理機櫃(子區可部分排程)	邏輯 Pod 組(Job 級分配)
容錯粒度	Pod 級故障重啟	子區故障隔離	Pod 級或物理單元級
成本模型	按照 8 卡節點計價	按機櫃或子區計價(前期投入大)	整體規模折扣,總包式交付
典型應用	千億引數模型訓練,百億引數微調	萬億引數 MoE 訓練,長序列訓練	基礎大型模型預訓練(>萬億引數級)

上下游

上游

• GPU 供應商 輝達(NVIDIA)幾乎壟斷,AMD Instinct MI300X 開始滲透,但 CUDA 生態壁壘極高。晶片級供應決定 Pod 的算力核心規格。
• 網路晶片/網絡卡 InfiniBand(輝達 Mellanox)和 RoCE 乙太網路(博通/輝達 Spectrum)兩套技術路線,包含網絡卡晶片、交換器 ASIC、銅纜/光模組等。這層決定 Pod 間互聯頻寬和延遲。
• 服器 ODM/OEM 超微(Supermicro)、廣達、英業達等 ODM 為雲端廠商定製整機,富士康為輝達代工 DGX。液冷基礎設施來自 CoolIT、Delta、Vertiv 等。
• 液冷裝置供應商 冷板、CDU、管路、冷量分配系統。隨 AI 叢集功耗暴漲,液冷成為上游核心價值環節。

下游

• 公有雲端超算平台 AWS(Trn1/Trn2、P4/P5 例項)、Azure(ND H100 v5)、GCP(Cloud TPU Pod)、阿里雲端(PAI)、騰訊雲端(HCC)等,以虛擬化例項或裸金屬形式提供整 Pod 或切分 GPU 的租用服務。
• 模型廠商/訓練平台 OpenAI、Google DeepMind、字節跳動、Mistral 等直接採購整叢集(萬卡規模),自建 AI 資料中心。
• AI 算力租賃商 核心(CoreWeave)、Lambda Labs 等純 GPU 雲端,通過整 Pod 採購 + 裸金屬出租快速擴張,成為輝達最大客戶群之一。

關鍵指標

• 單 Pod 總算力(FP8 TFLOPS) 8×H100 SXM5 約為 16000 TFLOPS FP8 [NVIDIA 公開規格]。實際訓練效率受有效 FLOPs 利用率(MFU)影響,大型模型訓練通常 MFU 在 30%~50% 之間 [行業測試報告],受網路通訊、等待時間、編譯最佳化等因素影響。
• 域內頻寬(雙向)與對外頻寬比 8 H100 節點域內 900GB/s 比對外 3.2Tbps(400GB/s 等效,8×400Gbps=3.2Tbps,但需考慮雙向及協議開銷影響),比約為 2.25:1 或更高(考慮雙向頻寬)。比值決定張量並行最佳域大小——如果域內頻寬遠高於跨節點頻寬,張量並行應嚴格限制在 Pod 內。
• HBM 容量與記憶體容量比 HBM 640GB vs 系統記憶體 2TB = 1:3.2。比值決定模型狀態(引數+最佳化器)能在視訊記憶體內放多少,需系統記憶體承接 Offload 部分的大小。
• 功耗效率(TOPS/W) H100 約為 3 TOPS/瓦(FP8)[NVIDIA 標稱數值],結合網路、儲存後整 Pod 約為 1.5~2.0 TOPS/瓦(行業估算,取決於風扇/液冷開銷)。衡量雲端成本與綠色合規的直接指標。
• 節點可用性 AI 叢集 Pod 需 >99.9% 可用性(年宕機 <8.8 小時)。萬卡級叢集每週面臨 20~30 次硬體故障 [行業運維資料],24×7 運維保障成為關鍵 SLA 指標。

供需與市場資料

需求側

• 截至 2024 年 Q3,全球 AI 叢集 Pod 出貨量持續增長(以 8 卡等效 GPU 計算),[行業諮詢機構估算,如 Omdia/TechInsights] 其中超大規模雲端廠商和模型公司佔比 ~80%。
• NVIDIA GPU 對華出口受管制,H800/H100 供應受限,H20 為特供給中國的降規版,效能約為 H100 的 50%[美國 BIS 出口管制檔案 + 供應鏈訊息]。

供給側

• 台積電 CoWoS-S 封裝產能是 H100/H200 系列 GPU 的核心瓶頸,產能分配高度集中,先進封裝產能擴張進度直接決定出貨節奏。[台積電財報/投行報告]
• 液冷產能集中在 Delta、CoolIT 等少數供應商,機櫃級液冷交期可達 6 個月,造成 Pod 交付延遲。
• 2024 年新玩家 AMD MI300X 進入部分雲端廠商採購名單,但軟硬體生態成熟度與 CUDA 差距顯著,短期內輝達份額難以撼動。

價格趨勢

• 一臺 8×H100 整 Pod 含網路及液冷的採購成本約 25-35 萬美元(2024 年渠道價) [分銷商報價,公開報道],相比 2023 年降幅 5-10%,主要源於 H200 即將上市及產能擴張。
• 算力租賃單價下降更快——A100 等效 GPU 從 2023 年 $2+/GPU/小時 降至 2024 年底 ~$1/GPU/小時以下 [行情追蹤],供需逐步趨於平衡。

代表公司與資本對映

• 輝達 定義 Pod 硬體標準:從 DGX 到 GB200 NVL72,它是硬體上游、網路晶片供應商,也是軟體生態所有者( CUDA, DGX Cloud, SuperPod 架構)。市值對映 AI 基建支出總量。
• 博通/AMD 博通提供乙太網路交換器晶片、網絡卡晶片;AMD 以 MI300X 和開放式 ROCm 生態努力進入此賽道。二者受益於輝達供給短缺和客戶端多雲端策略。
• Vertiv/CoolIT/Delta 液冷基礎設施,匹配 AI 叢集 Pod 功耗剛性增長,營收增速與 GPU 出貨量高度相關。
• Arista/思科 AI 乙太網路交換器供應商,在基於 Spectrum-X 或博通 Tomahawk 5 建置的 Pod 間網路中佔據重要地位。
• CoreWeave/Lambda Labs GPU 雲端廠商,通過“以建代租”模式,快速將整 Pod 轉化為可租賃算力,估值隨 AI 算力需求猛增。
• SMCI(超微) 最大的 GPU 伺服器 ODM 之一,直接反映 Pod 出貨量,是實物指標的風向標。

產業傳導邏輯

核心假設 Pod 是 AI 基礎設施的高價值交付單元——越大的 AI 模型需要越多的 Pod,且隨著模型規模增大,Pod 間互聯頻寬、域內拓撲會向更高級別演進(從 8 卡到 72 卡機櫃),進一步推動整機平均價值量上升。

需求驗證邏輯

• 只要大型模型 Scaling Law 成立且算力需求指數增長,Pod 總需求量將持續攀升。22 年萬卡訓練、23 年 3 萬卡、24 年 10 萬卡,每個數量級均對應 Pod 出貨量持續放大。[行業報告/公開訓練叢集規模]
• 液冷滲透率提升是 Pod 機櫃功率上行後的關鍵變數；2023/2026 的具體比例需用伺服器廠商、雲端廠或行業報告口徑複核後再寫入。
• GPU 從 H100 向 GB200/NVL72 代際切換會改變網絡卡、互聯和液冷 BOM 結構；ASP 提升幅度需以廠商報價或可複核渠道為準。

主要風險

• 需求不及預期 AI 應用營收未達模型訓練投入預期,廠商縮減資本支出,GPU 供應過剩。2025 年後全球可能出現“算力過剩”拐點,屆時 Pod 價格和租賃價格大幅下跌。
• 出口管制 美國進一步收緊 GPU 出口管制,限制範圍擴散至網絡卡、交換器和液冷裝置,嚴重影響供應鏈,尤其影響依賴中國區的硬體公司。
• 技術路線偏移 若推論需求增速遠超訓練,晶片公司推出更多推論專用晶片,訓練 Pod 形態可能改變(記憶體中心化、網路需求降低),當前高頻寬互聯的高成本模式可能不再經濟。
• 軟體生態解耦 AMD 或自研晶片若徹底解決了軟體相容性問題,NVIDIA 壟斷優勢減弱,Pod 的價值與 NVIDIA 生態深度繫結存在風險。

常見誤讀糾偏

❌ “Pod 就是 Kubernetes 裡的一個容器包” ✅ Kubernetes 中原生 Pod 是一個或多個容器的封裝,側重邏輯隔離。AI Cluster Pod 是一臺物理伺服器整機,反映硬體拓撲和功耗單元。二者僅在排程粒度上有交集:AI 叢集作業系統(如 Kubernetes + Volcano)將整臺機器抽象為一個或一組邏輯 Pod,實現作業編排,但物理本質不同。

❌ “8 卡 Pod 的內外頻寬是對稱的” ✅ 域內 NVLink 頻寬 900GB/s,而對外網絡卡總額為 3.2Tbps = 400GB/s(考慮雙向頻寬受限)甚至更低(協議開銷、PCIe 瓶頸)。域內頻寬遠大於對外頻寬,這就是為什麼張量並行必須嚴格限定在 Pod 內——8 卡域內的全互聯速度比跨 Pod 通訊快 2-3 倍。訓練架構必須將張量並行組嚴格限制在 NVLink 域內,這一點無法通過軟體最佳化突破。

❌ “一個 Pod 8 卡可以任意拆分跑多個任務” ✅ 理論上可以通過 MIG、MPS 等技術將 GPU 切分給多個任務。但在大型模型訓練場景下,POD 通常會獨佔分配給一個訓練 Job——否則 NVLink 頻寬會在任務間爭搶,且任何一卡故障將導致整個 Job 掛起。推論場景才常見切分,因為推論對頻寬不敏感、容錯方式簡單。

學習路徑

1. 基礎層 理解單顆 GPU 的引數(製程、CUDA 核心數、HBM 三級快取、NVLink 版本),搞懂 8 卡整機拓撲(NVSwitch 互聯、PCIe 樹、網絡卡連線)。推薦閱讀 NVIDIA H100 白皮書和 DGX H100 系統架構文件。

2. 網路層 研究 InfiniBand 和 RoCE 在 AI 叢集中的角色,理解 Fat-Tree 架構、ECMP 多路徑、NCCL 通訊原語、AllReduce/All-to-All 的具體工作原理。重點看 NCCL 官方文件和 Megatron-LM 並行策略的論文。

3. 系統層 學習 Kubernetes 的 GPU 外掛、批次排程器(Volcano/KubeFlow/Argo)、工作負載編排和容錯策略。從 AI 平台的雲端原生排程切入。

4. 產業層 追蹤輝達的 GTC 大會、SuperPod 方案、GB200 等產品白皮書,關注液冷、先進封裝(台積電 CoWoS-S/L)供應鏈,以及雲端運算大廠的 Cluster 規模揭露。

5. 經濟層 用總擁有成本(TCO)角度理解算力採購——計算 1 個 Pod 數年的折舊電費 + 液冷運維 vs 按需租賃的成本邊界,掌握硬科技行業的週期判斷方法。

一句話總結

Pod(AI Cluster Pod)已成為大型模型時代的算力原子——它將 8 張 GPU(或更多)與超高速互聯(NVSwitch)、對外 RDMA 網路、液冷散熱打包成不可分割的微資料中心單元,承載萬億引數訓練和萬卡級叢集排程,是 AI 基礎設施最核心的硬體形態。

延伸閱讀與來源

1. NVIDIA. DGX H100 System Architecture. [NVIDIA 官網白皮書]
2. NVIDIA. DGX GB200 SuperPod Architecture. [NVIDIA GTC 2024 官方釋出資料]
3. Narayanan, D. et al. Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM. SC ‘21. [論文,詳細解析 3D 並行如何對映到 Pod 拓撲]
4. 騰訊雲端容器服務. 超級節點可排程 Pod 說明. [騰訊雲端產品文件,見檢索資料]
5. 部落格園. Pod 控制器介紹. [xclic 部落格,見檢索資料,基礎 K8s 概念]
6. CSDN. k8s-Pod 詳解. [CSDN 部落格,見檢索資料,容器級 Pod 基礎]