GPU

3 秒看懂

GPU（圖形處理器）本為並行畫素渲染而生，卻憑藉數千計算核心與超高頻寬，成為深度學習訓練的“算力心臟”。一顆現代資料中心 GPU 的半精度（FP16/BF16）張量算力可達數百 TFLOPS，通過高速互聯（如 NVLink、InfiniBand）建置萬卡叢集，驅動萬億引數大型模型。其本質是把“大量簡單計算同時做”做到極致。

3 分鐘產業解釋

GPU 的核心競爭力來自兩大支柱：高度並行的硬體架構與持續演進的軟體生態。

• 硬體：內部包含數十至上百個流式多處理器（SM），每個 SM 又有諸多算術邏輯單元以及專為 AI 設計的張量核心（Tensor Core）。張量核心能在一個時鐘週期內完成小型矩陣乘加運算，大幅提升深度學習最核心的卷積與 Transformer 注意力計算效率。為突破記憶體牆，GPU 使用堆疊高頻寬記憶體（HBM），並與 GPU 晶片通過 2.5D 封裝（如 CoWoS）緊密互聯，實現數 TB/s 的視訊記憶體頻寬。多 GPU 間則靠 NVLink、NVSwitch 等專用高速鏈路建置全互聯拓撲。
• 軟體：CUDA（統一計算架構）生態是 GPU 的護城河。從底層驅動、運算元庫（cuBLAS、cuDNN）到分散式訓練架構（Megatron-LM、DeepSpeed），開發者可高效將模型切分到成千上萬個 GPU 上，使用張量並行、流水線並行、資料並行與專家並行（MoE）等組合策略加速訓練。

當前 AI 訓練市場，一家頭部公司佔據絕對主導份額。其產品迭代引領代際提升——每兩年左右推出新架構，製程、視訊記憶體頻寬、片上互聯、張量核心代數同步升級。下游雲端服務商、大型科技企業是主要採購方，一臺 8-GPU 伺服器價格可達數十萬美元，供求長期緊張。產業上游涵蓋晶圓代工（先進製程+先進封裝）、HBM 記憶體供應商、EDA 工具商等，任何一個環節的瓶頸都會影響 GPU 交付。

15 分鐘專家深入

從深度學習視角審視 GPU，需要跳出簡單的“算力=TFLOPS”架構，進入記憶體層級、互聯拓撲、並行策略三維一體的系統觀。

1. 計算密度與算力釋放
   GPU 的紙面算力（峰值 TOPS/ TFLOPS）是條件理想下的極限值。實際訓練中，算力利用率（MFU）受記憶體頻寬、通訊延遲、運算元實現等多重製約。大語言模型（LLM）的解碼階段往往因為自迴歸每一步的訪存/計算比極低而變成記憶體瓶頸，此時 HBM 頻寬比浮點算力更關鍵。因此在評估 GPU 時，需關注不同精度（FP32/FP16/BF16/INT8/FP8/INT4）的算力與對應的頻寬，結合模型特點判斷瓶頸。

2. 記憶體與互聯的“矽基牆壁”

   • 單 GPU 記憶體容量決定能裝下多大的模型引數與最佳化器狀態。以混合精度訓練（FP16 + FP32）為例，模型引數、梯度、最佳化器動量及方差所需總視訊記憶體可達引數量 × 位元組數的 4–6 倍。因此千億模型單卡放不下，必須跨卡進行模型切分。
   • 互聯頻寬與拓撲則是多卡效能的命門。張量並行（TP）要求 AllReduce/ReduceScatter 在每個微步中同步資料，通訊量大且高頻，因此通常限制在單個伺服器內使用 NVLink 互聯的高速 GPU 組。流水線並行（PP）對通訊頻寬要求稍低，但仍需點對點傳輸啟用值。資料並行（DP）梯度同步則依賴 AllReduce，通常通過高速網路（如 InfiniBand）在伺服器間完成。MoE 架構由於存在“門控路由”將 token 分發到不同專家，會引入 All-to-All 全交換通訊，對互聯的全域性頻寬和延遲提出嚴峻要求。

3. 軟體棧與運算元魔法
   高效能運算元實現（如 FlashAttention 通過分塊計算減少 HBM 讀寫）能夠讓同樣硬體提升數倍有效吞吐。CUDA 生態允許開發者靈活編寫 Kernel，利用共享記憶體、暫存器、張量核心的 warp 級矩陣指令進行極致調優。編譯器（如 NVCC、TensorRT）與訓練架構的協同是提升 MFU 的關鍵。這也構成 GPU 遠超其他 AI 晶片的壁壘：十年以上的程式碼積累、無數最佳化過的運算元庫、成熟的分析工具鏈。

4. 功耗與散熱
   單 GPU 功耗從資料中心級 300–700W 不等，風冷、液冷方案影響部署密度。未來隨著算力攀升，晶片面積增大，光罩極限與散熱能力將成為架構革新的剛性約束。

定性示例：典型訓練場景中，8× GPU 伺服器內部通過高速 NVLink 全互聯，外部通過 400Gb/s 以上 RDMA 網絡卡連線。張量並行通常放置在 NVLink 域內，流水線並行跨節點，資料並行在整個叢集範圍進行 AllReduce。MoE 的 All-to-All 通訊需要跨越更大拓撲時，更依賴網路架構的設計。[基於公開技術原理定性描述]

技術原理（最深）

探討 GPU 如何從矽到軟體兌現“大型模型”算力需求，重點放在深度學習工作負載的對映機制。

1. 單 GPU 內部微架構簡圖

+-------------------------------------------------------+
|  GPU Die                                              |
|  +-----+  +-----+  +-----+  +-----+  +-----+         |
|  | SM0 |  | SM1 |  | SM2 |  ...  | SM_n|             |
|  |  |--|  |  |--|  |  |--|         |  |--|            |
|  |  |CUDA Core|  |Tensor Core|     |  |              |
|  |  | (FP32/64) |  (矩陣乘加)  |     |  |              |
|  |  |--|  |  |--|  |           |     |  |              |
|  +--|---+  +--|---+  +--|---+  ...  +--|---+         |
|      |         |          |              |              |
|   L1 Cache+共享記憶體   每個SM配本地儲存               |
|      |         |          |              |              |
|      +---------+----------+--------------+              |
|                     |                                   |
|              Crossbar / 片上網路                        |
|                     |                                   |
|            +--------+--------+                         |
|            |    L2 Cache    |                          |
|            +--------+--------+                         |
|                     |                                   |
|           +---------+---------+                        |
|           |  記憶體控制器 (HBM) |                        |
|           +-------------------+                        |
+-------------------------------------------------------+
|  HBM Stack  |  HBM Stack  |  ...  (通過中介層相連)   |
+-------------------------------------------------------+

• SM（流式多處理器）：基本排程單元，以 warp（32 執行緒束）形式執行指令。
• CUDA 核心：標量算術邏輯單元，處理浮點/整數運算。
• 張量核心：專用於矩陣乘加（D = A×B + C）的硬體單元，每週期可對小型矩陣（如 16×16）進行操作，支援混合精度輸入（如 FP16 輸入、FP32 累加）。從初代到當前演變中，支援的資料格式和吞吐量持續提升，並引入稀疏性加速。
• 記憶體層級：暫存器（SM 內部最快）→ L1/共享記憶體（使用者可控，低延遲）→ L2 快取（晶片全域性）→ HBM（片外高頻寬）。深度學習運算元最佳化的關鍵就是將資料儘可能留在 SM 附近，最大化計算/訪存比。

2. 張量核心的計算對映

對於深度學習中最常見的 GEMM（通用矩陣乘法），GPU 將大矩陣分塊（tiling），每個塊交由一個張量核心指令完成。例如在 Transformer 的 Self-Attention 中，Q×K^T、Softmax、Attn×V 均可通過高度最佳化的張量核心庫（如 cuBLAS）實現。混合精度訓練中，前向與反向的矩陣乘法使用 FP16/BF16，權重更新以 FP32 累加，權重主副本與最佳化器狀態保持 FP32。張量核心的 FP8 支援進一步加速推論，而 INT4 通常藉助 INT8 張量核心的 DP4A 等指令實現。

3. 多 GPU 並行機制與通訊原語

以 Megatron-LM 風格的 3D 並行訓練 GPT 類模型為例：

張量並行（TP）

• 將單個 Transformer 層的權重矩陣沿列或行切分到多個 GPU，每個微步計算後需要執行 AllReduce 或 ReduceScatter 來彙總/分發部分啟用。通訊模式：AllReduce / ReduceScatter。
• 通訊量：與序列長度、隱藏維度、並行度成正比，極高頻（每層前向後向都要通訊）。因此必須依賴超高頻寬低延遲的片間鏈路（如 NVLink）。

流水線並行（PP）

• 將不同層放到不同 GPU 組，形成流水線，中間啟用通過點對點傳送。通訊量相對較小，但可能引入流水線氣泡。

資料並行（DP）

• 每 GPU 持有完整模型副本，各自計算不同資料批次，梯度通過 AllReduce 同步。通訊量等於引數梯度總量，在最佳化器步頻上發生。

專家並行（MoE）

• 路由層將 token 分發到不同專家（若干 FFN），涉及 All-to-All 通訊。通訊量同樣很大，需要精心設計拓撲和排程演算法。

注意：MoE 的啟用引數並非總引數的一半或三分之一，而是共享層加上被路由命中的專家引數之和，遠小於總引數量。[符合易錯點要求，僅定性說明]

4. 封裝與整合

為解決記憶體頻寬、容量與晶片面積瓶頸，GPU 普遍採用 2.5D 矽中介層封裝技術（如台積電 CoWoS），將 GPU 核心邏輯晶片與多個 HBM 堆疊以微凸塊連線在同一矽中介層上，再通過中介層連線到封裝基板。這使得記憶體匯流排寬度可達數千位，實現數 TB/s 頻寬。未來更先進的 3D 堆疊與矽光子互聯可能進一步打破整合瓶頸。但具體是 CoWoS-S、L、R 歸屬哪代產品，未經廠商確認的情況下不作死板對應。

技術演進史

1. 固定功能管線時代（1990s）：頂點著色、畫素著色分開，硬體不可程式設計，僅用於圖形。
2. 統一著色器架構（2006 前後）：流處理器可動態分配用於頂點、畫素、幾何計算，為通用計算奠定基礎。
3. GPGPU 萌芽（2006–2012）：CUDA 釋出（2007），程式設計師可直接用 C 在 GPU 上排程並行任務。早期科學計算、物理模擬首先受益，功耗和程式設計門檻仍在。
4. AI 覺醒（2012–2017）：AlexNet（2012）使用 GPU 訓練，深度學習範式引爆。GPU 廠商迅速最佳化 cuDNN，並引入半精度浮點支援，訓練速度實現數量級增長。
5. 專用 AI 核時代（2017–至今）：第一代張量核心隨 Volta 架構推出（2017），AI 算力飆升。隨後每一次架構更迭都強化張量核心的格式支援（BF16、TF32、FP8、INT8）、稀疏計算能力、多 GPU 互聯。同時，晶片面積急劇增大，功耗從 250W 級爬升至 700W 級，液冷、封裝技術（CoWoS）成為標配。HBM 從 HBM2 演進至 HBM2e、HBM3，容量與頻寬成倍提升。
6. 生態決戰期（當前）：CUDA 生態、NCCL 通訊庫、Megatron/DeepSpeed 架構深度繫結硬體特性，形成極高遷移壁壘；其他廠商的相容方案需繞開 CUDA 生態限制，從上層架構或翻譯層尋求突破。

技術路線對比（量化表）

以下將 GPU 與 CPU、FPGA、AI ASIC（如 TPU）在深度學習訓練與推論的關鍵維度進行對比。由於檢索資料缺失，具體數值未揭露，以定性級別表示。

指標	GPU (資料中心)	CPU (高階多核)	FPGA	AI ASIC (TPU 類)
平行計算能力	★★★★★（數千核）	★★（數十核）	★★★（可程式設計門陣列）	★★★★★（定製脈動陣列）
能效比（每瓦效能）	★★★	★★	★★★★	★★★★★
程式設計靈活性	★★★★★（CUDA 生態）	★★★★★（通用）	★★（HDL / HLS）	★★（架構限定）
生態成熟度	★★★★★（cuDNN、NCCL 等）	★★★★★	★★★	★★★
記憶體頻寬	★★★★★（HBM, 數 TB/s 級）	★★（DDR, 百 GB/s）	★★★（可選 HBM）	★★★★（定製 HBM）
互聯擴充套件	★★★★★（NVLink、IB）	★★★（UPI/CXL）	★★	★★★★（定製互聯）
適用場景	訓練+推論，通用性好	小規模推論、資料預處理	低延遲即時推論	大規模訓練/推論，單一架構

注：級別基於公開技術路線定性評估，無精確數字。[非量化依據]

當前，GPU 的最大優勢在於軟硬體全棧整合及龐大的開發者慣性，其訓練場景統治力短期內難以撼動。FPGA 與 ASIC 在特定先進推論流、能效極致最佳化的場景有立足點，但生態碎片化是主要障礙。

上下游

上游

• 設計工具與 IP：EDA（版面配置佈線、訊號完整性分析）、高速 SerDes PHY IP、HBM PHY IP。
• 晶圓代工：先進製程邏輯晶片製造（如 5nm 家族、3nm 等），目前高度依賴少數代工廠。
• 封裝基板與中介層：ABF 載板、矽中介層製造、CoWoS 工藝產能。
• 記憶體：HBM 堆疊與邏輯接合，由 DRAM 廠商通過矽通孔（TSV）工藝生產，GPU 廠商直接採購整合到封裝中。
• 測試與裝置：先進封裝測試、探針卡、老化測試裝置等。

下游

• 伺服器/OEM：設計 8-GPU 伺服器節點，包括供電、散熱、背板互聯。
• 雲端服務商（CSP）：自建超算叢集，對外出租 GPU 例項。
• 大型網際網路/科技公司：自研大型模型訓練，大量採購 GPU 叢集。
• AI 創業公司：基於雲端 GPU 或自租算力進行模型訓練。
• 行業客戶：自動駕駛、醫療影像、量化金融等垂直領域。

關鍵指標

評估面向深度學習負載的 GPU 時，可使用以下技術指標組合：

• 浮點算力：FP32、FP16/BF16 Tensor Core 吞吐，推論常用 INT8/FP8 吞吐，單位 TFLOPS/TOPS。
• 視訊記憶體頻寬與容量：HBM 總頻寬（TB/s），總容量（GB）。頻寬是關鍵，容量決定可容納模型大小。
• 互聯頻寬：NVLink 單鏈路速率與總頻寬（GPU-to-GPU），PCIe 主機介面頻寬。
• 功耗（TDP）：設計熱設計功耗，影響部署密度與散熱方案。
• 製程與電晶體數：反映整合度與能效，但需結合架構效率。
• 晶片面積：影響良率與價效比。
• 軟體生態相容：支援 CUDA 版本、TensorRT、DeepSpeed、FlashAttention 等的最佳化程度。

具體數值因世代而異，未經準確資料不列出確切數字，投資決策應參閱最新產品規格白皮書。[未檢索到資料，定性建議]

供需與市場資料

由於檢索未獲取第三方報告，僅基於公開行業共識定性描述：

• AI 大型模型軍備競賽推動資料中心 GPU 需求連續多年遠超供給。頭部供應商產品交付週期曾長達數月，二手價格甚至高於官方指導價。
• 上游瓶頸集中於先進封裝（CoWoS）產能，以及 HBM 的供應。任何環節擴產節奏都影響 GPU 出貨。
• 雲端服務商是最大買家，AI 基礎設施投入巨大，GPU 作為核心晶片佔據顯著比重。全球 IT 基礎設施總支出規模達萬億美元級別，AI 相關基礎設施支出是其中的重要組成部分。
• 地緣政治因素使部分國家與實體面臨採購限制，客觀上推動本土 GPU 或替代晶片發展。
• 市場格局高度集中，頭部供應商在訓練 GPU 生態、軟體棧和整機驗證上優勢顯著；未鎖定第三方份額口徑前，不寫具體市佔率。

代表公司與資本對映

國際核心

• NVIDIA：GPU 計算之王，資料中心業務營收規模巨大，產品線覆蓋訓練（H 系列）到推論（L 系列/其他），生態完善。
• AMD：擁有 FPGA 和 CPU/GPU 混合方案，CDNA 架構專為計算設計，份額提升顯著。
• Intel：計劃通過 Ponte Vecchio 等重返 HPC/AI 市場，但進展待觀察。

國內相關（A 股/國產替代）

• GPU 設計公司：部分國產 GPU 企業推出可用於 AI 訓練的通用 GPU 產品，部分與 CUDA 相容或自研生態。
• AI 晶片公司：部分專注 ASIC 路線（訓練/推論），但生態與 GPU 並存。
• 產業鏈受益環節：先進封裝（載板、裝置）、HBM 記憶體、伺服器 ODM、光模組/高速互聯。

以上未列出具體證券程式碼或財務資料，僅作概念對映說明，不構成投資建議。

產業觀察維度

1. 需求側：大型模型引數量持續增長，訓練與推論算力需求上升，下游雲端廠商資本支出展望可作為行業景氣觀察項。
2. 供給側：先進製程與封裝產能緊張會影響產品交付、價格和客戶排產。
3. 代際升級：新架構 GPU 的 AI 效能提升會驅動平台替換週期，但實際收益取決於軟體棧適配和叢集效率。
4. 國產替代：外部管制下，國產 GPU 生態可能獲得更多驗證機會，但仍受 CUDA 粘性、硬體效能和開發者生態約束。
5. 競爭格局：雲端廠商自研 ASIC（如 TPU、Trainium）可能分流部分訓練或推論負載；跨架構軟體棧（如 OpenAI Triton）也會降低對特定硬體的繫結。
6. 地緣政治：出口管制可能重塑供應鏈，並影響相關企業的營收結構和客戶區域分佈。

常見誤讀糾偏

1. “GPU 就是顯示卡，只能打遊戲”
   GPU 早已成為平行計算通用引擎，CUDA 使其能夠處理物理模擬、AI 訓練、科學計算等諸多工。資料中心 GPU 甚至沒有影片輸出介面。

2. “AI 訓練視訊記憶體容量越大越好，頻寬無所謂”
   訓練大型模型時，若頻寬不夠，大量時間等待資料移動，導致算力利用率極低。頻寬與容量需配套，且多卡互聯下全域性頻寬比單卡容量更重要。

3. “MoE 模型啟用引數就是總引數的一半（或 1/N）”
   啟用引數僅包括共享的注意力層、embedding 層、門控網路以及被動態選中的專家引數，其大小遠小於總引數，取決於路由策略和專家負載，無固定比例。

4. “張量並行通訊就是 All-to-All”
   標準張量並行和流水線並行中的通訊主要用到 AllReduce、ReduceScatter 和點對點傳輸；All-to-All 主要用於 MoE 的 token 分發和結果收集，兩者原理不同，切不可混淆。

5. “只要有 HBM 就夠了，封裝不重要”
   將 HBM 整合到 GPU 需要 2.5D 先進封裝，直接決定了頻寬可實現性、訊號完整性和功耗，同樣關鍵。

學習路徑

1. 基礎平行計算：《CUDA C++ Programming Guide》、GTC 教學影片，理解執行緒組織、共享記憶體、warp 同步。
2. GPU 架構：NVIDIA 白皮書（如 A100、H100 白皮書）中的 SM、Tensor Core 改進。
3. 深度學習運算元：研究 FlashAttention、cuBLAS 等最佳化實現，學習運算元融合與分塊策略，推薦《Efficient Processing of Deep Neural Networks》等。
4. 多卡訓練系統：
   • 分散式理論：《分散式深度學習》（論文）、DeepSpeed、Megatron-LM 原始碼閱讀。
   • 通訊庫：NCCL 官方文件，理解 Ring、Tree 演算法，InfiniBand/RoCE 基礎。
   • 並行策略組合：實驗 Megatron-DeepSpeed 配置。
5. 推論最佳化：TensorRT、量化（INT8/FP8）、KV Cache、Continuous batching 等。
6. 生態替代：瞭解 AMD ROCm、Intel oneAPI、OpenAI Triton 等跨平台方案的異同。
7. 硬體與封裝：先進封裝技術文獻、Hot Chips 會議相關演講。

一句話總結

GPU 是深度學習時代的“算力集裝箱”，它以可程式設計的大規模並行架構與無遠弗屆的軟體生態，標準化了智慧的煉製方式，並仍在摩爾定律的餘暉中不斷堆疊。

延伸閱讀與來源

• NVIDIA 各代 GPU 架構白皮書（如 Volta、Ampere、Hopper），可在 NVIDIA 開發者網站獲取。
• 《CUDA C++ Programming Guide》（NVIDIA 官方文件）。
• 論文：Attention Is All You Need；Megatron-LM；DeepSpeed；FlashAttention 系列。
• 行業分析：SeekingAlpha / Jefferies 等投行關於 AI 算力的專題報告（第三方機構）。
• Hot Chips 歷年 GPU 專題演講，涵蓋架構細節。
• Jensen Huang GTC 主題演講，提供產品效能對比與路線圖。

由於本次檢索工具未能獲取即時資料，以上延伸閱讀基於公開領域資訊總結，非即時更新。具體研究時請查閱一手來源。

宣告：本文未引用具體財報數字或未公開產品引數，所有技術描述僅限於通用原理與公開演進趨勢，不構成任何投資建議。