圖形處理器
3秒看懂
GPU（圖形處理器）最初為圖形渲染設計，因其大規模平行計算能力，已成為深度學習訓練和推論的核心計算引擎。一張現代資料中心GPU擁有數千至上萬個計算核心，配合高頻寬記憶體和高速互聯，能在數週內完成數萬億引數的模型訓練。當前輝達主導市場，但AMD、英特爾及雲端廠商自研晶片正快速追趕。
3分鐘產業解釋
定位與核心價值
GPU本質是一塊擅長“簡單操作、大量併發”的處理器。與面向任務排程的CPU不同，GPU將大部分電晶體用於算數邏輯單元（ALU），可以在一個時鐘週期內同時執行成千上萬個乘加運算。這一架構特徵恰好命中深度學習的兩大計算需求：矩陣乘法與卷積。
在訓練側，每一輪迭代都需在正向傳播和反向傳播中進行海量的矩陣‑向量運算。GPU通過單指令多執行緒（SIMT）模型，將資料並行、模型並行、流水線並行等策略對映到晶片上，使單次迭代時間從CPU的數小時壓縮到分鐘級。推論側則通過整型量化、批處理、KV快取等最佳化，在保持吞吐的同時控制延遲。
產業格局與關鍵變化
- 硬體：訓練晶片基本被輝達A100/H100/B200等資料中心GPU卡位，AMD MI300X系列佔比攀升；推論場景有更多專用ASIC加入，但GPU憑藉軟體生態保持優勢。
- 互聯：單卡算力提升已遇到物理極限，千卡、萬卡叢集成為標配。NVLink、InfiniBand及PCIe構成GPU間通訊骨幹，連線拓撲決定訓練效率的上限。
- 記憶體：高頻寬記憶體（HBM）對GPU效能至關重要。其位寬和頻寬直接影響大型模型訓練中每步資料的供給速度，容量則決定模型能否裝入單個或少數GPU。
- 軟體：CUDA生態是GPU在AI領域最大的護城河。PyTorch、TensorFlow等架構通過底層庫cuDNN、cuBLAS將網路計算圖高效編譯為GPU指令。
15分鐘專家深入
與深度學習負載的匹配
深度學習計算最核心的模式是大規模矩陣乘法（GEMM）和逐元素啟用函式。這些運算具有“資料並行”特徵：同一條指令施加到大量資料元素上，控制邏輯簡單，運算密度極高。GPU架構通過以下方式釋放算力：
- 多執行緒並行：一個流多處理器（SM）可管理數千個執行緒，執行緒束（warp）以32執行緒為一組同步執行。當某個warp在等待記憶體時，SM立刻切換到另一個warp，隱藏訪存延遲。
- 張量核心（Tensor Core）：專門針對矩陣乘加運算的硬體單元，可在單週期內完成小矩陣的乘加運算。從Volta架構引入第一代至今，張量核心支援的資料精度逐步擴充套件，從FP16開始，後續Ampere架構引入TF32和BF16，再到FP8甚至FP4，適應不同階段的訓練與推論需求。
- 分級儲存系統：暫存器（最快，每執行緒私有）→ 共享記憶體/L1（SM內共享）→ L2快取（跨SM）→ HBM（片外，容量大）。通過精心設計資料搬運（如Tiling），使絕大多數所需資料儲存在靠近計算單元的高速儲存中。
典型大型模型訓練中的並行模式與GPU互聯
當模型尺寸超過單卡視訊記憶體或訓練時間要求極高吞吐時，需要跨GPU協同。常見的三種並行方式：
- 資料並行：每張GPU持有一份完整模型副本，處理不同微批次資料；通過AllReduce聚合梯度。通訊量隨模型引數量線性增長。
- 張量並行：把單層內的矩陣乘法切分到多個GPU。例如，將權重矩陣按列或行切塊，計算後通過AllReduce/ReduceScatter合併。典型架構Megatron‑LM的列並行輸出需AllReduce，行並行需ReduceScatter。
- 流水線並行：將不同層分配到不同GPU，以微批次流水線方式執行，減少空閒氣泡。通訊發生在層邊界，量級較小。
- 專家並行（MoE）：將不同的“專家”網路層分散式儲存於各GPU，通過All‑to‑All通訊將Token路由到對應專家所在GPU，計算後再All‑to‑All回傳。All‑to‑All通訊模式與密集模型的AllReduce有本質區別，這也是建置MoE叢集時拓撲設計的重點。
萬卡級叢集不僅要考慮GPU‑GPU物理連線圖形狀（如無阻塞fat‑tree、龍伯格‑蜻蜓），還需合理排程各類並行對應的通訊流，避免網路擁塞。這正是算力效率從50%提升到70%乃至80%的核心工程難題。
技術原理
GPU的宏觀計算流水線（面向深度學習）
用簡化的偽硬體流水線描述一個矩陣乘法如何被執行：
[ 主機CPU ] -- PCIe/NVLink --> [ HBM視訊記憶體 ]
| |
v v
準備輸入張量 GPU 開始計算
(1) 載入資料到 L2 cache
(2) SM 讀取資料到共享記憶體/暫存器
(3) Tensor Core 執行矩陣乘加
(4) 結果寫回共享記憶體 -> L2 -> HBM計算的核心發生在 流多處理器（SM） 內部。每個SM包含：
- 指令快取和warp排程器
- 多個執行單元：CUDA核心（用於通用FP32/INT32）、Tensor Core（用於矩陣乘加）、特殊函式單元、載入/儲存單元等。
- 暫存器檔案（例如每SM 65536個32位暫存器）
- 共享記憶體/L1快取（可配置大小，如最高164KB）
一個執行緒束（32執行緒）被排程到流多處理器（SM）上，若該指令是Tensor Core操作，則會一次性處理被劃定的矩陣塊。例如，對於某個精度配置，1個Tensor Core每週期可完成[未充分揭露]個乘加運算，因此多個Tensor Core並行可貢獻絕大部分理論算力。
記憶體子系統與頻寬瓶頸
深度學習負載的瓶頸往往不在計算而在資料搬運。訓練過程中，每進行一次浮點運算，都需要投入相應的資料讀取。典型的算術強度（operations per byte）判斷：
- 全連線層：權重需頻繁重用，算術強度高，計算密集
- 層歸一化、啟用函式、Dropout等：資料重用低，對頻寬敏感
因此GPU設計大量投入HBM。HBM由多個DRAM die堆疊，通過矽中介層與GPU die互連，實現每堆疊1024位以上的超寬介面。各代HBM演進提升速率和堆疊數，總頻寬可達數TB/s。對於800億引數級別的模型，僅儲存最佳化器狀態就需數百GB視訊記憶體，這迫使業界將HBM容量推到96GB/卡甚至更高。
稀疏性加速
許多神經網路權重在訓練後可以剪枝至高稀疏度，例如50%的權重為零。新一代GPU引入結構稀疏性支援：細粒度的2:4結構化模式，即每4個連續權重中恰好有2個為零（恰好2個非零值），硬體可將其跳過，近乎2倍加速矩陣乘法而無精度損失。這種設計進一步拉大了GPU與通用CPU在DL上的效率差距。
技術演進史
- 1999–2006 圖形時代：GeForce 256首次冠名“GPU”，硬體固定功能流水線轉向可程式設計著色器。
- 2006–2012 通用計算萌芽：CUDA釋出，將GPU帶入科學計算領域，研究者開始嘗試用C語言操作GPU進行矩陣運算。
- 2012–2017 深度學習爆發：AlexNet在GPU上訓練獲勝，cuDNN等加速庫出現，Volta架構帶來第一代Tensor Core，大幅提升神經網路計算效率。
- 2018–2022 大型模型軍備競賽：A100（Ampere架構）引入TF32、結構化稀疏等多精度特性；H100（Hopper）新增Transformer引擎，支援FP8動態管理，並強化多GPU間NVLink Switch互聯。
- 2023–至今 萬卡叢集與AI工廠：B200等大算力晶片進一步突破單卡算力與HBM容量，同時採用先進封裝（如CoWoS‑L）整合更大面積晶片，液冷、機架級設計將GPU池化為算力節點，走向“GPU即資料中心”的形態。
技術路線對比
| 特性 | 訓練用GPU (資料中心級) | 推論用GPU / 邊緣GPU | 訓練兼推論ASIC (TPU等) | 通用CPU (x86/ARM) |
|---|---|---|---|---|
| 核心計算單元 | 數千個Tensor Core + CUDA Core，大量FP8/FP16/FP32 | 側重整數及低精度浮點（INT8/FP8） | 脈動陣列/systolic array，矩陣加速專用 | 少量高效能核，SIMD單元，側重標量/分支 |
| 記憶體架構 | HBM，高頻寬大容量，多晶片互聯 | 通常GDDR或LPDDR，頻寬容量適度降低 | HBM或定製記憶體，頻寬極高 | DDR/LPDDR，延遲最佳化，頻寬相對小 |
| 程式設計生態 | CUDA統治，PyTorch/TensorFlow深度最佳化 | 相容CUDA，但對ONNX、TensorRT等推論棧更友好 | 自有編譯器，XLA等，需架構適配 | 通用Linux/Windows，x86/arm生態成熟 |
| 並行模式 | 原生支援資料、模型、流水線並行，NVLink/NVSwitch高速互聯 | 較多單卡或少量多卡推論，互聯要求低 | 自研互聯，配適大規模資料並行 | 多核+多路，高速UPlink，但AI效率較低 |
| 適用階段 | 大型模型預訓練、微調 | 推論服務，部分小型訓練 | 大規模訓練和推論（雲端原生） | 資料預處理、輕量推論 |
| 代表產品 (估算) | 輝達H100/B200, AMD MI300X | 輝達L40S, 邊緣Jetson系列, Intel GPU | Google TPU v5p, AWS Trainium | Intel Xeon, AMD EPYC, 亞馬遜Graviton |
注：準確的產品型號和規格數值因未獲取具體官方資料，此處為定性歸類，不編造具體算力數字。
上下游
上游
- 晶片設計與IP：GPU架構設計（輝達、AMD、英特爾），IP授權（ARM Mali等）；關鍵電路IP如HBM PHY、PCIe控制器、SerDes等。
- 製程製造：先進製程晶圓代工（台積電、三星）；當前主流資料中心GPU採用[代次未揭露] FinFET工藝節點，未來向GAA/Nanosheet轉型。
- 封裝與記憶體：CoWoS（Chip on Wafer on Substrate）等先進封裝技術整合GPU die與HBM堆疊；HBM由SK海力士、三星、美光供應，二代/三代/三代E等代際持續迭代。
- 材料與裝置：矽晶圓、光刻機、ABF載板（FC‑BGA）等，影響GPU產能和良率。
下游
- 雲端服務提供商：建置GPU叢集出租算力例項（AWS、Azure、GCP、阿里雲端等）。
- AI實驗室及企業：直接購買伺服器/叢集進行模型訓練和推論（OpenAI、Meta、xAI等）。
- 邊緣與嵌入式：自動駕駛（Orin、Thor等SoC內建GPU），機器人、智慧攝像頭等。
- 傳統圖形與視覺化：遊戲顯示卡、專業視覺化（工業設計、影視特效）仍佔出貨量大頭。
- 軟體平台與工具鏈：深度學習架構、基礎模型、MLOps工具等最終將GPU算力轉化為服務。
關鍵指標
評估一塊AI GPU的常見維度：
- 峰值算力（FLOPS）：FP16/BF16精度下的稀疏/密集算力；FP8/FP4算力對推論和訓練影響越來越大；具體數字因架構而異，呈每兩年二至三倍增長趨勢。
- 視訊記憶體容量與頻寬：容量決定可裝載的模型尺寸和訓練批次；頻寬（TB/s級）影響資料供給速度，與計算吞吐需匹配。
- 互聯頻寬：卡間點對點頻寬（如NVLink）和網路介面頻寬（如InfiniBand 400Gb/s或800Gb/s），制約橫向擴充套件效率。
- 功耗與散熱：單卡功耗從300W向700W甚至更高演進，液冷普及；能效比（TFLOPS/W）更受資料中心關注。
- 軟體相容性：CUDA版本支援、PyTorch/TensorRT/TRT‑LLM等就緒程度，實為部署時的一票否決因素。
供需與市場資料
（因搜尋失敗無法提供具體市場報告數字，以下為定性趨勢概括）
- 市場規模：AI GPU市場近年呈爆炸性增長，2023–2024年全球出貨金額達數百億美元級別，年增長率超過50%以上（估算）。
- 供給：先進封裝（CoWoS）產能一度成為最大瓶頸，台積電等持續擴產，始逐步緩解。上游HBM同樣供不應求，交貨週期長。
- 需求：由GPT‑4、Gemini、Llama等千億、萬億引數模型訓練拉動，疊加推論需求指數增長。雲端廠商採購數百億美金級別GPU，部分用於內部訓練，部分租賃。
- 買家集中度：需求高度集中在幾家大型雲端服務商和AI實驗室，導致供應話語權偏向輝達等供應商；同時這些大買家也在大力投入自研晶片以分散風險。
- 區域分佈：受出口管制影響，高效能GPU形成“許可區域”與“受限區域”的市場分層，引發非官方渠道溢價和算力缺口。
代表公司與資本對映
核心晶片廠商
- 輝達（NVIDIA）：AI GPU 領域的主要供應商之一，資料中心業務在 2023-2024 年快速增長，毛利率需按最新財報口徑核驗。其 CUDA 生態構成重要軟體壁壘。
- AMD（Advanced Micro Devices）：MI300 系列成為主要追趕者，憑藉 CPU+GPU 融合架構和相對開放軟體棧（ROCm），獲得部分雲端廠商訂單；市場估值變化需以交易所行情和財報驗證，不在本文作方向性判斷。
- 英特爾（Intel）：面向資料中心的GPU產品線（如Gaudi系列）主攻AI加速，但市場份額較低；在邊緣和客戶端GPU有所版面配置。
系統/整合商與雲端廠商
- 超微電腦（SMCI）、戴爾、HPE：建置基於GPU的伺服器/機架解決方案，受益於AI基礎設施投資浪潮。
- 亞馬遜（AWS）、微軟（Azure）、Google（GCP）：既大規模採購GPU，也推出自研AI晶片（Trainium、Maia、TPU），做縱向延伸，改變競爭格局。
- Meta、特斯拉：設計並部署自研AI推論/訓練晶片，意在降低對外部GPU供應商的依賴。
上游供應鏈資本對映
- 台積電（TSMC）：幾乎壟斷AI GPU的先進製程和CoWoS封裝，其資本支出和產能規劃直接錨定GPU放量節奏。
- SK海力士、三星：HBM核心供應商，市場對其HBM3/3E市場份額爭奪激烈，股價與AI GPU需求高度相關。
- 博通（Broadcom）：為Google等定製ASIC（TPU），並提供高速網路晶片，是資料中心GPU互聯基礎設施的重要參與者。
投資邏輯
- 訓練算力的非線性增長：模型規模每2~3年擴大10倍，算力需求增長遠超摩爾定律。這支撐對最先進GPU的持續剛需，頭部供應商享受量價齊升。
- 推論市場的追趕爆發：當模型能力成熟後，部署推論的GPU/卡需求將超越訓練。市場將從“峰值效能”導向逐漸向“價效比、低功耗”分化，為後發者提供視窗。
- 供給瓶頸與份額轉移：CoWoS、HBM等短期產能瓶頸加劇先行者優勢，但隨著產能釋放和AMD/Intel產品成熟，輝達市佔率大機率從極高水平下滑，關注客戶多元化程序。
- 軟體生態壁壘的風險：Pytorch、OpenAI Triton等正在降低對CUDA的繫結依賴；大型雲端廠商自研晶片的生態逐步完善，若突破臨界點，可能削弱輝達的溢價權。
- 週期性風險：GPU投入的資本回報若未及時明朗，雲端廠商可能調整訂單規模，引發需求波動。長期仍看好結構性增長，但短期存在庫存調整可能。
常見誤讀糾偏
誤讀1：“GPU越多，訓練越快，效率恆定”
事實：在分散式訓練中，增加GPU數量的加速比並非線性。當並行規模達到數百數千時，通訊開銷、負載不均衡和資料流水線氣泡將侵蝕提升空間。萬卡叢集的有效算力利用率（MFU）往往在50%~60%區間（根據公開論文估算），需通過拓撲最佳化、並行策略混合調優、重疊通訊等技術竭力提升。
誤讀2：“推論只需推論專用ASIC，GPU沒有優勢”
事實：現代大型模型推論高度依賴Transformer結構的訪存和計算模式，這與GPU張量核心最佳化方向高度一致。且模型結構快速迭代（如MoE、長上下文、多模態），專用ASIC變更響應較慢。GPU的靈活性使其在推論市場仍佔據主導地位，尤其是在多樣化和快速變化的模型生態中。儘管專用推論晶片在特定負載下可能能效更優，但GPU通過軟體最佳化（FP8、量化、FlashAttention等）保持強大競爭力。
學習路徑
- 入門：閱讀《CUDA程式設計指南》前幾章，理解執行緒層次和記憶體模型；用PyTorch訓練一個神經網路，觀察GPU利用率。
- 架構理解：研究白皮書（如NVIDIA A100/H100架構白皮書），聚焦SM內部結構、Tensor Core運作，比較不同代際架構演進。
- 分佈訓練動手：用PyTorch DDP訓練小型模型，然後嘗試Megatron‑LM張量並行、DeepSpeed流水線並行於2~8卡環境，體會通訊原語。
- 深入系統：學習NCCL集合通訊原理、NVLink拓撲、InfiniBand路由；分析大規模訓練日誌，識別計算與通訊瓶頸。
- 前沿追蹤：關注旗艦會議（NeurIPS、MLSys、HPCA、ISCA）有關GPU架構、訓練系統和編譯最佳化的最新論文，追蹤產業動態。
一句話總結
GPU是深度學習時代的“算力石油”，其大規模並行架構、專用張量計算單元和深厚的軟體生態，定義了當前人工智慧的物理基礎，深刻影響著技術演進和產業權力格局。
延伸閱讀與來源
- NVIDIA官方白皮書（NVIDIA A100 Tensor Core GPU Architecture, H100 Tensor Core GPU Architecture, NVIDIA B200 Whitepaper 等）
- 《深度學習》Ian Goodfellow 等，第12章“Application: Deep Learning”涉及GPU計算
- 論文：Megatron‑LM, DeepSpeed ZeRO, GShard（MoE並行）—— 展示GPU叢集上模型並行策略
- GPU技術大會（GTC）主題演講與資料（每年解鎖關鍵技術細節）
- 行業分析報告（Mercury Research, Jon Peddie Research, 券商報告）提供市場份額與出貨量估計
- 晶片行業媒體AnandTech, ServeTheHome, SemiAnalysis 對GPU架構和供需的深度分析
- 由於本次搜尋未獲取具體資料，文中涉及市場數字、精確頻率/頻寬/算力等均為基於行業公開認知的定性描述，具體最新資料請查閱各公司財報及官方規格表。