通用 GPU 計算

3 秒看懂

GPGPU（通用圖形處理器計算）是利用原本為影像渲染設計的大規模並行處理器，執行科學計算、AI訓練、資料分析等非圖形工作負載的技術範式。關鍵在於：一顆晶片內部整合數千個簡單計算單元，通過單指令多執行緒（SIMT）模型同時處理海量資料，在密集線性代數運算上獲得遠超 CPU 的吞吐量。

3 分鐘產業解釋

傳統 CPU 為低延遲、複雜控制流最佳化，核心數有限；GPU 則擁有成百上千個較小的算術邏輯單元（ALU），以吞吐量為綱。NVIDIA 在 2006 年推出 CUDA 平台後，開發者不再需要將問題偽裝成三角形繪製，直接使用類 C 語言即可排程 GPU 並行算力，GPGPU 由此爆發。今天，AI 大型模型的訓練與推論幾乎完全依賴 GPGPU：一個千億引數 Transformer 的每一次前向傳播，本質是海量矩陣乘法與注意力計算，這正是 GPGPU 的典型甜蜜點。產業鏈因此重塑——從通用伺服器轉向以 GPU 為核心的異構計算節點，配套高頻寬記憶體（HBM）、先進封裝（如 CoWoS）和高速互連（NVLink、InfiniBand）構成完整系統。競爭層面，NVIDIA 憑藉 CUDA 生態和持續架構迭代佔據主導；AMD 的 ROCm 生態和 Intel 的 oneAPI 正在追趕；雲端廠商則通過自研 AI 晶片（TPU、Trainium 等）分流部分訓練和推論市場。整個產業正從“寫死功能”的圖形流水線，走向可程式設計的領域專用架構，而 GPGPU 正是這條路徑上目前最通用、軟體生態最成熟的實現。

15 分鐘專家深入

GPGPU 的本質是把“大規模資料並行”這一計算模式從圖形領域抽象出來，服務於更廣義的負載。其成功源於三個支柱：

1. 硬體層面：以流多處理器（SM）為核心，每 SM 包含眾多 CUDA Core/Tensor Core、暫存器檔案、共享記憶體/L1 快取，以及專用於特定數制的張量加速器。典型高階晶片整合逾百 SM，能同時維持數以萬計的活躍執行緒，藉此掩蓋數千週期的記憶體延遲。
2. 程式設計模型：CUDA 的層次化執行緒模型（Grid/Block/Thread）將問題空間對映到硬體，配合統一記憶體定址、協作組、圖執行等不斷進化的抽象，極大降低了並行程式設計門檻。
3. 軟體生態：cuBLAS、cuDNN、NCCL 等深度最佳化庫，與 PyTorch、TensorFlow 等架構深度耦合，形成“開發者無感”的加速體驗；底層編譯器（PTX → SASS）針對每一代架構做指令排程與暫存器分配最佳化。

當前技術前沿集中在稀疏性計算（結構化稀疏指令）、混合精度（FP8/FP4）、視訊記憶體頻寬與容量的權衡、以及多晶片擴充套件的通訊效率。例如，大規模訓練中常採用張量並行（模型層內分片，產生 AllReduce/ReduceScatter 通訊）、流水線並行（層間分片，點對點通訊）和資料並行（副本間梯度同步，AllReduce）的組合策略，以匹配 GPU 計算與互聯拓撲。MoE（混合專家）結構則引入 All-to-All 通訊來分發 token 給不同專家，這類不規則通訊對硬體與庫的要求更高。

技術瓶頸同樣清晰：單晶片光罩極限（reticle limit）限制了面積，迫使向 Chiplet 和先進封裝演進；HBM 堆疊帶來頻寬提升的同時也帶來成本、功耗與熱管理的系統性挑戰；軟體生態的鎖定效應使得非 NVIDIA 方案即使硬體引數更好，實際易用性與效能仍存差距。目前，產業在探索“更專用的通用性”：Tensor Core 本身就是一種領域專用功能的泛化，未來可能繼續加入對稀疏、量化、圖計算的原生支援，在保持一定可程式設計性的前提下，進一步逼近專用晶片的效率。

技術原理

執行模型：從 SIMD 到 SIMT

GPGPU 的並行模型常被描述為 SIMT（單指令多執行緒）：一組執行緒（warp，通常 32 個執行緒）在同一時鐘週期內執行同一條指令，但各自使用不同資料。與 CPU 的 SIMD 不同，SIMT 中一個 warp 內的所有執行緒共享同一個程式計數器，以鎖步方式執行同一條指令；每個執行緒擁有獨立的暫存器狀態，分支時通過執行掩碼處理分歧，對程式設計者透明。

執行緒被組織為 Block，Block 組成 Grid。每個 Block 被排程到一個 SM 上執行，SM 內含多個 warp scheduler，可在不同 warp 間零開銷切換，以此隱藏記憶體訪問延遲。

記憶體層次與延遲隱藏

全域性視訊記憶體 (HBM/GDDR)  
  ↕ L2 快取 (片內共享)  
    ↕ L1 快取 / 共享記憶體 (每 SM)  
      ↕ 暫存器檔案 (每執行緒私有)  

• 全域性記憶體（VRAM）：容量巨大但延遲高（數百時鐘週期），依靠合併訪存和大量併發 warp 來掩蓋延遲。當前高階產品普遍採用 HBM 堆疊，位寬可達 5120 bits 級別，頻寬約數 TB/s [廠商財報揭露範圍，具體數值隨代際變化]。
• 共享記憶體：片上 SRAM，數十 KB 每 SM，延遲極低，由 Block 內執行緒協作使用，常用於矩陣分塊、並行歸約等。程式設計師通過 __shared__ 顯式管理。
• 暫存器：每 SM 暫存器檔案容量有限，每個執行緒獨佔分配的暫存器；過多暫存器使用會降低 SM 上的駐留 warp 數（occupancy），影響隱藏延遲能力。

計算核心：CUDA Core vs Tensor Core

• CUDA Core：每時鐘可執行一條單精度（FP32）乘加或整數操作，是通用計算的基石；也支援 FP64，但效能通常僅為 FP32 的 1/32 或 1/64（取決於架構面向的細分市場）。
• Tensor Core：專為矩陣乘加（D = A×B + C）設計，單指令可完成 4×4 子塊矩陣運算，支援 FP16/BF16/FP8/INT8/INT4 等混合精度。在 AI 訓練中廣泛使用 BF16/FP8 實現數倍於 FP32 的吞吐。核心微架構採用脈動陣列或多級點積結構 [具體設計未充分公開，不同廠商實現存異]，並以 warp 級協作完成更大維度矩陣分塊。

典型計算模式與通訊原語

以 Transformer 為例：

• 線性層（FFN、QKV 投影）：權重矩陣 W 與輸入 X 的乘法，規模可達 [batch×seq, hidden] × [hidden, 4×hidden]。通過分塊載入到共享記憶體，用 Tensor Core 執行分塊乘加。
• 注意力：QK^T 和 Softmax 後的加權求和，涉及歸約和 element-wise 操作。在長序列下，FlashAttention 類演算法通過分塊重計算代替視訊記憶體訪問，大幅降低 I/O。
• 通訊：
  • AllReduce（資料並行、張量並行）：每個 GPU 貢獻部分梯度/啟用，全體獲得相同結果，常用 Ring 或 Tree 演算法。
  • ReduceScatter / AllGather（張量並行）：ReduceScatter 先做歸約並分散結果，AllGather 收集分散的分塊。
  • All-to-All（MoE dispatch & combine）：每個 GPU 向所有其他 GPU 傳送不同 token 資料，通訊模式不規則，對網路拓撲和路由演算法提出高要求。

定量理解（定性範圍，非固定數值）

• 典型訓練用 GPU 的 FP16 Tensor Core 算力可達數百 TFLOPS [廠商公開峰值]，FP32 約幾到幾十 TFLOPS。
• 視訊記憶體容量多在 80 GB 級別（HBM）；AI 伺服器常配置 8 張 GPU，通過 NVLink 全互聯，單節點視訊記憶體聚合頻寬可達數十 TB/s 量級。
• 千億引數大型模型訓練需數千 GPU 協同，總訓練時長以周計，通訊開銷佔比可超 40% [行業論文揭露]。

技術演進史

• 萌芽期（1999–2006）：GPU 硬體具備可程式設計著色器，但程式設計只能通過圖形 API（OpenGL/DirectX）迂迴實現。少量研究者將資料打包為紋理進行通用計算，效率極低。
• CUDA 誕生（2006）：NVIDIA 釋出 CUDA 1.0，提供 C 語言擴充套件和驅動層，首次讓 GPU 成為真正的通用計算平台。同年 G80 架構引入統一著色器模型，硬體層面為通用計算鋪路。
• 生態擴充套件（2010–2015）：Fermi 架構（2010）加入 ECC 支援、完全 C++ 支援，標誌著 GPU 進入資料中心。Kepler（2012）大幅改進雙精度和動態並行。Maxwell（2014）強調能效，使單精度算力大幅提升。此時 OpenCL 作為開放標準一度被 AMD 和學界推崇，但因生態碎片化逐漸式微。
• AI 專用化（2016–2019）：Pascal 架構（2016）整合 NVLink、統一記憶體，並支援打包 FP16 乘加操作。Volta（2017）首次引入 Tensor Core，提供對矩陣乘加的原生加速，並推出 NVSwitch 建置 DGX 系統。圖靈（2018）首次引入 INT8/INT4 Tensor Core，推論加速。同期，Google 推出 TPU，證明專用架構的潛力，也反向推動 GPGPU 繼續整合更多 DSA 功能。
• 資料中心的系統化（2020–至今）：Ampere 架構引入結構化稀疏、第三代 Tensor Core、多例項 GPU（MIG）支援切分；Hopper 架構（面向資料中心）進一步強化 Transformer 引擎（FP8），並引入 DPX 指令加速動態規劃。封裝上，從單晶片向 Chiplet 和多 die 互聯演進 [各代際細節需參考廠商揭露，本文只作趨勢定性]。軟體棧上，CUDA 版本迭代至 12.x，引入 CUDA Graphs、非同步複製、程式設計模型簡化等，鞏固護城河。

技術路線對比（量化表）

因缺乏來自可驗證來源的具體實測資料，下表以定性比較和典型類別標註（基於行業共識概括，精確數值須以廠商最新白皮書為準）：

維度	NVIDIA GPGPU (CUDA)	AMD GPGPU (ROCm/HIP)	Intel GPGPU (oneAPI/Level Zero)	雲端端自研晶片 (如 TPU)
算力峰值 (FP16/BF16)	高，普遍為當前代際最高或次高	同代產品接近 NVIDIA，通常略低	中高，首代產品追趕	極高，但功能專一，不開放通用程式設計
視訊記憶體頻寬	採用 HBM，頻寬達 TB/s 量級	類似 HBM 方案，頻寬同代相近	初代產品尚不完全揭露	定製的超高頻寬
生態成熟度	極成熟（90%以上 AI 架構原生支援）	快速追趕，但部分運算元仍缺最佳化	生態初期，依賴 oneAPI 轉換層	相對封閉，依賴自有架構（JAX/TensorFlow）
程式設計門檻	低，CUDA C++/Python 資源豐富	中，HIP 可自動轉寫 CUDA 程式碼，但細節差異多	較高，SYCL 與 CUDA 心智模型不同	高，僅特定編譯流程
擴充套件性/互聯	NVLink + NVSwitch 建置的機內/機間擴充套件方案成熟	Infinity Fabric 可支援多卡，但生態未大規模驗證	起步階段	專用 ICI 等，高度最佳化
應用場景	訓練 + 推論 + HPC + 圖形全領域	HPC 與部分訓練推論，圖形驅動繼承	面向資料中心與 HPC，尚在早期	主要面向大型模型訓練與推論，不負責圖形

說明：上述對比反映整體趨勢，同一廠商不同型號產品可能差異顯著，且新一代產品引數變化快，決策需依據最新實測資料。

上下游

上游

• 晶圓製造與封裝：先進製程（5 nm 級及更先進節點）由代工廠提供，目前 GAA/FinFET 等工藝演進直接影響電晶體密度與能效；3D 封裝（如 CoWoS-S/R/L）將計算 die 與 HBM 整合在同一中介層，成為高階 GPGPU 標配。
• 高頻寬記憶體：HBM 由 DRAM 廠商提供，堆疊層數不斷增加，頻寬與容量均快速提升。HBM 的供應直接制約 GPU 產能。
• 互聯 IP：PCIe、NVLink、InfiniBand/Ethernet 控制器等，決定節點內外頻寬。高速 SerDes 和矽光子等新興技術受高度關注。
• 電源與散熱：單卡功耗已達數百瓦，需高效供電（如垂直供電、分時供電）和液冷散熱方案。

下游

• 雲端服務商：自建超大規模叢集用於內部 AI 服務，並向外部出租 GPU 例項。
• 伺服器 OEM：組裝 DGX 等一體化系統或標準 GPU 伺服器，面向企業客戶。
• 企業客戶：金融、汽車、醫療、能源等行業自建或租用 GPU 叢集進行訓練、模擬等。
• 軟體棧與架構：深度學習架構（PyTorch， TensorFlow， JAX）、推論引擎（TensorRT， ONNX Runtime）、分散式訓練庫（Megatron-LM, DeepSpeed）均為下游關鍵環節。

關鍵指標

（以下指標無具體數字，僅定義重要性及典型度量方向）

1. 峰值算力：描述晶片在最高頻率下執行特定精度（如 FP16 Tensor Ops）的理論最大值，直接關聯訓練速度。
2. 有效吞吐量：實際應用中受限於記憶體頻寬、軟體最佳化等，常以“模型 tokens/秒”或“Sample/s”衡量。
3. 視訊記憶體容量與頻寬：後者往往是真實瓶頸；大型模型引數、最佳化器狀態、KV cache 均對容量有要求。
4. 通訊頻寬與延遲：卡間（NVLink）和節點間（RDMA 網路）頻寬影響擴充套件效率；延遲決定 AllReduce 的微步開銷。
5. 功耗與能效：TDP（熱設計功耗）和實際 pJ/FLOP，決定資料中心電力成本與散熱可行性。
6. 生態相容性：對主流架構的支援程度、運算元覆蓋率、除錯工具鏈（Nsight, rocprof）完善度。

供需與市場資料

由於無法獲取最新市場資料，此處僅做結構性說明（具體數值需查閱權威行業報告）：

• 需求端：AI 訓練模型規模每年呈數量級增長，訓練算力需求增長遠超摩爾定律；推論需求亦隨大型模型部署而激增。
• 供給端：高效能 GPU 長期供不應求，因 CoWoS 封裝和 HBM 產能存在瓶頸，交付週期拉長。多家雲端廠商推出自有 ASIC 以降低對單一供應商依賴。
• 市場結構：NVIDIA 在資料中心 GPGPU 市場佔據主導地位，份額超 80% [多份行業調研估算]；AMD 市場份額在逐步提升；Intel 剛剛入局。雲端端自研晶片的部署規模顯著增加，但多用於內部業務或特定雲端例項。

代表公司與資本對映

• NVIDIA：生態最完整，從架構定義、編譯器、庫到系統一體；主要營收來源為資料中心 GPU + 網路 + 軟體訂閱。
• AMD：憑藉 CDNA 架構持續迭代，以價效比切入 HPC/AI 叢集，借 HIP 相容 CUDA 吸引遷移。
• Intel：Falcon Shores 等計劃將 x86 與 GPU 整合，oneAPI 統一程式設計模型，尚需證明量產競爭力。
• Broadcom/Marvell：為雲端廠商定製 ASIC 提供關鍵 IP（如 SerDes， 晶片互聯），間接受益於 GPGPU 替代趨勢。
• 裝置與封測：ASM International、台積電、日月光等，掌握先進封裝和 HBM 整合技術，間接決定 GPGPU 產能。
• 應用方：微軟、Google、Meta、Amazon 等，自研晶片同時大量採購 GPGPU，驅動市場。

投資邏輯

1. 生態護城河：CUDA 生態轉換成本極高，NVIDIA 持續獲益。但需警惕雲端端自研和開源生態（如 Triton， MLIR）降低鎖定。
2. 先進封裝與 HBM 供應鏈：GPGPU 效能提升越來越依賴封裝整合，相關裝置、材料、封測企業具有長週期增長邏輯。
3. 推論市場增量的分化：推論相較訓練對功耗、延遲更敏感，可能分化出 GPGPU、ASIC、FPGA 並存的市場格局，需關注模型壓縮與編譯技術的進步方向。
4. 地緣與產能風險：高階製程與 HBM 生產高度集中，供應鏈安全性成為估值因素。
5. 第二梯隊機會：AMD 若能解決 ROCm 的運算元覆蓋和穩定性，可能取得份額突破；Intel 在“XPU”願景下若按期交付，或重塑市場預期。

常見誤讀糾偏

誤讀一：GPU 就是大量 CPU 小核心堆疊
糾正：GPU 核心遠非“小 CPU”。其取指、分支預測、亂序執行等能力弱於 CPU；但擁有大量 ALU 和超大暫存器檔案，採用 SIMT 模型以海量執行緒並行掩蓋延遲。它們是為吞吐量而生的資料並行引擎，擅長流式處理相同操作，不擅長執行復雜分支或低延遲單執行緒任務。

誤讀二：任何大規模矩陣運算都可以無腦用 GPU 加速，速度一定更快
糾正：資料是否適合並行、演算法計算密度、資料複製開銷均影響實際加速比。若問題本身計算量小但頻繁在 CPU 與 GPU 間遷移資料，或演算法包含大量序列邏輯，GPU 可能反而不如 CPU。Amdahl 定律同樣適用。

誤讀三：Tensor Core 就是“內積陣列”，只能做矩陣乘
糾正：Tensor Core 的核心確是加速矩陣乘加，但通過巧妙的 warp 級協作和資料版面配置，也可用於卷積、反捲積、多頭注意力等，前提是將其建模為矩陣乘法。不過，它並不替代 CUDA Core，後者仍負責一切非矩陣乘加類計算，包括啟用函式、掩碼生成、控制流等。

誤讀四：GPGPU 和 AI 晶片是同一概念
糾正：AI 晶片是一個更寬泛的術語，包括 GPGPU、TPU、LPU、NPU 等。GPGPU 仍是目前軟體通用性最強的一類，可做物理模擬、分子動力學、影片編解碼等非 AI 負載；而許多 AI 專用晶片為神經網路推斷或訓練做了大幅硬化，較難重程式設計至其他領域。

學習路徑

1. 基礎並行程式設計：理解執行緒、程序、SIMD、Amdahl 定律。
2. CUDA 入門：《CUDA C++ Programming Guide》, 通過向量加法、矩陣乘法等入手，掌握 kernel 編寫、記憶體管理、錯誤處理。
3. 效能最佳化：理解 occupancy、共享記憶體、Bank Conflict、合併訪存、非同步流、CUDA Graphs；使用 Nsight Systems/Compute 進行分析。
4. 深度學習加速：學習 cuBLAS、cuDNN，並瞭解架構如何呼叫底層庫；嘗試手寫一個簡單的全連線層或注意力層 kernel。
5. 多 GPU 程式設計：掌握 NCCL 基礎、分散式訓練拓撲，學習 Megatron-LM 等對張量並行/流水線並行的抽象。
6. 異構計算系統：結合 NVLink/NVSwitch、InfiniBand/RoCE，理解計算-通訊重疊、拓撲感知排程。
7. 追蹤前沿：閱讀 GPGPU 架構白皮書、學術會議（ISCA、MICRO、HPCA）中 GPU 架構與 DSA 相關論文，跟進 PyTorch 2.0/torch.compile 等新動態。

一句話總結

GPGPU 通過將高度並行的吞吐量計算從圖形領域抽象出來，並輔以 CUDA 級深生態，成為當前 AI 訓練和科學計算無可替代的基礎算力平台，其技術演進正在從“通用並行”向“領域專用功能可程式設計化”收斂。

延伸閱讀與來源

• NVIDIA 官方 CUDA 文件與架構白皮書（Tesla、Ampere、Hopper 等各代）
• AMD ROCm 文件及 CDNA 白皮書
• Intel oneAPI 程式設計指南
• 經典文獻：《CUDA by Example》《Programming Massively Parallel Processors》
• 行業報告：Jon Peddie Research、Mercury Research、IDC 對 GPU 出貨量和市場份額的季度追蹤
• 學術論文：FlashAttention, Megatron-LM, ZeRO 等，以及 ISCA、HPCA 關於 GPU 架構和 DSA 的最新研究

（注：本文所有定性描述均基於領域共識，未包含來自未確認來源的精確規格與效能數字；具體技術引數請以各廠商最新官方資料為準。）