CUDA 核心
3 秒看懂
CUDA Core 是 NVIDIA GPU 內部最基礎的標量算術邏輯單元，專門執行單執行緒的整數與單精度浮點指令。成千上萬個 CUDA Core 按“流多處理器（SM）”分組，以單指令多執行緒（SIMT）方式並行運轉，是 GPU 通用計算算力的原子載體。在深度學習負載中，雖然稠密矩陣乘由 Tensor Core 兜底，但啟用函式、歸一化、最佳化器更新以及大量自定義運算元仍落在 CUDA Core 上。
3 分鐘產業解釋
CUDA Core 與 NVIDIA 的 CUDA 程式設計模型深度繫結：開發者編寫 CUDA C++ 時定義執行緒網格與執行緒塊，每個執行緒最終被排程到某個 CUDA Core 上執行標量運算。
自 2017 年 Volta 架構引入 Tensor Core 後，深度學習中最吃算力的矩陣卷積開始向專用單元解除安裝。但 CUDA Core 仍是“萬能膠”——確保非矩陣操作有足夠並行的算力兜底。因此 GPU 產品宣傳中的“CUDA 核心數”依然是衡量通用計算並行度的關鍵指標。
產業層面，雲端廠商按小時販售的 GPU 例項本質上是在租用 CUDA Core（以及 Tensor Core、視訊記憶體頻寬）。以 AWS p4d 例項（搭載 A100）為例，其標稱 FP32 峰值 19.5 TFLOPS，主要由 CUDA Core 貢獻。AI 架構如 PyTorch 執行模型時，底層庫 cuBLAS、cuDNN 會智慧地將計算分配到 Tensor Core 與 CUDA Core。可以說，沒有海量 CUDA Core 堆疊，就不會有 GPU 通用程式設計生態，NVIDIA 的護城河也正建立於此。（來源：NVIDIA A100 規格表，2020 年釋出）
技術原理
SIMT 執行模型
CUDA Core 本身沒有獨立的程式計數器；指令由 SM 內的排程單元統一發射。一個 warp（32 個執行緒）的所有執行緒執行同一指令，但各自處理不同資料。若出現分支發散（if-else），不同路徑被序列執行，部分 CUDA Core 閒置，凸顯了程式設計時對齊訪存和避免發散的重要性。
微架構組成
每個 CUDA Core 包含一個整數單元（INT32）和一個浮點單元（FP32），二者在早期架構（Fermi 至 Pascal）中共用發射埠，不能同時執行。自 Turing 架構（2018 年）起，SM 重新設計，INT32 與 FP32 的 CUDA Core 在物理上部分分離，可併發執行，顯著提升資料搬運密集的運算元（如逐元素運算）效率。（來源：NVIDIA Turing 架構白皮書，2018）
CUDA Core 支援的操作包括：單精度融合乘加（FMA，每時鐘可計 2 FLOPs）、整數加減、移位、邏輯運算等。部分架構上的 CUDA Core 也能處理半精度（FP16），但吞吐通常低於專用 Tensor Core。
FMA 流水線
一條 FMA 指令在 CUDA Core 內的執行流程為：取指 → 譯碼 → 讀暫存器 → 浮點乘法器 → 累加器 → 寫回暫存器。流水線化設計使每個 CUDA Core 每時鐘週期可完成一條 FMA 指令，折算為 2 FLOPs（一次乘法 + 一次加法均計為操作）。以典型加速時脈頻率 1.5–2.0 GHz 估算（具體代際差異顯著），單 CUDA Core 的標量 FP32 吞吐可達 3–4 GFLOPS。
排程與執行
GPU 以 warp（32 執行緒）為基本排程單位。一個 SM 內含多個 warp scheduler，每個時鐘從就緒 warp 中挑選一條指令發射到一組 CUDA Core 上。由於一個 SM 內 CUDA Core 數量遠多於單個 warp 所需的 32 個，SM 可通過切換 warp 隱藏訪存延遲。以深度學習 kernel 為例：一個涵蓋 256 個執行緒的執行緒塊形成 8 個 warp，被分配到 SM 上執行。當 Tensor Core 忙於矩陣乘時，CUDA Core 仍可並行執行偏置加法、啟用函式等順序依賴較弱的標量工作，實現指令級並行。
精度支援演化
- FP32：CUDA Core 的看家精度，所有架構一致支援。
- FP16：Pascal（2016）開始支援，打包 FP16 操作吞吐可達 FP32 的兩倍。Volta 之後 FP16 矩陣運算全面轉向 Tensor Core。
- INT32：一直支援。Turing 後可從專用 INT32 CUDA Core 發射，實現與 FP32 併發。
- TF32/BF16/FP8：這些降精度計算幾乎全部由 Tensor Core 處理，CUDA Core 不直接參與。（基於 NVIDIA Volta/Turing/Ampere/Hopper 白皮書定性歸納）
與深度學習的聯結
雖然訓練/推論的主力 FLOPS 常由 Tensor Core 貢獻（混合精度訓練時），但以下幾類操作幾乎全靠 CUDA Core：
- 最佳化器步驟（SGD/Adam 中的權重更新、動量計算），多為 FP32 逐元素運算。
- Batch/Layer/Group Normalization 的統計量與縮放。
- 特殊啟用函式（GELU、SiLU 等）的複雜數學函式。
- 資料預處理、自定義損失函式等未被庫最佳化的程式碼路徑。
因此，即使 Tensor Core 指標華麗，若 CUDA Core 數量不足或指令吞吐瓶頸，也會限制最終有效算力。
硬體邏輯示意（非比例，僅結構關係）
+----------------- SM ----------------
| Warp Scheduler 0 Warp Scheduler 1
| | | \ | | \
| Dispatch Unit Dispatch Unit
| | |
| +-----+----+ +-----+----+
| | CUDA Core | ...| CUDA Core |
| | (FP32/INT) | | (FP32/INT) |
| +-----------+ +-----------+
| ... 共享記憶體 / L1 快取 ...
| 載入/儲存單元 <-> 視訊記憶體介面
+------------------------------------每個 SM 內含排程器、CUDA Core 群、特殊功能單元（SFU）、Tensor Core（Volta+）、暫存器檔案等組成的異構叢集。
關鍵引數
評估 CUDA Core 實際算力的核心指標包括：
- CUDA Core 數量：決定理想 FP32/INT32 吞吐的並行度基數。同架構內通常越多越強，但跨代不可直接比較。例如，A100 單 GPU 含 6912 個 CUDA Core，而 H100 為 14592 個（基於 SM 數量與每 SM 配置計算）。
- 加速時脈頻率：影響每核心吞吐，受散熱與功耗牆制約。A100 的 Boost Clock 約 1.41 GHz，H100 約 1.98 GHz（來源：NVIDIA 官方規格表，分別釋出於 2020、2022）。
- 每 SM 的 CUDA Core 密度與排程器比例：影響延遲隱藏效率。Ampere 架構每 SM 含 64 個 FP32 CUDA Core（其中一半可兼作 INT32），配 4 個 warp scheduler（來源：NVIDIA A100 白皮書，2020）。
- 併發資料型別路徑：如 INT32 與 FP32 是否可同時發射，影響混合精度計算和指令級並行度。
- FP32 峰值 GFLOPS ≈ CUDA Core 數 × 加速時鐘(GHz) × 2（FMA 雙重計數）。以 A100 為例：6912 × 1.41 GHz × 2 ≈ 19.5 TFLOPS。但有效算力受 Tensor Core 解除安裝率、訪存頻寬等因素影響巨大。
| GPU 型號 | CUDA Core 數 | 標稱加速時鐘 | FP32 峰值 | 資料來源 |
|---|---|---|---|---|
| V100 SXM2 | 5120 | ~1.53 GHz | 15.7 TFLOPS | NVIDIA V100 規格表(2017) |
| A100 SXM | 6912 | ~1.41 GHz | 19.5 TFLOPS | NVIDIA A100 規格表(2020) |
| H100 SXM | 14592 | ~1.98 GHz | ~57.8 TFLOPS | NVIDIA H100 規格表(2022) |
技術路線
架構代際演進
- Tesla (G80, 2006)：統一著色器架構，128 個 stream processor 可被程式設計為通用計算核心，奠定 CUDA Core 前身。
- Fermi (2010)：首個完整意義上的“CUDA Core”概念，每個 SM 含 32 個 CUDA Core，支援完整 C++ 程式設計，引入 L1/L2 快取層級。
- Kepler (2012)：SMX 設計大幅增加每 SM 的 CUDA Core 數（達 192），引入 warp shuffle 指令。
- Maxwell (2014)：能效最佳化，SM 結構簡化為四個 warp scheduler 配 128 CUDA Core，同樣核心數下功耗大降。
- Pascal (2016)：增加 FP16 打包計算支援，CUDA Core 可執行打包 FP16 提供 2× FP32 吞吐，搭配 HBM2 與 NVLink。
- Volta (2017)：分水嶺。引入獨立 Tensor Core，CUDA Core 專注標量通用計算，SM 內 CUDA Core 數首次下降（為 Tensor Core 讓渡面積）。
- Turing (2018)：SM 大改，實現 INT32 與 FP32 CUDA Core 併發發射，新增 RT Core，通用計算能力增強。
- Ampere (2020)：每 SM 的 FP32 CUDA Core 翻倍至 64，資料路徑增強，支援稀疏化，TF32 由 Tensor Core 處理。
- Hopper (2022)：SM 支援 DPX 指令，CUDA Core 配合更復雜的 warp group 排程，與 Transformer Engine 協同。
- Blackwell (2024 釋出)：公開資料未見詳細 SM 內部 CUDA Core 微架構資料，已知支援 FP4/FP6 精度（由 Tensor Core 處理），CUDA Core 的具體改進待官方白皮書進一步揭露。
（以上代際特徵來自 NVIDIA 各代 GPU 架構白皮書，具體數值因 SKU 而異。）
技術路線對比（定性為主）
| 代際 | FP32 每 Core 吞吐 | INT32 併發 | Tensor Core | 每 SM CUDA Core 趨勢 | 核心變革 |
|---|---|---|---|---|---|
| Fermi | 2 FLOPs/時鐘 | 否 | 無 | 32（基準） | 快取與C++支援 |
| Kepler | 2 FLOPs/時鐘 | 否 | 無 | 192（大幅增加） | SMX多發射 |
| Maxwell | 2 FLOPs/時鐘 | 否 | 無 | 128 | 能效最佳化 |
| Pascal | 2 FLOPs/時鐘；FP16 翻倍 | 否 | 無 | 128 | HBM2/NVLink |
| Volta | 2 FLOPs/時鐘 | 獨立但未必全併發 | 有 | 64 | 算力分工 |
| Turing | 2 FLOPs/時鐘 | 可併發 | 有 | 64 | INT32/FP32併發 |
| Ampere | 2 FLOPs/時鐘 | 可併發 | 有,TF32 | 64(FP32)+64(FP32/INT32) | 資料路徑增強 |
| Hopper | 2 FLOPs/時鐘 | 可併發 | 有,FP8 | 128(FP32)+64(FP32/INT32) | DPX指令 |
*同代內不同晶片配置不同，數字為典型配置，不涵蓋全部 SKU。
上游
CUDA Core 的上游供應鏈核心環節包括：
- 架構 IP 與設計：NVIDIA 自研 GPU 架構 IP（指令集、SM 設計、CUDA Core 微架構實現），不對外授權。研發投入持續增長，據 NVIDIA FY2024 年報（截至 2024 年 1 月），全年研發費用約 86.8 億美元（non-GAAP），其中 GPU 架構研發佔重要比重。
- 半導體代工：先進製程由台積電（TSMC）主導。V100 使用 12nm FFN，A100 使用 7nm N7，H100 使用 4nm N4，B200 採用 4NP 工藝（均來自 NVIDIA 官方釋出資訊）。三星在消費級 GPU（如 RTX 30 系）短暫參與 8nm 製程代工。
- 先進封裝：資料中心 GPU 依賴台積電 CoWoS（Chip-on-Wafer-on-Substrate）封裝連線 GPU 晶片與 HBM 視訊記憶體。CoWoS 產能曾階段性緊張，2023 年前後成為 GPU 供應的主要瓶頸之一（來源：台積電產能相關公開報道與行業分析，TrendForce 2023 年報告）。
- HBM 視訊記憶體：SK 海力士、三星為主要供應商。H100/H200 搭載 HBM3/HBM3e，視訊記憶體頻寬直接影響 CUDA Core 的資料供給效率。
- EDA 工具：Cadence、Synopsys 提供晶片設計工具，支援大規模 GPU 設計與驗證。
下游
CUDA Core 所在 GPU 的下游應用鏈條：
- AI 伺服器廠商：Supermicro、廣達、工業富聯、Dell、HPE 等將 GPU 整合到伺服器中，交付給資料中心客戶。據 TrendForce 2024 年估算，2024 年全球 AI 伺服器出貨中 NVIDIA GPU 佔比超 80%。
- 雲端服務商：AWS、Microsoft Azure、Google Cloud、Oracle Cloud 採購 NVIDIA GPU 建置例項，以小時出租。以 AWS p5 例項（H100）為例，8 卡例項標價約 98 USD/小時（按需，美東區，2024 年 Q3 公開定價）。
- GPU 雲端新勢力：CoreWeave、Lambda Labs、Paperspace 等專業 GPU 雲端採購 NVIDIA 產品，以更具競爭力的定價出租算時。
- 深度學習架構與底層庫：PyTorch、TensorFlow 通過 cuBLAS、cuDNN、CUTLASS 將計算呼叫對映到 CUDA Core 與 Tensor Core。CUDA Core 的標量算力是整條軟體棧的最低層抽象。
- 終端使用者：AI 實驗室（OpenAI、Anthropic 等）、網際網路企業、科研機構、工業模擬使用者等。訓練千億引數模型需要數萬 CUDA Core 並行，推論也需要大量 CUDA Core 處理非矩陣密集部分。
受益公司
- NVIDIA (NVDA)：CUDA Core 的唯一設計者與主導者，GPU 通用計算生態的硬錨，護城河極深。資料中心業務在 FY2024（截至 2024 年 1 月）營收約 475 億美元，是 FY2022 的約 4.5 倍（來源：NVIDIA 年報）。
- 台積電 (TSM)：獨家代工 NVIDIA 資料中心 GPU 先進製程與 CoWoS 封裝，是產能瓶頸的關鍵環節。2023 年臺積電先進封裝營收佔比持續提升（來源：台積電 2023 年報）。
- SK 海力士：HBM3/HBM3e 主力供應商，據公開報道，2024 年 HBM 產能基本售罄，NVIDIA 為其最大客戶。
- Supermicro (SMCI)：AI 伺服器 ODM/OEM 代表，受益於 GPU 叢集建設潮。季度營收從 FY2023 Q1 約 18 億美元躍升至 FY2024 Q4 約 53 億美元（來源：Supermicro 財報）。
- CoreWeave：GPU 雲端新勢力的代表，大規模採購 NVIDIA H100，2024 年估值的顯著提升反映市場對 CUDA Core 算力租賃的看好（公開融資資訊）。
- AMD (AMD)：競爭架構 RDNA/CDNA 擁有“流處理器”，功能類似 CUDA Core，但程式設計生態（ROCm）使用者基數與相容性遠遜於 CUDA。據 Mercury Research 資料，2023 年四季度 AMD 在獨立 GPU 市場份額約 19%，但資料中心 AI 推論份額低於此（公開估算，精確 AI 份額未見）。
市場規模
- GPU 整體市場：據 Jon Peddie Research 2024 年 Q1 資料，2024 年 Q1 全球 GPU 出貨量（含整合/獨立/資料中心）約 7000 萬顆，其中獨立 GPU 約 870 萬顆。NVIDIA 獨立 GPU 市佔率約 88%（來源：JPR 報告）。
- 資料中心 GPU 市場：據估算，2023 年全球資料中心 GPU 市場規模約 400–500 億美元，NVIDIA 佔比超 90%（來源：Mercury Research 與供應鏈估算，精確官方資料未見）。2024 年受 H100/B200 需求推動，市場總規模有望繼續擴大，公開資料未見統一確認數字。
- CUDA Core 相關”算力”市場：難以獨立拆解，但可觀察指標如下：
- 雲端 GPU 例項市場規模：據 Omdia 等分析機構估算，2023 年全球 GPU 雲端例項營收約 200–250 億美元。
- NVIDIA 資料中心營收（FY2024）：約 475 億美元，可作為算力硬體投入的基礎參考。
- 每代卡的 FP32 總算力 × 出貨量可構成可量化的”通用算力池”，公開資料未見此類核算。
玩家對比
| 維度 | NVIDIA CUDA Core | AMD Stream Processor | Intel Xe Core |
|---|---|---|---|
| 程式設計模型 | CUDA C++（成熟生態） | HIP/ROCm（薄弱） | oneAPI（早期） |
| 架構支援 | PyTorch/TF 一等公民 | PyTorch 有限支援 | 有限支援 |
| 每 CU 的 ALU 數（典型） | 64–128（架構變化） | 64（RDNA 3） | 16（Xe-HPC） |
| 關鍵精度 | FP32+INT32 併發 | FP32+INT32 | FP32+INT32 |
| 生態鎖定 | 極強（海量 CUDA 程式碼） | 弱 | 弱 |
| 市佔率（資料中心） | >90%（2023 估算） | <10% | <5% |
| 軟體棧成熟度 | 生產級 | 有缺口 | 開發中 |
（以上對比基於 NVIDIA CUDA 文件、AMD ROCm 文件、Intel oneAPI 文件公開可查的定性資訊。市佔率為行業估算，精確官方資料未見。）
風險
- 製程與封裝依賴：NVIDIA 資料中心 GPU 嚴重依賴台積電先進製程與 CoWoS 封裝。若地緣政治風險升級或產能持續緊張，將影響 GPU 供應與 CUDA Core 增量。
- 架構路徑分歧：若未來 AI 負載全面轉向低精度矩陣乘法，CUDA Core 的 FP32 通用算力可能邊際價值下降。NVIDIA 已通過 Hopper 的 Transformer Engine 等方向強化 Tensor Core 角色，CUDA Core 的相對面積配比未來可能繼續收縮（趨勢來源：NVIDIA 架構白皮書縱向對比）。
- 競爭生態侵蝕：AMD 的 ROCm 生態與微軟/OpenAI 的 Triton 編譯棧試圖降低 CUDA 鎖定效應。若大型模型訓練推論棧成功抽象化底層硬體，CUDA Core 的生態壁壘可能鬆動。
- 功耗限制：高 CUDA Core 數量 × 高頻率帶來高功耗。H100 的 TDP 已達 700W（SXM），下一代更高，資料中心散熱與電力供給構成物理上限。
- 下游集中風險：雲端廠商（AWS、Azure、GCP）與少數 AI 實驗室佔據 GPU 採購大頭，若其資本支出收縮，CUDA Core 間接需求承壓。
誤讀糾偏
-
“CUDA Core 數量直接決定 GPU 效能” 只在同架構、同頻率、同頻寬約束下比較時近似成立。跨架構時，新一代 CUDA Core 數量可能少於舊代（如 V100 的 5120 vs P100 的 3584，但 V100 得益於 Tensor Core 解除安裝和更高時鐘而整體更強）。遊戲卡與資料中心卡同一架構下滿配與閹割版差異巨大。
-
“深度學習只靠 Tensor Core，CUDA Core 沒什麼用” Tensor Core 只加速特定混合精度矩陣乘/累加，batch norm、啟用函式、梯度縮放、最佳化器步驟、資料 pipeline 仍依賴 CUDA Core。在許多模型（尤其是動態網路、推薦系統、多模態）上，CUDA Core 算力可成為瓶頸。據公開的 NVIDIA 最佳化指南，訓練中約 10–30% 的 FLOPs 落在通用 CUDA Core 上，因模型而異。
-
“每個 CUDA Core 就是一個 GPU 核心” 一個”GPU 核心”通常指整個 SM 或計算單元。CUDA Core 是最小標量執行單元，無自主排程能力。更恰當的類比是 CPU 中的 ALU（算術邏輯單元），而非完整 CPU 核心。
-
“AMD 的流處理器和 CUDA Core 是一回事” 功能類似，但程式設計模型和生態差距巨大。CUDA 程式碼無法直接執行在 AMD 硬體上，HIP 轉譯存在侷限，大量商業閉原始碼高度依賴 CUDA Core 執行模型。
最新事件
- Blackwell B200 釋出（2024 年 3 月 GTC）：NVIDIA 釋出 Blackwell 架構，B200 搭載 2080 億電晶體，宣稱大幅提升 AI 算力。具體 CUDA Core 數量與每 SM 配置官方未在釋出日充分揭露（據 NVIDIA GTC 2024 主題演講，公開參數列暫缺 SM 細節）。
- H200 釋出與量產（2023 年末–2024 年）：基於 Hopper 架構，CUDA Core 配置與 H100 一致，主要升級為 HBM3e 視訊記憶體（141 GB，頻寬 4.8 TB/s），間接提升 CUDA Core 的訪存效率。2024 年 Q2 起雲端廠商逐步上線 H200 例項。（來源：NVIDIA 官方產品公告）
- 台積電 CoWoS 擴產：台積電 2024 年計劃 CoWoS 產能在 2023 年基礎上翻倍，2025 年繼續擴產，以緩解 NVIDIA GPU 供應瓶頸。產能具體數字屬台積電商業機密，公開資料無確切揭露。（來源：台積電 2024 年 Q1 法說會管理層評論）
- 美國出口管制升級（2023 年 10 月）：BIS 更新出口管制規則，限制高階 GPU（含 H100/A100）對部分國家的出口。NVIDIA 推出符合管制的 H20 版本（CUDA Core 數量削減），影響中國市場的 CUDA Core 通用算力供給。（來源：美國 BIS 公開檔案、NVIDIA 產品頁面）
追蹤指標
追蹤 CUDA Core 生態與算力變化的關鍵可量化維度：
- NVIDIA 每代資料中心 GPU CUDA Core 數量與頻率：查閱 NVIDIA 官方規格表，計算 FP32 峰值變化趨勢。
- NVIDIA 資料中心季度營收：反映市場對 GPU 整體算力（含 CUDA Core）的採購意願。來自 NVIDIA 財報（每季），口徑為 Data Center revenue。
- 台積電 CoWoS 產能利用率與擴產節奏：影響 GPU 供給的先行指標。可追蹤台積電法說會管理層評論及行業調研究報告告（如 TrendForce）。
- 雲端廠商 GPU 例項上線節奏與價格：AWS/Azure/GCP 的新例項型別推出速度和 price/hr 變化，間接反映 GPU 供需與算力定價。
- PyTorch CUDA 相關下載量與 CUDA 版本分佈：可通過 PyTorch 官方統計或 Conda 下載資料分析 CUDA 生態活躍度。
- AMD ROCm 生態進展：HIP 相容度、主流架構原生支援的更新頻次，衡量替代威脅的程度。
- 新架構白皮書 SM 微架構變化：每 SM 內 CUDA Core 佔比、新增指令支援，直接影響通用計算效率。
信源
本頁內容基於以下公開來源，具體資料點已在文中標註出處：
- 《NVIDIA CUDA C++ Programming Guide》（最新版，NVIDIA 官網文件）
- NVIDIA 各代 GPU 架構白皮書：Fermi / Kepler / Maxwell / Pascal / Volta / Turing / Ampere / Hopper（NVIDIA 開發者網站）
- NVIDIA 資料中心 GPU 官方規格表（V100/A100/H100，nvidia.com）
- NVIDIA 定期財報（FY2022–FY2024）與 GTC 主題演講資料
- 台積電法說會管理層評論與年報（2023–2024）
- Jon Peddie Research（GPU 市場季度統計）
- Mercury Research（獨立 GPU 市佔率）
- TrendForce（AI 伺服器與 CoWoS 產能報告）
- 學術微基準測試文獻：《Dissecting the NVIDIA Volta GPU Architecture via Microbenchmarking》（arXiv）
- AMD ROCm 官方文件、Intel oneAPI 官方文件
所有涉及精確數字的資訊均已標註來源與年份口徑。部分行業估算資料（如資料中心市佔率）因未獲官方確認，已註明“估算”或“公開資料未見”。本頁不代表任何形式的投資建議，僅供認知參考。