視訊記憶體層級

3 秒看懂

視訊記憶體層級是把 GPU 晶片內外的儲存系統按“離計算單元遠近、容量、速度、單位成本”劃分的階梯。從離 SM（流多處理器）最近的暫存器/L1 一路向外到片外 HBM，構成“快而小，慢而大”的層次。AI 大型模型能塞進多少引數、訓練推論多快、總成本多低，都直接由這一層級的版面配置決定。

3 分鐘產業解釋

大型模型訓練等同於一次超大規模腦力運算，視訊記憶體層級的根本任務是讓資料以儘可能低的能耗和延遲，被饋送到計算核心。層級大致可分為：計算單元內部（暫存器、L0/L1 快取、共享記憶體）→ 片上共享（L2 快取）→ 片外高速視訊記憶體（HBM/GDDR）→ 跨卡互聯（NVLink/Infinity Fabric 訪問遠端視訊記憶體）→ 主機記憶體（CPU DDR/統一記憶體）。AI 場景中，引數量、最佳化器狀態、啟用、中間梯度被精心分配在各層：HBM 容量的提升決定模型能裝下多大，HBM 頻寬與計算吞吐量的比值決定訓練是否“喂得飽”計算單元。近年來 HBM 堆疊、先進封裝（如 CoWoS）、大容量 L2 等技術使得這一層級的邊界不斷外擴，但仍無法完全跟上算力增長，形成著名的“記憶體牆”。因此業內衍生出模型並行（張量/流水線/序列）、ZeRO 冗餘消除、啟用重計算、FlashAttention 等策略，本質上都是在視訊記憶體層級約束下對訪存頻寬與容量的精細排程。

15 分鐘專家深入

從系統工程角度看，視訊記憶體層級不僅是硬體規格問題，更是分散式訓練架構、編譯器、運算元庫協同最佳化的核心物件。

• 容量瓶頸驅動模型切分：當單卡 HBM 無法存下模型時，必須將引數與計算切分到多 GPU（張量並行、流水線並行）或藉助 CPU 記憶體（ZeRO-Offload）。張量並行需要高頻的 AllReduce 通訊，每一步都要在 GPU 的 L2/HBM 和 NVLink 間搬運資料；流水線並行則減少通訊頻率，但需處理跨卡啟用傳輸。
• 頻寬瓶頸決定計算效率：訓練每個 token 的浮點運算量（FLOPs）與所需資料搬運量（Byte）的比值稱為算術強度。若 HBM 頻寬不足，GPU 大量時間空轉等待資料（記憶體受限），強制要求提升批次尺寸或使用核心融合最佳化。典型最佳化如 FlashAttention 通過將注意力矩陣計算保留在 SRAM（共享記憶體/L1）內不寫回 HBM，大幅降低對 HBM 頻寬的壓力。
• 延遲對推論尤為關鍵：推論時單次請求延遲受制於依次訪問各層級的延遲。大型模型 KV Cache 佔用大量 HBM 容量，層與層之間的 L2 快取命中率、資料預取策略都直接決定使用者體驗。
• 層級耦合給系統帶來的挑戰：暫存器/共享記憶體通常由編譯器靜態分配，而 L2 和 HBM 由 GPU 的動態排程管理。程式設計師/架構需要通過 Tiling、向量化訪存、避免 Bank Conflict 等手段充分利用高速記憶體，否則即使 HBM 頻寬表面光鮮，有效頻寬也可能大幅下降。

核心洞察：未來 AI 晶片競爭力的衡量維度，已從單純 TFLOPS 轉向“算力密度 + 視訊記憶體層級綜合效能（容量 × 頻寬/算力 × 單位功耗）”。誰能在有限的矽面積和功耗預算下建置出更靠近計算的、容量夠大頻寬夠高的層級，誰就掌握了大型模型時代的定價權。

技術原理

層級結構示意（以當前主流資料中心 GPU 為參考）

每個 SM 內部：
 ┌─────────────┐  
 │ 暫存器檔案 (Register File)    ← 容量：每執行緒數百位元組，延遲 0 週期 (在指令可排程範圍內)
 ├─────────────┤  
 │ L0 指令快取                   
 ├─────────────┤  
 │ L1 資料快取 / 共享記憶體        ← 可配置合計約 128‑256 KB/SM，延遲 ~30 cycles
 │ (統一 SRAM, 極高頻寬, 程式設計管理)  
 └──────┬──────┘  
        │  片上網路 (Crossbar / Mesh)
 ┌──────┴──────────────────┐
 │     L2 快取 (Unified)   ← 容量 40–60 MB (現代資料中心 GPU)，延遲 ~200 cycles
 │     對所有 SM 共享        │  
 └──────┬──────────────────┘  
        │ 記憶體控制器 + 矽中介層/先進封裝 (如 CoWoS-S)
 ┌──────┴──────────────────┐
 │ HBM 堆疊 (視訊記憶體)         ← 容量 80–192 GB/GPU，頻寬 2–3+ TB/s
 │ 多堆疊、1024‑bit 每堆疊   │  
 └─────────────────────────┘  
        │ NVLink/NVSwitch (跨 GPU 直接訪存)
 ┌──────┴─────────────┐
 │ 遠端 GPU 的 HBM     │ ← NUMA 特性，頻寬數百 GB/s，延遲略增
 └────────────────────┘  
        │ PCIe / CXL / NVLink-C2C
 ┌──────┴─────────────┐
 │ 系統 DRAM (CPU 記憶體) │ ← 容量 TB 級，頻寬~100 GB/s，延遲數微秒
 └────────────────────┘  

關鍵機制：

• 暫存器與 L1/共享記憶體：編譯器將最熱的區域性變數、小矩陣分塊對映到這裡。共享記憶體可被同一執行緒塊所有執行緒訪問，編寫 CUDA kernel 時需顯式分配並同步。Bank 衝突會顯著折損頻寬。
• L2 快取：對全域性記憶體讀寫起緩衝和合並作用。L2 駐留策略（residency control）可將部分資料鎖存在 L2 中不被淘汰，提升資料重用率。較大 L2 可降低對 HBM 的訪問壓力，提高能效。
• HBM 架構：通過 TSV（矽通孔）將多層 DRAM 晶片垂直堆疊，並與 GPU 晶片封裝在同一基板上。寬位寬（標準為 1024‑bit）輔以適度頻率，實現低功耗下的極高頻寬。最新 HBM3e 每堆疊頻寬已逾 1 TB/s（基於 HBM3 的行業擴充套件，由儲存廠商推動）。
• 統一記憶體與地址轉換：GPU 頁表可對映系統記憶體，使 GPU 程式碼透明訪問 CPU 記憶體（有頁面錯誤遷移機制），消除顯式複製。雖然方便，但隱藏的遷移延遲可能成為效能陷阱。

關鍵引數（定性/基於公開架構）

層級	典型容量	頻寬（每 SM 或每 GPU）	延遲	軟體控制
暫存器	每 SM 數百 KB 總計	數十 TB/s (片上)	極低	編譯器分配
共享記憶體/L1	100‑256 KB/SM	～數 TB/s/SM	數十 cycles	顯式程式設計
L2 快取	40‑60 MB	～5‑10 TB/s (總)	～200 cycles	部分鎖存控制
HBM 視訊記憶體	80‑192 GB	2‑3.35 TB/s (H100 公開)	數百 ns	全域性記憶體 API
跨卡 NVLink	-	每通道 50‑100 GB/s，多個通道成組，總頻寬 900 GB/s (H100 SXM5)	< 1 µs	NCCL 等通訊庫
系統記憶體	TB 級	～100 GB/s	數 µs	統一記憶體 / 顯式複製

注：具體數字因 GPU 型號和代際而異，此處僅給出量級範圍，反映層級特性。

技術演進史

• 遠古時期（Fermi/Kepler 時代，2010‑2014）：GPU 開始重視可配置 L1/共享記憶體，視訊記憶體以 GDDR5 為主，頻寬和容量增長緩慢。記憶體層級概念主要停留在 CUDA 程式設計手冊。
• HBM 誕生與 AI 萌芽：2015 年 AMD Fiji 首次商用 HBM 1（4 層堆疊，頻寬 512 GB/s），大幅降低視訊記憶體功耗。NVIDIA 隨後在 P100 中採用 HBM2（2016，頻寬 720 GB/s），搭配 NVLink 1.0，資料中心 GPU 視訊記憶體頻寬大幅提升。首個頻寬達到 TB/s 級別的資料中心 GPU 是 A100（2020 年）。
• Volta 架構（2017）：統一記憶體（自 CUDA 6 起引入）繼續得到支援，引入獨立執行緒排程，且 HBM2 容量達到 32 GB，開始支撐深度學習中 Batch Size 增大。Tensor Core 出現，對資料搬運提出更高要求。
• Ampere 架構（2020）：A100 配備 40/80 GB HBM2e，頻寬 2 TB/s，並大幅增加 L2 快取至 40 MB，搭載第二代 NVSwitch 實現多卡全互聯（NVSwitch 首次在 2018 年 Volta 架構 DGX‑2 中引入）。視訊記憶體層級與多 GPU 拓撲深度繫結。
• Hopper 架構（2022‑2023）：H100 採用 HBM3，頻寬 3.35 TB/s，L2 快取擴充至 50 MB，並應用新的 TMA（Tensor Memory Accelerator）非同步複製引擎，有效減輕暫存器/共享記憶體管理負擔。HBM3e 隨後問世，頻寬更上層樓，使得 192 GB 單卡成為可能。
• 封裝革命與未來：CoWoS 封裝成為視訊記憶體層級物理基石，將邏輯晶片與 HBM 堆疊整合在同一矽中介層上，大幅縮短互連，提升能效。未來方向包括更緊密的 3D 堆疊（如 SoIC）、存算一體（PIM），甚至將部分計算直接遷入 HBM 堆疊內，從根本上顛覆層級概念。

技術路線對比（量化表）

技術路線	典型容量	頻寬（堆疊/總）	位寬	功耗特性	封裝方案	當前應用
HBM3e	單堆疊 24‑36 GB	>1 TB/s 每堆疊，多堆疊超 6 TB/s	1024‑bit	低功耗（pJ/bit 低）	CoWoS‑S/R/L	AI 訓練/推論旗艦 GPU，HPC
HBM3	單堆疊 16‑24 GB	約 819 GB/s 每堆疊 (6.4 Gbps)	1024‑bit	低功耗	CoWoS‑S 等	當前主流資料中心 GPU
GDDR6X	單卡最大 48 GB	總頻寬 ~1 TB/s (384‑bit, 19‑21 Gbps)	384‑bit	功耗較高	板級焊接	消費級顯示卡、部分專業卡
GDDR6	單卡可達 48 GB	總頻寬 數百 GB/s	最多 384‑bit	中等功耗	板級焊接	推論卡、邊緣裝置
LPDDR5X	系統級別	記憶體頻寬~100 GB/s	64‑bit 多個通道	極低功耗	片上封裝/板貼	智慧手機、汽車、邊緣 AI
SRAM 快取/共享記憶體	MB 級	數十 TB/s	極寬	高（佔面積大）	片內	所有 GPU 內部層級

關鍵趨勢：HBM 已從“高成本可選”變為 AI 訓練標配，成本佔比持續攀升，推動 TSV 和先進封裝持續擴產。邊緣場景則更傾向高頻寬 LPDDR 或縮小版 GDDR。

上下游

上游—原材料與裝置：

• TSV 刻蝕、矽中介層、微凸點等先進封裝裝置與材料供應商（刻蝕/沉積裝置、臨時鍵合/解鍵合、CVD/PVD）
• DRAM 晶片晶圓廠（先進 1α/1β/1γ 工藝）
• 高密度基板（ABF）與熱介面材料

中游—設計與整合：

• 視訊記憶體顆粒設計（SK 海力士、三星、美光）與控制器 IP
• GPU/ASIC 晶片設計（NVIDIA、AMD、Intel、自研晶片廠商如 Google TPU 團隊）
• 先進封裝與整合（台積電 CoWoS、三星 I-Cube、英特爾 EMIB）
• 連線技術（NVLink、CXL、Infinity Fabric 等）

下游—系統與應用：

• 伺服器/超算（DGX、HGX、自定義訓練伺服器）
• AI 雲端服務（AWS、Azure、GCP、CoreWeave 等）對視訊記憶體配置的定製需求
• 自動駕駛（LPDDR/GDDR）與邊緣推論盒子
• 消費硬體（遊戲顯示卡）

價值流動：視訊記憶體層級直接驅動先進封裝和 HBM 量價齊升，成為 AI 產業鏈中價值密度最高的環節之一。瓶頸在於 CoWoS 產能與 HBM 產能的匹配。

關鍵指標

1. 視訊記憶體頻寬 (Memory Bandwidth)：單位 TB/s，決定資料餵給計算單元的上限。常對比單卡理論頻寬和實際有效頻寬（通過 STREAM 或 AI 運算元測試）。
2. 位元組/FLOP 比 (B/F 比)：每 FLOP 訪存位元組數。訓練時典型最佳化器狀態和啟用導致 B/F 較高，需確保視訊記憶體層級能提供足夠頻寬維持計算單元利用率。
3. 模型最大容納規模：大致近似為 HBM 容量的一半到三分之二（視 ZeRO 階段和重計算而定）。單卡可容納的模型引數量是架構選型的硬門檻。
4. 快取命中率與 L2 駐留控制：大型模型推論的 KV Cache 若常駐 L2 可大幅加速，L2 miss 率直接影響延遲。
5. 跨卡互聯頻寬/延遲：在多 GPU 系統中，遠端訪問視訊記憶體的頻寬常成為擴充套件瓶頸，NVLink 頻寬和 GPU 拓撲決定強擴充套件性。
6. 能效比（pJ/bit）：衡量每搬運一個 bit 資料消耗的能量，HBM 遠低於 GDDR，這是大規模訓練重視 HBM 的關鍵原因之一。

供需與市場資料

由於檢索源不可用，本節以定性趨勢描述為主，資料參考行業常識性認知（[基於行業普遍觀點，非精確檢索]）：

• 需求端：大型模型引數從千億邁向萬億，訓練單次所需總視訊記憶體容量線性甚至超線性增長。推論側，多租戶、長上下文帶來巨大 KV Cache 需求，單卡 HBM 容量已從 80 GB 快速增至 141 GB/192 GB。AI 伺服器出貨量強勁，預計未來數年 HBM 需求 CAGR 維持高位。
• 供給端：HBM 產能高度集中在 SK 海力士、三星、美光三家，擴產受制於 TSV 產能、先進封裝線產能、良率爬坡週期。台積電 CoWoS 產能不僅是 AI 晶片的瓶頸，也間接決定了 HBM 的出海口。目前持續處於供不應求狀態，導致 HBM 價格堅挺，預付款鎖定產能成為常態。
• 市場影響：HBM 佔 GPU 物料成本比例大幅上升（估算超 50%），直接影響 AI 伺服器毛利率。GDDR 產能相對寬裕，但主要用於中低端推論和消費市場，無法填補高階缺口。這一供需失衡使 HBM 成為 AI 硬體投資中最確定的瓶頸賽道。

代表公司與資本對映

• 視訊記憶體層級技術主導者：
  • SK 海力士：HBM 市場份額領先，率先量產 HBM3e，是輝達主要供應商。
  • 三星：提供 HBM2e/HBM3，擁有從晶圓到封裝的 IDM 優勢，並試圖通過定製化 PIM 晶片差異化競爭。
  • 美光：HBM2e 後起直追，HBM3e 已送樣，加快融入資料中心生態。
• GPU/AI 晶片設計：
  • NVIDIA：通過 Ampere/Hopper/Blackwell 架構定義視訊記憶體層級範式，搭配 NVLink/NVSwitch/CoWoS 建置系統級層級。
  • AMD：MI300 系列採用 HBM3 與先進封裝，主打統一記憶體架構與視訊記憶體容量賣點。
  • Google（TPU）、AWS（Trainium） 等自研晶片同樣重度依賴 HBM，其視訊記憶體層級定製化程度漸高。
• 封裝與製造：
  • 台積電：CoWoS 產能是關鍵資源，直接決定高階 GPU 和 HBM 的整合產出。
  • 英特爾：EMIB 和 Foveros 封裝試圖切入，但 AI 領域主陣地仍在臺積電。
  • 國內產業鏈：通富微電、長電科技等在先進封裝上有所版面配置，HBM 國產替代尚在早期。
• 產業鏈對映：HBM、先進封裝裝置（如東京電子、ASM Pacific）、ABF 基板（如欣興、南亞）、測試介面等環節與視訊記憶體層級升級高度相關，可作為理解 AI 硬體供給瓶頸的產業觀察入口。

產業影響

1. 視訊記憶體是“算力的影子”：算力增長的冪律規律要求相應視訊記憶體頻寬同步擴張，但頻寬提升速度慢於算力，形成結構性缺口。
2. 產能約束：HBM 供給受 TSV、良率、先進封裝和客戶認證節奏約束，SK 海力士、三星、美光及台積電 CoWoS 擴張節奏會影響 AI 加速器交付。
3. 架構替代風險（遠期）：存算一體、PIM、光互聯等可能改變現有層級，但在規模化部署前仍需驗證軟體棧、成本和可靠性。
4. 大型模型推論放量：長上下文、多模態和高併發推論會提升視訊記憶體容量與頻寬需求，使大容量 HBM 從訓練側擴充套件到推論側。
5. 價值量向封裝傾斜：隨著 HBM 堆疊層數增加和邏輯 die 介入，先進封裝價值佔比不斷提升，相關裝置、材料、測試環節的重要性隨之上升。

常見誤讀糾偏

誤讀 1：“視訊記憶體越大，模型訓練越快”
糾正：模型訓練吞吐量主要由頻寬決定而非單純容量。小模型在過大的視訊記憶體中不會明顯變快，反而可能因不必要的資料遷移或系統開銷拖累效能。容量決定了能否裝下模型，而頻寬決定了訓練速度。對於分散式訓練，還需關注跨卡互聯頻寬，總網路頻寬有時比單卡容量更重要。

誤讀 2：“所有的記憶體層級由硬體一次性確定，軟體不用管”
糾正：視訊記憶體層級並非對上層程式碼完全透明。高訓練效率需要顯式管理資料在層級的駐留：比如將注意力矩陣計算塞進共享記憶體，使用 L2 鎖存策略優先保留常駐資料，通過 CUDA Graph 減少發射開銷。優秀的 AI 架構與編譯器深度參與層級排程，否則接近 80% 的有效頻寬可能被浪費。

誤讀 3：“HBM 等於所有的視訊記憶體層級”
糾正：HBM 只是片外視訊記憶體的實現方式。完整的視訊記憶體層級包含大量片上 SRAM（L1/L2/共享記憶體），模型推論時 FlashAttention、MQA/GQA 等策略的核心就是節省 HBM 訪問，善用片上 SRAM。忽視片上記憶體層級的最佳化，將無法釋放晶片真實潛力。

學習路徑

1. 硬核基礎：閱讀 CUDA 程式設計指南的“記憶體層級”章節，理解全域性記憶體、共享記憶體、暫存器、常量記憶體的訪問模式與生命週期。
2. 架構白皮書：研讀 NVIDIA A100/H100 Whitepaper，重點關注 L2 Cache、TMA、NVLink 規格；同時閱讀 HBM 標準文件（JEDEC 公開摘要）。
3. 系統突破論文：
   • 《Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism》瞭解張量/流水線並行中的通訊與記憶體分配。
   • 《ZeRO: Memory Optimizations Toward Training Trillion Parameter Models》理解狀態切分與層級解除安裝。
   • 《FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness》領會基於記憶體層級的演算法設計。
4. 工具測通：使用 NVIDIA Nsight Compute 分析 kernel 的 L1/共享記憶體、L2、HBM 命中率與頻寬利用率，親手調優一個矩陣乘案例。
5. 產業追蹤：追蹤 HBM 市場動態（財報電話會、TrendForce/MIC 報告）和先進封裝路線圖（台積電技術論壇），將技術指標與供給約束、產品節奏對應起來。

一句話總結

視訊記憶體層級是 AI 晶片的“血管與倉庫”，記憶體牆決定了算力能做什麼、多快、多便宜——它不僅是硬體規格表上的數字，更是編譯架構、演算法創新和產業定價權的交匯戰場。

延伸閱讀與來源

• NVIDIA H100 Tensor Core GPU Architecture Whitepaper：詳盡介紹 SM 內部層級、L2 快取和 HBM3 整合方式。
• JEDEC High Bandwidth Memory (HBM) Standard：HBM3 電性與時序特性官方來源。
• SK hynix HBM3e Product Brief：堆疊容量與頻寬的最新宣傳資料。
• NVIDIA CUDA C++ Programming Guide, Chapter 5 (Memory Hierarchy)：程式設計師視角的各層級訪問詳情與最佳化準則。
• 論文：FlashAttention (Dao et al., 2022)：經典的 IO‑Aware 視訊記憶體利用實現。
• IEEE/ISSCC 相關論文：TSV、CoWoS 封裝及 HBM 能效研究（如三星 PIM 演示）。
• 行業分析：TrendForce、Omdia 關於 HBM 市場供需與資本支出的定期報告（具體數字請以最新付費報告為準，本文基於共識性方向總結）。