視訊記憶體容量

3 秒看懂

視訊記憶體容量直接決定了一塊 AI 加速卡在單次計算中能同時駐留的模型引數、最佳化器狀態、中間啟用與 KV 快取的總量上限。容量一旦不夠，無論晶片內部算力多高，大型模型都無法直接執行，必須引入模型切分、啟用重計算、Offload 等補救手段，這些手段幾乎總會犧牲計算效率或顯著增加工程複雜度。

3 分鐘產業解釋

在千億乃至萬億引數級的大型模型時代，視訊記憶體容量已與計算算力並列為首要硬體約束。一片 AI 加速卡上的視訊記憶體，通常被以下幾類資料佔用：模型權重（Weights）、最佳化器狀態（如 Adam 的一階動量 m 與二階方差 v）、梯度（Gradients），以及前向傳播產生的中間啟用（Activations）。

隨著 GPT-4、Claude 3.5、Gemini Ultra 等大語言模型（LLM）的規模從數百億引數向數千億甚至萬億邁進，完整訓練過程所需的視訊記憶體總量急劇膨脹。以千億引數模型、混合精度訓練為例，僅權重、最佳化器狀態與梯度三項，合計便可達 1.4–1.8 TB 之巨，單卡物理視訊記憶體（目前最高約 192 GB HBM3e 量級）無法承載千億引數模型的完整訓練狀態。

當單卡視訊記憶體不足時，就必須引入分散式訓練策略：張量並行（Tensor Parallelism）、流水線並行（Pipeline Parallelism）、資料並行（Data Parallelism），以及 DeepSpeed ZeRO 等視訊記憶體最佳化技術。這些策略的共同代價是引入額外的卡間通訊，降低 GPU 的有效計算利用率（Model FLOPS Utilization，MFU）。根據公開文獻（如 Megatron-LM 相關論文與 NVIDIA 技術部落格），當張量並行跨越節點邊界時，通訊開銷會使 MFU 從 50%+ 跌落至 30% 甚至更低。因此，在製造成本可接受的前提下，視訊記憶體更大的 GPU 往往能支撐更高效率的大型模型訓練。在推論場景中，大視訊記憶體則允許在單卡或少量卡上部署更大的模型，進而降低部署成本、延遲與系統複雜度。

當前產業界的格局是：資料中心 AI 加速卡普遍採用 HBM（High Bandwidth Memory，高頻寬記憶體）堆疊方案來同時達成高容量與高頻寬；而消費級與工作站級顯示卡仍以 GDDR 為主。HBM 的理論頻寬可達數 TB/s 量級（具體因代際而異），其位寬、堆疊層數、單顆 DRAM die 密度共同決定了單堆疊的容量。每代 HBM 在這三個維度上均有演進，但量產往往面臨良率、封裝翹曲、熱管理等系統級限制。原廠代際規格以 JEDEC 標準文件以及 SK 海力士、三星、美光的官方產品手冊為權威來源。

技術原理

1. AI 加速器儲存層次與基本約束

現代 AI 加速器（GPU/ASIC）的視訊記憶體系統呈現嚴格的層次結構：

┌───────────────────────────────────────────┐
│              SM / Compute Unit 陣列        │
│  ┌──────────┐ 暫存器 (Registers)           │
│  │ 計算單元  │ L1 / 共享記憶體 / 本地暫存器   │
│  └──────────┘                              │
└───────────────────────────────────────────┘
           │ 片上高速 Crossbar/NoC
┌───────────────────────────────────────────┐
│          L2 Cache / 系統級快取              │
└───────────────────────────────────────────┘
           │ 外部記憶體控制器 (Memory Controller)
┌───────────────────────────────────────────┐
│   HBM 堆疊 [DRAM Die × N 層]               │
│   或 GDDR 顆粒 × 多通道                     │
└───────────────────────────────────────────┘
           │ PCIe / NVLink / Infinity Fabric / CXL
┌───────────────────────────────────────────┐
│      其他加速器視訊記憶體 / CPU 主存 / 遠端節點    │
└───────────────────────────────────────────┘

容量最大的物理儲存位於最底層的 HBM/GDDR，但其頻寬相比片上快取通常低 10 倍以上。因此晶片架構設計追求“資料複用最大化”：將矩陣乘法（GEMM）、卷積等能夠高度分塊的計算，對映到暫存器和共享記憶體中完成，力求每次從視訊記憶體讀入的資料能在片上覆用盡可能多次。然而，模型的全量狀態（權重、最佳化器狀態、梯度）必須在視訊記憶體級別駐留，無法繞過容量底線。

2. 典型訓練場景的視訊記憶體佔用分解

以非 MoE 的基礎 Transformer 模型、fp16/bf16 混合精度、Adam 最佳化器為例，每個引數的近似視訊記憶體佔用如下（資料來源自 DeepSpeed ZeRO 論文、Hugging Face 技術文件，並經公開驗證）：

資料類別	精度	單位引數位元組數
模型權重 (Parameters)	fp16/bf16	2 位元組
梯度 (Gradients)	fp16/bf16	2 位元組
最佳化器狀態：一階動量 (m)	fp32	4 位元組
最佳化器狀態：二階方差 (v)	fp32	4 位元組
最佳化器狀態：master weights (可選)	fp32	4 位元組
合計（不含啟用）		16–20 位元組

另需加上啟用值（Activations）。啟用值視訊記憶體佔用與批次大小（Batch Size）、序列長度（Sequence Length）、隱藏維度（Hidden Dimension）、Transformer 層數正相關。對於一個 175B（1750 億）引數的 GPT-3 規模模型，僅引數、梯度與最佳化器狀態就需 175 × 10⁹ × 16 ≈ 2.8 TB 以上的視訊記憶體，遠超當前單卡物理容量極限。這意味著必須通過模型切分等手段，將狀態分散到數十至上百張加速卡上。

3. 視訊記憶體頻寬與容量的耦合：算術強度視角

視訊記憶體的容量和頻寬並非獨立。從 Roofline 模型來看，一個計算任務的 算術強度（Operational Intensity，FLOP/Byte） 決定了它是受限於計算還是受限於頻寬：

• 計算受限（Compute Bound）：算術強度高，如大矩陣乘法，受限於晶片 FLOPS；
• 頻寬受限（Memory Bound）：算術強度低，如逐元素啟用函式、歸一化操作，受限於視訊記憶體頻寬。

大語言模型的自注意力計算、大規模 GEMM 偏向計算受限，而 LayerNorm、Dropout、短序列推論等操作則偏向頻寬受限。因此，若視訊記憶體容量大幅增加但頻寬提升不成比例，部分核心會因“喂不飽”計算單元而成為瓶頸，降低整體吞吐。反之亦然，僅頻寬高而容量小，就會頻繁觸發視訊記憶體溢位，導致分散式切割加劇、通訊開銷攀升。

4. 啟用重計算與 Offload：以時間/傳輸換空間

為在有限視訊記憶體內訓練更大型模型，業界廣泛採用以下技術：

• 啟用重計算（Activation Recomputation / Gradient Checkpointing）：在前向傳播中丟棄部分中間啟用，反向傳播時重新計算。根據 Megatron-LM 論文和公開基準，重計算可減少約 40% 的啟用視訊記憶體佔用，但會增加約 33%–50% 的前向計算開銷。視訊記憶體容量越小，重計算需求越激進，有效吞吐等比例下降。
• 引數/最佳化器 Offload：DeepSpeed ZeRO-Offload 等技術將最佳化器狀態甚至引數解除安裝到 CPU 主存，需要時通過 PCIe 換入換出。此舉大幅降低 GPU 視訊記憶體佔用，但引入 PCIe 頻寬瓶頸——典型 PCIe 5.0 ×16 頻寬約 64 GB/s，不及 HBM 頻寬的十分之一，對訓練速度影響顯著。
• KV Cache Offload：在長上下文推論中，KV 快取可能成為視訊記憶體主要消耗者，將其解除安裝到 CPU 記憶體或 NVMe 有助於支援更長上下文，但同時增加了首次 Token 延遲。

這些技術的本質都是在視訊記憶體容量不足時，用計算或 IO 置換容量，代價是有效吞吐下降或延遲上升，最終影響訓練效率或推論體驗。

關鍵引數

• 總物理容量（GB）：產品規格書標稱值。主流資料中心 GPU 在 2024–2025 年處在 80 GB（HBM2e）、141 GB / 192 GB（HBM3/HBM3e）等級別（具體容量來源於 NVIDIA、AMD 官方資料手冊及行業通報）。
• 有效可用容量（GB）：扣除 ECC 保護預留、幀緩衝區等系統保留區域後的實際使用者可用容量，通常比標稱值低 3%–8%。在大規模長時間分散式訓練中，ECC 保護區域不可挪用，否則靜默資料損壞（Silent Data Corruption）風險急劇上升。
• 視訊記憶體頻寬（GB/s 或 TB/s）：理論峰值頻寬計算方式為：介面位寬 × 資料速率 × 通道數 / 8。例如 6 堆疊 HBM3e，每堆疊 1024-bit，資料速率 8 Gbps/pin 量級，理論峰值頻寬接近 6 TB/s。
• 記憶體匯流排寬度與堆疊/顆粒數量：HBM 單堆疊位寬常為 1024 位，晶片通過中介層整合 4–8 個堆疊；GDDR 則通過 32 位×N 顆粒顆粒擴充套件。匯流排寬度直接決定了容量擴充套件的上限邊界。
• 每瓦特頻寬與容量比：對萬卡級叢集而言，HBM 堆疊的功耗可達加速卡總功耗的 15%–25%（行業經驗值，具體比例常不公開）。高能效視訊記憶體方案可顯著影響資料中心冷卻成本與總擁有成本。
• 卡間互聯聚合視訊記憶體容量：通過 NVLink、NVSwitch、Infinity Fabric 或 Ultra Ethernet 等技術，多卡可在邏輯上建置共享或統一記憶體空間。NVIDIA Grace Hopper 等方案更將 CPU LPDDR5X 記憶體納入統一地址空間，雖頻寬不對稱，但可在特定訪問模式下擴大有效模型容納能力。

技術路線

當前 AI 加速器視訊記憶體方案主要由兩條迥異的技術路線主導。

維度	HBM 系列（HBM2e/HBM3/HBM3e）	GDDR 系列（GDDR6/GDDR6X/GDDR7）
典型頻寬	1.2–6+ TB/s（堆疊數×位寬×速率）	數百 GB/s 至約 1.5 TB/s（顆粒數×32 位×速率）
典型單器件容量	16–36 GB/堆疊（HBM3e 可更高）	1–3 GB/顆粒，通過多顆粒可組合至 24–48 GB 總量
封裝方案	矽中介層 2.5D（CoWoS、EMIB、I-Cube 等），近存計算	傳統 PCB 走線，晶片封裝周圍或兩側放置顆粒
功耗效率（pJ/bit）	通常更優，短物理走線帶來低每位元能耗	相對較高，長 PCB 走線與較高頻率帶來更大功耗
成本	極高，涉及 TSV、中介層、熱壓鍵合等多個高成本工序	相對較低，成熟 CMOS 工藝與 PCB 封裝
容量擴充套件靈活度	受堆疊層數與中介層面積嚴格約束，擴充套件不靈活	可通過增加顆粒數量與通道數靈活擴充套件，上限由電路板空間與散熱約束決定
主要應用場景	資料中心 AI 訓練/推論 GPU、高階 HPC 加速器	消費級/工作站顯示卡、邊緣推論、遊戲、部分車載

注：上表中具體頻寬與容量數值隨產品代際變化，未列精確數字，請以原廠規格為準。

路線分化的深層邏輯：HBM 追求“頻寬 × 容量密度”的極致，為 AI/HPC 而生，但產能受制於 DRAM 堆疊良率與先進封裝產能；GDDR 走向成熟與低成本，滿足成本敏感型市場。近年來的一個趨勢是，推論側開始出現基於 GDDR 的大容量方案（如部分推論專用加速卡），以期在大型模型推論中挑戰 HBM 方案的成本優勢。然而其對頻寬敏感型核心的影響仍需結合具體模型做效能評估，尚未形成統一替代。

上游

視訊記憶體容量產業鏈的上游核心節點包括：

1. DRAM 晶圓與堆疊製造：全球 HBM 所用 DRAM die 的供應商主要集中在 SK 海力士、三星電子、美光科技三家。2023–2024 年，SK 海力士率先量產 HBM3e 12 層堆疊產品，三星與美光加速追趕（各公司財報電話會、新聞稿，2024 年 Q1–Q3）。HBM 用 DRAM 在容量密度、資料速率、功耗控制上與手機/PC 用 DRAM 存在工藝差異，需要特殊的電路設計與散熱考量。

2. 先進封裝與中介層：台積電 CoWoS（Chip-on-Wafer-on-Substrate）是目前產能最大、應用最廣的 HBM 中介層方案，是 NVIDIA H100/H200/B200 等的視訊記憶體封裝基礎。三星推出 I-Cube 與 X-Cube 方案，英特爾則有 EMIB（Embedded Multi-die Interconnect Bridge）。先進封裝的產能，特別是 CoWoS 產能，已成為制約高容量 AI GPU 出貨的核心瓶頸。根據 TrendForce（2024 年 Q3 估算），2024 全年 CoWoS 產能年增率增長超 100%，但供需缺口仍然顯著。

3. 熱介面與基板材料：高密度 HBM 堆疊的散熱與翹曲控制對封裝材料、底部填充膠、熱介面材料提出了極高要求，直接關係到高容量方案的成品良率與可靠性。

4. 測試與鍵合裝置：HBM 堆疊過程中的熱壓鍵合（TCB，Thermal Compression Bonding）及堆疊後測試（如已知良好堆疊測試）裝置由少數廠商提供，產能擴張節奏會間接制約 HBM 總產出。

5. IP 與 EDA 工具：HBM PHY、控制器 IP（如 Synopsys、Cadence、Rambus 提供的設計方案）是晶片整合視訊記憶體的關鍵模組，其物理實現與中介層互聯設計需要深度協同最佳化。

下游

下游需求端對視訊記憶體容量的影響主要體現在採購標準與實際部署方式上：

1. 雲端服務廠商（CSP，Cloud Service Providers）：AWS、Microsoft Azure、Google Cloud、Oracle Cloud 等是 AI 訓練與推論 GPU 的最大采購方。在制定採購規格時，這些廠商將單卡視訊記憶體容量作為核心評估維度之一——足以容納特定規模模型、減少多卡通訊開銷的一方往往優先勝出。CSP 在萬億引數級大型模型的前沿探索中，尤其傾向於採購視訊記憶體容量最大的 GPU SKU。

2. 大型 AI 實驗室與模型開發商：OpenAI、Anthropic、Google DeepMind、Meta AI、xAI 等機構往往是定義 GPU 高容量 SKU 需求的先行者，公開技術報告（如 Llama 3 訓練報告、DeepSeek 技術報告）中不時透露視訊記憶體佔用分析，這些資料加速了行業對大容量視訊記憶體的認知與需求。

3. 推論服務提供商：對於大語言模型推論，KV 快取對視訊記憶體的消耗隨序列長度線性增長，而大視訊記憶體允許在單卡上實現更大的批處理尺寸（Batch Size），從而攤薄每次推論請求的單位算力成本。Groq、Together AI、Fireworks 等推論託管平台，以及企業內部私有化部署的推論叢集，正逐漸將視訊記憶體容量作為硬體選型的重要引數。

4. 伺服器 OEM/ODM：超微、戴爾、惠普企業、聯想、浪潮、新華三等品牌，以及廣達、緯穎、英業達等 ODM，其 AI 伺服器產品線的定義與競爭焦點高度圍繞 GPU 視訊記憶體容量和頻寬配置展開。

5. 受監管與垂直行業使用者：金融、醫療、政務等需要私有化部署大型模型的行業，出於資料合規與延遲考慮，傾向於部署高容量單卡方案以降低系統複雜度與維護成本。

受益公司

以下公司均在視訊記憶體容量結構性緊張的大趨勢下從不同維度直接或間接受益，相關市場地位與最新動態基於公開財報及行業報告：

• NVIDIA（NVDA）：Hopper 架構的 H100（80 GB HBM2e/HBM3）和 H200（141 GB HBM3e）是 2024 年資料中心 GPU 的標杆，即將推出的 Blackwell 平台 B100/B200 預計將配置更高容量的 HBM3e（具體容量以官方釋出為準）。通過壟斷性整合 HBM 供應商與 CoWoS 產能，NVIDIA 目前是最大受益者。

• AMD（AMD）：Instinct MI300X 在 2023 年底亮相，配備 192 GB HBM3，公開資訊中這與 H200 處於相同容量量級。AMD 以大視訊記憶體作為差異化競爭策略，試圖在記憶體容量敏感的推論負載與部分訓練場景中建立優勢。

• 英特爾（INTC）：Gaudi 3 繼承 Gaudi 2 的大視訊記憶體基因，採用 HBM2e 方案，容量在 128–144 GB 量級（具體引數以官方資料手冊為準）。後續 Falcon Shores 路線圖顯示將繼續圍繞 HBM 建置大容量方案。

• SK 海力士（000660.KS）：HBM3/HBM3e 市場領先者，是 NVIDIA H200 及後續 B 系列的主要 HBM 供應商。2024 年 HBM 銷售額佔總 DRAM 營收的比重逐季攀升，2024 Q3 財報顯示 HBM 貢獻已超 30%，且資本支出繼續向 HBM 產線傾斜。

• 三星電子（005930.KS）：在 HBM3 和 HBM3e 階段追趕 SK 海力士，正積極爭取 NVIDIA 等大客戶認證。三星同時具備 DRAM 製造、先進封裝（I-Cube）以及代工能力，組合優勢使其在 HBM 生態中不可忽視。

• 美光科技（MU）：以 HBM3e 切入市場，跳過 HBM3 直接進入高容量代際。2024 年已開始向部分客戶送樣，量產節奏晚於 SK 海力士，但市場共享高增長紅利。

• 台積電（TSM / 2330.TW）：CoWoS 先進封裝產能是目前視訊記憶體容量釋放的最主要物理瓶頸。台積電持續擴張 CoWoS 產能，2024 年月產能已超過 3.5 萬片，並規劃 2025 年繼續大幅擴張（公司財報電話會口徑）。

市場規模與產能趨勢

（本節所引資料基於公開第三方報告與廠商官方公告，未做二次處理，具體數字因多次修訂可能存在差異，以各原始來源最新更新為準。）

HBM 市場規模：根據 TrendForce（2024 年 Q3 報告），2024 年全球 HBM 市場規模預計約為 150–180 億美元，較 2023 年的約 43 億美元增長近 250% 以上。以位元（bit）出貨量計算，2024 年 HBM 佔 DRAM 整體比特出貨的比例約為 4%–5%，但因單價極高，HBM 佔 DRAM 總產值比例已超過 20%。展望 2025 年，UBS、Morgan Stanley 等賣方研究（2024 下半年報告）預估 HBM 市場將超過 250 億美元，且可能因為容量與層數持續升級而上調。

產能約束：HBM 的核心產能限制環節在堆疊工序（SK 海力士、三星、美光自有）與先進封裝（台積電 CoWoS 為最大瓶頸），兩者均缺乏短期大幅擴產彈性。TrendForce 預計 2024–2025 年 HBM 供需仍維持偏緊，大容量 HBM3e 尤甚。

容量需求驅動因素：

• 模型規模增長：從 GPT-3 的 175B 到傳聞中 GPT-4 的 1.8T（MoE）、Llama 3 的 405B 稠密引數，單次訓練所需的總視訊記憶體量從數百 GB 推升至數十 TB 級別。
• 上下文長度擴張：推論側 KV 快取隨上下文長度線性增長。100 萬 Token 級別的長上下文模型（如 Gemini 1.5 Pro）在單卡部署時對視訊記憶體容量提出極高要求。
• 批次大小與推論延遲：大批次推論能顯著降低單 Token 成本，但需要更大容量的視訊記憶體支撐。
• 分散式效率權衡：以容量更高的單卡替代多卡完成同樣任務，能降低通訊開銷、提高 MFU 並降低總體成本，直接驅動市場為高容量 GPU SKU 支付溢價。

價格趨勢：高容量 GPU SKU 溢價歷來顯著。以 NVIDIA 公開價格區間觀察，H100 80 GB SXM 版本與 PCIe 版本價差多在一兩千美元量級，而 H200 141 GB 價格較 H100 顯著抬高（來源：公開渠道的雲端例項按需價格、OEM 目錄價區間，具體成交價因批次採購協議而異）。該溢價並非純物料成本差異所致，更多反映了賣方市場下的大容量稀缺溢價。

玩家對比

以下從視訊記憶體容量、頻寬、技術路線及市場生態維度，對當前主要 AI 加速器提供商做結構性對比（資料均來源於各廠商公開發布的產品規格與官方技術文件，截止 2025 年初）：

廠商/產品系列	視訊記憶體型別及容量	視訊記憶體頻寬（標稱）	容量策略特點
NVIDIA H100 SXM	80 GB HBM2e/HBM3	約 3.35 TB/s	主流採用，通過 NVLink/NVSwitch 聚合多卡視訊記憶體
NVIDIA H200 SXM	141 GB HBM3e	約 4.8 TB/s	容量與頻寬雙升級，專攻大型模型推論與長上下文
NVIDIA B100/B200（預告）	預計更高容量 HBM3e（未公佈確切值）	未公佈	下一代架構，預期容量進一步提升
AMD Instinct MI300X	192 GB HBM3	約 5.3 TB/s	當前單卡容量最大之一，以視訊記憶體容量作為差異化競爭維度
Intel Gaudi 3	128–144 GB HBM2e 量級（官方資料手冊）	未公佈	容量在主流區間，側重價效比與軟體生態
Google TPU v5p（公開資訊）	未公佈具體容量與型別（公開資料未見詳細規格）	未公佈	閉源方案，Google Cloud 自用，無法直接對比容量引數

注：上表未列入已退役或僅限消費級的 GPU 型號。關於未來產品的容量資料均以官方正式釋出為準，此處表格不構成對預期規格的承諾性描述。

從上述對比可見，視訊記憶體容量已從單純的技術引數，演進為產品線區隔、細分場景適配乃至商業競爭的戰略武器。AMD 以大容量試圖削弱 NVIDIA 的軟體生態優勢；NVIDIA 則以頻寬與生態黏性對抗容量競爭。

風險

1. 先進封裝產能超預期擴張風險：若台積電 CoWoS 及相關替代封裝方案（如三星 I-Cube、英特爾 EMIB）產能擴張遠超預期，HBM 供需出現階段性寬鬆，高容量 GPU 的稀缺溢價可能收窄。

2. 演算法顛覆性減容風險：若出現新的訓練範式（如極端量化至 1 位元或更低的有效精度、全新的引數複用方案、存內計算/近存計算商業化量產），可能降低對物理視訊記憶體容量的絕對依賴。目前此類技術多處於實驗室或小規模驗證階段，尚未有大規模商業化落地證據。

3. MoE 與異構計算降容需求：MoE 架構將總引數分散到多個專家，儘管訓練仍需全部駐留，但推論階段可每次只加載少數專家引數。若 MoE 成為絕對主導架構，且推論最佳化成熟到可高效快取/換入換出專家引數，推論環節對單卡絕對容量的需求可能出現結構性下降。

4. DRAM 工藝與良率風險：HBM3e 12 層乃至 16 層堆疊的良率與熱穩定性仍面臨工程挑戰，一旦出現重大批次良率問題，特定 SKU 的出貨量將遠遠落後於預期，導致供給進一步緊縮，但同時也可能延長上一代產品生命週期，扭曲市場預期。

5. 需求端週期性波動：若 AI 模型訓練投資增速放緩，或模型技術路線出現階段性瓶頸，大型 GPU 採購可能經歷去庫存週期，視訊記憶體容量的注意力可能從“容量絕對數字”轉向“容量-成本效率”。

誤讀糾偏

誤讀 1：MoE 模型的啟用引數少，所以對視訊記憶體容量的需求大幅降低

正確理解：MoE 模型在推論時只啟用部分專家，但訓練階段，所有專家的權重引數及其對應的最佳化器狀態（Adam m/v 等）都必須完整駐留在視訊記憶體中。因此，即便啟用引數比率僅為 1/N，MoE 對視訊記憶體總容量的需求並未下降，反而因總引數量一般是同水平稠密模型的數倍到十餘倍，所需的總視訊記憶體更高。推論階段如果要求低延遲，全部專家也須同時駐留，容量需求同樣不容低估。

誤讀 2：視訊記憶體頻寬只要夠高，容量小一些也可以

正確理解：容量與頻寬互為必要。對於計算密集型 GEMM 而言，高頻寬能確保資料供給充分；但只要某時刻所需的工作集超出物理容量，就會觸發視訊記憶體溢位（Out-of-Memory，OOM）或頻繁的資料換入換出，此時頻寬再高也無濟於事。反之，容量雖大但頻寬不足，資料處理速率跟不上計算單元，導致 GPU 核心利用不足。二者存在最佳匹配區間，容量與頻寬不可偏廢。

誤讀 3：ECC 只是錦上添花，可以關閉以釋放容量

正確理解：在消費級場景，關閉 ECC 以釋放約 6%–8% 的容量確實常見，但對於 AI 大規模訓練而言，靜默資料損壞可能造成引數靜默偏差甚至訓練崩潰，尤其是跨數百卡、持續數週的訓練作業。大型 AI 實驗室普遍不採納關閉 ECC 獲取額外容量的做法，可靠性優先於絕對容量。

誤讀 4：只要多卡互聯可以“拼”出足夠視訊記憶體，單卡容量無所謂

正確理解：多卡互聯（如 NVLink、Infinity Fabric）能建置邏輯上的大容量空間，但跨卡訪問的延遲和頻寬遠遜於單卡內部訪問。訓練時的張量並行和流水線並行對跨卡通訊極度敏感，通訊邊界帶來的效率損失往往導致叢集的實際有效 FLOPS 遠低於標稱值。因此，單卡容量越大，切分粒度越粗，通訊開銷越小，總體效率越高。

最新事件

（以下事件基於 2024 年 Q3–2025 年 Q1 的公開揭露和行業報道。）

• 2024 年 8 月：SK 海力士宣佈其 12 層 HBM3e 已通過客戶認證，計劃在 2024 年下半年正式出貨，成為首家量產 12 層 HBM3e 的供應商，預計單堆疊容量達到 36 GB。
• 2024 年 10 月：台積電在 2024 Q3 法說會上表示，CoWoS 產能 2024 全年較 2023 年提升超過 100%，並計劃 2025 年再翻倍。但同時也表示，客戶需求增速仍超出產能擴張速度，HBM 封裝產能緊張局面還將延續至 2025 年甚至更久。
• 2024 年 11 月：AMD 在 Advancing AI 活動中透露 MI300X 已開始量產出貨給多家主要雲端客戶，其 192 GB HBM3 成為市場公開可得的單卡最大視訊記憶體容量。
• 2024 年 12 月：輝達在 GTC 後續釋出中進一步透露 B200 將搭載更高容量 HBM3e，分析師普遍預期在 192 GB 至 288 GB 區間（非官方確數），但尚未獲公司證實。
• 2025 年 1 月：三星電子在 2024 Q4 財報電話會中表示其 HBM3e 改進版已開始量產，12 層產品將在 2025 年上半年出貨，正在爭取主要 AI 加速器客戶的認證。
• 2025 年 2 月：美光在投資者會議上更新 HBM 路線圖，確認 HBM3e 已批量出貨，並計劃在 2025 年下半年推進下一代的開發。

追蹤指標

為持續評估視訊記憶體容量對 AI 產業的影響及供需動態，建議關注以下可觀測指標：

• HBM 季度產值與出貨位元數：來源為 TrendForce、Omdia 的行業追蹤報告，以及 SK 海力士、三星、美光三家原廠的財報揭露。對比 HBM 產值增速與 AI 晶片市場規模增速的剪刀差，可判斷容量瓶頸的相對強度。
• CoWoS 及先進封裝月度/季度產能與利用率：台積電季度法說會的產能擴張展望，與封測環節相關裝置供應商的營收趨勢可作為代理變數。
• 主流 GPU SKU 雲端例項按需定價與可用區覆蓋：AWS P5、Azure ND H100 v5、Google Cloud A3 等例項的每小時價格變化，以及新區域/新 SKU 的投放節奏，可反映供需鬆緊。
• 大型 AI 實驗室的訓練硬體配置公開資訊：Meta、Google、DeepSeek 等機構有時會發布訓練叢集配置，單次訓練使用的 GPU 數量與容量配置均是判斷行業視訊記憶體需求趨勢的重要參照。
• HBM 與 GDDR 在推論加速卡中的份額變化：關注新發布的推論加速卡是否從 HBM 轉向 GDDR，或以混合記憶體方案出現，其滲透率可衡量市場對容量的價效比權衡。
• 開源大型模型的視訊記憶體分析報告：Hugging Face、EleutherAI 及各模型釋出方常附帶視訊記憶體佔用分析，從中可提取典型模型規模的視訊記憶體需求趨勢。
• 行業會議與標準動態：Hot Chips、ISSCC、JEDEC 的標準更新（如 HBM4 標準定稿）與關鍵演講，是判斷下一代視訊記憶體容量與頻寬的關鍵訊號。

信源

• NVIDIA H100/H200 白皮書與資料中心 GPU 產品規格頁（NVIDIA 官網）
• AMD Instinct MI300X 資料手冊與 CDNA 架構參考指南（AMD 官網）
• SK 海力士、三星電子、美光科技季度財報與投資者演示材料（2023–2025）
• TrendForce 儲存器產業季度追蹤報告（HBM 專項，2024 Q1–Q4）
• Omdia、Yole Intelligence 相關先進封裝與 HBM 市場研究報告
• DeepSpeed ZeRO 論文（Rajbhandari et al., “ZeRO: Memory Optimizations Toward Training Trillion Parameter Models”）
• Megatron-LM 技術報告與 NVIDIA 相關部落格文章
• Meta AI 公開 Llama 系列論文與 Llama 3 訓練報告
• Hot Chips、ISSCC 歷年關於 HBM/DRAM 的論文與演講
• JEDEC 高頻寬記憶體標準（HBM2e/HBM3/HBM3e）文件
• 公開資料庫與賣方研究（Morgan Stanley、UBS 等 2024–2025 年半導體/AI 產業鏈報告）