視訊記憶體
1 3 秒看懂
視訊記憶體（VRAM，Video/Graphics Memory）是專門為圖形處理器及 AI 加速器服務的近端高速暫存區。如果把 GPU 比作一個擁有數千名工人的巨型工廠，那視訊記憶體就是工位旁邊唯一能跟上他們手速的貨架——CPU 那邊的系統記憶體（DDR）好比廠區後方的總倉庫，距離遠、搬運慢，遠水救不了近火。
一句話定性：視訊記憶體容量決定能”裝”多大的模型，視訊記憶體頻寬決定多快能”餵飽”算力核心。
在生成式 AI 時代，大語言模型動輒數千億甚至萬億引數，單次訓練需要儲存的不僅是權重，還有啟用值和最佳化器狀態，三者疊加遠超晶片裸容量。由此演化出的模型切分（Tensor Parallelism）、流水線並行（Pipeline Parallelism）、啟用檢查點（Activation Checkpointing）和視訊記憶體解除安裝（Offloading）等手段，本質上都是在用通訊開銷或計算開銷換取視訊記憶體空間。視訊記憶體，已經成為算力之外最硬性的資源約束，也是 AI 基礎設施總擁有成本（TCO）的關鍵變數。
2 3 分鐘產業解釋
視訊記憶體與系統記憶體（CPU 側的 DDR/LPDDR）並非同一類物種。二者核心分野在於頻寬量級與封裝架構：
- 系統記憶體：獨立 DIMM 插槽，PCB 走線連線，典型頻寬約 50–100 GB/s（DDR5 雙通道），延遲最佳化優先。
- 視訊記憶體：通過矽中介層（Interposer）或晶圓級封裝與 GPU 計算 Die 緊耦合，物理距離壓縮至亞毫米級，頻寬可達每秒數百 GB 乃至 TB 級，吞吐優先。代價是成本急劇攀升——一片先進封裝基板的價格可能抵得上一顆主流 CPU。
當前 AI 視訊記憶體的主流技術路線已清晰分為兩大陣營：
| 路線 | 核心代表 | 應用場景 | 產業特徵 |
|---|---|---|---|
| HBM（高頻寬記憶體） | HBM2E / HBM3 / HBM3E | 資料中心訓練、大型模型推論 | 3D 堆疊 + 矽中介層，容量和頻寬雙高，成本高昂，產能緊張 |
| GDDR（圖形雙倍資料率記憶體） | GDDR6 / GDDR6X / GDDR7 | 消費級 GPU、邊緣推論、部分專業卡 | 傳統 2D 封裝，焊球連線 PCB，成本較低，受引腳和功耗限制 |
生成式 AI 爆發以來，HBM 已成為資料中心 GPU 的預設選項。輝達 A100 配備 80GB HBM2E，H100 配備 80GB HBM3，B200（2024 年 3 月釋出）據公開資料配備 192GB HBM3E，呈現每代 1.5–2 倍容量躍升（來源：輝達官方產品規格頁面及 GTC 2024 主題演講，具體引數以正式技術白皮書為準）。SK 海力士、三星電子、美光科技三家儲存巨頭幾乎壟斷 HBM 供給，而台積電 CoWoS 先進封裝則構成產能瓶頸的第二層約束。
從產業邏輯看，視訊記憶體已從”GPU 的配角”升格為”AI 產業鏈的戰略節點”。一家儲存廠的 HBM 良率波動，可直接動搖萬卡叢集的交付節奏；一種新封裝工藝的匯入，可以決定下一代 AI 晶片能否問世。
3 技術原理
3.1 儲存器層次：從暫存器到 HBM 的六層金字塔
GPU/加速器的儲存子系統是一個嚴格的金字塔，越靠近計算單元，速度越快、容量越小：
層級 技術實現 典型頻寬（聚合） 粒度 訪問延遲
─────────────── ──────────────── ────────────────── ────────────── ────────────
L0：暫存器檔案 每 SM/CU 私有 ~TB/s（片上聚合） 執行緒級 1 週期
L1：共享記憶體/SRAM 片上 數十 TB/s 執行緒塊級 約 20–30 週期
L2：Cache 片上 數 TB/s 全域性 約 200–300 週期
L3：HBM/GDDR 視訊記憶體 片外緊耦合 數百 GB/s–TB/s 全域性 數百 ns
L4：系統記憶體 (DDR) PCIe/NVLink 連線 50–100 GB/s 頁 微秒級
L5：本地儲存 (SSD) NVMe/網路 數 GB/s 檔案 毫秒級說明：上表中頻寬和延遲為定性範圍和數量級，具體數值因代際、廠商和配置而異（如 H100 的 HBM3 峰值頻寬約 3.35 TB/s，引用來源：輝達 H100 資料表，2023 年）。
3.2 HBM 的工作機制：3D 堆疊為何能突破頻寬瓶頸
傳統視訊記憶體（GDDR）沿 PCB 走線，以獨立封裝焊球連線，資料路徑要穿越晶片→封裝→PCB→封裝→晶片四段，物理距離長、訊號損耗大，匯流排位寬只能做 256–384 位，再往上開成本陡增。
HBM 做了三件事徹底改變了格局（技術解析，來源綜合 JEDEC HBM 標準及廠商公開資料）：
- TSV 垂直互聯：將 4–12 層 DRAM Die 通過矽通孔（Through-Silicon Via）垂直穿接，資料從底層到頂層沿 TSV 短路徑傳輸，層間距離僅數十微米。
- 矽中介層橋接：所有 DRAM Die 堆疊後，底部連線一個有源或無源邏輯 Die（Base Die），再通過矽中介層的微凸塊（μBump）連線到 GPU 計算 Die，物理距離壓縮至毫米以下。
- 超寬介面：每 Stack 位寬可達 1024 位（HBM3），分為 8 或 16 個獨立通道（Pseudo Channel），每個通道又有多個 Bank Group 並行操作，實現每秒數 TB 聚合頻寬。
類比理解：GDDR 好比在相鄰寫字樓之間用卡車拉貨——路遠、車道有限。HBM 則是在同一棟樓的各層之間裝了專用貨梯，每層多個出入口，垂直運輸速度極快。把樓蓋得更高（增層）、貨梯更快（升代），就能同時滿足容量和頻寬的雙重追求。
3.3 視訊記憶體佔用的三筆賬：為什麼大型模型總是”視訊記憶體飢渴”
訓練一個千億引數大型模型，視訊記憶體佔用由三部分疊加（定性公式）：
| 構成 | 估算邏輯 | 以 100B 引數、FP16 精度為例 | 說明 |
|---|---|---|---|
| 模型權重 | 引數量 × 每引數位元組數 | 100B × 2B = 200GB | 推論僅需這筆 |
| 最佳化器狀態 | 權重量的 3–4 倍（如 Adam 需儲存一階動量 m、二階動量 v，每條 FP32） | 200GB × 4 = 約 800GB | 訓練獨有，佔”大頭” |
| 啟用/臨時張量 | 與 batch size、序列長度、層數正相關 | 數百 GB 級，因配置而異 | 可通過檢查點策略回收 |
三項累加輕鬆突破 1TB，而當前最先進的單顆 GPU 視訊記憶體約 192GB（B200 HBM3E 配置）。因此，萬億引數模型不可能放入單卡，必須”拆”開——分割後的碎片由多卡協同承擔，額外引入通訊開銷。這就是為什麼模型越大，對視訊記憶體容量和視訊記憶體間互聯頻寬的雙重需求越強烈。
4 關鍵引數
行業評估視訊記憶體效能的核心指標有如下六個維度，各自與 AI 負載的關係如下：
① 容量（GB）
- 定義：單顆加速器上可用的視訊記憶體總量
- 影響：決定模型的”最大可訓尺寸”和單卡可支撐的 batch size
- 趨勢（來源：輝達/SK 海力士/三星 2023–2024 年產品釋出資訊）：A100（80GB）→ H100（80GB/94GB）→ B200（192GB），約兩年翻一倍；HBM4 目標單 Stack 容量進一步提升，公開資料中有提及 36GB/Stack 以上探索方向，具體數值待 JEDEC 標準定稿
② 頻寬（GB/s 或 TB/s）
- 定義：峰值資料吞吐速率 = 資料速率 × IO 位寬
- 影響：決定計算核心的”吃飽程度”。大型模型推論的自迴歸 token 生成階段極度頻寬敏感，計算密度低、資料搬運多，實際算力利用率（MFU）常遠低於峰值
- 趨勢：HBM3 提供約 3.35 TB/s（H100），HBM3E 進一步推高，具體速率由廠商公開資料確認
③ 功耗（W 或 pJ/bit）
- 定義：視訊記憶體子系統（含 IO 介面、重新整理、控制器）的耗電
- 影響：HBM 佔整卡功耗的比例逐漸上升，直接影響資料中心 PUE 和散熱設計。據廠商公開熱設計展望，高階 GPU 的視訊記憶體子系統可佔總功耗的 10%–20%，精確數值因型號而異
④ 延遲（ns）
- 定義：從發起讀請求到資料返回的耗時
- 影響：影響隨機訪問模式（如雜湊表查詢、稀疏運算元）的效率。HBM 對 GDDR 略優（封裝路徑短），但遠不及片上 SRAM。大型模型多數運算元是規則的矩陣運算，對延遲的敏感度低於頻寬
⑤ ECC 與可靠性
- 定義：錯誤校驗碼（Error Correction Code），可實現單位元糾錯、多位元檢錯
- 影響：大規模訓練持續數週至數月，原始誤位元速率疊加使 ECC 成為必需。HBM2 及以上普遍支援片上 ECC
⑥ 有效頻寬利用率
- 定義：實際傳輸效率 = 實際資料量 / （理論頻寬 × 時間）
- 影響：受訪問模式（合併訪問 vs 隨機訪問）、Bank 衝突、重新整理策略影響。合理訪問模式下可達 70–90%，設計不合理的運算元可能驟降至 30% 以下
5 技術路線
5.1 主流路線對比（定性，基於公開產業認知，2023–2024 年）
| 維度 | HBM3/E | GDDR6/X/7 | 未來方向：3D 直接堆疊 / HBM4 |
|---|---|---|---|
| 頻寬 | 極高（單 Stack 數百 GB/s 至 >1TB/s） | 較高（總頻寬數百 GB/s，受引腳數限定） | 潛在極高，去除中介層損耗 |
| 容量 | 大（單 GPU 80–192GB 常見） | 中等（24–48GB 常見） | 更大，邏輯 Die 上方或周邊堆疊多層 |
| 功耗效率 | 優（短距離低擺幅 IO） | 中（長走線功耗高） | 預期更優 |
| 成本 | 高（TSV + 中介層 + 多層堆疊良率損失） | 低（成熟傳統封裝） | 初期極高 |
| 量產狀況 | SK 海力士 / 三星 / 美光，2024 年產能持續擴張 | 大規模量產 | 2025–2028 年陸續試產/匯入 |
| 適用場景 | 資料中心訓練 / 大型模型推論 | 消費遊戲 / 邊緣推論 / 小模型微調 | 下一代超大規模訓練 |
來源：上述對比基於輝達、AMD、SK 海力士、三星、美光、JEDEC 等公開技術路線圖與產品釋出資訊，不含具體未公開引數。
5.2 路線之爭的關鍵變數
當前視訊記憶體技術路線並非”誰淘汰誰”，而是按場景分化。擾動格局的變數包括：
- 推論市場的結構性轉變：傳統認知中推論對視訊記憶體要求低於訓練，但 CoT（思維鏈）、長上下文推論等範式興起後，推論的 KV 快取（Key-Value Cache）對視訊記憶體容量和頻寬的需求急劇上升。如 128K token 上下文、batch=8 的推論單卡 KV 快取可能佔用數十 GB，部分場景開始逼近訓練級需求。
- 成本曲線的交叉點：HBM 成本若因產能擴張大幅下降，可能侵蝕部分 GDDR 推論市場。公開資料未見準確成本交叉預測，僅作邏輯推演。
- PIM（存內計算）的試探：三星 2021 年推出的 HBM-PIM 在儲存層嵌入計算單元，SK 海力士也在 ISSCC 2024 發表類似方向論文（來源：ISSCC 2024 會議日程及廠商摘要）。若 PIM 能在特定運算元上實現顯著加速和功耗節約，視訊記憶體與計算的關係將從”被動被讀”轉為”主動運算”，但量產和大規模生態適配時間線未定。
6 上游
視訊記憶體產業鏈的上游環節涉及材料、裝置、工具三大板塊，技術壁壘和資本密度極高：
6.1 核心材料
| 材料 | 用途 | 供應特徵 |
|---|---|---|
| 高純度單晶矽片 | DRAM Die 襯底 | 日本信越化學、SUMCO 主導，高平整度與低缺陷密度要求 |
| TSV 填充金屬 | 矽通孔填充（銅/鎢為主） | 電鍍液和 PVD 靶材，高純度和均勻性 |
| 矽中介層基板 | 連線 DRAM Stack 和 GPU Die | ABF 載板 / 矽基中介層，臺日韓供應商，產能擴張緩慢 |
| 微凸塊（μBump）材料 | 連線各層 Die | 錫銀銅合金等，間距持續微縮 |
6.2 關鍵裝置
- TSV 刻蝕與填充：深矽刻蝕（BOSCH 工藝），深寬比達 10:1 以上；電化學沉積（ECD）裝置
- 晶圓減薄與鍵合：多層堆疊中每層 DRAM Die 厚度僅數十微米，需高精度研磨和臨時鍵合/解鍵合裝置
- 先進封裝線：台積電 CoWoS、三星 I-Cube、英特爾 EMIB 等均需專用封裝裝置（貼片機、迴流焊、底填膠等）。2023–2024 年 CoWoS 裝置交期一度拉長至 12 個月以上（來源：台積電投資者會議及供應鏈媒體報道，具體數字由廠商確認）
6.3 EDA 與 IP
HBM 的 3D 堆疊設計需專用 EDA 工具鏈支援熱-電-應力多物理場模擬。Synopsys 和 Cadence 等廠商提供 3D IC 設計平台和 HBM PHY IP，供計算晶片整合。
7 下游
HBM 下游需求的增長由 AI 大型模型驅動，但實際消費結構可細分如下：
7.1 需求結構分層（2023–2024 年定性觀察）
| 層級 | 角色 | 典型行為 |
|---|---|---|
| 超大規模雲端廠商（Hyperscalers） | 終端採購方 | 微軟/Azure、亞馬遜/AWS、Google/GCP、Meta 等，直接向 OEM 或輝達採購整機/整櫃，用於內部模型訓練或對外提供算力租賃 |
| AI 模型開發商 | 算力租賃或自建 | OpenAI、Anthropic、國內大型模型初創等，部分租用雲端服務，部分自建叢集 |
| 伺服器 OEM/ODM | 整合交付 | 超微、廣達、緯穎、浪潮（注：浪潮已被列入美國實體清單，其 HBM 相關產品供應受出口管制影響）等，承接 GPU 伺服器整機生產 |
| 企業級私有化部署 | 中小規模採購 | 金融、電信、車企等，部署行業大型模型，單叢集規模多在 4–64 卡 |
7.2 下游需求的視訊記憶體彈性
下游場景對視訊記憶體規格的需求差異明顯：
- 千億引數級預訓練（如 GPT-4 量級）：需求 HBM3E 最大容量版本 + 高速互聯，單叢集萬卡以上，是最”吞”視訊記憶體的場景
- 指令微調（SFT/RLHF）：百億到千億引數，需數十至數百 GB 視訊記憶體，對容量要求稍低於預訓練但頻寬仍敏感
- 大型模型推論：長上下文場景（如 128K token 視窗）KV 快取佔大量視訊記憶體，正推動推論專用 GPU 向更大 HBM 容量迭代
- 推薦系統訓練：傳統表格特徵模型轉 Embedding 密集型，對 HBM 容量要求可達數百 GB 級別，頻寬要求持續攀升
8 受益公司
本節僅客觀梳理產業鏈關鍵環節代表企業及其業務關聯，不構成任何投資建議，不預測股價走向。
8.1 儲存晶粒供應商（DRAM 原廠）
- SK 海力士（KRX: 000660）：HBM 市場先行者，HBM3 量產最早，與輝達深度繫結。據 TrendForce 及多方媒體報道，SK 海力士 2023 年在 HBM 市場份額超 50%（來源：TrendForce 2024 年 3 月 HBM 市場報告，具體份額以最新發布資料為準）。2024 年 3 月開始量產 HBM3E 12 層產品，供應輝達 B200
- 三星電子（KRX: 005930）：以製程和封裝技術追趕，開發熱管理強化方案（冰晶/Icebolt），2024 年通過輝達 HBM3E 質量驗證並簽署供貨協議（來源：三星半導體 2024 年 7 月新聞釋出及輝達 CEO 公開宣告）
- 美光科技（NASDAQ: MU）：跳過 HBM3 直接匯入 HBM3E，2024 年初公告已通過輝達認證並量產供貨。據美光 2024 財年 Q2 財報電話會，管理層表示 HBM 產品線 2024 年全年產能已售罄
8.2 先進封裝服務商與裝置/材料
- 台積電（TSMC, NYSE: TSM；TWSE: 2330）：CoWoS 封裝是 HBM 整合 GPU 的關鍵技術，產能多年供不應求。台積電在 2023 年 Q4 法說會表示 CoWoS 產能 2024 年將翻倍，2025 年繼續擴張。具體產能數字由公司後續揭露
- 日月光、Amkor 等 OSAT 廠商在 CoWoS 環節後段封裝中參與
- 先進封裝裝置和基板（載板）供應鏈：如 DISCO（晶圓切割）、東京電子、應用材料、景碩科技（TWSE: 3189）、欣興電子（TWSE: 3037）等，受 CoWoS 擴產帶動
8.3 計算晶片整合商
- 輝達（NASDAQ: NVDA）：當前 AI GPU 和 HBM 需求的最直接受益者，產品線（H100/B200）定義了 HBM 規格的方向。輝達 2025 財年 Q1 資料中心業務營收創新高（來源：輝達 FY2025 Q1 財報，2024 年 5 月），其中 HBM 採購是核心成本項
- AMD（NASDAQ: AMD）：Instinct MI300X（2023 年 12 月釋出）配備 192GB HBM3，視訊記憶體配置為同時期競品中較高水平，2024 年正在推進雲端廠商驗證和部署
8.4 雲端服務與算力運營
- 微軟 Azure、Amazon AWS、Google Cloud、Oracle Cloud Infrastructure 等大規模採購 HBM 伺服器，向上遊傳導需求，同時通過算力租賃業務將視訊記憶體成本向下遊攤銷
9 市場規模
本節資料引用第三方機構公開報告，所有數字標註年份、口徑和來源。未找到更新資料則明示。
9.1 HBM 市場規模與增長
- TrendForce（2024 年 3 月）：2023 年全球 HBM 市場約 43.5 億美元，預計 2024 年增長至約 169 億美元，年增率增速約 289%。HBM 在整體 DRAM 市場中的營收佔比從 2023 年的約 8% 躍升至 2024 年約 20%
- Yole Intelligence（2023 年 11 月報告）：2023 年先進封裝市場約 440 億美元，其中 2.5D/3D 封裝（含 CoWoS 等）增速最快，與 HBM 產業鏈高度相關。具體 CAGR 以報告原文為準
- 公開資料未見 HBM 2025 年及之後年份的精確市場預測數字出處清晰者，暫不採用。請讀者以 TrendForce、Counterpoint、Gartner 等機構最新發布的年度儲存器市場報告為參考
9.2 規模的結構性特徵
- 量的約束：HBM 產能不只看 DRAM 晶粒產出，還受限於先進封裝線。即便 DRAM 原廠擴產晶圓，CoWoS 等封裝線跟不上也無法交付完整 HBM Stacks
- 價的剛性：供需緊張下，HBM 單 GB 價格遠高於 DDR5（約為後者的 5–10 倍，來源：Digitimes 2023 年估算，精確價差因合約談判而異），且價格下行週期因供不應求而持續推遲
- 結構升級推高 ASP：HBM 代際從 HBM2E 到 HBM3E，同一 Stack 的 GB 數增加、單價上升，即使出貨量增速溫和，營收也會因產品升級而顯著增長
10 玩家對比
10.1 三大 HBM 原廠競爭力對比（截至 2024 年公開資訊）
| 維度 | SK 海力士 | 三星電子 | 美光科技 |
|---|---|---|---|
| HBM 代際進展 | HBM3 先發量產，HBM3E 12 層為輝達 B200 首批供應商 | HBM3E 8/12 層 2024 年通過驗證供貨 | 跳過 HBM3，HBM3E 8 層 2024 年初量產 |
| 主要客戶繫結 | 輝達深度繫結，AMD 部分供應 | 輝達外，多家雲端廠商自研晶片 | 輝達，2024 年簽約 |
| 產能規模 | 2023 年 HBM 份額約 53%（TrendForce） | 2023 年份額約 38%（TrendForce） | 2023 年份額約 9%（TrendForce），2024 年目標提升 |
| 技術路線特色 | MR-MUF（批量回流焊底部填充）封裝 | TC-NCF（熱壓非導電膜）封裝，“冰晶”散熱 | 較成熟製程切入，強調良率和規模 |
| 產能擴張計劃 | 2024 年資本支出大幅增加，新建 HBM 專用線 | 2024 年 HBM 產能年增率擴張 2.5× 以上（來源：三星 2024 年 Q1 財報電話會） | 擴建臺灣、日本產線 |
注：上述市場份額資料引用自 TrendForce 2024 年 3 月報告，具體百分比以報告原文為準。各廠動態來自公司官方財報電話會和新聞釋出。
10.2 計算晶片商的視訊記憶體策略對比
- 輝達：以視訊記憶體定義產品代際，每代新 GPU 幾乎必配最新 HBM 代次，通過高視訊記憶體容量/頻寬區隔訓練和推論產品線。軟體棧（如 FlashAttention 系列運算元）深度針對 HBM 特性最佳化，最大化有效頻寬利用率
- AMD：MI300X 戰略選擇更大的視訊記憶體（192GB）與 H100 的 80GB 形成差異化競爭，意圖在容量敏感場景（大型模型推論長上下文、小批次高吞吐推論）開啟空間
- 自研晶片雲端廠商（如亞馬遜 Trainium/Inferentia、Google TPU）：定製 HBM 規格，按自身模型特徵裁量容量和頻寬配比，減少通用冗餘，降低 TCO；出貨量規模暫難與輝達匹敵
11 風險
以下風險因素基於產業邏輯推演和公開報道，不構成操作建議，不做風險等級排序。
11.1 技術風險
- 3D 堆疊良率瓶頸：HBM 層數從 8 層向 12 層、16 層擴張時，單 Stack 良率面臨非線性的挑戰。一旦批次良率不及預期，產能爬坡將大幅延後。SK 海力士 CEO 在 2024 年 CES 期間公開表示 12 層 HBM3E 良率在持續改善中，未揭露具體數字
- 熱密度危機：更多層數堆疊導致單位面積功耗密度上升，區域性熱點可能觸發降頻，影響有效頻寬。三星”冰晶”、SK 海力士 MR-MUF 等熱方案的實際效果有待大規模部署驗證
- PIM/替代架構的潛在顛覆：存內計算、近存計算若在特定模型（如 MoE 稀疏專家）上實現規模優勢，可能改變視訊記憶體的傳統”被動儲存”定位，重新定義視訊記憶體和計算的邊界
11.2 供應鏈風險
- 先進封裝產能集中：台積電 CoWoS 幾乎壟斷高階 HBM 整合封裝，三星 I-Cube 和英特爾 EMIB 尚未形成等量替代。若 CoWoS 產能擴張不及預期，則全行業 HBM 出貨受限
- 地緣政治與出口管制：2023 年 10 月美國更新對華出口管制規則後，HBM 等高效能儲存器對特定實體的出口受到限制（來源：BIS 公開檔案）。這可能改變 HBM 需求的地理分佈和市場格局。浪潮、中芯國際等中國實體因被列入實體清單，相關供應受限
- 裝置交付週期長：TSV 刻蝕、晶圓減薄、先進封裝貼片等核心裝置交期長達 12–18 個月，擴張決策與投產之間的時滯帶來供需錯配風險
11.3 需求風險
- AI 資本支出拐點：若大型模型應用變現速度不及基礎設施投入增速，雲端廠商可能階段性放緩 AI 伺服器採購，HBM 需求可能出現階段性降溫。2024 年下半年已有分析師討論相關可能性（來源：多家券商研究報告，具體觀點以報告原文為準）
- 應用繁榮度錯配：若 AI 訓練需求增速放緩而推論需求接棒不力，高配置 HBM 訓練卡的採購節奏可能出現結構性變化
11.4 競爭風險
- 原廠價格競爭：三星、美光的快速擴產可能導致供給在某時間點超過需求，觸發價格下行，對高成本結構的先發者形成擠壓
- 客戶自研替代：部分超大規模雲端廠商已組建自研晶片團隊，長期可能降低對商業 GPU 的依賴度，間接影響商業 HBM 需求結構
12 誤讀糾偏
12.1 “視訊記憶體不夠，加兩條記憶體就行”
事實：GPU 的視訊記憶體與系統記憶體物理隔離，不可混用。HBM 由多顆 DRAM Die 堆疊並與 GPU 共同封裝在同一基板上，即使使用者購買了 24GB 版本的消費顯示卡，也不可能像插記憶體條一樣”擴容”。資料中心 GPU 亦是如此——採購時即固定視訊記憶體規格，無法後期獨立升級。
12.2 “視訊記憶體頻寬已經超過 CPU 記憶體，未來 HBM 會替代 DDR 成為主存”
事實：HBM 是”快而貴、小而短命”的專用儲存器，其設計哲學與主存截然相反。DDR 追求容量/成本比和普適性，HBM 追求極限頻寬和與其配對的緊耦合。用 HBM 替代 DDR 不但成本是數量級的攀升，而且通用 MMU 的頁面管理和虛擬化支援遠不如 DDR 生態成熟。兩者將持續共存，而不是替代。
12.3 “視訊記憶體越大越好，訓練一定能更快”
事實：視訊記憶體容量和訓練速度之間並非單調正比。如果模型本身較小，多餘的視訊記憶體通常閒置，不會自動加速訓練。反之，若因視訊記憶體容量較大而盲目加大 batch size，可能反而導致模型收斂變慢或需調整學習率，最終的總訓練時間可能不降反升。容量和頻寬是配合關係，瘸腿即拖累。
12.4 “GDDR 已死，HBM 一統天下”
事實：消費級 GPU（如輝達 GeForce RTX 系列）2024 年主流產品仍使用 GDDR6/GDDR6X，AMD Radeon 系列同步持續採用 GDDR。邊緣推論、小型微調、工作站等場景對 HBM 的極端頻寬需求不強，GDDR 價效比較高。兩路線至少在可見未來仍分層並存。
13 最新事件
以下為截至 2025 年初的公開重大事件摘要，參考價值取決於時間遠近，請以各公司官網和權威信源的最新公告為準。
- 2024 年 3 月 | GTC 2024 輝達釋出 B200：配備 192GB HBM3E（8 層 24GB×8 Stack），宣稱 AI 推論效能較 H100 大幅提升。B200 是輝達首個使用 HBM3E 的產品，SK 海力士為主要供應商。（來源：輝達 GTC 2024 主題演講及產品頁面）
- 2024 年 7 月 | 三星宣佈 HBM3E 通過輝達認證：三星電子釋出公告，其 HBM3E 8 層產品已通過輝達質量認證，雙方簽署供貨協議，打破此前 SK 海力士一家獨大的供給格局。（來源：三星半導體官方新聞釋出）
- 2024 年 9 月 | SK 海力士率先量產 12 層 HBM3E：SK 海力士宣佈 12 層 HBM3E 正式量產，單 Stack 容量 36GB，頻寬較 8 層版本進一步提升。首批供應輝達 Blackwell 平台。（來源：SK 海力士官方新聞釋出）
- 2024 年 Q4 | 美光報告 HBM 產品線全年產能售罄：美光在 FY2024 Q4 財報電話會中表示，2024 和 2025 日曆年的 HBM 產能已全部預訂一空，產能擴張計劃持續進行中。（來源：美光科技 FY2024 Q4 財報電話會紀要）
- 2024 年全年 | CoWoS 產能持續緊張：台積電多次上調 CoWoS 產能目標，從 2023 年的月產約 12,000 片晶圓擴至 2024 年底超 30,000 片，2025 年繼續擴大（來源：台積電 2023Q4、2024Q1 法說會及供應鏈媒體報道，具體數字為分析師估算）
- 2025 年初 | HBM4 路線圖逐漸明朗：SK 海力士和三星分別在 ISSCC 2025 和投資者大會上展示 HBM4 初步方案，目標更高頻寬和更大容量，預計 2025–2026 年進入量產階段。具體規格以 JEDEC 最終標準和廠商宣佈為準
14 追蹤指標
要持續追蹤視訊記憶體產業鏈的變化，建議關注以下維度的公開資料和事件：
14.1 供給端指標
| 指標 | 來源 | 追蹤頻率 |
|---|---|---|
| HBM 出貨量（位元或晶圓） | 儲存原廠財報（三星、SK海力士、美光季度揭露） | 季度 |
| HBM 營收佔比及 ASP 趨勢 | 原廠財報與電話會，TrendForce/DRAMeXchange | 季度/月度 |
| 先進封裝產能（CoWoS/SiP） | 台積電法說會、分析師研究報告 | 季度 |
| 原廠資本支出及新建產線進展 | 公司公告，如裝置訂購、土建奠基新聞 | 不定期 |
14.2 需求端指標
| 指標 | 來源 | 追蹤頻率 |
|---|---|---|
| 輝達資料中心業務營收及展望 | 輝達季度財報及電話會 | 季度 |
| 超大規模雲端廠商資本支出（CapEx） | 微軟、亞馬遜、Google、Meta 季度財報 | 季度 |
| AI 伺服器出貨預測 | Omdia、TrendForce、IDC 等行業報告 | 季度/年度 |
| 重要模型釋出（引數量、上下文視窗） | OpenAI、Meta、Google、國內廠商公告 | 不定期 |
14.3 技術端指標
| 指標 | 來源 | 追蹤頻率 |
|---|---|---|
| 各代 HBM 產品資料速率、容量規格 | JEDEC 標準釋出，儲存原廠產品更新 | 年度/產品週期 |
| 3D 堆疊層數、封裝路線演進 | ISSCC、Hot Chips、VLSI 會議論文 | 年度 |
| PIM/存算一體論文和原型進展 | IEEE、ISCA、MICRO 等學術會議 | 年度 |
14.4 價格端與庫存端
- 合約價與現貨價：DRAMeXchange 月度報價，HBM 通常以非公開合約形式定價，公開報價僅作參考
- 渠道庫存水位：原廠庫存天數（DIO）為同步指標，可在季度財報中找到
15 信源
以下為本文涉及的核心信源類別，均可在公開渠道檢索：
- 標準文件：JEDEC HBM 標準（JESD235 系列，含 HBM、HBM2、HBM2E、HBM3），JEDEC GDDR 標準（JESD250 等）
- 行業論文與會議：“ZeRO: Memory Optimizations Toward Training Trillion Parameter Models”（Rajbhandari 等，SC 2020）；Megatron-LM 系列論文（NVIDIA）；ISSCC、Hot Chips 歷年儲存與封裝專題
- 廠商白皮書與規格表：輝達 A100/H100/B200 架構白皮書和規格頁；AMD CDNA 系列架構介紹；SK 海力士/三星/美光產品釋出新聞與技術部落格
- 市場資料機構：TrendForce（2024 年 3 月 HBM 市場報告及儲存器季度追蹤）、Yole Intelligence（先進封裝市場年度報告）、Counterpoint、DRAMeXchange
- 公司財報與電話會議紀要：輝達（季度 10-Q/10-K，GTC 主題演講）、SK 海力士（季度財報及 IR 材料）、三星電子（DRAM 業務部門展望）、美光科技（季度財報）、台積電（法說會紀要及 CoWoS 產能展望）
- 監管與政策檔案：美國商務部工業安全域性（BIS）出口管制清單與修訂公告
免責宣告：本文僅為技術與產業鏈知識梳理，內容基於公開資料整理。文中所有涉及公司、技術路線的描述均不作為投資建議。涉及市場規模、供需狀況和公司財務的資料以各機構最新發布報告、公司正式公告和監管揭露為準。作者對因資訊時效性或理解偏誤可能導致的任何後果不承擔責任。