單 stack 頻寬
1. 3 秒看懂
單 stack 頻寬 (Per‑Stack Bandwidth) 指一個完整的高頻寬記憶體 (HBM) 堆疊在單位時間內可傳輸的最大數據量，單位 GB/s。
它約等於每引腳資料速率 (Gbps) × 資料 I/O 引腳總數 ÷ 8，直接描繪 AI 加速器與緊耦合記憶體之間的“水管粗度”。
在大型模型訓練/推論中，單 stack 頻寬不足會構成記憶體牆核心瓶頸，使計算單元大量空轉，嚴重拖累算力利用率與 token 吞吐。
2. 3 分鐘產業解釋
HBM 將多層 DRAM 晶片垂直堆疊，通過矽通孔 (TSV) 與底部的邏輯晶片連線，形成一個獨立的記憶體堆疊 (stack)。單 stack 頻寬就是該堆疊在特定工作頻率下所有資料通道的總傳輸頻寬。
AI 加速器 (如 GPU) 通常在中介層 (Interposer) 上整合 4‑8 個這樣的堆疊，總視訊記憶體頻寬 ≈ 單 stack 頻寬 × 堆疊數量。因此，單 stack 頻寬的演進直接決定每路記憶體能向計算單元喂入多少資料，進而約束每秒可執行的浮點運算上限 (運算元/位元組)。
產業邏輯的核心在於：單 stack 頻寬的提升是 HBM 代際更新的主幹。每一代 HBM 通過增加堆疊層數、提升 I/O 引腳速率、或擴充獨立通道數，不斷推高單堆疊頻寬。這反過來又拉動先進封裝 (如 CoWoS) 的互連密度與電源完整性升級，形成“記憶體‑封裝‑算力”螺旋迭代。
3. 技術原理
3.1 單 stack 的物理結構與通道架構
一個 HBM stack 由多層 DRAM 核心晶片 (Core Die) 和一層邏輯基底晶片 (Logic Die) 組成，通過微凸塊 (μBump) 和 TSV 垂直互連。邏輯 Die 承接與 GPU 的物理層介面 (PHY)，負責訊號均衡、時序管理與 ECC。
每個堆疊內部劃分為多個獨立通道 (如 HBM2 為 8 通道，HBM3/3E 為 16 通道)，各通道擁有獨立的 bank 組、行/列地址和讀寫佇列。這種全雙工併發訪問機制是單 stack 高頻寬的來源之一。HBM2 之後引入偽通道 (Pseudo Channel)，將每個物理通道進一步拆分為兩個半獨立子通道，保持總 I/O 位寬不變但提升訪問併發度，改善頻寬利用率。
3.2 頻寬計算公式與物理約束
理論峰值頻寬 (GB/s) = (每引腳資料速率 Gbps) × (資料 I/O 引腳總數) ÷ 8。
以 HBM3 典型規格為例，每引腳 6.4 Gbps，資料 I/O 寬度 1024 位 (16 通道 × 64 位)，理論峰值 6.4×1024÷8 = 819.2 GB/s。HBM3E 將引腳速率推至 8‑9.2 Gbps，單 stack 頻寬突破 1 TB/s。
實際有效頻寬還需扣除 DRAM 重新整理、bank 衝突、時序約束 (tFAW/tCCD/tRCD) 及控制器排程損耗，通常為理論峰值的 80‑90%。
3.3 事務排程與頻寬效率
每個通道獨立進行行啟用、列讀寫、預充電，並利用 Bank Group 交錯隱藏延遲。讀/寫資料通過分離的單向匯流排近似全雙工執行，最大化吞吐。
重新整理管理：HBM 仍遵循 DRAM 重新整理週期 (tREF)，大容量堆疊在高溫下重新整理開銷顯著，可能惡化有效頻寬。支援 per‑bank 重新整理或自適應重新整理管理的高階控制器可緩解此問題。
4. 關鍵引數
- 理論峰值單 stack 頻寬：由 I/O 速率和位寬決定的設計上限，反映介面潛力。
- 有效頻寬 (Sustained BW)：通過流測試 (如 STREAM) 測得的實際持續讀寫吞吐量，通常在峰值的 80‑90%，受控制器效率和 DRAM 時序影響。
- 頻寬密度 (GB/s/mm²)：單 stack 頻寬 ÷ 封裝佔用面積 (含 stack 和周邊保持區)，衡量封裝層面的傳輸密度，是異構整合的重要指標。
- 頻寬功耗效率 (pJ/bit)：每傳輸 1 bit 資料消耗的能量。先進 HBM (如 HBM3E) 力爭降至 5 pJ/bit 以下，直接影響系統熱設計功耗 (TDP) 和運營成本。
- 容量—頻寬權衡：增大單 stack 容量 (如堆疊至 16 層以上) 會引入更復雜的 bank 管理與散熱挑戰，可能犧牲部分頻寬利用率；因此單 stack 容量 (GB) 與頻寬 (GB/s) 常常需要聯合最佳化。
- 通道數與偽通道比：獨立通道數及是否啟用偽通道模式，決定了併發訪問粒度和平均排隊延遲，影響實際有效頻寬。
5. 技術路線
HBM 代際演進圍繞“更高單 stack 頻寬”持續迭代，同時兼顧容量和功耗。
| 代際 | 典型單 stack 頻寬 | 堆疊層數 | 獨立通道數 | I/O 速率 | 邏輯 Die 特徵 | 典型量產年份 |
|---|---|---|---|---|---|---|
| HBM2 | ~256‑307 GB/s | 4‑8 | 8 | 2.0‑2.4 Gbps | 基礎 PHY | 2016‑2018 |
| HBM2E | ~410‑460 GB/s | 8‑12 | 8 (偽通道) | 3.6 Gbps | 增強 PHY、功耗最佳化 | 2019‑2021 |
| HBM3 | ~640‑819 GB/s | 8‑12 | 16 | 6.4 Gbps | 片上 ECC、訊號完整性提升 | 2022‑2023 |
| HBM3E | >1.0 TB/s | 12‑16 | 16 | 8‑9.2 Gbps | 進一步訊號均衡、熱管理 | 2024‑2025 |
| HBM4 (預估) | ~1.5‑2.0 TB/s | 16+ | 16‑32 | >10 Gbps | 邏輯基底可能整合近存計算 (PIM) 或高階記憶體管理 | 2026+ |
注：具體數值因各記憶體廠商規格微調而有差異，表中資料基於 JEDEC 公開標準及廠商產品資料綜合，部分為行業估算。
路線選擇的核心取捨在於：繼續單純提升引腳速率將遭遇訊號完整性與功耗牆，因此 HBM4 開始探討更寬資料介面、近存計算分擔等新路徑。
6. 上游
- DRAM 原廠：SK 海力士、三星電子、美光科技。三家掌握 HBM 晶粒設計、製造與 TSV 堆疊核心工藝，其單 stack 頻寬的突破直接源於 1α/1β/1γ 等先進 DRAM 製程和 TSV 良率提升。
- 裝置與材料：TSV 刻蝕 (Lam Research、TEL)、微凸塊電鍍/沉積 (Applied Materials、EBARA)、臨時鍵合/解鍵合 (Brewer Science、SUSS)、晶圓減薄 (DISCO) 等裝置供應商；低介電常數底部填充材料、熱介面材料 (TIM) (如 Shin‑Etsu、Henkel) 亦決定高速訊號完整性和散熱能力。
- IP/EDA 供應商：Synopsys、Cadence 提供 HBM PHY 和控制器 IP，決定 I/O 訓練、均衡、鏈路糾錯等，是單 stack 頻寬設計空間的上游定義者。
- 矽中介層/封裝基板：台積電 CoWoS-S 使用矽中介層，相關高密度基板材料及製造由 Shinko、Ibiden、Unimicron 等支援，其走線密度和損耗直接影響有效頻寬。
7. 下游
- AI 加速器設計商：NVIDIA (B200, H200, H100)、AMD (MI300X, MI250)、Intel (Gaudi 系列)、Google (TPUv4/v5)、自研晶片雲端廠商 (亞馬遜 Trainium、微軟 Maia、Meta MTIA) 等決定單 stack 頻寬、stack 數量及總記憶體頻寬的規格需求，是 HBM 的直接需求方。
- 超大規模資料中心/雲端服務商：AWS、Azure、Google Cloud、Oracle Cloud 等終端使用者，其訓練叢集的算力規模、模型架構與 SLA 驅動對各代單 stack 頻寬的需求，形成量價拉動力。
- 系統整合/OEM：戴爾、HPE、聯想、Supermicro 等伺服器製造商，以及 ZT Systems 等白牌整合商，將含 HBM 的 AI 加速卡整合進 GPU 伺服器、AI 叢集，對單 stack 頻寬的代際相容性和功耗提出要求。
8. 受益公司
本節僅描述產業鏈各環節因單 stack 頻寬提升而帶來的業務拉動，不構成任何投資建議。
- SK 海力士：作為 HBM 市佔率領先廠商 (據 TrendForce 2023 年資料，SK 海力士 HBM 營收份額約 53%)，率先量產 HBM3，並最早向 NVIDIA 供應 HBM3E，其單 stack 頻寬產品迭代節奏直接關聯營收彈性。
- 三星電子：擁有記憶體、邏輯、封裝全產業鏈 IDM 優勢，提供“HBM + 先進封裝”一站式方案；其 HBM3E 通過 NVIDIA 認證並量產，將帶動其高附加值 DRAM 銷售。
- 美光科技：選擇跳過 HBM3 直攻 HBM3E，採用 1β 工藝和自研邏輯 Die，單 stack 頻寬產品已在 2024 年量產出貨 (如搭配 NVIDIA H200)，正加速擴大 HBM 份額。
- 台積電：作為 CoWoS-S/R/L 封裝主力，其先進封裝產能擴張是 HBM 單 stack 頻寬升級得以穩定整合的前提。隨著 AI 加速器 die size 增大、stack 數量增加，台積電先進封裝業務持續受益。
- 封裝/測試裝置商：BESI (鍵合機)、DISCO (減薄/切割)、Teradyne/Advantest (HBM 測試系統)、Camtek/Onto Innovation (檢測量測) 受益於 HBM 堆疊複雜度提升及出貨量擴大。
- AI 晶片設計公司：NVIDIA、AMD 等通過率先整合更高單 stack 頻寬的 HBM，可推出更具競爭力的 AI 加速器，增強產品定價權與市場份額。
9. 市場規模
- HBM 整體市場：據 TrendForce 2024 年 3 月報告，2023 年全球 HBM 市場規模約 43 億美元，佔 DRAM 整體產值約 8%；預計 2024 年增長至約 169 億美元，佔比超 20%。單 stack 頻寬最高的 HBM3E 產品在 2024 年供不應求，成為主要增長引擎。
- 出貨量與產能：2023 年 HBM 位元產出約佔全部 DRAM 位元產出的 2%，2024 年預計達到 5%，2025 年隨著堆疊層數增加和晶圓消耗加大，佔比將進一步上升 (來源：Yole Intelligence 2024 年預測)。SK 海力士、三星、美光均在將更多 DRAM 產能轉向 HBM，但 TSV 和先進封裝產能擴張存在 9‑12 個月以上的交付週期，導致供給緊張。
- AI 驅動需求：據 NVIDIA、AMD 等公開財務電話會議，用於 AI 訓練/推論的 GPU 總記憶體頻寬需求年複合增長率超 50%，下游客戶願意為更高單 stack 頻寬支付顯著溢價，因其可直接轉化為訓練時間縮短和 TCO 改善。2024‑2025 年，旗艦訓練晶片普遍搭載 8 堆疊 HBM3E，總記憶體頻寬 8 TB/s 級別，單 stack 頻寬 ≥1 TB/s 的產品成為主流。
- 區域與客戶結構：需求高度集中於北美及中國頭部雲端服務商；單個客戶 (如微軟、Meta) 與晶片供應商簽訂多年採購承諾，進一步推高單 stack 頻寬高規格產品的鎖定效應。
以上市場規模資料如未特別註明，均基於第三方分析機構公開摘要；具體數值請以最新付費報告為準。
10. 玩家對比
| 維度 | SK 海力士 | 三星電子 | 美光科技 |
|---|---|---|---|
| 2023 年 HBM 市場份額 (營收) | ~53% (TrendForce) | ~38% (TrendForce) | ~9% (TrendForce) |
| HBM3 量產帶頭人 | 最先量產 HBM3 (2022 年) | 2023 年規模量產 | 跳過 HBM3，直接開發 HBM3E |
| HBM3E 單 stack 頻寬 | 1.15‑1.2 TB/s (12‑Hi, 官方資料) | 聲稱 1.2 TB/s 以上 (12‑Hi, 公開資訊) | 1.2 TB/s (8‑Hi, 2024 年量產公告) |
| 主要 AI 客戶 | NVIDIA (H100/H200/B200) | 多家雲端廠商自研晶片及 NVIDIA 認證通過後 | NVIDIA H200，及各類 AI 晶片客戶 |
| 先進封裝協同 | 依賴台積電 CoWoS，也與韓系封裝合作 | 自有 I‑Cube 及台積電 CoWoS 雙供應路線 | 主要依賴台積電 CoWoS，部分 EMIB |
| 邏輯 Die 策略 | 自研邏輯 Die，配合 ECC 和熱管理 | 自研邏輯 Die，並有製程/整合優勢 | 自研邏輯 Die，強調 1β 工藝和功耗 |
| 產能擴張進展 | 2024 年大幅擴產 HBM，連續新建產能 (公開資訊) | 2024 年將 HBM 產能擴增至 2.5 倍以上 (公開資訊) | 2024 年 HBM 產能逐季爬坡，2025 年目標份額增至 20%+ (公開資訊) |
注：份額資料來源 TrendForce 2023 年報摘要；單 stack 頻寬為各廠商公開產品簡介或新聞稿中的典型值，不同堆疊高度和頻率選項存在差異。
11. 風險
- 單一供應商集中風險：當前 HBM3/3E 主要供應集中於 SK 海力士，若其產能或良率波動，將直接影響下游 AI 晶片交付節奏。
- 技術瓶頸與功耗牆：I/O 速率持續翻倍難度加大，訊號完整性、散熱與功耗密度逼近材料極限。單 stack 頻寬增益可能逐代遞減，迫使行業向更寬介面或近存計算演進，但後者尚處早期。
- 先進封裝產能約束：CoWoS 等關鍵封裝產能前期擴張不足，若擴產進度慢於 HBM 本身產出，將形成“有片無封”的短板，壓制實際出貨量 (據台積電 2023‑2024 年說法，正在積極擴產，但仍需時間)。
- 地緣政治與出口管制：美國對中國大陸先進計算晶片及 HBM 的出口管制措施，可能重塑需求格局，並導致供應鏈分化 (如中國本土化 AI 晶片可能選用不同規格記憶體)，影響單 stack 頻寬的標準演化。
- 替代技術路線：CXL 記憶體池化可提供更大容量/頻寬彈性，光學互聯 (如 UALink) 可能緩解部分記憶體頻寬壓力；HBM 內的近存計算 (PIM) 若成熟，可能改變“單 stack 頻寬”作為獨立指標的權重，重構產業鏈價值分配。
- 庫存與週期風險：AI 需求超高景氣下，HBM 現為賣方市場，但若 AI 資本支出增速放緩或模型效率突變 (如稀疏化大幅降低訪存)，高規格單 stack 頻寬需求可能出現階段性過剩。
12. 誤讀糾偏
誤讀 1：單 stack 頻寬 = 顯示卡總記憶體頻寬 ÷ stack 數量
這是常見的算術謬誤。雖然總頻寬大致等於各 stack 的並行貢獻之和，但單 stack 頻寬是該堆疊獨立的電氣與架構屬性，由內部通道數、速率決定，並非總頻寬簡單除出來的結果。實踐中，某些設計可能採用不同規格 stack 或非對稱通道配置 (雖主流產品罕見)，但更常見的錯誤是混淆了 stack 數量與記憶體控制器通道對映關係。
誤讀 2：單 stack 頻寬越高，GPU 效能必然線性提升
記憶體頻寬僅是系統性能的必要條件。實際訓練/推論吞吐受算術強度 (Ops/Byte) 限制，若模型每位元組訪存所需計算量低於硬體提供的極限，則計算單元已飽和，額外頻寬無法轉化為有效加速。對 LLM 推論而言，KV 快取容量壓力常高於頻寬壓力，此時單 stack 容量和總體 HBM 容量更關鍵。
誤讀 3：HBM3E 單 stack 頻寬比 HBM3 翻倍
HBM3E 相對 HBM3 的主要提升在於引腳速率 (從 6.4 Gbps 到 8‑9.2 Gbps)，通道數保持 16、I/O 位寬不變，因此單 stack 頻寬增長幅度約 25‑40%，而非翻倍。代際翻倍式躍升通常伴隨著通道數加倍 (如 HBM2 的 8 通道→HBM3 的 16 通道)，非單純提頻所能實現。
誤讀 4：單 stack 頻寬指標只看峰值
有效頻寬 (Sustained BW) 因重新整理、bank 衝突和控制器效率限制，通常比峰值低 10‑20%，在評估系統瓶頸時應以有效頻寬為準。此外，功耗與散熱約束可能觸發降頻，進一步擴大有效值與標稱值的差距。
13. 最新事件
- 2024 年 2 月，美光宣佈 HBM3E 量產：單 stack 8‑Hi 頻寬達 1.2 TB/s，並確認用於 NVIDIA H200 系統，標誌著美光跳過 HBM3 直攻下一代取得成果 (來源：美光新聞稿)。
- 2024 年 3 月，SK 海力士開始量產 12‑Hi HBM3E：單 stack 頻寬提升至 1.15‑1.2 TB/s，計劃 2024 年主要供應 NVIDIA B200 等平台；同時宣佈 16‑Hi HBM3E 開發中 (來源：SK 海力士官網)。據 TrendForce 同年報告，SK 海力士在 HBM3E 出貨上仍保持先發優勢。
- 三星 HBM3E 通過 NVIDIA 認證並量產：2024 年下半年，三星釋出其 12‑Hi HBM3E (Shinebolt) 通過客戶驗證，並開始批次供貨，單 stack 頻寬標示超過 1.2 TB/s (來源：三星半導體官方訊息)。
- NVIDIA B200/GB200 公佈：2024 年 GTC，NVIDIA 推出 B200 GPU 搭載 8 個 HBM3E 堆疊，總記憶體頻寬 8 TB/s，意味著單 stack 頻寬在 1 TB/s。同步釋出的 GB200 超級晶片延續相同記憶體架構，驅動 HBM3E 需求激增。
- AMD MI300X 採用 8 堆疊 HBM3：2023‑2024 年 AMD 旗艦 AI 加速器 MI300X 搭載 8 個 HBM3 stack，總頻寬 5.3 TB/s，對應單 stack 約 665 GB/s，顯示其在 HBM3 世代中對單 stack 頻寬的利用水平 (來源：AMD 官方資料)。
- 台積電 CoWoS 產能大幅擴充：2024‑2025 年，台積電宣佈 CoWoS 產能連續翻倍增長計劃，以滿足 AI 晶片對 HBM 堆疊整合的需求，但短期仍存在交付瓶頸 (來源：台積電法人說明會)。
- 美國出口管制動態：2023 年 10 月 / 2024 年，美國商務部持續更新對中國大陸先進計算晶片及 HBM 的出口管制規則，限制高頻寬 HBM 向特定地區出貨，可能影響未來“單 stack 頻寬”產品的區域需求結構 (來源：美國政府公告及媒體綜合報道)。
14. 追蹤指標
- JEDEC 標準進度：關注 HBM4 標準釋出及相關 I/O 速率、通道數、邏輯基底功能定義，是單 stack 頻寬演進路徑的權威依據。
- 各廠商量產公告與樣品測試：每月追蹤 SK 海力士、三星、美光關於下一代 HBM 取樣、認證通過及量產的新聞，重點關注單 stack 頻寬標註值和堆疊層數。
- AI 加速器產品釋出：NVIDIA、AMD、Intel 等晶片廠商的新品記憶體子系統引數 (總頻寬、stack 數量)，反推單 stack 頻寬需求及代際切換時間點。
- 季度財報電話會：三大記憶體廠 HBM 營收佔比、出貨量展望、良率爬坡狀態；台積電 CoWoS 產能利用率與擴產計劃；AI 晶片廠商庫存與採購承諾。
- 第三方市佔與出貨統計：TrendForce、Yole Intelligence、Omdia 等釋出的 HBM 市場季度報告，關注份額變化與平均單 stack 頻寬趨勢。
- 功耗與散熱指標：單 stack 功耗 (W/stack) 及 pJ/bit 變化，若出現倒升可能預示物理瓶頸，需結合系統 TDP 評估。
- 替代技術進展：CXL 記憶體擴充套件、光學互聯、HBM‑PIM 近存計算的商業化動態，可能重新定義“單 stack 頻寬”的重要性權重。
- 地緣政策更新：美國 BIS 對中國大陸出口管制實體清單、引數門檻調整，可能對特定速率/頻寬等級 HBM 的需求構成擾動。
15. 信源
- JEDEC 標準文件：HBM3 標準 (JESD238)，涵蓋頻寬、通道和時序規範；HBM4 標準制定動態。
- 原廠官方資料：SK 海力士、三星電子、美光科技官網產品新聞稿、技術白皮書、投資者報告。
- 晶片設計商文件：NVIDIA H100/B200 白皮書、AMD MI300X 技術資料、Intel Gaudi 規格概要、Google TPUv4/v5 公開論文。
- 行業分析報告：TrendForce (“HBM 產業分析報告” 2023‑2024)、Yole Intelligence (“Memory Packaging”)、Omdia (“DRAM Market Tracker”) — 部分資料為公開摘要，詳細資料需訂閱。
- 學術會議：IEEE ISSCC、VLSI Symposium、Hot Chips 歷年關於 HBM I/O 收發器、TSV 技術和記憶體子系統的論文。
- 封裝研討會/公告：台積電技術研討會 (CoWoS 演進、中介層訊號完整性)；SEMICON 相關封裝裝置廠商分享。
- 監管政策：美國聯邦公報 BIS 出口管制條例更新、中國商務部相關公告。
- 可靠媒體與分析師：AnandTech、Tom’s Hardware、TheElec (韓系產業)、Digitimes 等對於 HBM 產能、認證、出貨的追蹤報道。
注：本概念頁中所有與財務/市場/份額/產能相關的數字均已儘量標註年份、口徑和來源；受公開資訊侷限，部分數值為行業合理估算，且未獲得最新官方精確資料之處已標註“公開資料未見”或宣告系估算值。具體投資相關決策請以官方揭露及付費報告為準，本文不構成任何投資建議。