HBM Bit Output（HBM 位元輸出）

3 秒看懂

HBM Bit Output = HBM 單顆晶片每秒能輸出的資料位元總量，本質是 HBM 頻寬的另一種表述方式，單位通常為 Gbps 或 GB/s。它是 AI 晶片能否”餵飽”計算核心的關鍵瓶頸指標——算力再強，記憶體輸出跟不上就是空轉。

3 分鐘產業解釋

為什麼現在人人都在談 HBM？

傳統視訊記憶體（GDDR）走的是”高頻窄匯流排”路線，頻寬天花板清晰可見。HBM 另闢蹊徑：把多顆 DRAM die 垂直堆疊，通過 TSV（矽穿孔）互聯，用超寬匯流排換取超高頻寬。

產業位置一句話：HBM 是連線”AI 算力晶片”與”海量資料”之間的高速管道。沒有足夠 Bit Output，H100/B200 的 Tensor Core 只能乾等資料。

當前格局（行業共識）：

SK 海力士：HBM 市場份額領先，技術代際最積極
三星：第二梯隊，產能追趕中
美光：份額較小，HBM3E 階段發力

下游核心客戶：NVIDIA（H100/B100/B200/GB200）、AMD（MI300 系列）、Google TPU 等。

15 分鐘專家深入

HBM Bit Output 的本質

維度	說明
定義	單顆 HBM 封裝在單位時間內可傳輸的總位元數
計算公式	`Bit Output = 介面位寬 × 資料速率`
典型單位	Gbps（單顆總輸出）、GB/s（換算後）
為何關鍵	直接決定 GPU/NPU 能否滿載運算，是”記憶體牆”的核心變數

技術拆解：如何實現高 Bit Output？

HBM 的高輸出依賴三個支柱：

┌─────────────────────────────────────────────────────┐
│                   HBM Bit Output 構成                │
├─────────────────────────────────────────────────────┤
│                                                     │
│   1. 超寬匯流排 ────────────────────────────────┐     │
│      傳統 GDDR: 32-bit 匯流排                   │     │
│      HBM: 1024-bit 匯流排（HBM2/2E/3 常見配置）│     │
│      → 單次傳輸資料量是 GDDR 的 32 倍        │     │
│                                                     │
│   2. 垂直堆疊 ────────────────────────────────┐     │
│      4-Hi / 8-Hi / 12-Hi 堆疊                │     │
│      每層 Die 獨立通道，並行輸出              │     │
│                                                     │
│   3. TSV 互聯 ────────────────────────────────┐     │
│      矽穿孔垂直互連，訊號路徑極短             │     │
│      阻抗低、延遲小、功耗效率高               │     │
│                                                     │
└─────────────────────────────────────────────────────┘

關鍵公式

單顆 HBM 頻寬 = 介面位寬 × 資料速率（MT/s）÷ 8

示例（概念性）：
- HBM3 典型配置：1024-bit 位寬
- 若資料速率 ≈ 6.4 Gbps/pin（定性估算）
- 單顆頻寬 ≈ 1024 × 6.4 Gbps ÷ 8 ≈ 819 GB/s（量級參考）

注：具體數字因廠商、堆疊層數、電壓配置而異，以廠商 datasheet 為準。

與”算力”的關係

              ┌─────────────────────┐
              │   GPU 計算核心      │
              │  (Tensor Core等)    │
              │  算力: ~2000 TFLOPS │
              └──────────┬──────────┘
                         │
                    資料飢渴！
                         │
              ┌──────────▼──────────┐
              │      HBM Bit Output │
              │   (決定資料供給速度) │
              └─────────────────────┘

核心矛盾：AI 計算的 FLOPS 增長速度遠超記憶體頻寬增長速度，這就是業界所說的 “記憶體牆”（Memory Wall）。HBM Bit Output 的提升是緩解這一矛盾的核心手段。

技術原理

HBM 內部架構（概念圖）

┌──────────────────────────────────────────────────────────┐
│                      HBM 封裝                            │
│  ┌────────────┐  ┌────────────┐  ┌────────────┐         │
│  │  Die 8 (Top)│  │            │  │            │         │
│  ├────────────┤  │            │  │            │         │
│  │  Die 7     │  │  8-Hi      │  │  堆疊結構  │         │
│  ├────────────┤  │  Stack     │  │            │         │
│  │  Die 6     │  │            │  │            │         │
│  ├────────────┤  │            │  │  每層Die   │         │
│  │  Die 5     │  │            │  │  獨立通道  │         │
│  ├────────────┤  │            │  │            │         │
│  │  Die 4     │  │            │  │            │         │
│  ├────────────┤  │            │  │            │         │
│  │  Die 3     │  │            │  │            │         │
│  ├────────────┤  │            │  │            │         │
│  │  Die 2     │  │            │  │            │         │
│  ├────────────┤  │            │  │            │         │
│  │  Die 1 (Base)│ │            │  │            │         │
│  └─────┬──────┘  └─────┬──────┘  └────────────┘         │
│        │               │                                 │
│   ┌────▼───────────────▼────┐                            │
│   │     TSV 矽穿孔互聯      │                            │
│   │  (垂直訊號傳輸通道)     │                            │
│   └────────────┬───────────┘                            │
│                │                                         │
│   ┌────────────▼───────────┐                            │
│   │   Logic Base Die       │                            │
│   │  (可選，控制/PHY邏輯)  │                            │
│   └────────────┬───────────┘                            │
└─────────────────┼────────────────────────────────────────┘
                  │
          ┌───────▼───────┐
          │  GPU/APU 基板  │
          │ (2.5D 封裝)    │
          │   CoWoS/等     │
          └───────────────┘

Bit Output 的物理決定因素

因素	影響方式	最佳化方向
介面位寬	直接線性關係，位寬翻倍 → 頻寬翻倍	HBM 天然 1024-bit，遠超 GDDR 的 32-bit
每 Pin 速率	單位：MT/s 或 Gbps，受訊號完整性限制	提升工藝、最佳化 PHY、降壓/調參
堆疊 Die 數	更多 Die = 更多並行通道（前提是匯流排夠寬）	8-Hi → 12-Hi 趨勢
TSV 寄生引數	穿孔電容/電感影響訊號速度	TSV 工藝微縮、最佳化隔離
供電與熱	高速訊號 = 高功耗，熱約束反過來限速	電壓最佳化、散熱設計

與 CoWoS 封裝的關係

HBM 不能獨立工作，必須與主晶片通過 2.5D 先進封裝（如台積電 CoWoS）整合在同一矽中介層上：

┌─────────────────────────────────────────────────────┐
│                 矽中介層 (Silicon Interposer)        │
│  ┌──────────┐    ┌──────────────┐    ┌──────────┐   │
│  │  HBM #1  │◄──►│              │◄──►│  HBM #2  │   │
│  └──────────┘    │   GPU/NPU    │    └──────────┘   │
│  ┌──────────┐    │   主晶片     │    ┌──────────┐   │
│  │  HBM #3  │◄──►│              │◄──►│  HBM #4  │   │
│  └──────────┘    └──────────────┘    └──────────┘   │
└─────────────────────────────────────────────────────┘

關鍵點：單顆 HBM Bit Output 是固定的，但系統級頻寬 = 單顆頻寬 × HBM 堆疊數量。NVIDIA H100 SXM 用 5 個 HBM 堆疊，B200 用 8 個。

技術演進史

時間軸（代際概念性演進）：

HBM1 (2013-2015)
├── 首次實現 4-Hi 堆疊 + 1024-bit 匯流排
├── 應用：AMD Fury 系列 GPU
└── 意義：證明垂直堆疊路線可行

HBM2 (2016-2019)
├── 速率提升，單顆頻寬顯著提升
├── 應用：NVIDIA V100, AMD Vega
└── 確立 AI/HPC 主力記憶體地位

HBM2E (2020-2022)
├── 速率進一步提升，8-Hi 成為主流
├── 應用：NVIDIA A100
└── 開始出現供不應求

HBM3 (2022-2023)
├── 速率突破，單顆頻寬量級大幅躍升
├── 應用：NVIDIA H100
└── AI 大型模型爆發，HBM 成為戰略資源

HBM3E (2024-)
├── HBM3 的增強版本，速率繼續提升
├── 應用：NVIDIA B100/B200
└── 12-Hi 堆疊開始進入量產驗證

HBM4（展望）
├── 架構可能重大變革（如基礎邏輯層功能增強）
├── 與主晶片整合更緊密
└── 目標：進一步突破頻寬牆

演進核心邏輯：每一代 HBM Bit Output 的提升主要靠 提升每 Pin 速率，輔以 增加堆疊層數。

技術路線對比

指標	HBM3E（估算）	GDDR6X	LPDDR5X	DDR5 RDIMM
匯流排位寬	1024-bit/堆疊	32-bit/channel	16-bit/channel	64-bit/channel
每 Pin 速率	定性：高（具體未充分揭露）	~21-24 Gbps	~8.5 Gbps	~6.4 Gbps
單顆/單條頻寬	定性：TB/s 級別/堆疊	~100+ GB/s	~17 GB/s	~51 GB/s
典型堆疊數	4-6 堆疊/晶片	12-16 顆/晶片	N/A	多通道
功耗效率	高（bit/J 優）	中	高（行動端最佳化）	中低
封裝要求	必須 2.5D 先進封裝	標準 BGA	標準封裝	DIMM 插槽
成本	極高	中等	中低	低
主要場景	AI 訓練/推論旗艦	遊戲 GPU、中端 AI	手機、輕薄本	伺服器、PC

對比結論：HBM 在頻寬維度碾壓其他方案，但成本和封裝複雜度也是最高的。這是典型的”用錢買頻寬”的路線。

上下游

上游

環節	關鍵玩家	說明
DRAM 晶圓	SK海力士、三星、美光	HBM Die 的製造
TSV 工藝	三家記憶體廠自研 + 裝置商	矽穿孔是核心工藝壁壘
封裝裝置	DISCO、Tokyo Electron、ASMPT 等	TSV 鑽孔、鍵合裝置
矽中介層	台積電（CoWoS）、Intel（EMIB）	2.5D 封裝核心
測試裝置	Advantest、Teradyne	HBM 良率測試

下游

應用	代表產品	HBM 用量
AI 訓練 GPU	NVIDIA H100/B200	5-6 堆疊/晶片
資料中心 APU	AMD MI300X	8 堆疊
AI ASIC	Google TPU v5、AWS Trainium	數量未充分揭露
高效能運算	超算加速卡	視架構而定

產業鏈卡脖子環節

                最緊張                次緊張
                   │                    │
                   ▼                    ▼
┌─────────────────────────────────────────────────┐
│  DRAM 晶圓產能  →  先進封裝(CoWoS)產能  →  測試  │
│     (原廠擴產慢)       (台積電產能瓶頸)          │
└─────────────────────────────────────────────────┘

關鍵指標

指標	定義	重要性
單顆 Bit Output (Gbps)	單顆 HBM 所有引腳的總資料速率	核心效能指標
單顆頻寬 (GB/s)	Bit Output ÷ 8	實際工程常用
介面位寬	並行資料通道數（通常 1024-bit）	架構基礎引數
每 Pin 速率 (MT/s)	單個引腳每秒傳輸的資料量	受訊號完整性約束
堆疊層數 (Hi)	垂直堆疊的 DRAM Die 數量	影響容量和並行度
容量/堆疊 (GB)	單顆 HBM 的總儲存容量	影響模型能否裝下
功耗效率 (pJ/bit)	傳輸每位元消耗的能量	資料中心能效關鍵
良率	可用堆疊佔總產出的比例	直接影響成本和供給

特別說明：Bit Output 與頻寬是同一維度的不同單位表述。Gbps 是位元級，GB/s 是位元組級（÷8 換算）。

供需與市場資料

需求端

驅動因素	狀態	說明
AI 大型模型訓練	強勁增長	模型引數↑ → 需要更多 HBM 晶片 + 更高頻寬
AI 推論部署	快速起量	推論卡也需要 HBM，量級可能超過訓練
HPC/超算	穩定需求	國防、科研等傳統場景

定性判斷：AI 需求是 HBM 市場增長的絕對主引擎，佔比可能超過 [行業估算，具體比例未充分揭露]。

供給端

維度	現狀（行業共識）
供應商格局	SK 海力士、三星、美光三寡頭
產能瓶頸	前道 DRAM 產能 + 後道 CoWoS 封裝產能雙重受限
擴產節奏	三家均在擴產，但 HBM Die 佔用先進製程 DRAM 產能，有擠出效應
良率	12-Hi 堆疊良率仍在爬坡，是成本和供給的約束因素

定價趨勢

HBM 單位價格遠高於普通 DRAM（行業估算：可能是普通 DRAM 的數倍）
供不應求狀態下，HBM 價格溢價明顯
隨著產能釋放和代際更替，單位 bit 價格有下降趨勢，但絕對價格仍高

代表公司與資本對映

公司	角色	關鍵看點
SK 海力士 (000660.KS)	HBM 領先供應商	市場份額領先，HBM3E 進展積極
三星電子 (005930.KS)	第二大供應商	追趕產能，良率是關注焦點
美光 (MU)	第三供應商	HBM 份額較小，HBM3E 階段發力
NVIDIA (NVDA)	最大客戶	HBM 消耗量直接決定其 GPU 產出
AMD (AMD)	重要客戶	MI300X 用 8 顆 HBM，用量大
台積電 (TSM/2330.TW)	封裝環節	CoWoS 產能是 HBM 出貨的瓶頸之一

間接受益標的（供應鏈環節）

環節	代表公司	邏輯
封裝裝置	ASMPT、DISCO	TSV/鍵合裝置需求增長
測試裝置	Advantest、Teradyne	HBM 測試需求增長
ABF 載板	欣興、揖斐電	先進封裝配套需求
矽中介層	台積電	CoWoS 產能擴張

產業研究架構

需求傳導鏈路

核心變數：

AI 算力需求指數增長
        │
        ▼
GPU/NPU 晶片出貨量↑ + 單晶片 HBM 用量↑
        │
        ▼
HBM Bit Output 需求 = 晶片數量 × 單晶片堆疊數 × 單堆疊頻寬需求
        │
        ▼
三重乘數效應 → HBM 市場增速 > AI 晶片市場增速
        │
        ▼
供給受限（產能+良率）→ 價格溢價持續 → 毛利率敏感性上升

風險因素

風險	說明
AI 需求不及預期	若 AI 投資回報無法兌現，需求可能驟降
技術路線變化	若出現更高效替代方案（機率較低但需關注）
產能過剩	多家同時擴產可能導致未來供過於求
地緣政治	半導體供應鏈的地緣風險

常見誤讀糾偏

誤讀 1：「HBM Bit Output 越高就越好，買 HBM 就是看頻寬」

糾偏：Bit Output（頻寬）只是維度之一。實際選型還需綜合考慮：

容量：模型引數能否裝下？
功耗效率：資料中心 TCO 是否可接受？
成本/供應：能否買到、買得起？
封裝相容性：主晶片是否支援？

有時”夠用且可用”比”最高規格但缺貨”更有價值。

誤讀 2：「HBM 頻寬 = 算力，頻寬翻倍效能翻倍」

糾偏：

HBM 頻寬是資料供給能力，算力是計算吞吐能力，兩者是不同的瓶頸
實際效能取決於計算強度（Arithmetic Intensity）：
- 高計算強度任務（如大矩陣乘法）：計算瓶頸為主，HBM 頻寬影響較小
- 低計算強度任務（如 Attention 的某些階段）：記憶體瓶頸為主，HBM 頻寬至關重要
“頻寬翻倍 → 效能翻倍”只在記憶體瓶頸場景下成立

誤讀 3：「堆疊層數越多，Bit Output 就越高」

糾偏：

堆疊層數主要影響容量和Die 並行度
但 HBM 的介面位寬是固定的（如 HBM2/3 系列通常為 1024-bit），不會因為堆更多層而翻倍
真正決定 Bit Output 的是每 Pin 速率 × 位寬
更多堆疊層數的好處更多體現在容量和良率/冗餘設計上

學習路徑

入門級（建立直覺）

理解記憶體牆問題：搜尋 “Memory Wall” + “AI Training”，理解為什麼 HBM 必要
看圖識 HBM：搜尋 HBM 實物圖/剖面圖，建立堆疊+TSV 的物理直覺
頻寬計算器：找線上工具，輸入位寬和速率，計算頻寬，建立數量感

進階級（技術理解）

閱讀 HBM JEDEC 規範概述：瞭解標準定義的介面、時序、電氣特性
研究 CoWoS 封裝：理解 HBM 如何與主晶片物理整合
分析 GPU 架構白皮書：NVIDIA H100/B200 白皮書中的記憶體子系統部分

專家級（產業洞察）

追蹤記憶體廠商財報/技術日：SK 海力士、三星的技術路線圖
研讀先進封裝報告：CoWoS、EMIB 等封裝技術的競爭格局
建模供需：根據 AI 晶片出貨預期，估算 HBM Bit Output 總需求

一句話總結

HBM Bit Output 是 AI 時代”資料高速公路”的車道寬度 × 車速——它決定了計算晶片能否滿血運轉，是記憶體牆問題的核心變數，也是當前 AI 產業鏈最受追捧、供給最緊張的環節之一。

延伸閱讀與來源

型別	來源	說明
標準規範	JEDEC HBM 標準文件	HBM2/2E/3/3E 的權威技術定義
GPU 架構	NVIDIA H100/B200 白皮書	實際產品中 HBM 的應用方式
行業分析	各券商半導體/儲存行業報告	供需、市場格局、競爭分析
技術會議	ISSCC、Hot Chips 演講	最新 HBM 技術進展
廠商資訊	SK 海力士、三星、美光官網/財報	產能、良率、技術路線
封裝技術	台積電 CoWoS 技術資料	2.5D 封裝與 HBM 整合

免責宣告：本頁涉及的具體技術規格和市場資料，凡未標註明確來源的，均為定性描述或行業共識性認知，不構成精確技術規格或投資建議。具體引數請以廠商官方 datasheet 和權威行業報告為準。

最後更新：基於公開行業認知整理，具體數字請以最新廠商揭露為準。