bit I/O
1 3 秒看懂
- 1024-bit I/O 是一條資料匯流排物理位寬為 1024 位，每個時鐘週期能同時傳送 1024 位元資料。
- 它主要用在 高頻寬記憶體 (HBM) 堆疊中，是當前 AI/GPU 突破記憶體頻寬牆的核心並行寬度方案。
- 核心價值：在頻率提升受限的背景下，直接倍增匯流排寬度，使單堆疊頻寬可達 數百 GB/s ~ 1 TB/s 級。
2 3 分鐘產業解釋
AI 大型模型引數動輒數百 GB，每次迭代都要頻繁讀寫視訊記憶體，記憶體頻寬往往是第一瓶頸。 1024-bit I/O 就是一條 1024 位寬的資料高速公路，頻寬公式為： 頻寬 = 位寬 × 有效資料速率 ÷ 8（有效資料速率已包含 DDR/QDR 倍頻效應，不再額外乘倍率）。 如果頻率不變，把位寬從 256-bit 擴到 1024-bit，理論頻寬就能提升 4 倍。
實際中，1024 位寬的實現並非靠單顆記憶體顆粒，而是通過 HBM 的 3D 堆疊 + 矽中介層 (Interposer) 方案：一個 HBM 堆疊內部由 8 個獨立通道組成，每通道 128 位，合計正好 1024 位 (JEDEC HBM 標準定義)。在海量並行 GPU 或 AI 加速晶片中，這種超寬介面直接從物理層解決了“資料喂不飽計算核心”的問題。
當下所有主流 AI 訓練晶片（如 NVIDIA A100/H100/B200 系列、AMD MI300X 等），只要搭載 HBM，其與 GPU die 之間的記憶體介面就是基於 1024-bit I/O 的設計架構。
3 技術原理
物理介面位寬的實現
一個 1024-bit I/O 介面在物理上由 1024 根資料線 (DQ) 組成，通常還配合數十根命令/地址線和時鐘線。這些訊號採用 雙倍資料速率 (DDR) 方式工作，即時鐘上升沿和下降沿都傳送資料，因此有效資料傳輸率是時脈頻率的 2 倍。部分 HBM 版本還引入 4 倍資料速率 (QDR) 或 PAM 訊號，進一步提高每引腳頻寬。
+---------------------------+
CLK ───>| 上升沿鎖存 1024-bit |
| 下降沿又鎖存 1024-bit |
+---------------------------+
|| 資料複用後
\/
雙向或單向資料流從 GDDR 到 HBM 的範式轉移
從傳統 GDDR 切換到 HBM，本質是從 長鏈路、窄匯流排、高頻率 轉向 短鏈路、超寬匯流排、中等頻率。
- 訊號完整性門檻：當頻率大幅升高，PCB 走線損耗和串擾急劇惡化，要保證 256-bit 甚至 512-bit 的並行同步已極為困難，1024-bit 在 PCB 上完全不可行。
- 功耗天花板：高頻驅動電路功耗呈超線性增長，而寬位寬、低擺幅、近存互連的能效比 (pJ/bit) 更具優勢。HBM 通過將 DRAM 堆疊在邏輯 die 上方，以微凸塊和 TSV (矽通孔) 實現最短路徑互連，用並行數量換取能效。
通道化組織與並行隱藏延遲
HBM 架構將 1024 位分割為 8 個獨立通道，每通道 128 位，各通道擁有獨立的命令介面和重新整理邏輯。每個通道還可以進一步劃分為兩個 64 位的偽通道 (Pseudo Channel)，從而在同一通道內交錯執行不同 bank 的操作。這種多通道、多偽通道設計本質上是一種 bank 級並行與命令交錯 技術：當一個通道或 bank 正執行重新整理、啟用等高延遲操作時，其他通道可以持續收發資料，保證資料流不斷線。
電氣與封裝基礎
- 矽中介層互聯：GPU die 與 HBM 堆疊並排安置在矽中介層上，中介層上微米級的金屬連線實現極低寄生引數，速率可輕鬆達到數 Gbps，無需複雜的 SerDes 收發器，僅用單端並行匯流排即可 (JEDEC HBM 規範)。
- 低壓擺幅與終端：I/O 採用片上終結 + 低壓擺幅 (VDDQ 約1.1 V，訊號擺幅可低至 0.4 V)，使每位元傳輸能耗遠低於 GDDR。具體 pJ/bit 數值因產品代際而異，公開資料顯示 HBM2E 約 3.5 pJ/bit，HBM3 進一步最佳化；HBM3E 典型值未見官方統一揭露，但行業估計已逼近 2.5 pJ/bit 以下 (來源：ISSCC 論文及廠商公開演講)。
- 堆疊與散熱：多層 DRAM die 通過 TSV 垂直互連，堆疊層數從早期的 4 層/8 層演進到 12 層/16 層，熱密度急劇上升。邏輯 die 承擔 PHY 和控制器功能，需與 DRAM die 精密匹配。
4 關鍵引數
1024-bit I/O 的效能由一組緊密耦合的引數決定，這些引數是評估系統能力與瓶頸的關鍵：
- 位寬 × 資料速率 = 原始頻寬：1024 位固定下，資料速率 (Gbps) 直接決定單堆疊頻寬上限。例如，HBM3 常見速率 6.4 Gbps，單棧頻寬 819.2 GB/s；HBM3E 速率上探 9.6 Gbps，單棧頻寬可達 1.2 TB/s 級別 (具體產品引數以原廠最終規格為準)。
- 能效 (pJ/bit)：每傳輸 1 bit 所需的能量，是衡量 HBM 對板級功耗貢獻的核心指標。越低意味著總系統散熱壓力越小。
- 堆疊容量與頻寬密度：單棧位寬固定，容量取決於堆疊層數與單 die 密度。HBM3E 單棧常見 24 GB (8 層) 和 36 GB (12 層)，一臺含 8 個這些堆疊的 GPU 總計可獲得約 192–288 GB 高頻寬記憶體與數 TB/s 頻寬。
- 散熱密度 (熱通量)：緊湊封裝導致高功率密度，必須輔以液冷或先進散熱片。目前 HBM 堆疊的熱設計功率 (TDP) 通常在數十瓦級別，具體數值原廠未完全公開，但整體 GPU-HBM 模組的熱管理已成為系統設計瓶頸。
- 誤位元速率 (BER) 與糾錯開銷：超寬匯流排意味著更高的瞬時故障機率。HBM 標準內建 ECC 機制，在 1024 位資料基礎上額外增加冗餘位，確保訓練級資料可靠性。BER 目標的典型要求低於 1E-16 (來源：JEDEC HBM3 規範摘要)，具體開銷由各控制器實現。
5 技術路線
位寬演進歷程
- 2000s：GDDR 位寬從 64-bit、128-bit 逐步擴充套件到 256-bit，後至 384-bit、512-bit，但 PCB 佈線複雜度迫使頻率提升成為主流路線。
- 2013–2016 年：HBM Gen1/HBM2 確立了單堆疊 1024-bit 的行業範式 (JEDEC HBM 標準)，以矽中介層和 3D 堆疊實現了位寬的代際飛躍。
- 2020s：HBM2E、HBM3 在維持 1024-bit 位寬的前提下，將速率從 3.6 Gbps 提升至 6.4 Gbps，並引入 12 層乃至 16 層堆疊，容量與頻寬雙升。HBM3 還強化了 RAS (可靠性、可用性、可維護性) 功能。
- 展望 2026–2028 年：HBM4 標準制定中，JEDEC 已透露位寬或將翻倍至 2048-bit，同時資料速率進一步提升，目標單棧頻寬達到 2 TB/s 以上 (來源：JEDEC HBM4 預釋出路線圖及 SK 海力士公開演講)。物理實現面臨中介層尺寸、訊號完整性、熱管理等巨大挑戰，仍處於預研/樣品階段。
主流高頻寬介面方案對比 (2024–2025 年典型引數)
| 指標 | GDDR6X (384-bit 示例) | HBM2E (單棧 1024-bit) | HBM3 (單棧 1024-bit) | HBM3E (單棧 1024-bit) |
|---|---|---|---|---|
| 位寬 | 384 bit | 1024 bit | 1024 bit | 1024 bit |
| 資料速率 | 19–21 Gbps (PAM4) | 3.6 Gbps (DDR) | 6.4 Gbps (DDR) | 8.0–9.6 Gbps (DDR) |
| 單棧頻寬 (理論) | ≈ 1017 GB/s (384-bit 模型計算) | 460.8 GB/s | 819.2 GB/s | 1024–1228.8 GB/s |
| 每引腳速率 | 高速序列 / PAM4 | 中等並聯 DDR | 並聯 DDR | 並聯 DDR |
| 封裝型式 | 分立 BGA 用於 PCB | 2.5D 矽中介層 | 2.5D 矽中介層 | 2.5D 矽中介層或混合鍵合趨勢 |
| 典型 pJ/bit | ~7 pJ/bit (行業估算) | ~3.5 pJ/bit | <3.0 pJ/bit (行業估算) | 2.5 pJ/bit 級別 (目標) |
| 面向領域 | 消費級顯示卡、遊戲、部分推論 | 雲端端 AI 訓練 (A100 等) | 高階 AI 訓練 (H100 等) | 旗艦 AI/超算 (B200 等) |
注：表中頻寬為位寬×速率的理論值，實際有效頻寬受協議開銷影響。資料速率及能效數值來自各代 JEDEC 標準公開範圍及廠商公開演講，不代表特定產品最終規格。
6 上游
1024-bit I/O 生態的上游涵蓋從原材料到 IP 授權的多個環節：
記憶體晶片與堆疊製造
- DRAM 晶粒生產與堆疊：三星電子、SK 海力士、美光科技三大原廠掌握 HBM DRAM die 的設計與製造，並完成 TSV、微凸塊加工及晶圓級多層堆疊。
- 基礎晶圓與材料：用於 HBM DRAM 的專用晶圓、TSV 電鍍液、填充介質、臨時鍵合材料等由化工及矽晶圓供應商提供，但核心配方多由原廠與材料商聯合開發，公開資訊有限。
先進封裝與中介層
- 矽中介層及 2.5D 封裝：台積電 (CoWoS-S/L/R 系列)、三星 (I-Cube/H-Cube 系列) 提供矽中介層製造及 GPU+HBM 異質整合封裝，是 1024-bit I/O 物理可製造性的最大公約數。英特爾則通過 EMIB 實現類似功能。
- 封裝裝置：TSV 形成所需的深反應離子刻蝕 (DRIE)、電鍍、晶圓薄化、熱壓鍵合 (TCB) 或批量回流焊等裝置，供應商包括應用材料、科林研發、ASM Pacific、Besi 等。
IP、EDA 與設計服務
- HBM 控制器與 PHY IP：Synopsys (DesignWare), Cadence, Rambus 等提供經過矽驗證的 1024-bit HBM 控制器及物理層 IP，支援 HBM2E/HBM3/HBM3E，並向下相容。
- EDA 工具：Cadence、Synopsys、西門子 EDA 等提供 2.5D/3D 封裝協同設計、訊號完整性/電源完整性模擬以及熱分析工具。
7 下游
1024-bit I/O 直接服務於需要極高記憶體頻寬的計算場景，下游呈現高度集中與快速擴散並存的特徵：
- AI/GPU 晶片設計商：NVIDIA (H100/H200/B200/GB200 系列)、AMD (MI300X 系列)、英特爾 (Gaudi 3 及後續 Falcon Shores) 等是當前最大需求方，每款旗艦 AI 加速器均搭載多個 1024-bit HBM 堆疊。
- 雲端服務商自研晶片：Google (TPU v5p/v6), Amazon (Trainium2), 微軟 (Maia), Meta (MTIA) 等為降低 TCO 和保障供應，逐步匯入 HBM，雖然單晶片規模可能小於 NVIDIA 旗艦，但總量持續拉昇 HBM 需求。
- 高效能運算與超算中心：國家超算系統及科研機構建置的 GPU/HBM 叢集，用於氣象、藥物、物理模擬等，是 HBM 的穩定需求方。
- 邊緣與推論場景：部分高吞吐推論卡也開始採用 HBM（如 NVIDIA L40S 等未使用 HBM，但未來推論需求擴大後，寬 I/O 方案可能下沉），不過目前主流推論仍以 GDDR 為主，HBM 滲透率在推論側尚低。
8 受益公司
以下公司直接在 1024-bit I/O 價值鏈中擁有重要地位，關注其產業角色而非投資屬性：
HBM 核心供應商
- SK 海力士：2024 年 HBM 市場主要份額持有者，獨家或首批供應 NVIDIA H100/H200 的 HBM3 方案，並率先出貨 HBM3E，是市場領導者。(來源：公司 2024 年季度報告、TrendForce 2024)
- 三星電子：同時具備 DRAM 製造與先進封裝 (I-Cube) 能力，垂直整合優勢顯著。2024 年 HBM3E 8 層產品通過認證並開始供應，12 層產品推進中。整體 HBM 營收持續放大。
- 美光科技：HBM 領域追趕者，2024 年量產出貨 HBM3E 8 層產品，並規劃 12 層 HBM3E 於 2025 年量產，同時版面配置 HBM4。憑藉 1β 工藝和自研堆疊技術試圖擴大份額。
先進封裝與生態巨頭
- 台積電：CoWoS 先進封裝幾乎壟斷 AI GPU 的 HBM 中介層與異質整合，其產能直接決定 1024-bit I/O 的可用總量，是產業鏈樞紐。
- 英特爾：雖然 GPU 出貨小，但其 EMIB 等先進封裝可用於 HBM 整合，且代工服務 (IFS) 正在爭取 HBM 封裝客戶。
- IP 公司：Synopsys、Cadence 通過 HBM 控制器 IP 及 PHY IP 滲透到幾乎每一家 AI 晶片供應商，收取許可費與版稅。
裝置與材料受益邏輯
- 因 HBM 堆疊層數增加、每代微縮，TSV 刻蝕、電鍍、薄化等裝置需求持續擴大，相關半導體裝置公司因此受益；但具體財務影響需綜合評估，公開詳細營收拆分未見揭露。
9 市場規模
HBM 產值爆發式增長
- 2022–2023 年：根據 Yole Intelligence 釋出的《Memory Market Monitor》報告，2022 年 HBM 市場規模約為 20 億美元，2023 年增長至約 48 億美元，年增率增長超過 100%。
- 2024 年：TrendForce 集邦諮詢 2024 年 7 月資料顯示，受 AI 訓練和推論需求拉動，2024 年全球 HBM（含 HBM2E/HBM3/HBM3E）市場規模預計達到約 169 億美元，較 2023 年增長超 200%。HBM 佔整體 DRAM 產值比重從 2023 年的約 8% 提升至超過 20% (來源：TrendForce, 2024 年 7 月)。
- 2025 年展望：同一機構預測，2025 年 HBM 市場規模有望突破 270 億美元，年增長率維持高雙位數。若 HBM4 按計劃推進，長期市場天花板將進一步開啟。
- 量價齊升：單 GPU 搭載 HBM 容量從 A100 的 80 GB (5 棧) 到 H200 的 141 GB (6 棧)、B200 的 192 GB (8 棧) 等，平均單機 HBM 價值量持續提升；同時 HBM 合約價遠高於傳統 DDR，ASP 保持堅挺。
先進封裝產能作為約束
- 台積電 CoWoS 產能：台積電在 2024 年 Q2 法說會中指出，2024 年底目標將 CoWoS 月產能推升至約 3.5 萬片 (以 12 英寸晶圓計)，2025 年計劃繼續擴大至 4.5~5 萬片以上 (來源：台積電 2024 年二季度法說會簡報)。即便如此，產能仍無法滿足所有客戶的 HBM 封裝需求，供需緊張預計持續至 2025 年。
- 三星/英特爾加碼：三星 I-Cube 及 H-Cube 封裝產能同步擴張，英特爾 EMIB 及先進封裝業務也在爭取 HBM 相關性，但全球 1024-bit I/O 所需的 2.5D 封裝產能仍然高度集中於台積電。
10 玩家對比
三大 HBM 原廠關鍵引數與進度 (截至 2025 年 4 月，基於公開資料)
| 維度 | SK 海力士 | 三星電子 | 美光科技 |
|---|---|---|---|
| 主力產品 (2024) | HBM3 / HBM3E 8 層、12 層 | HBM3 / HBM3E 8 層 | HBM3E 8 層 |
| 最高堆疊 / 容量 | 12 層 36 GB；16 層開發中 | 12 層 36 GB (2025 年量產) | 8 層 24 GB (量產)；12 層 36 GB (2025 年送樣) |
| 資料速率 (HBM3E) | 9.0–9.6 Gbps | 8.0 Gbps (8 層)；更高版本待公佈 | 9.2 Gbps (8 層產品) |
| 單棧頻寬 | 最高 ≈1.2 TB/s (9.6 Gbps) | 8 層 產品約 1.0 TB/s | 8 層產品約 1.2 TB/s (9.2 Gbps) |
| 先進封裝配合 | MR-MUF 熱壓鍵合 + 台積電 CoWoS / 三星封裝 | TC-NCF (非導電膜) + I-Cube 封裝 | TCB + 台積電 CoWoS 為主 |
| 市場地位 (份額) | 2024 年 HBM 營收市佔第一，約 53% (TrendForce 8/2024) | 約 38%，主要供應 AMD 及部分系統廠 | 約 9%，聚焦 NVIDIA 認證進度 |
| HBM4 路線圖 | 2024 年完成流片，計劃 2025 年提供樣品，目標頻寬 2 TB/s | 2025 年初試產，預計 2025 年底量產 12 層 HBM4 | 2025 年送樣，預計大規模量產在 2026 年 |
注：市場份額為營收口徑，來源 TrendForce 2024 年 8 月報告“HBM Market Share, Q2 2024”。各產品引數來自公司官網新聞稿及產品簡介，部分資料速率、容量和能效指標因客戶定製存在差異。
差異化競爭要點
- SK 海力士：先發優勢明顯，MR-MUF 技術最佳化熱傳導和堆疊良率，與 NVIDIA 深度繫結。
- 三星：綜合 IDM 實力，可在 I-Cube/H-Cube 封裝中提供一站式服務，並積極探索混合鍵合路線，試圖在 HBM4 時代縮小差距。
- 美光：憑藉 1β 製程和精簡內部設計，提升能效並加速認證，不過客戶基礎仍較集中，後續需多元化。
11 風險
技術瓶頸與物理極限
- 散熱與熱串擾：12 層乃至 16 層 HBM 堆疊使熱量積聚，熱點之間的熱耦合可能導致頻率降額，液冷、浸沒式冷卻等方案成本高昂。
- TSV 良率與可靠性：隨著 TSV 密度和堆疊層數增加，微凸塊連接出現斷路或短路的機率上升，對高頻寬匯流排和 ECC 壓力增大。
- 訊號完整性：若未來位寬進一步加倍至 2048-bit，中介層尺寸劇增，長線傳輸引發的偏斜和損耗不容忽視，可能需要引入更復雜的重定時或序列化區域性方案。
供給集中與產能風險
- 先進封裝單點瓶頸：台積電 CoWoS 產能若因裝置交期、地緣等因素受限，將直接打破 1024-bit I/O 的供給平衡，影響所有下游 AI 晶片廠商。
- 原廠集中度：HBM 供應高度集中於 SK 海力士、三星、美光三家，任何一家的工廠事故、技術延遲或政治因素均可能衝擊市場。
- 產能投資巨大：HBM 晶圓消耗是同容量 DDR 的數倍，原廠擴產需鉅額資本支出，若未來 AI 需求增速放緩，可能出現過剩風險。
替代路徑威脅
- 近存計算與存內計算 (Processing-in-Memory)：將部分運算遷移至記憶體內部，可能降低對主記憶體頻寬的依賴，但當前仍處於學術和預研階段，對短期 1024-bit I/O 生態威脅有限。
- 光學互聯與晶圓級光學：若未來晶片間互連改用光互連實現 TB/s 級頻寬，可能改變對並行寬 I/O 的依賴範式，但 5 年內規模化可能性較低。
- 新型儲存介質：如 MRAM、PCM 等，若速度與耐久性取得突破，可能衝擊 DRAM 體系，但針對 HBM 高頻寬應用的替代路徑尚不明確。
需求週期與客戶集中
- 目前 HBM 最大客戶為 NVIDIA，其產品路線與採購策略變化直接影響 HBM 原廠營收格局。任何合約轉單、技術認證延遲或庫存調整都會放大業績波動。
12 誤讀糾偏
誤讀一：“1024-bit 就是 GPU 的視訊記憶體位寬”
消費級 GPU 規格表上的 “256-bit 視訊記憶體位寬” 是指 GPU 與視訊記憶體顆粒之間的總寬度。而在 AI 加速卡上，GPU die 與每個 HBM 堆疊之間都是 1024-bit 介面，單張加速卡可搭載 4 個、6 個甚至 8 個 HBM 堆疊，此時整體記憶體介面總位寬是 N×1024-bit。媒體常簡化表述為“xxx 位”，但這裡的“位寬”已升維到堆疊級別。
誤讀二：“只要 1024-bit 就一定有好效能”
真實訓練吞吐量還取決於容量、延遲、計算核心的突發能力以及軟體棧對資料重用的最佳化。如果模型資料本地性強，則 1024-bit 的超寬匯流排可能並不帶來成比例增益；反之，若資料重排複雜，編譯器未能最佳化，再寬的 I/O 也會空轉。位寬解決的是通路的寬度，不是整套系統的運算效率均衡。
誤讀三：“PCIe 8.0 x16 也要 1024-bit 了”
PCIe 8.0 x16 的目標雙向頻寬為 1.0 TB/s (來源：IT之家，2026-05-07 報道)，但其物理介面並非 1024-bit 並行匯流排，而是 16 對高速序列 lanes，採用 PAM4 調變。這是完全不同的技術路徑——序列高頻寬與並行大位寬不應混淆。
誤讀四：“HBM 等價於 1024-bit I/O，沒有 HBM 就沒有 1024 位”
雖然 HBM 是最主流的 1024-bit I/O 載體，但理論上其他記憶體架構（如定製化的超寬 LPDDR 聚合、或矽光子互聯記憶體）也可能實現 1024 位或更寬的資料介面。HBM 只是當前最成熟、最具規模效應的實現方式。
13 最新事件
以下為截至 2025 年 4 月公開報道的部分動態，供技術趨勢追蹤參考。
- SK 海力士 HBM3E 12 層率先出貨：2024 年 9 月，SK 海力士宣佈已向客戶交付 12 層 HBM3E (36 GB) 樣品，並於 2024 年 Q4 實現規模量產，計劃 2025 年上半年進一步擴大出貨 (來源：SK 海力士 2024 年 9 月新聞