HBM 與 GPU 共封裝

3 秒看懂

HBM 與 GPU 共封裝是將高頻寬記憶體堆疊與 GPU 晶片通過先進封裝（典型方案為 2.5D 矽中介層）緊密整合在同一基板上，用極短、極寬的並行線路取代傳統 PCB 走線。其直接效果是：在幾乎不增加功耗的情況下，將 GPU 可用的視訊記憶體頻寬提升至傳統分立方案（如 GDDR）的數倍，同時大幅縮減系統佔用面積。當前這已是所有頂級 AI 訓練/推論加速器的標準架構。

3 分鐘產業解釋

為什麼需要共封裝？

大型模型訓練和推論對視訊記憶體頻寬需求激增，而傳統 GDDR 顆粒只能圍繞 GPU 佈置，受制於 PCB 佈線密度和訊號完整性，頻寬提升進入瓶頸。HBM（高頻寬儲存器）本質是 3D 堆疊的 DRAM，底部邏輯 Die 負責與處理器互聯，整棧通過數千根微凸塊將資料通道垂直引出。將這樣的 HBM 堆疊與 GPU 放置在矽中介層上，就能用微米級矽片內的細密金屬線代替釐米級 PCB 走線，實現“超寬體”近存通訊。

產業落地情況

頭部 AI GPU 全面採用：NVIDIA 的 A100/H100/B200 系列、AMD 的 MI300 系列均基於此類共封裝架構。
封裝產能是核心瓶頸：台積電的基礎 2.5D 封裝產能（如 CoWoS）持續滿載，成為限制 AI 晶片供給的關鍵節點。
供應鏈高度集中：HBM 由 SK 海力士、三星、美光三巨頭供應；先進封裝由台積電主導，三星、Intel 等競相追趕；GPU 設計端由 NVIDIA 領跑。

一句話核心價值

以先進封裝實現的 HBM-GPU 一體化，是當下突破“儲存牆”、支撐千億引數大型模型訓練的唯一量產路徑。

15 分鐘專家深入

從儲存牆到近存計算

在傳統異構系統中，GPU 計算需要的資料要從板載 DRAM 經 PCB 走線、記憶體控制器、PHY 等長鏈路搬運，這帶來兩大問題：

頻寬極限：GDDR 顆粒的位寬有限，提升顆粒數和頻率有物理約束。
功耗失控：長距離高速訊號傳輸需要消耗大量能量，且需要複雜的訊號完整性和散熱設計。

HBM 與 GPU 共封裝將記憶體物理位置拉至處理器晶片近旁，將互連長度縮短至極短（毫米級甚至微米級），等效於用極低的每位元每毫米能耗獲取極高的頻寬密度。這本質是 “近存計算” 在工程上的一次躍遷。

互連結構的決定性作用

不是簡單地把兩顆晶片“粘”在一起，而是通過以下多層技術組合實現：

矽中介層：提供高密度佈線（通常為數次金屬層），承載 GPU Die 與多顆 HBM 堆疊。
微凸塊與 TSV：HBM 內部各層 DRAM 由矽通孔（TSV）貫穿，資料匯至底部邏輯 Die；邏輯 Die 再通過微凸塊陣列連線到中介層，進而通往 GPU。
物理層介面：採用極低擺幅的並行訊號，超大位寬（每個 HBM 堆疊可達上千個數據引腳）保證每引腳速率不必推到極致，從而兼顧頻寬與功耗。

正因如此，共封裝方案的總頻寬目前可達 TB/s 級，且能效（每位元傳輸能耗）顯著優於分立 GDDR 方案，是資料中心 GPU 實現“多卡 Scale-up”的關鍵。

產業關注的核心矛盾

良率與成本：中介層面積相當於 GPU + 多個 HBM 棧的總和，大尺寸矽中介層的良率直接決定封裝成本。
熱管理：HBM 與 GPU 緊密耦合，熱源集中，對散熱設計提出極高要求。
標準化與演進：HBM 自身遵循 JEDEC 標準不斷迭代，但 GPU 與 HBM 的互連介面目前仍是專有設計，不同 GPU 廠商的封裝方案互不通用，這決定了其高度綁定於具體產品的競爭格局。

技術原理（最深）

本段深入解析 HBM-GPU 共封裝從儲存單元到系統互連的工程機理，僅出現定性描述與公開概念，不標註未經驗證的硬性規格。

1. HBM 堆疊內部結構

HBM 堆疊由若干個 DRAM 核心 Die 和一個底部邏輯 Die 垂直堆疊而成：

儲存層：每層是傳統的 DRAM 單元陣列，但設計上調整了行列結構以適配寬 I/O 輸出。
矽通孔 (TSV)：垂直貫穿所有 DRAM Die，將各層的儲存位線訊號彙總至底部。
邏輯基座 Die：負責通道控制、PHY（物理層）、DFT/BIST 測試功能，對外提供寬並行介面，對內承擔各層 DRAM 的排程與重新整理。

2. 2.5D 矽中介層互連

        +----------------------------------------------------------------+
        |                      矽中介層 (Interposer)                     |
        |  微細金屬佈線層（通常為多層 RDL）                                 |
        |                                                                |
        |  +------------+   +------------+   +------------+              |
        |  |   GPU Die  |   |  HBM Stack |   |  HBM Stack |              |
        |  |            |   |  (DRAM+TSV)|   |  (DRAM+TSV)|              |
        |  +-----+------+   +-----+------+   +-----+------+              |
        |        |                |                                  |
        |        |    微凸塊陣列  |                                  |
        +--------+----------------+----------------------------------+
              |                     |
             基板 (Package Substrate)

關鍵訊號路徑：GPU 發出的讀寫請求經片上記憶體控制器，驅動 PHY 並通過微凸塊進入中介層金屬線，抵達 HBM 邏輯 Die 的 PHY，再經內部邏輯分配到具體 DRAM 層的 Bank。資料回傳路徑對稱。整個鏈路不使用傳統的 PCB 長線，而是採用低延遲的片間並行匯流排，通常在封裝內部使用無端接或簡約端接技術以節省功耗。

3. 物理層與協議

通道結構：HBM 介面以“通道”為基本獨立單元，每個堆疊內部有多個完全獨立的通道（例如 HBM2/3 標準的典型設計是 8 或 16 個獨立通道），每個通道又細分為多個偽通道，從而實現極高並行度的命令與資料流，減少排隊衝突。
低擺幅並行訊號：不同於 GDDR 通過提高每引腳資料速率來獲取更高總頻寬，HBM 與 GPU 互連採用極寬的並行位寬，將每引腳速率保持在適中水平，從而降低對訊號完整性的苛刻要求。這大幅節省了高速 PHY 設計所帶來的功耗開銷。
電源網路：中介層底部或基板內整合多路電源平面，為 GPU 和 HBM 分別供電。HBM 工作電壓通常比 GDDR 更低，且通過精細的電源管理可動態調整電壓以降低待機功耗。

4. 面積與頻寬的折衷

共封裝優勢的本質來源於所用物理介質的特徵尺寸：中介層金屬線的線寬/間距遠小於 PCB 走線，允許在 GPU 邊緣有限的周長內引出更多的資料線。然而這也意味著系統總頻寬受限於：

GPU 周邊可佈置的微凸塊數量（與 GPU 晶片的邊長及微凸塊間距相關）
中介層金屬層可扇出的線路容量
HBM 堆疊自身的最大位寬封裝能力

這些因素決定了最終 GPU 最多可整合的 HBM 堆疊數及每堆疊實際可實現頻寬的上限，是產品定義中最關鍵的引數平衡點。

技術演進史

1. 前 HBM 時代：GDDR 分立版面配置

GPU 周圍排列多顆 GDDR 顆粒，各顆粒通過 PCB 走線直連。
隨著頻寬需求增長，顆粒數和 I/O 速率不斷提升，但 PCB 版面配置、訊號完整性和功耗矛盾日益尖銳。

2. HBM 誕生與早期共封裝（約 2013‐2015）

JEDEC 釋出 HBM 標準，AMD 率先在其 GPU 中採用 HBM1 與矽中介層共封裝（Fiji 架構）。
業界初次驗證了 2.5D 矽中介層將 GPU 與 HBM 緊密結合的可行性，頻寬相比同期 GDDR5 大幅躍升。

3. HBM2/HBM2E 規模化（2016‐2021）

NVIDIA 將 HBM2 引入資料中心加速器（如 V100/P100），標誌著 HBM 從高階圖形卡進入 HPC/AI 主戰場。
封裝技術走向成熟，中介層面積持續增大，支援更多 HBM 堆疊（如 4 棧、6 棧）。
三星、海力士、美光競爭加速 HBM2E 的容量與頻寬，成為 AI 訓練卡的標配。

4. HBM3 與 HBM3E 時代（2022‐至今）

HBM3 標準進一步提高每棧容量和通道數，並引入更高速度的 TSV 與介面。
HBM3E 作為擴充套件版，在速率和能效上再進階，成為 NVIDIA H200/B200 等最新產品的核心夥伴。
封裝方案向更大中介層、更高凸塊密度以及潛在的 3D 混合鍵合方向演進。

5. 未來趨勢：3D 整合與存算融合

業界正在探索跳過矽中介層，直接通過 混合鍵合 將 HBM 堆疊垂直整合在 GPU 邏輯晶片上方，實現真正的 3D 近存整合，可進一步縮短互連距離。
同時，存內計算（PIM）技術出現，在 HBM 邏輯 Die 或 DRAM 層中加入計算單元，將部分簡單操作解除安裝至記憶體端，HBM-GPU 共封裝可為此提供理想的物理載體。

技術路線對比

下表以定性方式給出不同儲存互連方案在 AI 加速器中的關鍵特性對比。（“+”表示此項更優或更高）

維度	HBM + 2.5D 共封裝	分立 GDDR 顆粒	未來 3D 存算一體
頻寬密度 (GB/s 每 mm² 封裝面積)	很高	中等偏低	極高
能效 (每位元傳輸能耗)	優	差	極優（近零距離）
封裝面積佔用	緊湊	大（多顆粒環繞）	最小
延遲	中低（經中介層）	中高（PCB 長線）	極低
容量拓展性	中（被堆疊高度和麵積約束）	相對靈活（增減顆粒）	中（3D 堆疊高度熱約束）
成本（同容量下）	高（TSV+中介層）	低	極高（初期）
散熱難度	集中，要求高	分散，相對容易	極高（垂直熱疊）
工藝標準成熟度	成熟（已大規模量產）	非常成熟	前沿研發/小批次
典型應用	高階 AI 訓練/推論 GPU	消費級 GPU、部分推論產品	AI 訓練/HPC（未來）

上下游

上游：材料與裝置

矽中介層與封裝基板：大尺寸矽晶圓、高精度微凸塊製造（UBM/Cu Pillar）、TSV 刻蝕與填充裝置、先進鍵合裝置（熱壓鍵合、混合鍵合）。
HBM 材料：超薄 DRAM 晶圓、高深寬比 TSV 介質、先進模塑底部填充材料。
GPU 相關：先進邏輯製程晶圓（如 4nm 級 FinFET）、高密度封裝所需的凸塊下金屬與焊料。

中游：設計、製造與封裝

HBM 設計與生產：儲存 IDM（SK 海力士、三星、美光）負責 HBM 堆疊的全流程，從 DRAM 設計到 TSV 製造與堆疊組裝。
先進封裝服務：主要由晶圓代工廠（如台積電 CoWoS、InFO 系列等）或 OSAT 將 GPU 與 HBM 一完成 2.5D 整合。部分 GPU 大廠定製獨有封裝方案。
GPU 設計公司：決定 HBM 控制器 IP、介面通道數、中介層拓撲與系統級電源/熱管理，對外輸出最終整合的加速卡或模組。

下游：系統整合與應用

伺服器/叢集組裝：將模組整合到基板、安裝液冷或風冷散熱器，組裝成 AI 伺服器主機板。
雲端與超算客戶：超大規模雲端廠商、國家超算中心、AI 公司為終端使用者，對共封裝方案的頻寬、容量和可靠性實施驗證與調優。

關鍵指標

以下指標定義了 HBM-GPU 共封裝方案的競爭力，所有數值僅以定性或趨勢方式描述，未使用未公開的精確規格。

總頻寬：所有 HBM 堆疊的合計資料吞吐量，以 TB/s 為單位，決定 GPU 處理大張量的上限。
容量：所有 HBM 堆疊的總容量，決定模型能否完全駐留在視訊記憶體中。
封裝互連能效 (pJ/bit)：從 GPU 到 HBM 的資料搬運能耗，直接影響 TCO 和卡熱設計。
中介層面積與線密度：越大、線越細，能支援的 HBM 堆疊越多，但成本呈超線性增長。
凸塊密度/間距：決定訊號引腳數量，密度越高頻寬潛力越大。
HBM 堆疊高度與熱阻：影響散熱能力，往往是限制堆疊層數和功耗的物理牆。
可用通道數/堆疊：影響記憶體併發性和有效頻寬利用率。
訊號完整性 (eye-opening)：限制每引腳資料速率的上限，好的共封裝設計能提供更優裕量。

供需與市場資料

（本部分因未檢索到即時資料，僅作定性市場態勢描述）

需求側：大規模語言模型、多模態模型訓練對高頻寬視訊記憶體的需求增速遠超傳統摩爾定律推動的頻寬提升。頭部客戶（北美雲端廠商等）對 HBM-GPU 整機採購量激增，帶動共封裝器件需求成倍增長。
供給側：
- HBM 產能：集中在 SK 海力士、三星、美光，當前及下一年度產能已被主要 GPU 客戶預訂一空。
- 先進封裝產能：台積電 2.5D 先進封裝產線利用率持續接近滿負荷，擴產計劃需提前數年規劃並受土地、裝置交期制約，成為整個 AI 晶片供給鏈中的最硬約束。
價格趨勢：由於供需緊張，HBM 及先進封裝代工價格有持續上調壓力，最終影響 AI 加速卡的單價。
區域動態：各國對 HBM 技術與相關封裝產能的戰略重視度空前提升，部分國家展開自主可控投資，未來供給格局可能從高度集中向多元化微調。

代表公司與資本對映

關鍵角色（定性配置）

HBM 供應三巨頭：SK 海力士（市場份額領先）、三星電子（具備 HBM + 先進封裝一體化能力）、美光科技（後起追趕）。它們直接受益於 HBM 的規格升級與量價齊升。
先進封裝龍頭：台積電佔據 2.5D 封裝最大市場份額，其 CoWoS 系列技術的產能釋放直接關聯 NVIDIA 等客戶的出貨量。三星、Intel 等也在推進等效方案（如 I-Cube、EMIB 等）。
GPU/加速器設計廠商：NVIDIA 領跑資料中心 GPU，AMD 的 Instinct 系列及 Intel 的 Gaudi/Falcon Shores 等亦採用共封裝 HBM。公司股價表現極度錨定 AI 算力需求的預期。
封裝裝置與材料：矽中介層、TSV、鍵合、臨時鍵合/解鍵合裝置商（如應用材料、KLA、Besi 等）從產能擴張中持續獲益。

資本對映邏輯

產能擴張期，投資“賣鏟人”思路：裝置、材料、封測代工是確定性較高的受益環節。
產品迭代期，擁有領先 HBM 和封裝技術協同的廠商可獲更大溢價，例如能夠在同一平台同時提供 HBM3E 和下一代封裝的 IDM 或代工廠。
高關聯性的供應鏈斷點成為資本關注焦點：例如先進封裝產能限制導致 GPU 交付延遲，映射出封裝環節的戰略價值，引發市場重新定價。

投資邏輯

短中期看產能分配：誰能拿到更多的 HBM 和先進封裝產能，誰就決定了 AI 晶片的出貨量，需緊密追蹤代工廠和儲存廠的資本支出展望與產能爬坡進度。
長期看技術迭代與價格彈性：從 HBM2E 到 HBM3/HBM3E 再到未來 HBM4/3D 整合，每代技術升級都伴隨著單價提升，儲存與封裝價值鏈會進一步擴大。重點關注同時版面配置 HBM 和封裝的整合型巨頭。
地緣與供應鏈韌性：先進封裝和 HBM 產能高度集中於東亞，地緣風險為其提供了溢價邏輯，本土替代投資有時會獲得主題性加持。
衍生應用滲透：除 GPU 外，AI 專用 ASIC、FPGA 也在逐步引入 HBM 共封裝，若滲透率提升，將進一步拓寬市場天花板，創造新的封裝和儲存需求。
成本與散熱解決方案：高功耗密度的共封裝模組帶動高階散熱（液冷、浸沒式）和電源管理市場成長，可形成跨環節產業鏈研究線索。

常見誤讀糾偏

誤讀 1：HBM 與 GPU 共封裝就是把 HBM 整合到了 GPU 晶片裡面，二者在製造時就融為一體。
糾正：HBM 和 GPU 仍是物理上獨立的晶片，分別採用完全不同的工藝（DRAM 工藝 vs 邏輯製程）。共封裝是指它們通過矽中介層上的互連被封裝在同一個封裝基體內，類似於將多顆獨立 IC 高密度組合，而非單晶片整合。因此二者的發展仍遵循各自的工藝路線圖與產能節奏。

誤讀 2：HBM 共封裝只適用於 GPU，其他計算晶片用不上。
糾正：雖然當前最顯眼的用例是 AI GPU，但 HBM 共封裝也同樣可用於 FPGA、AI 定製 ASIC、高效能 CPU/DPU 等對頻寬極度飢渴的計算器件。賽靈思、英特爾等公司都已有或規劃帶有 HBM 共封裝的非 GPU 產品。該技術的本質是解決“高頻寬儲存近存計算”的通用工程難題，並不綁定於某類計算架構。

誤讀 3：共封裝後記憶體頻寬無限大，不再有瓶頸。
糾正：共封裝解決了物理互連的部分頻寬和功耗問題，但頻寬仍受限於記憶體自身的時延特性、Bank 衝突、通道利用率等 DRAM 固有約束，以及 GPU 片上記憶體控制器和其排程策略。實際應用中的有效頻寬通常遠低於理論峰值頻寬，需要軟體和架構的協同最佳化。

學習路徑

基礎：
- 學習 DRAM 工作原理、Bank 與重新整理機制。
- 理解 JEDEC HBM 標準的基本架構（通道、偽通道、TSV 概念）。
先進封裝：
- 掌握 2.5D 及 3D 封裝技術群：矽通孔（TSV）、微凸塊、臨時鍵合/解鍵合、矽中介層製程步驟。
- 閱讀業界領先代工廠的先進封裝技術白皮書（如台積電 CoWoS、三星 I-Cube 資料）。
GPU 記憶體子系統：
- 研究現代 GPU 架構的記憶體控制器設計，以及現代計算中“儲存牆”的分析模型。
- 實踐用 Profiler 觀察視訊記憶體頻寬利用率、延遲與事務資料，理解有效頻寬概念。
前沿探索：
- 閱讀關於存內計算、近存計算以及 3D 混合鍵合技術的論文（如 IEEE ISSCC、VLSI Symposium 相關文章）。
- 追蹤頭部公司投資者會議、相關行業報告中對 HBM 及封裝產能的說法，建立產業感知。

一句話總結

HBM 與 GPU 共封裝是 AI 時代解決儲存頻寬危機的核心方案——用極高的整合密度換取 TB/s 級頻寬和大幅能效提升，實現高效能運算與記憶體的超級近耦合，已成為大型模型時代的算力基石。

延伸閱讀與來源

標準規範: JEDEC 高頻寬儲存器 (HBM) 標準文件，公開提供技術架構。
技術文獻: 台積電、三星電子、英特爾的先進封裝技術白皮書；IEEE ISSCC、ECTC 會議論文中關於 2.5D/3D 互連與 HBM 介面設計的專題報告。
行業分析: 主要半導體調研機構（如 IHS Markit、Yole、TrendForce）關於 HBM 與先進封裝的市場預測與分析（可通過官網獲取摘要）。
公司公開揭露: NVIDIA、AMD、SK 海力士、三星等公司的投資者演講與產品技術簡報，是對架構選擇和產能規劃最直接的印證。

注：本文基於公開定性資訊與行業共識進行編寫，因檢索工具限制未獲取即時資料，所有技術引數採用定性與趨勢化描述，不對任何廠商或產品的具體規格做硬性斷言。內容僅供深度學習與技術理解參考，不構成任何投資建議。