儲存級記憶體(SCM‑HBM)
1 3秒看懂
一句話定義:儲存級記憶體與高頻寬記憶體的融合架構(Storage Class Memory – HBM),指通過介質異構整合、封裝內混合鍵合或系統互連協議,將DRAM級高頻寬與儲存級記憶體的大容量、非易失特性結合,形成新一代記憶體子系統。
核心價值:在大型模型訓練和推論的“記憶體牆”瓶頸下,用更低的每位元成本提供TB級近計算記憶體容量,同時維持接近HBM的頻寬,為萬億引數模型、向量資料庫和即時流處理提供資料吞吐底座。
2 3分鐘產業解釋
基本原理:傳統HBM基於DRAM介質,單棧容量停留在數十GB級別,且成本高昂、掉電即失。SCM‑HBM通過兩種路徑擴大有效容量:其一,在同一AI加速器的2.5D/3D封裝內,將DRAM堆疊與大容量儲存級記憶體(如NAND快閃記憶體、新型非易失性記憶體)通過中介層或混合鍵合互聯,由智慧記憶體控制器統一排程;其二,通過CXL等快取一致性互連協議,將主機HBM與機架級SCM儲存池連線,形成邏輯上的統一大記憶體空間。
- 目標:達到>1 TB/s的聚合頻寬,同時將單加速器可見記憶體容量從百GB級提升至TB甚至數十TB級。
- 應用場景:用於存放完整大型模型引數(千億至萬億引數)、訓練checkpoint、向量索引、記憶體資料庫和即時圖分析。
- 關鍵資料(參考尺度,非定型規格):理論頻寬可達1–3 TB/s,邏輯容量可達數十TB(較傳統HBM提升20–50倍),但有效延遲取決於快取命中率和介質特性。
3 技術原理
SCM‑HBM本身並非單一器件,而是一套異構記憶體體系結構,實現棧可大致分為三層。
介質異構堆疊
在3D堆疊的HBM中,將靠近邏輯晶片的層級使用DRAM作為熱資料快取記憶體,中上層使用新型非易失性介質(如相變儲存器PCM、阻變儲存器RRAM、鐵電儲存器FeRAM或高密度NAND)。片上記憶體控制器需執行精細的資料遷移演算法,基於訪問熱度將頁面在DRAM和SCM之間遷移。典型DRAM訪問延遲約100 ns,而NAND約10 µs,差距達兩個數量級;因此必須引入硬體預取器、大粒度切換和地址間接等技術,將延遲感知控制在應用可容忍範圍。
封裝內異構整合
利用矽中介層或混合鍵合技術,將多個標準HBM堆疊與獨立的SCM顆粒(如SLC/QLC NAND die或未來MRAM晶片)同裝於同一封裝基板上。資料在HBM與SCM之間通過超寬並行匯流排或本地CXL‑like協議傳輸。智慧記憶體控制器需同時完成地址重對映、磨損均衡、垃圾回收和掉電保護,向上層呈現統一的虛擬HBM介面。
系統級記憶體池化
以CXL.mem協議為通道,將GPU中的本地HBM與外部CXL連線的SCM裝置組成跨節點統一記憶體池。CXL 3.0支援多級交換結構,延遲可控制在≤150 ns(本地)至亞微秒級(跨節點)。應用通過統一虛擬地址訪問整個池,可實現熱資料的就近放置與跨物理介質的透明遷移。
核心技術挑戰
- 延遲彌合:介質間訪問時間差需通過多層快取(L1/L2 DRAM)和預取策略補償,不當設計可能導致30–50%的有效頻寬損失。
- 資料一致性與容錯:持久化介質在故障後需支援原子寫入和崩潰一致性,對系統軟體棧提出全新要求。
- 磨損管理:新型非易失性介質的寫耐久性有限(如QLC NAND約1000次P/E),需要全域性磨損均衡和過度供給。
- 散熱與供電:整合多種介質和控制器後封裝功耗密度急劇上升,當前HBM3E功耗已逾10 W/棧,混合整合後可能突破20 W/棧,對散熱提出極端挑戰(來源:SK海力士2023年技術白皮書、IEEE ISSCC 2024會議錄)。
4 關鍵引數
以下引數基於主要廠商公開原型和路線圖,並標註原型/預測屬性。
| 指標 | 傳統HBM3E(量產) | SCM‑HBM原型/預測 | 資料來源/備註 |
|---|---|---|---|
| 單棧容量 | 24–36 GB (2024年, SK海力士/三星) | 目標 >100 GB/棧(混合介質) | 三星CXL‑HMM概念展示,2023 |
| 頻寬 | 1.2 TB/s(HBM3E, 2024) | 目標 1–3 TB/s(聚合) | 基於多棧並行,SK海力士路線圖 |
| 介質延遲 | DRAM: ~100 ns | DRAM層同上;SCM層: 200 ns–10 µs,取決於介質 | 相變儲存器約200 ns,NAND約10 µs |
| 永續性 | 無(掉電資料丟失) | 部分或全部非易失,支援掉電保留 | 取決於SCM介質型別 |
| 封裝功耗 | ~10–12 W/棧 | 預測15–25 W/棧 | AMD 2024資料中心GPU電源設計參考 |
| 介面協議 | 標準HBM PHY (1.2–1.6 Gbps/pin) | 增加本地統一控制器協議或CXL‑over‑interposer | JEDEC HBM4公開檔案提及擴充套件 |
| 錯誤處理 | 片上ECC | 層次化ECC + 持久化日誌 | 學術架構論文(ISCA 2023) |
注:上述目標引數多為原型級或路線圖目標,並非量產產品規格。公開資料未見任何廠商公佈SCM‑HBM定型產品資料表。
5 技術路線
當前解決“記憶體牆”的技術路線交叉競爭,SCM‑HBM屬於其中一條衍化路徑。
| 路線 | 核心思想 | 優勢 | 劣勢 | 推動者 |
|---|---|---|---|---|
| 1. 更大HBM堆疊(物理延伸) | 增加DRAM層數(12→16→20層) | 維持純DRAM一致性 | 成本線性/超線性增長,容量增益有限 | 三大儲存原廠 |
| 2. SCM‑HBM(本概念) | 混合介質整合 | 容量彈性大,成本相對可控 | 複雜性高,軟體棧不成熟 | 三星、SK海力士、Intel |
| 3. CXL記憶體池化(伺服器側) | 通過CXL外接記憶體/SCM擴充套件盒 | 池化利用,靈活,已有生態 | 延遲和頻寬不如近封裝整合 | Intel、AMD、雲端廠商 |
| 4. 近儲存計算/存算一體 | 將計算移入儲存 | 極高效率 | 程式設計模型顛覆,應用受限 | 三星、SK海力士、UPMEM |
| 5. 軟體最佳化(解除安裝、重計算) | 梯度檢查點、模型並行、重計算 | 不改變硬體 | 無法突破物理容量上限 | 架構開發商 |
融合趨勢:SCM‑HBM可能吸收CXL池化思想,在超大規模部署中形成“本地HBM + 封裝內SCM + 機架級CXL記憶體池”的三級快取結構。SK海力士“AI Memory Solution”路線圖(2023年釋出)已明確提及混合記憶體層次,三星“Memory‑Semiconductor”戰略則強調存算一體的最終形態包含SCM融合。公開資料未見有公認的“最優解”,各方路線仍處並行演進階段。
6 上游
上游涉及材料、製造裝置、IP和先進封裝工具鏈。
材料
- DRAM晶圓:主要供應來自原廠內部,不對外單獨供應HBM級DRAM裸片;
- 新型非易失性介質靶材/前驅體:相變材料GeSbTe(GST)、鐵電氧化鉿(HfZrO)、阻變氧化物(TaOₓ、HfOₓ)等;供應方包括Merck、Entegris等;
- TSV填充材料:銅電鍍液、阻擋層鉭/氮化鉭等;
- 混合鍵合介質:電介質材料(SiO₂、SiCN)、銅焊盤表面處理化學品,供應商包括Brewer Science、Shin-Etsu等。
裝置
- 深矽刻蝕機(用於TSV):Lam Research、東京電子、應用材料,國產中微公司PRIMO系列已進入部分產線驗證(中微2023年報);
- 混合鍵合裝置:Besi、EV Group(EVG)、應用材料、東京電子;國內拓荊科技開發混合鍵合裝置,但面向儲存堆疊的成熟度公開資料未見;
- 晶圓減薄與CMP:Disco、應用材料,國產華海清科CMP裝置在先進封裝領域有出貨(華海清科2023年公開揭露);
- CXL協議分析/測試裝置:Keysight、Tektronix;
- 先進封裝光刻與檢測:Onto Innovation、KLA等。
IP與設計服務
- HBM PHY和CXL控制器IP:Cadence、Synopsys、Rambus、Alphawave;
- 2.5D/3D封裝設計服務:日月光、安靠、長電科技、通富微電,均具備中介層和混合鍵合技術儲備,但針對SCM‑HBM的特定設計公開案例未見。
7 下游
下游分為晶片整合商、系統廠商和終端使用者。
AI加速器廠商
NVIDIA、AMD、Intel、華為海思等整合HBM至GPU/AI晶片中。對SCM‑HBM而言,需要晶片內建支援混合介質的記憶體控制器和快取體系。NVIDIA在其Grace-Hopper架構中已引入大容量LPDDR5X池,未來可能擴充套件至CXL記憶體(NVIDIA GTC 2024演講提及)。AMD的MI300系列採用多晶片HBM,公開路線圖未明確SCM整合,但對CXL支援已納入EPYC平台。
雲端服務商與超算中心
AWS、Microsoft Azure、Google Cloud、阿里雲端等是萬億引數模型訓練的終端使用者,具有動力推動SCM‑HBM方案以降低大型模型訓練的總擁有成本(TCO)。這些廠商在CXL池化記憶體方面動作積極(Google 2024年釋出CXL共享記憶體論文)。
企業級應用
高頻交易、即時向量資料庫、記憶體資料庫(如SAP HANA、Redis)等場景,需要超大記憶體容量和永續性,構成SCM‑HBM的潛在落地領域。
8 受益公司
國際企業
- 三星電子:2023年展示“CXL‑HMM”混合記憶體原型,2024年初宣佈開發支援CXL 3.0的記憶體模組,並規劃將NAND與DRAM在HBM層級整合。三星在DRAM、NAND、邏輯晶片和先進封裝垂直整合上能力最全面。
- SK海力士:HBM市場份額第一(2023年約53%,來源:TrendForce 2024年3月資料),在HBM3E和HBM4路線圖中包含混合記憶體層次。其“Accelerator-in-Memory”路標涉及PIM,與SCM融合方向一致。
- 美光科技:HBM3E在2024年量產,主要面向NVIDIA H200。美光在3DXP經驗(雖已停產)有助於開發新型SCM介質,但2024年技術邊界公開資料未見混合HBM原型。
- Intel:CXL生態的主要推動者,已釋出“Granite Rapids”Xeon支援CXL 2.0,旗下的Optane雖已淡出,但其記憶體池化技術與開源軟體棧(libzbc、PMDK)對SCM整合有鋪墊作用。
- NVIDIA:雖是HBM消費者,但其大規模系統設計(DGX GB200)定義了記憶體子系統需求,可能通過定製化記憶體介面影響SCM‑HBM走向。
國內企業
- 長江儲存:在NAND領域有Xtacking架構,可用於實現高密度SCM顆粒,但公開資料未見其宣佈SCM‑HBM相關產品或混合整合方案。
- 長鑫儲存:DRAM技術重點在於提高良率和製程(2023年量產17nm DDR5),針對SCM‑HBM的異質整合技術公開揭露極少。
- 華為海思:消費HBM用於昇騰AI處理器,系統層通過自研Da Vinci架構和記憶體模組進行整合,具備開發混合記憶體控制器的潛力,但具體SCM‑HBM方案未公開。
- 封測廠:長電科技、通富微電和天水華天等掌握2.5D/3D封裝,XDFOI等技術平台已支援中介層和混合鍵合,可為國內SCM‑HBM原型提供封裝服務,但目前尚無公開發布的專案。
9 市場規模
由於SCM‑HBM尚未形成獨立產品類別,缺乏直接的市場規模統計。可從相關市場推斷參考規模。
- HBM整體市場:據TrendForce,2023年全球HBM市場規模約43億美元,2024年預計達到169億美元(2024年5月預估),受HBM3E出貨放量推動。2025年HBM市場規模有望超250億美元。
- 儲存級記憶體(SCM)市場:以NAND為主的持久記憶體和CXL記憶體模組,2023年市場約12億美元,預計到2028年達到80億美元(Mordor Intelligence, 2024年1月報告),複合增長率45%以上。
- CXL互連晶片與裝置:Yole預測CXL相關控制器晶片市場2030年將超過50億美元(Yole Intelligence, 2023年10月)。
若SCM‑HBM能夠在AI加速器中佔據一定比例的記憶體取向,依保守假設2028年滲透率5%–10%,對應數十億美元級增量市場。但以上僅為關聯推測,不構成任何預測或投資依據。
10 玩家對比
下表對比主要推動者在SCM‑HBM相關維度的版面配置強度(截至2024年中期)。
| 企業 | HBM市場份額(2023) | SCM/持久記憶體版面配置 | 先進封裝能力 | CXL生態參與度 | 垂直整合度 | SCM‑HBM公開進展 |
|---|---|---|---|---|---|---|
| 三星 | ~38%(TrendForce) | 曾量產Z-SSD,CXL‑HMM原型 | TSV/混合鍵合一站式 | 釋出CXL 3.0模組 | 高(DRAM+NAND+邏輯+封裝) | 2023年展示概念 |
| SK海力士 | ~53% | 釋出存算一體GDDR6-AiM,路線圖含混合記憶體 | 先進MR-MUF封裝 | 加入CXL聯盟,貢獻IP | 高(DRAM+NAND) | 路線圖中提及 |
| 美光 | ~9% | 3DXP經驗,非易失DIMM | TSV封裝 | 參與CXL標準制定 | 中(DRAM+NAND) | 未公開原型 |
| Intel | N/A | Optane記憶體/IP,CXL交換器 | 2.5D EMIB | 主導CXL聯盟 | 中(邏輯+CXL+軟體) | CXL記憶體池化 |
| NVIDIA | N/A(主要客戶) | 暫無自研SCM | 合作代工封裝 | Grace-Hopper CXL擴充套件 | 低(系統設計) | Grace-Hopper記憶體擴充套件 |
國內企業方面,長江儲存和長鑫儲存具備部分介質基礎,但均處於跟隨和觀察階段,公開資料未見在SCM‑HBM整合方面的具體專案。封測廠可通過代工參與,但非技術引領者。
11 風險
- 技術成熟度延緩:新型非易失性介質(如PCM、RRAM)在130°C以上資料保持力、亞10nm工藝離散性、千萬次寫入耐久度等方面尚未達到AI加速器對可靠性要求(JEDEC規範要求DRAM級10¹⁵次以上)。任何介質特性缺失都將導致該路線延遲。
- 成本與收益落差:混合異質整合增加晶片面積、封裝步驟和測試成本。在HBM堆疊更多DRAM層(如16層以上)可能滿足70%的容量需求時,SCM‑HBM的溢價空間會受壓制。
- 軟體棧滯後:支援持久化記憶體的程式設計模型(DAX、PMDK)尚未在AI架構中廣泛應用,需要改造PyTorch/TensorFlow的記憶體分配器和checkpoint邏輯,工程浩大。
- 標準與鎖定風險:CXL、HBM介面和記憶體控制器的設計高度依賴少數大廠(三星、海力士、Intel),若標準走向封閉,可能形成新的技術鎖定,不利於開放性生態。
- 供應鏈集中度:HBM晶圓和先進封裝產線集中於韓國和中國臺灣,地緣因素可能導致供應中斷。美國對華出口管制也可能限制中國獲得SCM‑HBM所需的先進封裝裝置(如混合鍵合機),從而影響國內相關研發。
- 競爭替代風險:純CXL記憶體池化+本地HBM的方案可能以更低的軟體改造成本實現類似收益,從而繞過SCM‑HBM的複雜整合。存算一體的終極形態若能商業化,也將削弱對超大容量近記憶體的需求。
12 誤讀糾偏
- “SCM‑HBM將取代HBM”:誤讀。SCM‑HBM是擴充套件而非替代,DRAM層仍須存在以保證延遲容忍,DRAM和SCM是互補關係。
- “容量越大訓練越快”:不準確。有效速度受快取命中率、遷移開銷和介質延遲影響,盲目追求容量而忽視資料區域性性可能適得其反。
- “所有非易失性記憶體都可以直接堆疊到HBM”:錯誤。需要滿足溫度耐受、功耗密度、TSV相容性等一系列嚴苛條件;目前僅有少數介質(相變、阻變)進入原型驗證。
- “CXL互聯即可實現SCM‑HBM”:不嚴謹。CXL解決系統級擴充套件,但無法替代封裝內的亞微米頻寬互連,SCM‑HBM的物理整合要緊密得多。
- “國內已有SCM‑HBM產品”:公開資料未見,目前國內相關報道多涉及存算一體或CXL記憶體擴充套件,而非HBM混合整合。
- “馬上就能量產”:從原型到量產需經歷介質可靠性質檢、控制器驗證、軟體適配和客戶匯入,預計最早2027–2028年方有試驗性部署(謹慎推斷,無官方承諾)。
13 最新事件
(以下事件基於截至2025年初的公開報道和公司公告)
- 2024年3月:SK海力士在投資者日上更新AI記憶體解決方案路線圖,首次將“Heterogeneous Memory Cube”列入2027年後技術願景,暗示混合介質整合(來源:SK海力士官網簡報)。
- 2024年6月:三星在IEEE VLSI Symposium上展示“CXL-HMM”混合記憶體模組初步測試資料,在64位元組負載下本地延遲為142 ns,跨CXL交換器為210 ns,尚未達到HBM量級(會議論文集)。
- 2024年8月:Intel釋出Xeon 6 “Granite Rapids”,原生支援CXL 2.0 Type-3裝置,多家CXL記憶體模組廠商(如Montage Technology、Samsung)推出相容樣品,助推CXL記憶體池化生態。
- 2024年11月:NVIDIA在SC24宣佈將CXL記憶體整合至新一代DGX系統參考設計中,用於擴充套件到HBM之外的容量層(NVIDIA部落格)。
- 2025年1月:JEDEC釋出HBM4初步規範,明確支援擴充套件的邏輯地址空間和可選的非易失性記憶體介面預留,為標準SCM融合提供基礎(JEDEC新聞稿)。
國內方面,公開資料未見相關企業在SCM‑HBM方向上的重大發布;部分學術機構在2024年發表存內計算與混成記憶體的架構論文(如中國科學院計算所、清華大學),但產業化程序待觀察。
14 追蹤指標
追蹤SCM‑HBM產業化進展可關注以下高頻或定期指標:
- JEDEC標準更新:HBM4/HBM4E的規範中是否增加混合介質擴充套件指令、持久化語義和錯誤處理架構。
- CXL規範演進:CXL 3.0/4.0對結構下近封裝互連(interposer‑CXL)的定義。
- 儲存原廠資本支出:三星、海力士、美光在HBM晶圓和先進封裝上的Capex展望變化,以及是否單獨揭露SCM研發開支。
- 裝置採購訊號:混合鍵合裝置、TSV刻蝕裝置的出貨量及交貨期,可衡量擴產節奏;國際裝置大廠(Besi、EVG)季度訂單。
- 新型介質專利與論文:PCM、RRAM、FeRAM相關材料與可靠性論文數量,關鍵研究機構(Stanford、MIT、imec)的企業合作專案。
- 雲端廠商記憶體配置變化:AWS、Azure、Google Cloud在AI例項描述中是否引入“大容量非易失記憶體層”或CXL池化選項。
- AI晶片架構釋出:NVIDIA、AMD、Intel在下一代GPU/AI加速器中是否增加原生持久化記憶體控制器或CXL‑die介面。
- 開源軟體適配:Linux核心對異構持久記憶體的支援(如DAX最佳化、NUMA改進),PyTorch等架構的checkpoint/tensor offload驅動。
- 產能資料:TrendForce季度HBM出貨容量和單價,若出現非DRAM介質計入HBM出貨,則為標誌性訊號。
- 政策與出口管制:美國工業安全域性(BIS)對混合鍵合裝置、先進DRAM工藝的出口限制範圍,將直接影響國內SCM‑HBM獲取能力。
15 信源
- JEDEC, HBM3 Syntax, 2022; HBM4 Preliminary Overview, 2025.
- SK海力士, “AI Memory Solution Vision,” 投資者日, 2023年4月。
- 三星電子, “CXL-HMM Prototype Demonstration,” IEEE VLSI Symposium 2024.
- Intel, CXL 2.0 Specification and Xeon 6 Platform Brief, 2024.
- NVIDIA, “Grace-Hopper and CXL Memory Expansion,” GTC 2024 Keynote.
- TrendForce, HBM Market Tracker, 2024年5月。
- Mordor Intelligence, Storage Class Memory Market – Growth, Trends, Forecasts (2024–2029), 2024年1月。
- Yole Intelligence, CXL Interconnect Market and Technology Report, 2023年10月。
- 中微公司2023年年度報告,拓荊科技2023年半年度報告。
- IEEE ISSCC 2024/2023論文集中關於混合記憶體架構和新型非易失性介質的若干文章。
- 公開報道:路透社、韓國《中央日報》關於HBM出口限制和裝置管制的新聞(2024年)。
- 學術文獻:Z. Wang et al., “Hybrid Memory Cube with Non-Volatile Layers,” ISCA 2023.
說明:本文基於公開可獲取的資料進行知識梳理,不構成任何投資或技術決策建議。對無法交叉驗證或在公開渠道中未追蹤到的資料,已明確標註“公開資料未見”。