存算一體

3 秒看懂

存算一體（Processing-in-Memory, PIM）讓資料不再在處理器與儲存器之間反覆搬運，而是直接在儲存器內部或緊鄰位置完成計算。它能突破傳統馮·諾依曼架構的“記憶體牆”，大幅降低延遲與功耗，尤其適合 AI 推論、大數據處理等訪存密集型場景。目前主流實現包括近存計算（邏輯靠近儲存 die）和存內計算（利用儲存陣列的模擬/數字運算），尚處於從學術到產業落地的早期階段。

3 分鐘產業解釋

現代計算系統長期受制於“記憶體牆”——CPU/GPU 的算力增長遠超記憶體頻寬，資料搬運的耗時與能耗常常超過實際運算。存算一體將計算單元嵌入到儲存中，核心思路是：

靠近資料計算：不讓資料長途跋涉，減少資料移動開銷。
利用儲存結構本身做計算：例如 DRAM bank 內的電荷分享、SRAM 陣列的位線組合邏輯、或者新型非易失儲存器（ReRAM/PCM/STT‑MRAM）利用歐姆定律和基爾霍夫定律實現模擬矩陣乘。

在產業界，高階 GPU 使用 HBM（高頻寬記憶體）並通過 2.5D 封裝將記憶體與計算 die 緊密放置，已可視為“近存計算”的極致形態；而 HBM‑PIM（三星、SK 海力士）則更進一步在記憶體 die 內部整合可程式設計運算單元，面向推薦系統、大語言模型頻繁的嵌入表查表、Gather/Reduce 操作等場景。邊緣端則出現基於模擬存內計算的 AI 推論晶片（如 Mythic、Syntiant），利用快閃記憶體或模擬SRAM陣列一步完成深度卷積層的乘累加，能效比可達傳統數字晶片的數倍至數十倍（廠商宣稱，無獨立第三方的統一基準）。

存算一體當前主要挑戰包括：工藝整合難度、模擬計算精度受限、程式設計模型與軟體生態不成熟。但隨著 AI 模型日益龐大、能效要求持續提升，其被視作後摩爾時代的重要架構方向。

15 分鐘專家深入

存算一體並非單一技術路線，而是一個涵蓋從封裝整合到電路級改造的技術譜系：

物理級近存計算（Near‑Memory Computing）
- 通過先進封裝（如 CoWoS、EMIB）將邏輯 die 和儲存器堆疊在 interposer 上，極大縮短物理距離。
- HBM 的 1024‑bit 超寬介面就是一種近存設計，但它依然是“傳輸資料”到計算 die 再算。
- 真正的 PIM 進一步：在記憶體晶片內放置輕量級處理器（如 stream processor，或可程式設計的 ALU 陣列），把部分運算元（如 reduction、gather、write‑back）下放。三星 HBM‑PIM（基於 Aquabolt HBM2）即屬此類，據公開資訊其 AI 引擎可處理 FP16 乘加。
存內計算（In‑Memory Computing）
- 數字存內（Digital In‑Memory）：將 SRAM 或 DRAM 子陣列變成多位並行算術單元，利用儲存單元本身實現邏輯操作，例如通過修改讀出行線（wordline）和位線（bitline）的選通方式，在 CMOS 電路上直接完成布林運算。傳統數字存內布林邏輯（如 Ambit）利用 DRAM 行啟用時的電荷分享原理，可通過同時啟用多行並修改敏感放大器實現按位與/或。SRAM 中則需要專門設計的計算單元或外圍電路，不能簡單通過同時啟用多條字線實現通用布林運算。美國 DARPA HIVE 專案培育了一批數字存內方案。
- 模擬存內（Analog In‑Memory, AIM）：利用非易失儲存器件的可程式設計電阻狀態來表示權重，輸入電壓沿 wordline 施加，每根 bitline 上根據基爾霍夫電流定律自然求和，相當於一次矩陣向量乘法。一次讀操作可完成多層神經網路的整層或部分層計算。主要儲存介質包括：
  - ReRAM（憶阻器）：電阻隨機存取儲存器，阻值可連續或離散調節，寫入需要施加特定電壓脈衝。
  - 相變儲存器（PCM）：利用鍺銻碲合金的非晶態/晶態間電阻差。
  - STT‑MRAM：自旋轉移矩磁儲存器，寫入速度快，但阻值比偏小，對模擬計算訊雜比提出挑戰。
  - NOR Flash：成熟工藝，可儲存多階模擬量，Mythic 即使用此技術。
- 模擬存內計算的優勢是能效極高（一次讀操作等價於大規模並行乘加），但面臨器件變化性、噪聲、模數/數模轉換開銷及壽命磨損等問題。通常需要混合訊號設計、校準電路和糾錯碼來補償精度損失。
基於 DRAM 的近存計算與記憶體內處理
- 利用 DRAM 行啟用時的電荷分享原理，在靈敏放大器附近增加邏輯，可實現行間邏輯操作（如 rowclone、AND/OR），典型如 Ambit 方案（學術原型），這屬於真正的存內計算（存內邏輯）。
- 三星 HBM‑PIM 和 SK 海力士 AiM 則是將可程式設計 ALU/FPU 整合到記憶體 die 內的近存計算（Processing‑in‑Memory）方案，並非利用 DRAM 陣列電荷分享實現布林邏輯的存內計算；它們面向推薦系統、Gather/Reduce 等場景，聲稱在特定工作負載下可提供數倍於傳統 DRAM 的資料處理能力，但實際產品部署仍主要面向大規模超算和雲端廠商的早期試驗。

應用場景差異

雲端端訓練/推論：大記憶體頻寬需求，HBM‑PIM 有天然優勢，可加速嵌入表聚合、注意力分數計算等。
邊緣端推論：對功耗極度敏感，模擬存內推論晶片可提供 TOPS/W 的質變，適用語音喚醒、視覺識別等。
在訓推一體系統裡，權重更新需要高精度寫操作，這是模擬存內的致命弱點，因此純模擬方案大多定位為推論專用；近存數字 PIM 則仍有能力參與訓練的部分 back‑propagation 減輕通訊壓力。

關鍵制約與前景

程式設計模型：如今軟體棧假設記憶體是被動裝置，需要引入編譯器和執行時支援自動解除安裝運算元。各大廠商已提出開放介面（如 UPMEM、三星的 PIM SDK）。
標準化：PIM 裝置間的互操作、記憶體一致性模型均待行業聯盟（如 CXL 聯盟）推動，可能與 CXL.mem/CXL.cache 結合形成 PIM‑enabled 記憶體池。
工藝與成本：在 DRAM 或 NAND die 上整合邏輯，會增加 mask 層數、降低良率，商業可行性需大規模出貨支撐。

技術原理

傳統馮·諾依曼瓶頸

   ┌────────┐     資料匯流排      ┌────────┐
   │  CPU   │◄═════════════►│ Memory │
   └────────┘    （頻寬有限）    └────────┘
   每次運算都需要從 Memory 載入資料，結果再寫回。
   功耗 ≈ 資料移動功耗 + 計算功耗。

近存計算邏輯

  ┌────▼─────────────┐
  │      Logic Die     │  計算靠近快取記憶體
  └────▲──────┬───────┘
       │      │  ＜3D 堆疊或 2.5D interposer＞
  ┌────▼──────▼───────┐
  │  DRAM/NAND Die     │ （含部分處理單元）
  └──────────────────┘
   資料搬運距離縮短到微米級，大幅提升頻寬密度、降低每位元功耗。

模擬存內計算（AIM）矩陣乘運算

假設一個權重矩陣 W 儲存在 ReRAM 陣列中，元素 w_ij 表示為電導 g_ij。輸入向量 x 轉換為電壓 V_i 加在各行 wordline 上。根據基爾霍夫定律，第 j 列 bitline 上的總電流 I_j ≈ Σ_i V_i · g_ij，即完成了點乘計算。通過跨阻放大器（TIA）和模數轉換器（ADC）讀取電流值，即得到乘積結果。

         (行線 wordline)
        V₁───┬───┬───┬───
        V₂───┼───┼───┼───
        V₃───┼───┼───┼───
             │   │   │
            I₁  I₂  I₃ ... (列線 bitline)

一次讀操作即可獲得整個矩陣結果，時間複雜度 O(1)（相對於記憶體讀取）。
挑戰：器件電導漂移、IR drop 引起訊號衰減、ADC 功耗高、寫耐久性有限。

數字存內計算的布林邏輯示例

傳統數字存內布林邏輯（如 Ambit）利用 DRAM 行啟用時的電荷分享原理，可通過同時啟用多行並修改敏感放大器實現按位與/或。例如，啟用兩行 WL_a 和 WL_b，通過電荷分享後比較器輸出“1”的條件相當於 AND。該類技術可將記憶體單元直接用作邏輯閘，減少 ALU 佔用。SRAM 中的存內邏輯通常需要專門設計的計算單元或外圍電路，不能簡單通過同時啟用多條 wordline 來實現通用布林運算。

技術演進史

1970s 概念萌芽：早期平行計算機（如 Goodyear MPP）已在位級處理單元中結合記憶體。
1990s – 2000s RAM 內邏輯探索：IRAM、PIM 原型機（如 Berkeley IRAM、PIM Lite），因當時工藝與需求不匹配而沉寂。
2010s 中期復興：大數據與 AI 爆發凸顯記憶體瓶頸，學術原型 Ambit (CMU/Intel) 展示 DRAM 行運算；ISAAC (Utah) 等提出基於 ReRAM 的模擬神經網路加速器。
2016‑2020 產業試探：三星 2021 年推出 HBM‑PIM（基於 Aquabolt HBM2），SK 海力士 2021 展示 AiM 原型，Mythic、Syntiant 釋出模擬 AI 晶片。
2020s 生態建設：UCIe/CXL 標準興起，為 PIM 記憶體池化鋪路；三星 2022 展示 HBM‑PIM 與新思科技合作驗證雲端負載。行業目前處於從驗證系統向大規模商用過渡階段。

技術路線對比

路線	實現方式	計算精度	典型介質	能效優勢	適用場景	成熟度
近存計算 (HBM‑PIM)	記憶體 die 整合 ALU/FPU，邏輯靠近	原生高精度 (FP16/INT8)	DRAM + 邏輯	頻寬提升顯著，節能有限	雲端端訓練/推論，大型模型	早期商用（三星、SK 海力士）
數字存內	SRAM/DRAM 子陣列提供位級邏輯操作	與標準數字晶片相當	SRAM, DRAM	減少資料移動，部分加速	資料庫、圖計算、AI 運算元	學術/原型
模擬存內 (AIM)	利用電阻式儲存器完成模擬矩陣乘	低精度 (3‑8 bits 等效)，需特殊校準	ReRAM, PCM, NOR Flash	單位能效極高 (JOPS/W)	邊緣 AI 推論	早期產品（Mythic 等）
光學/新型儲存	光子計算、鐵電儲存器等	研究階段	-	理論優勢大	未來	實驗室

（注：具體能效倍數、精度數值因產品而異，表中為定性描述，未標註硬數字。）

上下游

上游原材料與裝置：
- 儲存晶圓（DRAM：三星、SK 海力士、美光；NAND：鎧俠、西部資料等）；
- 新型非易失儲存器材料（HfO₂基鐵電、GeSbTe合金）及相應薄膜沉積、刻蝕裝置（應用材料、科林研發半導體）；
- 混合訊號 IP 與 ADC/DAC 單元（Synopsys, Cadence 提供設計工具）。
中游晶片設計與製造：
- 邏輯工藝邏輯 (如台積電 N5/N4 用於 logic die)；
- 堆疊封裝（3D‑TSV、混合鍵合）由台積電 CoWoS、三星 I‑Cube、Intel EMIB 等提供；
- 存內計算晶片設計公司（傳統儲存大廠 + 初創公司）。
下游系統整合與應用：
- 雲端服務廠商（AWS、微軟、Google）評估 PIM 加速例項；
- 邊緣 AI 裝置商（安防攝像頭、智慧家居）。
- 軟體棧適配：編譯器（MLIR、TVM）、PIM 程式設計架構。

關鍵指標

能效（TOPS/W 或 JOPS/W）：模擬 PIM 常宣稱達到傳統 AI 加速器的 5‑20 倍能效（廠商典型估算，具體取決於標準）。
頻寬擴充套件比：近存 PIM 可將有效頻寬提升至傳統 HBM 的 2‑4 倍（針對特定訪問模式）。
延遲：存內計算消除部分訪存延遲，但引入 ADC 轉換延遲、驅動電路延遲。
可靠性指標：模擬存內需要關注 conductance drift, endurance, retention。
軟體易用性：目前尚無統一的 PIM 系統基準，標準化工作滯後。

供需與市場資料

因搜尋未獲最新市場報告，無法提供精確數字。根據多家機構（如 Yole Intelligence、富途投研等）公開摘要，存算一體市場預計未來五年 CAGR 將達雙位數，主要驅動力為 AI 推論邊緣裝置、超大規模資料中心記憶體頻寬升級。HBM‑PIM 將在 2025 後逐步滲透高效能運算市場，模擬存內主要在音影片、關鍵詞識別等極低功耗 IoT 處放量。實際出貨量仍受成本與客戶驗證週期影響。

代表公司與資本對映

三星電子：最早演示 HBM‑PIM，並開發存內計算相關方案；與 AMD/Xilinx 合作驗證。
SK 海力士：推出 AiM 記憶體內計算 DRAM，近期展示與 GPU 協同處理推薦模型。
美光科技：早期參與 DARPA HIVE，在數字/模擬 PIM 均有版面配置，尚未量產獨立 PIM 產品。
Mythic：採用 NOR Flash 模擬矩陣乘法器，產品主要面向工業視覺和邊緣伺服器。
Syntiant：超低功耗語音 AI 處理器，基於模擬域的計算加速器（可程式設計模擬乘加電路陣列），而非利用 SRAM 儲存陣列做直接模擬存內計算，已應用於多家消費電子廠商。
Graphcore：雖不是純 PIM，但其 IPU 採用大量片上 SRAM 靠近計算單元，即可看作近存設計的延伸。
初創/研究機構：Upmem（法國，基於 DRAM 的 PIM 加速卡）、國內亦有知存科技、九天睿芯等，典型獲多輪融資。
資本對映：AI 晶片賽道仍受風險資本關注，PIM 被視為差異化方向；退出路徑多為被雲端廠商、儲存大廠收購或長期獨立上市。

投資邏輯

記憶體牆問題不可逆：大型模型對記憶體頻寬的需求增速遠超製程進步，PIM 是唯一能從根本上減少資料移動的架構方案，長期替代部分加速器邏輯。
產業鏈協同：儲存巨頭本身就主導 DRAM/NAND 路線圖，他們有動力在先進封裝上疊加計算功能，提升 ASP，存在供應鏈護城河。
邊緣側剛需：成本敏感的 IoT 裝置需要極低功耗 AI，模擬存內恰能滿足，有望在 TWS、助聽器等市場率先起量。
風險因素：程式設計生態碎片化、客戶認證週期長、模擬晶片良率爬坡挑戰；技術尚未被主流架構原生支援，或導致推廣落後於預期。

常見誤讀糾偏

“存算一體=完全消除訪存”
即使是真正的存內計算，權重仍需從非易失儲存陣列讀取（或預寫入），輸入資料載入、中間結果傳輸仍涉及部分資料移動，不能說零訪存。PIM 的目標是大幅減少外部記憶體訪問，但無法消除。
“模擬存內計算精度足夠做訓練”
目前公開的模擬 PIM 晶片主要面向推論，其權重的程式設計精度和器件寫入噪聲使得高精度 back‑prop 非常困難。產業普遍認為訓練仍需要數字高精度環境，模擬 PIM 短期內不會用於雲端端訓練。
“HBM‑PIM 直接替代 GPU”
HBM‑PIM 是輔助加速器，負責特定運算元（如 embedding lookup、element‑wise operation），主控計算仍由 GPU/CPU 執行。它並非獨立 SoC，更多是異構計算的一個協處理單元。
“ReRAM 存算一體已經商用很多年”
成熟的 ReRAM 獨立儲存晶片剛剛規模化（如富士通、Sony 的片段產品），但基於 ReRAM 的模擬存算一體仍處於工程樣片或極小批次階段，遠未大規模商用。

學習路徑

奠基知識：《Computer Architecture: A Quantitative Approach》記憶體層次結構章節；
經典論文：
- “Ambit: In‑Memory Accelerator for Bulk Bitwise Operations Using Commodity DRAM” (ISCA 2017)
- “ISAAC: A Convolutional Neural Network Accelerator with In‑Situ Analog Arithmetic in Crossbars” (ISCA 2016)
- “A 1‑TOPS/W Analog Deep Machine‑Learning Engine Adaptive to New Non‑Volatile Memories” (JSSC 2020)
行業報告：三星、SK 海力士 Hot Chips 會議演講；Mythic、Syntiant 白皮書。
工具鏈：瞭解 MLIR 針對 PIM 的擴充套件提案，CXL 聯盟的 PIM 用例。
追蹤動態：ISSCC、VLSI 研討會近年 “Memory‑Centric Computing” session。

一句話總結

存算一體是突破馮·諾依曼瓶頸、實現高能效 AI 計算的架構革命，目前已從學術走向產業早期落地，但軟體生態和可靠性仍需突破，有望在未來十年深度重塑計算格局。

延伸閱讀與來源

三星半導體“Processing in Memory”技術白皮書（官網）
SK 海力士 “HBM‑PIM & AiM” 新聞室資料
Mythic “The Analog AI Compute‑In‑Memory Advantage”
IEEE ISCA/MICRO 會議論文集（acm.org）
《Nature Electronics》綜述 “In‑memory computing with non‑volatile memory devices” (2021)
Yole Intelligence Memory & Computing 2024 預測摘要

（注：由於檢索受限，未能提供即時資料與精確產品規格，以上資訊基於截至 2025 年初公開的技術趨勢與報道。）

三步設好你的觀察臺

選 1-3 個想觀察的人或賽道

看一份樣張

設定一次異動告警

存算一體

存算一體

3 秒看懂

3 分鐘產業解釋

15 分鐘專家深入

技術原理

傳統馮·諾依曼瓶頸

近存計算邏輯

模擬存內計算（AIM）矩陣乘運算

數字存內計算的布林邏輯示例

技術演進史

技術路線對比

上下游

關鍵指標

供需與市場資料

代表公司與資本對映

投資邏輯

常見誤讀糾偏

學習路徑

一句話總結

延伸閱讀與來源

存算一體

3 秒看懂

3 分鐘產業解釋

15 分鐘專家深入

技術原理

傳統馮·諾依曼瓶頸

近存計算邏輯

模擬存內計算（AIM）矩陣乘運算

數字存內計算的布林邏輯示例

技術演進史

技術路線對比

上下游

關鍵指標

供需與市場資料

代表公司與資本對映

投資邏輯

常見誤讀糾偏

學習路徑

一句話總結

延伸閱讀與來源

相關推薦

同產業鏈 · 相關公司

相關概念