晶片層 開放閱讀

近資料處理

Near-Data Processing, NDP

概念 ID
near-data-processing-ndp
更新時間
2026-05-29
來源數量
待補

近資料處理 (Near-Data Processing, NDP)

3 秒看懂

把計算搬到資料旁邊,而不是把資料搬到計算旁邊。 當搬運資料的能耗和延遲遠超運算本身時,“讓處理器靠近儲存/記憶體”成為突破記憶體牆的核心思路。AI 大型模型時代,資料搬運成本已成為算力擴張的第一瓶頸。

3 分鐘產業解釋

核心矛盾:資料搬運 vs. 算力運算

現代計算系統中,處理器的速度提升遠快於記憶體和儲存的頻寬提升。一個廣為引用的比例關係是:將 64 位元組資料從 DRAM 搬到 CPU 核心所消耗的能量,可能比在核心上執行一次浮點乘加運算高出一到兩個數量級(量級關係來自計算機體系結構學術文獻的共識估計;具體數值因製程和架構而異,不同論文引用的倍數從數十倍到數百倍不等,此處不做精確數字編造)。

這意味著:在許多資料密集型工作負載中(資料庫查詢、推薦系統 Embedding 查表、LLM 推論中的 KV-Cache 讀取、圖計算、基因組分析……),系統瓶頸不在算力,而在資料搬運。

NDP 的本質

近資料處理的核心思想可以歸納為一句話:

傳統架構:  資料 ───長距離搬運───▶ 處理器  ──▶ 結果
NDP架構:   資料 ──▶ 附近處理器(或可程式設計邏輯) ──▶ 精簡結果

輕量級但高吞吐的計算能力嵌入或緊鄰資料所在的層級(DRAM 晶片內部、SSD 控制器內部、儲存伺服器內部),在資料產生地完成過濾/聚合/變換,只把精簡後的結果傳給主機 CPU/GPU。

為什麼現在熱?

驅動力說明
AI 模型引數暴漲LLM 從數十億到數萬億引數,權重讀取頻寬需求激增
記憶體牆持續惡化DRAM 頻寬增速遠落後於晶片算力增速
能耗成為 HPC/AI 資料中心第一約束大規模叢集中資料搬運能耗佔比可能過半(定性共識,具體比例因負載而異)
CXL 開放互連生態CXL 使得處理器可以以統一協議訪問遠端記憶體/加速器,降低了 NDP 整合門檻
3D 封裝成熟先進封裝使在儲存/記憶體器件內整合邏輯層成為可能

15 分鐘專家深入

1. NDP 的技術光譜:從”近”到”在”

NDP 不是單一技術,而是一個連續光譜,按計算單元與資料的物理距離從遠到近:

┌──────────────────────────────────────────────────────────────┐
│  資料中心級         │ 伺服器/節點級       │ 晶片/器件級         │
│                      │                     │                     │
│  Smart NIC +         │ 儲存伺服器內 FPGA   │ PIM (Processing-    │
│  Computational       │ 加速;DPU 靠近儲存  │ in-Memory):在 DRAM  │
│  Storage 節點        │ 機箱內處理          │ die 內整合計算單元   │
│                      │                     │                     │
│  "近"資料 ◀─────────────────────────────────────────▶ "在"資料 │
└──────────────────────────────────────────────────────────────┘
類別計算位置典型形態代表方向
Computational Storage (CS)SSD 控制器/SoC 內嵌入式處理器或 FPGA 在 SSD 內執行資料過濾、壓縮、搜尋SmartSSD、ScaleFlux、NGD(已關閉)
Near-Memory Processing儲存伺服器/背板在儲存節點內放置加速卡,減少回傳主機的資料量SmartNIC/DPU 作為儲存側加速器
Processing-in-Memory (PIM)DRAM/SRAM die 內部在記憶體 die 的 Bank/Array 旁或邏輯層中整合 ALU/向量單元Samsung PIM、SK Hynix AiM、UPMEM
Analog CIM (Compute-in-Memory)儲存陣列內部利用 ReRAM/PCM/SRAM 的物理特性直接在陣列中完成乘累加知存科技、IBM analog AI、Mythic(已轉型)

2. 與 AI 產業鏈的交匯

AI 大型模型是 NDP 最具商業想像力的下游場景之一,原因是工作負載特徵高度匹配:

LLM 推論中的典型資料搬運場景:
────────────────────────────────────
[1] 權重載入:數十GB引數從HBM/DRAM讀出 → 乘累加
[2] KV-Cache 讀取:長上下文推論時,每生成一個token需讀取整個KV-Cache
[3] Embedding 查表:推薦系統中大規模Embedding表的隨機讀取
[4] MoE路由:稀疏啟用模型中,Expert權重的按需載入

關鍵洞察:上述場景的共同特徵是”算術強度(Arithmetic Intensity)極低”——即每讀取一單位資料只做少量計算,完全受記憶體頻寬限制(memory-bound)。這恰恰是 NDP 最能發揮價值的場景。

3. CXL 催化下的 NDP 新範式

CXL(Compute Express Link)為 NDP 帶來了標準化的互連底座

  • CXL 2.0/3.0 支援記憶體池化(Memory Pooling)和記憶體共享(Shared Memory),使遠端記憶體對主機透明可訪問
  • NDP 加速器可以作為 CXL Type-2 裝置掛在 CXL switch 後面,對主機呈現為”帶計算能力的記憶體”
  • 這比傳統的 PCIe Computational Storage 方案擁有更統一的記憶體語義,降低了軟體棧適配成本
傳統方案:
  CPU ──PCIe──▶ SmartSSD (需要獨立的I/O棧)

CXL NDP 方案(概念示意):
  CPU ──CXL──▶ CXL Switch ──▶ [NDP加速器 + 記憶體池]

                  └── 主機看到的是統一的記憶體地址空間
                      加速器對部分地址範圍做近資料處理

4. 在 HBM 內部做 PIM:與 AI 晶片的直接耦合

HBM(High Bandwidth Memory)堆疊結構天然適合 PIM——其底部邏輯層(logic die)可以整合計算單元,直接利用 HBM 內部的極高頻寬(HBM 內部通道頻寬遠高於晶片對外的 HBM 介面頻寬)。

行業動態(截至已公開資訊)

  • Samsung 釋出了基於 HBM2/Aquabolt 的 PIM 方案(稱為 HBM-PIM),在每個 DRAM die 的 bank 內部(儲存陣列與 TSV 之間)嵌入可程式設計向量處理單元,面向資料中心和 AI 推論場景。後續有面向 HBM 代際演進的 PIM 路線圖探討(具體量產狀態和製程細節未充分揭露)。
  • SK Hynix 公開了 AiM(Accelerator-in-Memory)概念,將 GDDR6 記憶體與計算單元結合,面向 AI 推論和圖計算。也有基於 HBM 的 PIM 研究方向。
  • 學術界(如 UCSD、ETH Zurich、Georgia Tech、首爾國立大學等團隊)在 DRAM PIM 架構設計、程式設計模型、編譯器方面有大量工作。

技術原理

為什麼”行動數據”這麼貴?

從基本物理和電路原理出發:

能量消耗的量級分解(概念性,非精確值):
═══════════════════════════════════════════════════════
操作型別          │  典型能量量級(數量級估計)
─────────────────┼─────────────────────────────────
64位浮點乘加(FMA) │  ~1 pJ(皮焦)     [片上計算]
L2 Cache 讀取     │  ~10 pJ             [片上SRAM]
DRAM 晶片內讀取    │  ~數-數十 fJ/bit     [晶片內訪問]
片外 DRAM 讀取     │  ~數-數十 pJ/bit    [跨封裝/PCB]
PCIe/CXL 傳輸     │  更高(涉及SerDes) [跨晶片互連]
═══════════════════════════════════════════════════════
注:以上為體系結構文獻中的數量級共識,不同工藝節點/電路設計
差異顯著,此處僅展示相對量級關係,不作為精確規格引用。

關鍵推論:一次 64-bit DRAM 訪問的能耗可能相當於數十到數百次浮點運算的能耗(量級估計,因代際和具體電路而異)。因此,如果能在 DRAM 晶片內部用少量計算單元過濾/聚合資料,傳回主機的只有精簡結果,總能耗可能顯著下降。

PIM 的基本架構原理

┌────────────────────────────────────────────────────────┐
│                    傳統 DRAM Die                        │
│                                                        │
│   Bank 0  Bank 1  Bank 2  Bank 3  ...  Bank N         │
│     │       │       │       │             │            │
│     └───────┴───────┴───────┴─────────────┘            │
│                    │ (內部頻寬極高)                     │
│                    ▼                                    │
│              I/O Interface ──▶ 片外匯流排 ──▶ CPU         │
│              (頻寬瓶頸)                                │
└────────────────────────────────────────────────────────┘

┌────────────────────────────────────────────────────────┐
│                    PIM-Enabled DRAM Die                 │
│                                                        │
│   Bank 0  Bank 1  Bank 2  Bank 3  ...  Bank N         │
│     │       │       │       │             │            │
│     ▼       ▼       ▼       ▼             ▼            │
│   [ALU]   [ALU]   [ALU]   [ALU]   ...   [ALU]         │
│   [Buffer] [Buffer] ...                                 │
│     │       │       │       │             │            │
│     └───────┴───────┴───────┴─────────────┘            │
│                    │ (僅精簡結果)                       │
│                    ▼                                    │
│              I/O Interface ──▶ 片外匯流排 ──▶ CPU         │
│              (頻寬需求大幅降低)                         │
└────────────────────────────────────────────────────────┘

關鍵設計引數與約束

維度設計考量
ALU 精度/寬度PIM 內計算單元面積預算受限(不能擠佔太多儲存陣列面積),通常傾向於窄位寬/低精度向量單元
儲存陣列 vs. 邏輯層面積比儲存密度是 DRAM 的核心商業指標,PIM 邏輯面積佔比需嚴格控制
程式設計模型如何讓軟體有效利用分散式在 Bank 級的計算單元?SIMD/SIMT 模型、DMA 排程、與主機協作的 offload 模型
功耗預算DRAM die 的功耗(含重新整理)本身已接近散熱極限,PIM 計算不能大幅增加總功耗
可靠性計算邏輯產生的熱量是否影響鄰近 DRAM 單元的保持時間(retention time)?
良率邏輯層額外電路增加了 die 的複雜度,對良率有影響

Computational Storage 的架構原理

┌─────────────────── SSD 內部 ───────────────────┐
│                                                  │
│  NAND Flash 陣列(多通道)                        │
│     │  │  │  │  │  │  │  │                      │
│     └──┴──┴──┴──┴──┴──┴──┘                      │
│                    │                             │
│  ┌─────────────────▼──────────────────┐         │
│  │         SSD 控制器 SoC              │         │
│  │  ┌──────────┐  ┌───────────────┐   │         │
│  │  │ 傳統 FTL  │  │ 嵌入式 CPU    │   │         │
│  │  │ (快閃記憶體轉換) │  │ / FPGA /     │   │         │
│  │  │           │  │ 加速引擎     │   │         │
│  │  └──────────┘  │ (NDP計算單元) │   │         │
│  │                 └───────────────┘   │         │
│  └────────────────────────────────────┘         │
│                    │                             │
│              PCIe / NVMe 介面                    │
└────────────────────┬─────────────────────────────┘


                  主機 CPU
          (接收精簡結果,而非原始資料)

典型 NDP 操作:資料庫 SELECT/WHERE 過濾、正則匹配搜尋、壓縮/解壓縮、加密/解密、向量距離計算等——都是可以”就地處理、只返回匹配行”的操作。

Analog CIM(模擬存內計算)原理

這是一種更激進的路線,利用儲存器件的物理特性直接完成矩陣運算:

ReRAM / PCM 交叉陣列 (Crossbar Array):
═══════════════════════════════════════
    輸入電壓向量 V_in(模擬值)


   ┌──────────────┐
   │ R₁₁ R₁₂ ... R₁ₙ│
   │ R₂₁ R₂₂ ... R₂ₙ│   每個交叉點的電導 G = 1/R
   │ ...            │   代表權重值 W
   │ Rₘ₁ Rₘ₂ ... Rₘₙ│
   └──────┬───────┘
          │  輸出電流 I = G × V = W × V_in

    輸出電流向量 I_out = W × V_in(矩陣-向量乘法)
    ——利用基爾霍夫電流定律在物理上完成,無需數字乘法器

優勢:矩陣乘法在一步物理操作中完成,能效極高。 挑戰:精度受限(模擬噪聲、器件變異性)、ADC/DAC 開銷、程式設計靈活性差、器件耐久性。目前主要停留在研究和部分低精度推論場景。


技術演進史

時期里程碑意義
1990sIRAM(Intelligent RAM)概念提出(UC Berkeley, David Patterson 等)學術界首次系統提出在 DRAM 中整合處理器的思想,但當時 DRAM 工藝與邏輯工藝差異大,未落地
2000sActive Disk / IDISK 概念在磁碟控制器中嵌入處理器,處理大數據集掃描,是 Computational Storage 的前身
2010s 前期學術復興期:PIM 學術工作大量湧現(加 Berkeley、CMU、ETH、首爾國立等)3D 封裝技術成熟使 PIM 變得可行;學術界提出多種 PIM 架構和程式設計模型
2015-2018NGD Systems、ScaleFlux、Eideticom 等創業公司成立Computational Storage 從學術走向工程化
2018-2019Samsung SmartSSD(與 Xilinx 合作)原型展示大廠參與,FPGA 嵌入 SSD 驗證了加速資料庫查詢的可行性
2019-2021UPMEM 商用 PIM DRAM 模組釋出首個商業化 PIM 產品,面向資料中心資料分析和基因組場景
2021-2022Samsung HBM-PIM (Aquabolt-XL)、SK Hynix AiM 先後公開DRAM 巨頭正式將 PIM 納入產品路線圖討論
2021-2023SNIA Computational Storage 標準推進;CXL 生態加速行業標準化與互連統一推動 NDP 從”實驗性”走向”可整合”
2023+大型模型推論對 memory-bound 場景的需求激增NDP(尤其 PIM 和 CXL-attached 加速器)被重新審視為 AI 推論的關鍵使能技術

技術路線對比

維度Computational Storage(SSD 內)PIM(DRAM 內)Analog CIM(ReRAM/PCM)CXL-attached NDPSmartNIC/DPU 近儲存
資料駐留層NAND FlashDRAM非易失儲存器遠端記憶體/儲存儲存伺服器內
適合操作掃描/過濾/壓縮/加密向量運算/雜湊/聚合/稀疏查表矩陣乘法(低精度推論)靈活可程式設計網路+儲存聯合處理
計算精度數字,高精度數字,中-高精度模擬,低-中精度數字,取決於實現數字,高精度
程式設計靈活性中等(需適配 SSD 韌體)中等(Bank 級並行,需新程式設計模型)低(受限於器件物理特性)較高(CXL 協議標準化)較高(通用 DPU 程式設計)
成熟度★★★ 有商用產品★★☆ 有原型/小規模商用★☆☆ 主要為研究階段★★☆ 規範已釋出,產品初期★★★ 成熟產品線
與 AI 的相關性中(資料預處理)高(推論中的 memory-bound 訪問)高(模擬推論加速)高(記憶體池化+近資料計算)中(資料管線加速)
主要障礙生態/軟體棧不成熟DRAM 良率、程式設計模型、散熱精度、耐久性、ADC 開銷生態建設中,延遲開銷通用性 vs. 專用性的平衡

上下游

上游(供給側)

上游產業鏈簡化圖:
════════════════════════════════════════
NDP 核心晶片/器件
  ├── PIM DRAM ──▶ DRAM 廠商(Samsung, SK Hynix, Micron)
  │                  需要修改 DRAM 工藝/設計流程
  │                  需要 3D TSV/混合鍵合封裝能力

  ├── Computational Storage SoC
  │     ├── NAND Flash ──▶ 儲存介質廠商
  │     ├── 控制器 ──▶ SSD 控制器廠商 + FPGA/IP 供應商
  │     └── 嵌入式處理器 ──▶ ARM/RISC-V IP

  ├── CXL 加速器晶片 ──▶ CXL IP 供應商 + 代工廠

  └── ReRAM/PCM 器件 ──▶ 新興儲存器廠商

下游(需求側)

下游場景NDP 價值點當前滲透率
LLM 推論(尤其長上下文)KV-Cache 近資料讀取,減少 HBM 頻寬壓力極低,研究/原型階段
推薦系統大規模 Embedding 表近資料查表低,部分廠商內部試點
資料庫查詢加速SQL 下推到儲存層中,有商用案例
基因組/生命科學大規模序列比對/搜尋的就地處理低-中,學術和垂直行業
圖計算隨機記憶體訪問模式下 PIM 避免集中式頻寬瓶頸低,學術為主
安全/加密儲存內加密引擎減少資料暴露面中,嵌入式安全引擎已有

關鍵指標

指標說明為何重要
資料搬運能耗節省比NDP vs. 傳統方案搬運單位資料的能耗比直接衡量 NDP 的能效價值
有效頻寬倍增因子同一記憶體/儲存器件下,NDP 帶來的等效可用頻寬提升PIM 可將內部頻寬利用起來,等效於增加外部頻寬
算術強度閾值(break-even)工作負載的計算/訪存比需超過某閾值才能從 NDP 受益太低→純搬運資料無計算,NDP 無優勢;太高→本來就不受頻寬限制
面積開銷 / 密度損失PIM 邏輯層佔用的 die 面積佔儲存陣列的比例面積開銷過大則儲存密度下降,DRAM 廠商難以接受
程式設計模型成熟度是否有主流編譯器/架構支援軟體生態決定技術能否被廣泛採納
與現有軟體棧的相容性是否需要重寫應用 vs. 自動下推實際部署的關鍵門檻

供需與市場資料

市場規模估計

  • Computational Storage 市場:多個行業分析機構(如 Omdia、MarketsandMarkets 等)對其有預測,口徑和數字各異。共同趨勢是預期 2020s 後半段顯著增長,主要由資料中心和 AI 推論驅動。具體數字因報告而異,此處不引用單一來源以免誤導,建議讀者查閱最新行業報告獲取可比口徑資料。
  • PIM 市場:尚無獨立的市場統計口徑,通常被歸入更廣義的”記憶體計算”或”AI 加速器”範疇。當前營收規模較小(原型/小批次階段)。

供需格局

角色玩家狀態
DRAM PIM 領導者Samsung, SK Hynix均已公開展示原型/樣品,量產規模和商用客戶細節 [未充分揭露]
Computational Storage 初創ScaleFlux(仍在活躍), NGD Systems(已關閉), Eideticom市場洗牌中,部分公司已轉型或關閉
CXL NDP 探索者Samsung, SK Hynix, Astera Labs, Montage(瀾起科技), 多家初創產品初期階段
學術/開源推動UCSD (PIM 前沿), ETH Zurich, Seoul National Univ., UC Berkeley定義 PIM 程式設計模型和基準測試
標準化SNIA (Computational Storage TWG), CXL Consortium, OCP標準推進中

代表公司與資本對映

公司NDP 路線上市/融資狀態關鍵資訊
SamsungHBM-PIM、SmartSSD韓國上市同時擁有 DRAM 製造和 NAND 儲存業務,PIM 產品線覆蓋最全
SK HynixAiM (GDDR/HBM)韓國上市積極推進 PIM 商用,GDDR6-AiM 已有原型展示
Micron儲存內計算研究美國上市公開資訊相對較少,但有 PIM 相關專利和研究
ScaleFluxComputational Storage SSD私有在壓縮加速 SSD 方面有商用產品
UPMEMPIM DRAM 模組私有最早商用化的 PIM 產品之一
Astera LabsCXL 連線/加速美國上市 (2024)CXL retimer/switch 產品,為 NDP 生態提供互連基礎設施
瀾起科技 (Montage)CXL 記憶體擴充套件控制器中國上市 (688008.SH)CXL MXC 晶片,為 CXL 記憶體池化提供關鍵器件
知存科技存內計算晶片 (ReRAM/SRAM CIM)私有國記憶體內計算方向的代表性創業公司

投資邏輯

看多邏輯(長線)

  1. 資料搬運是計算系統的”暗稅”:隨著模型規模和資料量持續增長,資料搬運的絕對成本只會越來越高,NDP 是根本性的架構解法。
  2. AI 推論的 memory-bound 特性:LLM 推論中,尤其長上下文場景,KV-Cache 和權重讀取是頻寬瓶頸——這正是 PIM 的甜區。
  3. CXL 生態閉環:CXL 為 NDP 提供了標準化的”接入點”,降低了碎片化風險。CXL 產業鏈上游(retimer、switch、控制器 IP)的確定性較高。
  4. DRAM 廠商的差異化訴求:在標準 DRAM 商品化競爭中,PIM 為廠商提供了差異化和增值空間。

風險/不確定性

  1. 軟體生態滯後:硬體就緒但軟體棧不成熟是 NDP 最大的落地障礙。主流 AI 架構(PyTorch/TF)對 PIM 無原生支援。
  2. 競品路線:更大容量/頻寬的 HBM(HBM4 等)、更大的片上 SRAM、Chiplet 內部互連等方案可能在不改變程式設計模型的前提下緩解頻寬瓶頸,削弱 NDP 的緊迫性。
  3. 商業化節奏不確定:PIM 已討論多年但尚未大規模商用,投資回報週期可能較長。
  4. DRAM 良率風險:PIM 邏輯層增加了 DRAM 設計和製造複雜度,良率下降的成本誰承擔?

常見誤讀糾偏

❌ 誤讀 1:“NDP 可以替代 CPU/GPU,實現通用計算加速”

糾偏:NDP 不是通用計算替代方案。PIM 內的計算單元面積、功耗和精度預算都遠低於獨立的 CPU/GPU。NDP 的價值在於消除資料搬運瓶頸,適用於 memory-bound(低算術強度)操作。如果工作負載本身就是 compute-bound(高算術強度),NDP 的收益有限甚至為負(因為 PIM 內的計算單元比專用 GPU 效率低得多)。

❌ 誤讀 2:“PIM 就是在 DRAM 裡塞一個 CPU”

糾偏:PIM 內的計算單元不是通用 CPU,而是面向特定操作模式最佳化的簡單 ALU / SIMD 單元 / 向量引擎。它們的指令集通常非常精簡,執行的是可以在 Bank/Array 級並行的簡單操作(逐元素加法、比較、查詢、累加等)。通用 CPU 的控制邏輯開銷在 PIM 中是不可接受的面積和功耗負擔。

❌ 誤讀 3:“Computational Storage 等於把資料庫引擎塞進 SSD”

糾偏:絕大多數 Computational Storage 裝置執行的是**下推(pushdown)**操作——將過濾、投影、聚合等簡單操作下發到儲存側執行,而非執行完整的資料庫引擎。這類似於資料庫的”謂詞下推”思想在儲存硬體層面的實現。完整的查詢最佳化、事務管理、連線操作仍由主機側資料庫負責。

❌ 誤讀 4:“NDP 是新概念,近幾年才出現”

糾偏:NDP 的學術思想可以追溯到 1990 年代(IRAM、Active Disk 等專案)。它之所以近年重新受到關注,是因為:① 3D 封裝技術使在儲存 die 內整合邏輯變得可行;② 資料密集型應用(AI、大數據)使資料搬運問題從”工程煩惱”升級為”系統瓶頸”。這是老概念 + 新使能技術 + 新需求的組合。


學習路徑

入門

  1. 理解記憶體牆問題:閱讀 Hennessy & Patterson《計算機體系結構:量化研究方法》中關於記憶體層次和能耗的章節。
  2. SNIA Computational Storage 技術白皮書:瞭解行業標準化的定義和用例。
  3. Samsung PIM / SK Hynix AiM 的公開技術部落格和新聞稿:瞭解廠商視角。

進階

  1. 經典 PIM 學術論文
    • O. Mutlu et al., “A Modern Primer on P
source: 公開揭露與公開資料整理 本頁僅用於產業鏈學習、資訊檢索和研究輔助;不構成投資建議,不預測漲跌,不提供買賣、部位或目標價建議。
完整概念頁 複盤 13 節結構 公司投研頁 沿產業鏈找到受益公司 投資課 把概念轉成可跟蹤模型