Scratchpad Memory (SPM)

1 3 秒看懂

Scratchpad Memory (SPM)，即暂存器存储器，是集成在处理器（特别是GPU、AI加速器）核心内部、由软件显式管理的高速片上静态随机存储器（SRAM）。与硬件自动管理的缓存（Cache）截然不同，SPM追求极致确定性与可控延迟，是高性能计算与AI芯片破解“内存墙”的关键微架构武器。

2 3 分钟产业解释

AI模型训练与推理的瓶颈已从“算力不足”转为数据搬运效率——计算单元经常因等待数据而空闲，这就是著名的内存墙。传统的硬件缓存虽然自动、透明，但其行为依赖复杂的预取与替换策略，不可预测的命中失败（cache miss）会引入数十到数百个周期的延迟抖动，在实时推理中尤其致命。

Scratchpad Memory为这个问题提供了另一种解法：它是一块程序员（或编译器）完全掌控的“私有仓库”。软件负责显式决定何时、将哪些数据块从慢速的主存（如HBM或DRAM）搬运到SPM，并在计算完成后写回。这种显式管理创造了两大核心优势：

1. 确定性：数据访问延迟完全可知且恒定（例如5-20个处理器周期），无Cache缺失惩罚，性能可精确预估，对自动驾驶、高频交易等实时AI场景至关重要。
2. 高能效：剔除了Cache的标签比较、复杂替换逻辑和不必要的推测预取，每次数据访问的能耗通常仅为同级Cache的1/2到2/3，这对功耗敏感的芯片（如移动端NPU、边缘AI芯片）极具价值。

在AI芯片中，SPM被用作计算阵列的“贴身数据供给站”，存放当前计算密集的权重、激活值和中间部分和。通过精确的双缓冲和预取调度，数据搬运与矩阵乘加完全重叠，使得计算单元利用率远超依赖缓存自动管理的方案。整个AI编译器的核心使命之一，就是把高级计算图拆解为“数据切块+搬运+计算”的流水线，最大程度榨取SPM的吞吐潜力。

3 技术原理

Scratchpad Memory在物理上是一块物理地址连续、多体（bank）可并发的SRAM阵列。与Cache使用内容寻址标签不同，SPM直接采用简单的地址译码，因此面积更小，访问流水线更短。

工作机制： SPM完全由指令集架构（ISA）中的专用指令或DMA引擎驱动。典型工作流如下：

1. 数据流分析：编译器静态分析计算图，划分出可装入SPM的“数据块”（tile），并生成数据生命周期信息。
2. 数据搬运发起：插入DMA指令，将下一块输入数据从外部主存异步搬入SPM的一块缓冲区。此DMA传输与当前正在执行的计算操作重叠。
3. 执行计算：计算单元通过常规的加载/存储指令直接访问SPM，获取操作数，进行矩阵乘法或卷积等密集运算。
4. 写回结果：计算完成后，DMA引擎将SPM中的结果块传回外部主存，同时下一块输入数据已开始流入另一块SPM缓冲区（双缓冲/环形缓冲）。

[ 简化工作流示意 ]
  编译器生成：
  loop: 
      DMA_Load(&input_tile[N+1], spm_buf_A);
      Compute_MatMul(spm_buf_B, weights_spm);
      DMA_Store(&output_tile[N], spm_buf_B);
      swap buffers; // 缓冲切换，零开销

数据复用与分块策略： 为了最大化利用SPM有限的空间，编译器必须执行分块（Tiling），将多层循环（如卷积的K、C、H、W维度）切分成适合SPM容量的小块，并按照最优顺序调度，使得每个加载的字节被多次复用。这种优化可以将外部HBM的读写带宽需求降低一个数量级以上。

硬件架构细节：

• 多Bank设计：SPM内部划分为多个独立的存储Bank，支持同时读写不同bank的内容，带宽倍增。编译器需通过数据布局和访问模式优化来避免Bank冲突。
• 寻址模式：支持直接地址或通过DMA描述符的间接寻址，部分设计还提供多维地址生成器，方便处理图像块和矩阵块。
• DMA引擎：独立的硬件单元，可编程控制多通道并发传输，支持跨步访问、数据重排和填充操作，不占据主算单元的执行资源。

现代AI芯片常在计算阵列旁布置多层SPM（如L0、L1缓冲区），形成片上存储层级，进一步将数据复用粒度细分为标量/向量级别，减少对统一大SPM的端口压力。整个机制是计算机体系结构经典原则——“数据本地性”利用的极致实践。

4 关键参数

评估Scratchpad Memory微架构设计，须关注以下核心参数，它们直接影响芯片的有效算力与能效。

说明：上表中具体芯片的容量、带宽数据，除NVIDIA官方公开A100的共享内存容量外，多数AI芯片厂商未公开详细SPM参数，表格中所述为行业通用设计原则与公开规格的典型范围。（数据来源：厂商技术文档、ISCA/MICRO论文分析）

5 技术路线

Scratchpad Memory并非单一实现，而是多种策略的集合。其技术演进主要呈现以下路线：

5.1 纯软件管理 SPM（经典路线）

源自DSP和微控制器，处理器片上SRAM完全由用户程序或编译器通过DMA指令管理，硬件不提供任何缓存机制。代表：早期DSP（如TI C6000系列）、部分专用AI加速器。优点：确定性与能效极高，硬件简单；缺点：编程负担重，不适用不规则访存。

5.2 可配置分区（Cache/SPM 融合）

在同一块片上SRAM中，允许部分空间划分为硬件Cache，另一部分作为软件管理的SPM。NVIDIA Fermi架构起，其L1数据缓存和共享内存可灵活分区（如48KB共享内存/16KB L1，或16KB共享内存/48KB L1等）。此类设计兼顾通用性和专用优化，成为现代GPU的事实标准。AMD的本地数据共享（LDS）虽然专用于SPW，但其L1缓存分开，另一种协同方式。

5.3 多级SPM层次结构

大型AI加速器（如Google TPU、华为昇腾、寒武纪MLU）普遍采用多层Buffer设计：最靠近计算单元的L0缓冲（用于标量/向量级别的复用），中间层L1 Buffer（用于更粗粒度的数据共享），最外层的统一共享存储或接近NoC（片上网络）的大容量L2/Buffer。这形成单芯片内部的分布式SPM体系，使数据局部性在不同尺寸粒度上都得到理想服务。

5.4 存内计算/近存计算融合（新兴）

将部分计算能力嵌入SPM内部，模糊存储与计算的界限。例如，韩国科学技术院（KAIST）等的存内计算（CIM）研究直接将权重存储在SRAM单元中，利用模拟域进行乘累加运算。三星、SK海力士推出的HBM-PIM（Processing-in-Memory）概念则将计算单元放置在内存堆栈旁，相当于把SPM功能扩展到3D封装内部。虽然存内计算目前主攻大规模数据并行，但思想与SPM一脉相承——将数据移动到最近处再计算。

5.5 跨芯片的全局SPM抽象

Chiplet和Die-to-Die互连技术兴起后，某些AI芯片方案将多个计算芯片的本地SPM通过统一互连构成一个逻辑上共享的全局地址空间，允许跨Die直接访问远端SPM，以此平衡容量与延迟。这需要全新的编程模型支持，目前主要见于研究项目和部分初创公司设计。

总结：SPM技术路线正从“单块快速SRAM”走向“多层级、可重构、与计算深度融合”的复杂体系，软件（编译器、运行时）日益成为决定路线成败的核心。

6 上游

SPM的上游由半导体IP、EDA工具、制造工艺三大支柱构成：

• SRAM存储器IP：芯片设计公司通常不自行设计SRAM位单元，而是从晶圆代工厂（台积电、三星、英特尔）或第三方IP供应商（如Arm Artisan、Synopsys、Cadence）获得经过硅验证的存储编译器。存储编译器能生成不同大小、端口数、速度等级的SRAM硬宏，并可针对漏电、密度进行优化。随着AI芯片对高密度、低Vmin SRAM的渴求，这些IP的先进制程授权费用持续增长。据IPnest报告，2023年全球半导体设计IP市场约70亿美元，SRAM和存储类IP是重要子类（具体SRAM IP细分份额公开资料未见明确数值）。

• EDA工具与设计服务：设计包含复杂多级SPM的芯片需要高级综合（HLS）、物理布局布线工具的强力支持。Cadence、Synopsys提供的AI芯片创新设计套件包含内存感知的调度优化器。国内如华大九天、概伦电子等也在该领域追赶。此外，设计服务公司（如博通、Marvell、Alchip）因拥有丰富的多核互联与存储系统设计经验，常成为AI芯片公司外包后端设计的选择。

• 半导体制造：SPM密度和能效直接受制于工艺节点。5nm/3nm工艺在SRAM微缩中面临巨大挑战——晶体管缩小但SRAM单元面积缩放速度显著放缓，漏电功耗上升。因此，台积电在N3上引入了FinFlex等混合工艺允许SRAM区域采用更高密度的库。未来，背面供电网络（BSPDN） 和新型晶体管结构（如CFET）将有助于维持SPM的优势发展。近存计算则需依靠3D堆叠（如Hybrid Bonding）等先进封装，相关产业链包括台积电SoIC、英特尔EMIB、三星X-Cube等。

7 下游

Scratchpad Memory的下游影响遍及AI编译器、应用框架、以及终端部署场景。

• AI编译器与运行时：这是SPM发挥性能的“灵魂”。代表项目如Apache TVM、MLIR（Google）、XLA、OpenAI Triton，以及芯片自研的编译栈（如英伟达CUDA nvcc、华为昇腾CANN），它们负责：

  • 自动分块（Auto-Tiling），根据SPM容量裁切关键数据。
  • 生成异步DMA指令与数据预取，插入计算流以隐藏DMA延迟。
  • 数据布局变换（layout transformation），例如将权重重排以匹配SPM Bank并免冲突。 编译器越智能，SPM利用率越高，芯片门槛越高。这也解释了为何AI芯片公司投入大量资源建设自己的软件生态。

• AI开发框架：PyTorch、TensorFlow等通过中间表示（IR）将模型传递给编译器。开发者通常不直接接触SPM，但了解其行为可帮助手动优化（如在CUDA中使用__shared__ memory）。此外，高层框架对混合精度训练、稀疏矩阵等的支持，也会影响SPM中的数据组织和访问模式。

• 系统集成与部署：在车规级、边缘端设备中，SPM的确定性延迟帮助满足功能安全（ISO 26262）和实时要求。数据中心推理服务器通过网络接入大量请求，低抖动SPM确保了服务质量（QoS），提高资源利用率。因此，下游的服务器OEM、汽车电子Tier1和机器人厂商都是SPM架构设计的间接受益者。

8 受益公司

Scratchpad Memory作为关键的微架构技术，令具备强大芯片架构设计能力和配套编译器能力的公司在AI算力竞赛中取得坚实壁垒。以下按公司类型梳理主要参与方（仅作产业分析，不构成任何投资建议）：

以上公司中，NVIDIA、Google、华为等凭借其“芯片+编译”联合优化，显示出更强的生态锁定力。但所有列名均基于公开信息，仅作产业链说明，不代表任何价值判断。

9 市场规模

公开资料未见针对Scratchpad Memory的独立市场规模统计，因其属于AI芯片的片上组件，无独立交易市场。

然而，可以从相关联的AI芯片市场和芯片制造成本结构间接观察SPM的经济价值。

• AI芯片市场总盘：据第三方机构（如Omdia、Fortune Business Insights）估计，2023年全球AI芯片市场规模约为500-600亿美元（不同口径，涵盖GPU、FPGA、ASIC等）。预测2028年有望突破1100-1500亿美元。
• SPM相关成本占比：AI芯片的物料成本中，晶圆制造成本占大头。根据IC Knowledge等机构披露的芯片制造成本模型，先进制程下，大面积SRAM是推高成本的重要因素。例如，在台积电5nm制程，数十MB的片上SRAM可占据总芯片面积的15-35%，对应成本比例相当可观。若保守假设SRAM相关成本占AI芯片整体制造成本的20%，则2023年SPM相关（含所有片上SRAM模块）的硬件价值量隐含在约100-120亿美元量级。但此估算极度依赖假设，缺乏公开统计，仅用于示意规模量级。
• AI芯片对SRAM IP的拉动：AI芯片需求增长正在推动先进SRAM IP授权和Memory Compiler市场。IPnest报告显示，半导体IP市场2023年约70亿美元，存储器IP是重要推动力之一（具体SRAM子类份额未单独列示）。台积电、三星等代工厂也依靠存储器IP授权获得额外收入。

结论：虽然无直接市场规模数据，但SPM作为AI芯片架构中的“必选项”，其经济意义伴随AI芯片市场快速扩张而同步放大。任何精确量化的尝试都应审慎，以公开公司财报和第三方拆解报告为基础，目前上述数据均缺。

10 玩家对比

以下基于公开信息对比主要AI芯片厂商SPM/片上存储的关键差异，部分参数因厂商未公开而标记“未见”：

说明：上表部分容量数据源于公开技术论文、白皮书、业界拆解报告（如Semianalysis、Fabricated Knowledge），部分为估算值，可能存在偏离，仅供参考。

11 风险

从技术发展和产业生态角度看，围绕Scratchpad Memory的风险包括：

• SRAM微缩瓶颈：先进制程下SRAM单元面积微缩速度显著慢于逻辑晶体管，导致单位比特成本下降趋缓，漏电功耗占比上升。未来若无法突破，芯片设计师可能被迫限制SPM容量，转而依赖性能更差的片外存储。
• 软件复杂性壁垒：将SPM发挥极致依赖于编译器的高度智能化。如果芯片公司无法提供健壮的自动分块与调度编译器，其SPM硬件极可能利用率低下，削弱产品竞争力。这也意味着新兴芯片公司很难在短时间内与NVIDIA的CUDA生态抗衡，形成软件上的“新内存墙”。
• 新型架构冲击：存内计算（CIM）、近存计算（PIM）如三星HBM-PIM、SK海力士PIM产品已进入验证和早期商用。若此类技术成熟，将部分替代传统SPM的角色，直接将计算移入内存，改变设计范式。同时，光互连、Morta等新互连可能降低远程访问成本，影响SPM的必要性。
• 依赖特定工艺与供应链：设计大容量SPM需要与代工厂的特定SRAM IP紧密耦合。芯片从一家代工厂迁移到另一家（例如从台积电N7转到三星5nm）时，SRAM宏的重新表征和验证耗时费力，增加了供应链风险。尤其在地缘政治影响下，国内设计公司可能面临获取高密度SRAM IP的不确定性。
• 模型大小的膨胀：AI模型参数规模增长远超片上存储增长，SPM仅能存放模型的一小部分。这就需要频繁地从HBM或SSD中搬运数据，可能使SPM成为新的瓶颈。如何将更大范围的“分级暂存”延伸到CXL内存等池化存储，是行业尚未完全解决的难题。

12 误读纠偏

1. “SPM是Cache的替代品，有了SPM就不再需要Cache。”
   纠偏：两者是互补关系。Cache适合不规则、动态访问；SPM适合规则、可预测数据流。现代芯片往往同时部署，甚至允许同一物理SRAM在两种模式间细化分区。设计者必须根据工作负载搭配使用。

2. “SPM越大，芯片算力/能效越好。”
   纠偏：SPM容量与性能并非线性关系。过大SPM挤占计算单元面积、增加漏电和延迟，可能使整体芯片成本上升而性能提升甚微。协同设计是关键：SPM容量需与计算吞吐量、目标模型数据块大小、编译器调度能力精确匹配。

3. “管理SPM只是把数据搬进来再搬出去，很简单。”
   纠偏：高效利用SPM需要多重优化——分块策略、双缓冲预取、地址空间访存重排、Bank冲突避免、以及计算与搬运的精细流水线化。粗放管理极易导致计算单元利用率从90%暴跌至30%以下，完全抵消SPM优势。

4. “所有AI芯片都用SPM，所以SPM没有差异化。”
   纠偏：虽然概念通用，但容量选择、层级设计、与计算单元的耦合方式、编译器成熟度差异巨大。最终展示出的有效算力、能效比和延迟抖动相差悬殊，正是底层SPM架构和软件生态差异的直接反映。

13 最新事件

• 2024年3月，Groq LPU公开发布：Groq的语言处理单元彻底摒弃HBM，使用数十亿SRAM位的确定性片上SPM架构，声称推理速度达数百tokens/s。该架构目前受限于片上总容量导致单卡只能运行较小的模型（如LLaMA-7B），但其极低延迟引发行业对SPM极致应用的重新关注。（来源：Groq官方博客、Hot Chips 2023演讲、《半导体工程》报道）

• 英伟达Blackwell架构（B200，2024年发布）：搭载第二代Transformer引擎，预期进一步增加共享内存容量和异步拷贝能力，并引入更智能的数据搬运引擎。具体配置尚待全面公开，但传统SPM优化路线依然被加强。（来源：NVIDIA GTC 2024）

• 三星电子HBM-PIM（2023-2024）：推出集成处理功能的HBM-PIM内存，将部分计算逻辑引入存储堆栈，实现极低数据移动。虽然并非传统片上SPM，但概念上拓展了“近数据计算”的范畴，预示SPM可能在封装级进一步泛化。（来源：三星半导体官网、ISSCC 2023论文）

• MLIR/TVM社区推进AI编译器SPM优化：2023-2024年，开源AI编译器MLIR和TVM社区持续发布针对多种AI加速器的片上存储自动管理优化，例如TVM的SparseTIR项目尝试对稀疏数据在SPM中的动态分配生成高效代码。编译器能力正快速追赶硬件演进。（来源：Apache TVM会议演讲、GitHub仓库里程碑）

• RISC-V向量扩展暂存器管理讨论：RISC-V国际向量专责小组在2024年的公开讨论中出现关于添加显式暂存器管理基元的可能性，旨在为AI扩展指令集提供统一SPM抽象。这将有助于新兴RISC-V AI芯片生态发展。（来源：RISC-V International邮件列表，公开讨论）

14 跟踪指标

要持续掌握Scratchpad Memory技术及产业动向，建议关注以下指标和信号：

• 旗舰AI芯片规格：每代GPU/AI加速器发布时，“共享内存/片上缓冲”容量、总带宽、每计算单元分配量。这些参数往往在厂商白皮书或Hot Chips演讲中披露。
• 先进制程SRAM微缩率：台积电、三星、Intel在ISSCC、IEDM上发布的SRAM单元尺寸与良率数据。SRAM微缩速度直接决定未来SPM容量与成本的天花板。
• AI编译器版本更新：TVM、MLIR、Triton的发布说明中关于“内存管理”、“自动分块”、“延迟隐藏”的提升。编译器优化越深入，说明硬件SPM可利用空间越大。
• 学术论文数量与主题：在ISCA、MICRO、HPCA、DAC、ISSCC等顶会上，关键词为“scratchpad”、“software-managed memory”、“on-chip memory optimization”、“buffer sizing”或“tiling for accelerator”的论文数量与引用率，反映学术界的前沿关注。
• 专利动向：检索USPTO/CNIPA，专注“Scratchpad memory management”、“Explicit memory hierarchy”、“AI accelerator buffer architecture”等分类号或关键词，可追踪主要公司的技术储备。
• 新兴公司融资与技术路线披露：关注AI芯片初创的公开技术演讲（如Hot Chips、Linley Conference）、融资材料中对存储系统的表述，如是否强调“统一全局SPM”、“存算一体SPM重构”等。
• 可靠性/功能安全认证信息：汽车AI芯片为达到ASIL-D，其SPM的ECC、诊断覆盖率、延迟确定性需通过认证。相关认证进展透露SPM在实际苛刻场景的真正可用性。
• 封装互连带宽：若Chiplet间互连速率（GB/s/mm）快速提升，可能推动“逻辑共享SPM”架构落地，关注UCIe、BoW等标准活跃度。

15 信源

本概念页内容依据可公开获取的行业知识、标准教材及厂商披露资料，无内部非公开信息。主要信源包括：

1. 经典教材：Hennessy, J.L. & Patterson, D.A. 《计算机体系结构：量化研究方法》（第6版），专门针对存储器层级与缓存/暂存器设计的原理。
2. 学术顶会：ISCA、MICRO、HPCA、DAC、ISSCC、Hot Chips历年论文中关于Scratchpad Memory及AI加速器存储系统的研究。
3. 厂商官方技术文档：
   • NVIDIA CUDA编程指南，共享内存章节；
   • NVIDIA A100/H100白皮书；
   • AMD CDNA架构说明；
   • Google TPU配置公开信息及System Architecture论文；
   • 华为昇腾、寒武纪官方开发者资料；
   • Groq LPU架构公开演讲与博客文章。
4. 第三方分析：Semianalysis、The Linley Group、Fabricated Knowledge等发布的对AI芯片架构的深度分析报告，其中涉及片上存储设计。
5. 行业报告与数据：IPnest 2023年IP市场报告、Omdia/Fortune Business Insights AI芯片市场预测、IC Knowledge晶圆成本模型等（因公开细节有限，文中引用处已标注“估计”或“公开未见”）。