Tensor Memory Accelerator（TMA）
1. 3 秒看懂
TMA 是一种将 AI 计算单元与存储单元深度耦合的架构创新，目标是“打破内存墙”，使数据在离产生位置最近的地方被处理，从而将大模型推理的能效比推向极致。
2. 3 分钟产业解释
| 维度 | 关键点 |
|---|---|
| 本质定义 | TMA 是计算存储一体化（CIM，Computing-in-Memory）理念在 AI 加速器中的工程实现。它把矩阵乘加等核心操作嵌入或贴近存储阵列，省去传统架构中数据在 CPU/GPU 与 DRAM 之间的频繁搬运。 |
| 核心痛点 | 冯·诺依曼架构下的“内存墙”与“功耗墙”。据斯坦福大学与行业白皮书，在 7nm 工艺下，一次数据搬运消耗的能量是单次浮点运算的数百倍，大模型推理中 60%—90% 的能耗与时间浪费在数据移动上。 |
| 技术关键 | 1. 近存计算：通过 2.5D/3D 先进封装将计算芯粒堆叠在 SRAM/DRAM 上方或侧方，缩短连线距离。 |
- 存内计算：直接在存储阵列（如 SRAM、ReRAM）内执行模拟或数字域乘加，数据不离开存储单元。
- 异构集成：Chiplet 化设计，将 TMA 芯粒与 CPU、NPU 等异构组合。 | | 核心价值 | 极致能效比（TOPS/W）。相较于传统 GPU/NPU，在相同推理任务下可将能效提升 10—100 倍（理论值），特别适合功率受限的边缘与端侧场景，如智能穿戴、AR/VR 眼镜、安防摄像头及自动驾驶。 | | 与现有方案关系 | 互补而非替代。GPU/NPU 继续主导云端训练与高吞吐推理；TMA 主打低功耗、低延迟的边缘/端侧定点推理，两者在 AI 算力基础设施中形成“中心+边缘”的协同。 |
3. 技术原理
TMA 的颠覆性在于重新定义数据流。传统 AI 加速器工作时，权重需从外部 DRAM 加载到片上缓存，再送入计算单元，每层运算结束后结果重新写回内存。这一过程在 Transformer 等大模型上会引发数以 TB 计的中间数据移动。
-
近存计算实现路径 采用台积电 CoWoS（Chip-on-Wafer-on-Substrate）、英特尔 EMIB/Foveros 等先进封装技术，将高带宽存储器（HBM）或定制 SRAM 堆栈与计算芯粒对靠。物理距离从传统 PCB 厘米级缩短至微米级，互连功耗下降一个数量级。例如，台积电推出的 3D Fabric 联盟生态，已支持多家存内计算初创公司将 SRAM 层与逻辑层直接键合。
-
存内计算实现路径 ① 模拟存内计算：利用存储单元阵列的物理规律。以 ReRAM 为例，将卷积权重映射为阻值，输入电压通过字线施加，根据基尔霍夫电流定律在位线上自动完成乘加累加，一步完成矩阵向量乘法。 ② 数字存内计算：在 SRAM 阵列中嵌入微型数字乘法器或加法器，每个/每行存储单元都具备计算能力，但数据仍以数字形式传输和计算，精度可控。 技术挑战集中于：模拟域的工艺偏差、热噪声导致的计算精度下降（通常需要 6—8 位有效精度降低）；新型非易失性存储器（如 ReRAM、MRAM、PCM）的耐久性与大规模量产良率；以及完全不同于 CUDA 的编程模型和编译工具链。
-
数据流调度与编译器 TMA 芯片需要将计算图直接映射到物理存储阵列上，编译器必须处理阵列规模限制、数据复用策略和片上网路拓扑。目前多数厂商提供自研的图编译器或基于开源框架（如 TVM、MLIR）的私有后端，但生态仍是早期。
4. 关键参数
评估 TMA 芯片的核心指标与传统 AI 芯片有所不同，更强调单位能耗下的有效算力和延迟。
| 参数 | 释义 | 典型范围与来源 |
|---|---|---|
| 能效比（TOPS/W） | 在 INT8 或混合精度推理下，每瓦功耗可提供的每秒万亿次操作数。是 TMA 最核心优势指标。 | 知存科技 WTM2101 宣称 14 TOPS/W（INT8，基于 40nm 工艺，2022 年产品发布数据）；Mythic M1076 在 ResNet-50 推理中约 4—6 TOPS/W（模拟存内，28nm，2021 年 Hot Chips 披露）；行业目标 2025 年超过 25 TOPS/W。以上数据来自公司官网及技术会议，测试条件、模型与优化程度不同，不可直接对比。 |
| 存储容量 | 片上集成的 SRAM 或新型 NVM 容量，决定能本地驻留的模型参数量。 | 通常为数百 KB 至数十 MB。例如，知存 WTM2101 集成 2 MB SRAM；亿铸科技目标是承载数百 MB 参数的存算一体大算力芯片（公开报道，未披露具体容量）。 |
| 精度支持 | 支持的数值精度，直接影响模型准确率。 | TMA 芯片普遍支持 INT8、INT4，部分支持 BF16 或混合精度。模拟存内有效精度约 4—6 位；数字存内可原生支持 INT8 甚至 INT16。 |
| 延迟 | 从输入到输出推理结果的最小延迟。 | 由于无需内存搬运，标称帧级延迟可低至微秒级。Syntiant NDP 系列语音指令识别延迟低于 10 ms（来源：Syntiant 产品简介）。 |
| 工艺节点 | 流片所用代工工艺。 | 大多采用 28nm—40nm 成熟 CMOS 工艺，以平衡成本与新型存储器集成；部分先进数字存内芯片正向 12nm/7nm 演进。 |
5. 技术路线
TMA 内部路线分歧明显，主要集中在计算形式（模拟/数字）和存储介质两个维度。
-
模拟存内计算 代表：Mythic、Gyrfalcon（已转向）、早期 IBM 研究。 优势：理论能效极高，单周期完成乘加；不足：精度受模拟噪声限制，校准复杂，对新型 NVM 依赖性高，量产一致性难。 Mythic 的 M1076 采用 NOR Flash 阵列执行模拟计算，单芯片算力 25 TOPS，但仅支持特定网络结构，灵活性欠缺。
-
数字存内计算 代表：知存科技、后摩智能、千芯科技。 优势：与标准 CMOS 逻辑工艺完全兼容，精度可控，易于集成数字 IP；不足：能效天花板低于纯模拟路线，仍存在数据传输开销。 国内多数创业公司选择此路线，优先落地可量产芯片。
-
近存计算（2.5D/3D 封装） 代表：Graphcore（其 IPU 采用近存架构）、NVIDIA 的 H100 通过 NVLink 连接大量 HBM，也可视为近存变体，但并非 CIM。英特尔的研究项目 Pohoiki Springs 采用 3D 堆叠。 这一路线能效提升有限，但可大幅降低风险，已在部分高端产品中商用。
-
新型存储介质
- ReRAM：亿铸科技、松下；密度高、非易失，但写入次数有限（耐久性 10^6 次），写功耗较高。
- MRAM：Samsung、Everspin；耐久性高，但在存内计算阵列中密度和读出裕度仍待提升。
- FeFET：学术界活跃，可类比 NAND 但操作电压低，产业化极不成熟。
6. 上游
上游是支撑 TMA 芯片从设计到量产的基础设施，技术门槛高，国产替代需求强烈。
| 上游环节 | 核心构成 | 主要参与者与产品 | 对 TMA 的影响 |
|---|---|---|---|
| EDA 工具 | 存内计算专用设计、仿真、验证套件 | Synopsys（Custom Compiler 支持 CIM 设计）、Cadence（Virtuoso 模拟/数模混合环境）、Siemens EDA。国内华大九天起步较晚，公开资料未见存算一体专用工具包。 | 模拟存内设计高度依赖 SPICE 仿真，标准数字流程不适用，EDA 支持不足是研发瓶颈。 |
| IP 核 | CIM 宏单元、接口 PHY、NoC | Arm（提供针对近存计算的 AMBA 接口 IP）、Cadence/Tensilica（可配置 DSP）。大陆的芯原股份、灿芯半导体在先进封装接口 IP 有所布局，但 CIM 专用 IP 尚以自研为主。 | 独立 IP 商稀缺，很多设计公司需从头开发 CIM 宏，研发周期长。 |
| 制造设备与材料 | 光刻、刻蚀、薄膜沉积；新型存储器特种材料 | 应用材料、泛林集团（刻蚀/沉积），东京电子。ReRAM 材料：HfO₂、TaOₓ 等，核心靶材和化学前驱体供应商公开资料较少。国内北方华创、中微公司等刻蚀设备可覆盖 28nm 以上工艺，但 3D 集成和纳米孔形成仍需进口。 | 先进工艺和特殊材料使初始建线成本高，小批量流片昂贵。 |
| 晶圆代工与封装 | 逻辑制程+先进封装 | 台积电（CoWoS、InFO、SoIC）、三星（X-Cube）、英特尔（Foveros、EMIB）。国内中芯国际、华虹宏力提供逻辑代工；长电科技、通富微电、天水华天提供先进封装，但 2.5D/3D 堆叠的与高端中介层产能与良率仍有较大差距（2023 年中国封测产业报告）。 | 缺少先进封装会使近存芯片的互连密度不达预期，削弱能效优势。 |
7. 下游
TMA 芯片目标市场集中在“功耗第一、实时性高、模型固定”的边缘与端侧推理场景，覆盖消费电子、汽车、工业与城市安防。
-
边缘 AI 推理盒子/板卡 用于智慧工厂质检、零售客流分析、医疗影像前置处理等。2023 年边缘 AI 推理硬件市场规模约 30 亿美元（IDC，含周边系统），TMA 芯片可针对特定模型提供更高并发路数，同时避免风扇散热，适合部署在无空调的工业环境中。
-
消费智能终端
- 可穿戴与 AR/VR：对持续推理的语音助手、手势识别 TMA 可将功耗压至 mW 级以下，延长续航。苹果、Meta 在研项目中探索近存计算。
- 智能家居：智能音箱、中控屏的本地语音交互与异常音检测，已在部分电商集成的离线模组中出现基于 SRAM 存内计算的芯片。
-
汽车电子与自动驾驶 L2+ 级以上对感知、融合、规控的延迟要求极高，同时功耗预算紧张。后摩智能 2023 年发布的“鸿途 H30”芯片即专为智能驾驶打造，采用数字存内计算架构，支持 LiDAR 和视觉感知模型。该领域对功能安全（ISO 26262）和车规认证有严格要求，是 TMA 高端化的重要方向。
-
AIoT 传感器节点 在电池供电的振动、声音、图像传感器端直接完成轻量推理，仅上传异常结果，TMA 是当前少有的可满足此类亚 mW 级算力需求的方案。移远通信、广和通等模组厂商已开始评估此类芯片集成（行业访谈信息，2023）。
8. 受益公司
此部分列出产业链上直接因 TMA 产业化提速而获得增量业务或前瞻布局的公司，仅从产业逻辑推导，不作为投资依据。
- 中游芯片设计：知存科技、后摩智能、亿铸科技、千芯科技等创业公司是直接推动者。大型 AI 芯片厂商如寒武纪、地平线、黑芝麻智能在探索近存/存内计算 IP 内核集成（公开专利、招聘信息），若成功可拓宽其产品能效比。
- 封装与制造：台积电、日月光（ASE）、长电科技、通富微电将从 2.5D/3D 存算一体封装需求中获益。Intel 的 Foveros 封装业务若对外服务，也能受益。
- 上游 IP 与 EDA：Arm 的 v9 架构增加对存内计算指令扩展的预留，Cadence 和 Synopsys 推出更强模拟仿真工具。国内灿芯、国芯科技等可能提供接口 IP。
- 终端模组与解决方案商：如中科创达、润和软件等为 TMA 芯片开发板提供 BSP 与算法移植服务，形成软硬件一体方案。
- 材料供应商（间接）：如北方华创、雅克科技（前驱体）、安集科技（抛光液）等，若 ReRAM 等新型存储器量产，则对材料和工艺有新增需求。
9. 市场规模
由于 TMA/CIM 仍处在商业化早期，权威机构尚未单独将“TMA 芯片”作为一个独立市场进行统计。市场上常引用的“存内计算芯片”或“AI 近存储器计算”市场预测可作为参考。
- 短中期（2023—2026） 根据 Yole Intelligence 2023 年《Emerging Non-Volatile Memory》报告，受边缘 AI 需求驱动，基于新型非易失存储的存内计算芯片收入预计在 2026 年达到 1.5—2 亿美元，主要来自超低功耗语音和传感器领域。另一机构 Gartner 预测，到 2025 年，近存计算在 AI 加速器中的渗透率将低于 3%（按出货量，口径：数据中心与边缘），但对边缘市场影响会更大。
- 长期（2027—2030） MarketsandMarkets 在 2023 年的一份研究预计，全球存内计算市场（含 IP 授权、芯片）在 2028 年可能达到 18—22 亿美元（口径：所有 CIM 相关半导体收入）。其中以 ReRAM 和数字 SRAM 存内计算为主要构成。这些预测假设存内计算可靠性和工具链问题得到突破。以上均为第三方预测，不代表实际必然发生，且预测数字存在大量假设，仅供参考。
10. 玩家对比
以下为具有代表性且已发布实际芯片或测试芯片的 TMA/CIM 创企对比，基于截至 2024 年初的公开信息。
| 公司 | 技术路线 | 代表产品 | 工艺 | 峰值算力（INT8） | 能效/特点 | 目标市场与进度 |
|---|---|---|---|---|---|---|
| 知存科技 (Witmem) | 数字 SRAM 存内计算 | WTM2101 | 40nm | 50 GOPS (峰值) | 14 TOPS/W，功耗 μW—mW 级 | 超低功耗语音/唤醒，已量产供货，客户以 TWS、家电为主。2023 年推出更高算力的 WTM-8 系列，进入视觉领域。 |
| 后摩智能 (Houmo) | 数字存内计算 | 鸿途 H30 | 12nm | 256 TOPS (等效) | 针对智驾优化，支持 BEV+Transformer，宣称功效是同级域控芯片的 2 倍以上 | 智能驾驶域控制器，2023 年发布芯片，2024 年寻求客户导入和定点。 |
| 亿铸科技 (Yizhu) | ReRAM 模拟存内计算 | 未公布 (大算力 SoC) | 未披露 | 目标 >100 TOPS | 基于 ReRAM，非易失，高密度 | 边缘服务器、数据中心推理，工程样品阶段，多次完成数亿元融资（公开报道，2023）。 |
| Mythic (美国) | 模拟 Fash 存内计算 | M1076 | 28nm | 25 TOPS (INT8) | 约 4 TOPS/W，支持 CNN, 灵活性有限 | 工业视觉、边缘网关，曾因资金问题暂停运营，后重组，客户数量有限。 |
| Syntiant (美国) | 近存神经网络处理器 | NDP200/NDP120 | 22nm | 低功耗 ML 处理器 | 亚 mW 级语音，不含存内计算，是近内存 | 智能家居、移动设备，出货超 5000 万颗（2023 公司公告）。作为近存参考。 |
| 千芯科技 (TensorChip) | 可重构数字存内计算 | 未公开 (测试芯片) | 未披露 | 未披露 | 可重构架构，支持多种网络 | 边缘推理，2023 年完成流片验证，市场推广中。 |
11. 风险
- 技术路径失败风险 特别是基于 ReRAM、PCM 等新型非易失存储的模拟存内计算，至今没有大规模商用，可能因耐久性达不到 5—10 年要求或制造良率过低而无法成为主流，沦为“实验室宠儿”。
- 精度与泛化能力折损 模拟存内有效精度仅为 4—6 位，对复杂大模型（如 Llama、GPT 等）经量化后精度损失可能超过 2%，而多数应用场景对准确率仍敏感。这将限制 TMA 在云端领域的渗透。
- 生态与迁移成本 CUDA 生态锁定效应极强，TMA 芯片均需自研编译工具链、算子库和算法移植服务，客户的工程师学习成本高。公开资料未见任何 TMA 平台被主流 AI 框架（PyTorch、TensorFlow）原生支持，均需手动下地实现模型转换。
- 供应链与地缘风险 先进封装、高端模拟/混合信号 EDA、核心材料等上游环节高度集中，对华出口限制可能导致国内公司难以获得最先进的 3D 封装或 EDA 支持，延缓产品迭代。
- 安全合规 存内计算内部数据通路不可见，侧信道攻击可能利用电流/电磁辐射泄露权重信息，目前针对 CIM 的安全标准几乎空白，在汽车或金融等场景可能面临认证障碍。
12. 误读纠偏
- “TMA 将替代 GPU/NPU” 这是最常见的误解。TMA 的能效优势仅在特定功耗、特定模型结构下成立，无法胜任大模型训练、多租户云推理等高吞吐场景。正确认知为：在 AI 算力栈中，TMA 是“功耗敏感型边缘推理”的最优解之一，但与 GPU/NPU 是长久的共生关系。
- “存内计算就是完全无需数据搬运” 即使是在阵列内完成计算，权重仍需从阵列外或其它存储体加载到计算阵列，中间结果也可能需要片内搬运。真正无数据搬运仅存在于理想化的完全内存计算（Full CIM），目前尚达不到。
- “ReRAM 存内计算马上就能量产” 尽管亿铸等公司进展迅速，ReRAM 的耐久性、保持特性与 CMOS 后端工艺的兼容性仍需时间验证，大规模量产节点可能在 2026 年之后（根据行业路线图和专家访谈综合判断）。
- “TMA 是万能节能芯片” 其节能优势主要针对矩阵乘法密集的推理。对于控制密集型或逻辑复杂的应用（如路径规划、决策树），优势不明显，可能需要传统 CPU 核心配合。
13. 最新事件
- 2023 年 7 月：后摩智能正式发布存算一体智驾芯片“鸿途 H30”，采用数字存内架构，并宣布与多家 tier1 合作进行验证。公司声称这是“业界首款基于存内计算架构的智能驾驶芯片”（来源：后摩智能官方新闻）。
- 2023 年 10 月：知存科技推出 WTM-8 系列首款视觉 AI 芯片，面向智能家居视觉和轻量安防，能效比相比上一代提升 50%，进入批量生产准备阶段（来源：2023 年松山湖中国 IC 创新高峰论坛）。
- 2024 年 1 月：亿铸科技宣布完成数亿元 A1 轮融资，由多家国有与产业资本领投，资金用于第一代 ReRAM 存算一体大算力芯片的投片（来源：亿铸科技微信公众号）。该公司同时称已与某存储代工厂达成战略合作，但未具体透露。
- 2024 年 2 月：Mythic 在经历 CEO 离职和重组后重新运营，获得包括 Lockheed Martin 在内的战略投资，转向国防与工业市场（来源：Mythic 官网及 Silicon Valley Business Journal）。
- 2024 年 3 月：台积电在其技术论坛上披露，3D Fabric 生态已支持多家存内计算厂商的原型流片，并演示了 3D 堆叠 SRAM 存内计算测试芯片，能效比达 20 TOPS/W 以上（来源：TSMC 2024 Technology Symposium 资料）。此举表明代工龙头正为 CIM 芯片的商业化铺路。
（以上事件时间均为公开报道月份或公司披露时间。）
14. 跟踪指标
持续验证 TMA 产业进展的关键信号：
- 能效比实测数据：关注第三方（如 MLCommons、EEMBC）公布的 MLPerf 等基准测试中 TMA 芯片的功耗与吞吐成绩，摒弃厂商自标参数。
- 量产车型/设备采用：是否有车厂宣布 SOP 定点搭载 TMA 芯片，或消费电子明星产品开始集成，如旗舰 TWS 耳机、智能眼镜等。
- 生态工具更新：PyTorch/TensorFlow 等主流框架是否出现官方支持的 TMA 后端，或是否有大型开源社区推出稳定的编译栈。
- 行业标准进展：JEDEC、OCP 等是否有关于存内计算接口或模组的标准草案推进。
- 融资与人才流向：头部 CIM 公司的融资额与从 GPU/NPU 大厂转入的关键架构师数量，反映资本与产业信心。
- 代工厂技术直通车：台积电、三星是否推出 CIM 专用 PDK 和多项目晶圆（MPW）服务，标志产业化进入快车道。
- 政策与专项资金：中国各省市是否有明确针对“存算一体”芯片的专项扶持或采购指导目录（截至 2024 年，浙江省、上海市有相关提及但不具强制性）。
15. 信源
- Yole Intelligence. “Emerging Non-Volatile Memory 2023”. 2023.
- MarketsandMarkets. “In-Memory Computing Market – Global Forecast to 2028”. 2023.
- Hot Chips 33 (2021). Mythic M1076 Presentation.
- 后摩智能. “鸿途 H30 产品发布会”. 2023 年 7 月.
- 知存科技官网及 2023 年 10 月产品更新发布.
- 亿铸科技官方微信公众号及公开融资公告 (2023—2024).
- Syntiant Corp. 官网及 2023 出货量公告.
- TSMC 2024 Technology Symposium 公开材料.
- Gartner. “Emerging Technologies and Trends Impact Radar: AI Infrastructure”. 2023.
- 公开专利查询 (USPTO/CNIPA)：涉及存内计算架构的寒武纪、地平线专利申请。
- 中国半导体行业协会封装分会. 《中国半导体封装测试产业调研报告 (2023)》.
- 各公司官方新闻稿及 LinkedIn 人才流向动态.
信息非建议：本文所有内容基于公开技术论文、行业报告、官方披露及权威媒体，仅用于产业概念梳理与科普，不构成任何投资决策、技术选型或买卖建议。技术路线和市场预测存在高度不确定性，请读者依据最新原始资料独立判断。