Tensor Memory Accelerator（TMA）

1. 3 秒看懂

TMA 是一種將 AI 計算單元與儲存單元深度耦合的架構創新，目標是“打破記憶體牆”，使資料在離產生位置最近的地方被處理，從而將大型模型推論的能效比推向極致。

2. 3 分鐘產業解釋

維度	關鍵點
本質定義	TMA 是計算儲存一體化（CIM，Computing-in-Memory）理念在 AI 加速器中的工程實現。它把矩陣乘加等核心操作嵌入或貼近儲存陣列，省去傳統架構中資料在 CPU/GPU 與 DRAM 之間的頻繁搬運。
核心痛點	馮·諾依曼架構下的“記憶體牆”與“功耗牆”。據斯坦福大學與行業白皮書，在 7nm 工藝下，一次資料搬運消耗的能量是單次浮點運算的數百倍，大型模型推論中 60%—90% 的能耗與時間浪費在資料移動上。
技術關鍵	1. 近存計算：通過 2.5D/3D 先進封裝將計算芯粒堆疊在 SRAM/DRAM 上方或側方，縮短連線距離。

2. 存內計算：直接在儲存陣列（如 SRAM、ReRAM）內執行模擬或數字域乘加，資料不離開儲存單元。
3. 異構整合：Chiplet 化設計，將 TMA 芯粒與 CPU、NPU 等異構組合。 | | 核心價值 | 極致能效比（TOPS/W）。相較於傳統 GPU/NPU，在相同推論任務下可將能效提升 10—100 倍（理論值），特別適合功率受限的邊緣與端側場景，如智慧穿戴、AR/VR 眼鏡、安防攝像頭及自動駕駛。 | | 與現有方案關係 | 互補而非替代。GPU/NPU 繼續主導雲端端訓練與高吞吐推論；TMA 主打低功耗、低延遲的邊緣/端側定點推論，兩者在 AI 算力基礎設施中形成“中心+邊緣”的協同。 |

3. 技術原理

TMA 的顛覆性在於重新定義資料流。傳統 AI 加速器工作時，權重需從外部 DRAM 載入到片上快取，再送入計算單元，每層運算結束後結果重新寫回記憶體。這一過程在 Transformer 等大型模型上會引發數以 TB 計的中間資料移動。

• 近存計算實現路徑 採用台積電 CoWoS（Chip-on-Wafer-on-Substrate）、英特爾 EMIB/Foveros 等先進封裝技術，將高頻寬儲存器（HBM）或定製 SRAM 堆疊與計算芯粒對靠。物理距離從傳統 PCB 釐米級縮短至微米級，互連功耗下降一個數量級。例如，台積電推出的 3D Fabric 聯盟生態，已支援多家存內計算初創公司將 SRAM 層與邏輯層直接鍵合。

• 存內計算實現路徑 ① 模擬存內計算：利用儲存單元陣列的物理規律。以 ReRAM 為例，將卷積權重對映為阻值，輸入電壓通過字線施加，根據基爾霍夫電流定律在位線上自動完成乘加累加，一步完成矩陣向量乘法。 ② 數字存內計算：在 SRAM 陣列中嵌入微型數字乘法器或加法器，每個/每行儲存單元都具備計算能力，但資料仍以數字形式傳輸和計算，精度可控。 技術挑戰集中於：模擬域的工藝偏差、熱噪聲導致的計算精度下降（通常需要 6—8 位有效精度降低）；新型非易失性儲存器（如 ReRAM、MRAM、PCM）的耐久性與大規模量產良率；以及完全不同於 CUDA 的程式設計模型和編譯工具鏈。

• 資料流排程與編譯器 TMA 晶片需要將計算圖直接對映到物理儲存陣列上，編譯器必須處理陣列規模限制、資料複用策略和片上網路拓撲。目前多數廠商提供自研的圖編譯器或基於開源架構（如 TVM、MLIR）的私有後端，但生態仍是早期。

4. 關鍵引數

評估 TMA 晶片的核心指標與傳統 AI 晶片有所不同，更強調單位能耗下的有效算力和延遲。

引數	釋義	典型範圍與來源
能效比（TOPS/W）	在 INT8 或混合精度推論下，每瓦功耗可提供的每秒萬億次運算元。是 TMA 最核心優勢指標。	知存科技 WTM2101 宣稱 14 TOPS/W（INT8，基於 40nm 工藝，2022 年產品釋出資料）；Mythic M1076 在 ResNet-50 推論中約 4—6 TOPS/W（模擬存內，28nm，2021 年 Hot Chips 揭露）；行業目標 2025 年超過 25 TOPS/W。以上資料來自公司官網及技術會議，測試條件、模型與最佳化程度不同，不可直接對比。
儲存容量	片上整合的 SRAM 或新型 NVM 容量，決定能本地駐留的模型引數量。	通常為數百 KB 至數十 MB。例如，知存 WTM2101 整合 2 MB SRAM；億鑄科技目標是承載數百 MB 引數的存算一體大算力晶片（公開報道，未揭露具體容量）。
精度支援	支援的數值精度，直接影響模型準確率。	TMA 晶片普遍支援 INT8、INT4，部分支援 BF16 或混合精度。模擬存內有效精度約 4—6 位；數字存內可原生支援 INT8 甚至 INT16。
延遲	從輸入到輸出推論結果的最小延遲。	由於無需記憶體搬運，標稱幀級延遲可低至微秒級。Syntiant NDP 系列語音指令識別延遲低於 10 ms（來源：Syntiant 產品簡介）。
工藝節點	流片所用代工工藝。	大多采用 28nm—40nm 成熟 CMOS 工藝，以平衡成本與新型儲存器整合；部分先進數字存內晶片正向 12nm/7nm 演進。

5. 技術路線

TMA 內部路線分歧明顯，主要集中在計算形式（模擬/數字）和儲存介質兩個維度。

• 模擬存內計算 代表：Mythic、Gyrfalcon（已轉向）、早期 IBM 研究。 優勢：理論能效極高，單週期完成乘加；不足：精度受模擬噪聲限制，校準複雜，對新型 NVM 依賴性高，量產一致性難。 Mythic 的 M1076 採用 NOR Flash 陣列執行模擬計算，單晶片算力 25 TOPS，但僅支援特定網路結構，靈活性欠缺。

• 數字存內計算 代表：知存科技、後摩智慧、千芯科技。 優勢：與標準 CMOS 邏輯工藝完全相容，精度可控，易於整合數字 IP；不足：能效天花板低於純模擬路線，仍存在資料傳輸開銷。 國內多數創業公司選擇此路線，優先落地可量產晶片。

• 近存計算（2.5D/3D 封裝） 代表：Graphcore（其 IPU 採用近存架構）、NVIDIA 的 H100 通過 NVLink 連線大量 HBM，也可視為近存變體，但並非 CIM。英特爾的研究專案 Pohoiki Springs 採用 3D 堆疊。 這一路線能效提升有限，但可大幅降低風險，已在部分高階產品中商用。

• 新型儲存介質

  • ReRAM：億鑄科技、松下；密度高、非易失，但寫入次數有限（耐久性 10^6 次），寫功耗較高。
  • MRAM：Samsung、Everspin；耐久性高，但在存內計算陣列中密度和讀出裕度仍待提升。
  • FeFET：學術界活躍，可類比 NAND 但操作電壓低，產業化極不成熟。

6. 上游

上游是支撐 TMA 晶片從設計到量產的基礎設施，技術門檻高，國產替代需求強烈。

上游環節	核心構成	主要參與者與產品	對 TMA 的影響
EDA 工具	存內計算專用設計、模擬、驗證套件	Synopsys（Custom Compiler 支援 CIM 設計）、Cadence（Virtuoso 模擬/數模混合環境）、Siemens EDA。國內華大九天起步較晚，公開資料未見存算一體專用工具包。	模擬存內設計高度依賴 SPICE 模擬，標準數字流程不適用，EDA 支援不足是研發瓶頸。
IP 核	CIM 宏單元、介面 PHY、NoC	Arm（提供針對近存計算的 AMBA 介面 IP）、Cadence/Tensilica（可配置 DSP）。大陸的芯原股份、燦芯半導體在先進封裝介面 IP 有所版面配置，但 CIM 專用 IP 尚以自研為主。	獨立 IP 商稀缺，很多設計公司需從頭開發 CIM 宏，研發週期長。
製造裝置與材料	光刻、刻蝕、薄膜沉積；新型儲存器特種材料	應用材料、科林研發集團（刻蝕/沉積），東京電子。ReRAM 材料：HfO₂、TaOₓ 等，核心靶材和化學前驅體供應商公開資料較少。國內北方華創、中微公司等刻蝕裝置可覆蓋 28nm 以上工藝，但 3D 整合和奈米孔形成仍需進口。	先進工藝和特殊材料使初始建線成本高，小批次流片昂貴。
晶圓代工與封裝	邏輯製程+先進封裝	台積電（CoWoS、InFO、SoIC）、三星（X-Cube）、英特爾（Foveros、EMIB）。國內中芯國際、華虹宏力提供邏輯代工；長電科技、通富微電、天水華天提供先進封裝，但 2.5D/3D 堆疊的與高階中介層產能與良率仍有較大差距（2023 年中國封測產業報告）。	缺少先進封裝會使近存晶片的互連密度不達預期，削弱能效優勢。

7. 下游

TMA 晶片目標市場集中在“功耗第一、即時性高、模型固定”的邊緣與端側推論場景，覆蓋消費電子、汽車、工業與城市安防。

• 邊緣 AI 推論盒子/板卡 用於智慧工廠質檢、零售客流分析、醫療影像前置處理等。2023 年邊緣 AI 推論硬體市場規模約 30 億美元（IDC，含周邊系統），TMA 晶片可針對特定模型提供更高併發路數，同時避免風扇散熱，適合部署在無空調的工業環境中。

• 消費智慧終端

  • 可穿戴與 AR/VR：對持續推論的語音助手、手勢識別 TMA 可將功耗壓至 mW 級以下，延長續航。Apple、Meta 在研專案中探索近存計算。
  • 智慧家居：智慧音箱、中控屏的本地語音互動與異常音檢測，已在部分電商整合的離線模組中出現基於 SRAM 存內計算的晶片。

• 汽車電子與自動駕駛 L2+ 級以上對感知、融合、規控的延遲要求極高，同時功耗預算緊張。後摩智慧 2023 年釋出的“鴻途 H30”晶片即專為智慧駕駛打造，採用數字存內計算架構，支援 LiDAR 和視覺感知模型。該領域對功能安全（ISO 26262）和車規認證有嚴格要求，是 TMA 高階化的重要方向。

• AIoT 感測器節點 在電池供電的振動、聲音、影像感測器端直接完成輕量推論，僅上傳異常結果，TMA 是當前少有的可滿足此類亞 mW 級算力需求的方案。移遠通訊、廣和通等模組廠商已開始評估此類晶片整合（行業訪談資訊，2023）。

8. 受益公司

此部分列出產業鏈上直接因 TMA 產業化提速而獲得增量業務或前瞻版面配置的公司，僅從產業邏輯推導，不作為投資依據。

• 中游晶片設計：知存科技、後摩智慧、億鑄科技、千芯科技等創業公司是直接推動者。大型 AI 晶片廠商如寒武紀、地平線、黑芝麻智慧在探索近存/存內計算 IP 核心整合（公開專利、招聘資訊），若成功可拓寬其產品能效比。
• 封裝與製造：台積電、日月光（ASE）、長電科技、通富微電將從 2.5D/3D 存算一體封裝需求中獲益。Intel 的 Foveros 封裝業務若對外服務，也能受益。
• 上游 IP 與 EDA：Arm 的 v9 架構增加對存內計算指令擴充套件的預留，Cadence 和 Synopsys 推出更強模擬模擬工具。國內燦芯、國芯科技等可能提供介面 IP。
• 終端模組與解決方案商：如中科創達、潤和軟體等為 TMA 晶片開發板提供 BSP 與演算法移植服務，形成軟硬體一體方案。
• 材料供應商（間接）：如北方華創、雅克科技（前驅體）、安集科技（拋光液）等，若 ReRAM 等新型儲存器量產，則對材料和工藝有新增需求。

9. 市場規模

由於 TMA/CIM 仍處在商業化早期，權威機構尚未單獨將“TMA 晶片”作為一個獨立市場進行統計。市場上常引用的“存內計算晶片”或“AI 近儲存器計算”市場預測可作為參考。

• 短中期（2023—2026） 根據 Yole Intelligence 2023 年《Emerging Non-Volatile Memory》報告，受邊緣 AI 需求驅動，基於新型非易失儲存的存內計算晶片營收預計在 2026 年達到 1.5—2 億美元，主要來自超低功耗語音和感測器領域。另一機構 Gartner 預測，到 2025 年，近存計算在 AI 加速器中的滲透率將低於 3%（按出貨量，口徑：資料中心與邊緣），但對邊緣市場影響會更大。
• 長期（2027—2030） MarketsandMarkets 在 2023 年的一份研究預計，全球存內計算市場（含 IP 授權、晶片）在 2028 年可能達到 18—22 億美元（口徑：所有 CIM 相關半導體營收）。其中以 ReRAM 和數字 SRAM 存內計算為主要構成。這些預測假設存內計算可靠性和工具鏈問題得到突破。以上均為第三方預測，不代表實際必然發生，且預測數字存在大量假設，僅供參考。

10. 玩家對比

以下為具有代表性且已釋出實際晶片或測試晶片的 TMA/CIM 創企對比，基於截至 2024 年初的公開資訊。

公司	技術路線	代表產品	工藝	峰值算力（INT8）	能效/特點	目標市場與進度
知存科技 (Witmem)	數字 SRAM 存內計算	WTM2101	40nm	50 GOPS (峰值)	14 TOPS/W，功耗 μW—mW 級	超低功耗語音/喚醒，已量產供貨，客戶以 TWS、家電為主。2023 年推出更高算力的 WTM-8 系列，進入視覺領域。
後摩智慧 (Houmo)	數字存內計算	鴻途 H30	12nm	256 TOPS (等效)	針對智駕最佳化，支援 BEV+Transformer，宣稱功效是同級域控晶片的 2 倍以上	智慧駕駛域控制器，2023 年釋出晶片，2024 年尋求客戶匯入和定點。
億鑄科技 (Yizhu)	ReRAM 模擬存內計算	未公佈 (大算力 SoC)	未揭露	目標 >100 TOPS	基於 ReRAM，非易失，高密度	邊緣伺服器、資料中心推論，工程樣品階段，多次完成數億元融資（公開報道，2023）。
Mythic (美國)	模擬 Fash 存內計算	M1076	28nm	25 TOPS (INT8)	約 4 TOPS/W，支援 CNN, 靈活性有限	工業視覺、邊緣閘道器，曾因資金問題暫停運營，後重組，客戶數量有限。
Syntiant (美國)	近存神經網路處理器	NDP200/NDP120	22nm	低功耗 ML 處理器	亞 mW 級語音，不含存內計算，是近記憶體	智慧家居、移動裝置，出貨超 5000 萬顆（2023 公司公告）。作為近存參考。
千芯科技 (TensorChip)	可重構數字存內計算	未公開 (測試晶片)	未揭露	未揭露	可重構架構，支援多種網路	邊緣推論，2023 年完成流片驗證，市場推廣中。

11. 風險

• 技術路徑失敗風險 特別是基於 ReRAM、PCM 等新型非易失儲存的模擬存內計算，至今沒有大規模商用，可能因耐久性達不到 5—10 年要求或製造良率過低而無法成為主流，淪為“實驗室寵兒”。
• 精度與泛化能力折損 模擬存內有效精度僅為 4—6 位，對複雜大型模型（如 Llama、GPT 等）經量化後精度損失可能超過 2%，而多數應用場景對準確率仍敏感。這將限制 TMA 在雲端端領域的滲透。
• 生態與遷移成本 CUDA 生態鎖定效應極強，TMA 晶片均需自研編譯工具鏈、運算元庫和演算法移植服務，客戶的工程師學習成本高。公開資料未見任何 TMA 平台被主流 AI 架構（PyTorch、TensorFlow）原生支援，均需手動下地實現模型轉換。
• 供應鏈與地緣風險 先進封裝、高階模擬/混合訊號 EDA、核心材料等上游環節高度集中，對華出口限制可能導致國內公司難以獲得最先進的 3D 封裝或 EDA 支援，延緩產品迭代。
• 安全合規 存內計算內部資料通路不可見，側通道攻擊可能利用電流/電磁輻射洩露權重資訊，目前針對 CIM 的安全標準幾乎空白，在汽車或金融等場景可能面臨認證障礙。

12. 誤讀糾偏

• “TMA 將替代 GPU/NPU” 這是最常見的誤解。TMA 的能效優勢僅在特定功耗、特定模型結構下成立，無法勝任大型模型訓練、多租戶雲端推論等高吞吐場景。正確認知為：在 AI 算力棧中，TMA 是“功耗敏感型邊緣推論”的最優解之一，但與 GPU/NPU 是長久的共生關係。
• “存內計算就是完全無需資料搬運” 即使是在陣列內完成計算，權重仍需從陣列外或其它儲存體載入到計算陣列，中間結果也可能需要片內搬運。真正無資料搬運僅存在於理想化的完全記憶體計算（Full CIM），目前尚達不到。
• “ReRAM 存內計算馬上就能量產” 儘管億鑄等公司進展迅速，ReRAM 的耐久性、保持特性與 CMOS 後端工藝的相容性仍需時間驗證，大規模量產節點可能在 2026 年之後（根據行業路線圖和專家訪談綜合判斷）。
• “TMA 是萬能節能晶片” 其節能優勢主要針對矩陣乘法密集的推論。對於控制密集型或邏輯複雜的應用（如路徑規劃、決策樹），優勢不明顯，可能需要傳統 CPU 核心配合。

13. 最新事件

• 2023 年 7 月：後摩智慧正式釋出存算一體智駕晶片“鴻途 H30”，採用數字存內架構，並宣佈與多家 tier1 合作進行驗證。公司聲稱這是“業界首款基於存內計算架構的智慧駕駛晶片”（來源：後摩智慧官方新聞）。
• 2023 年 10 月：知存科技推出 WTM-8 系列首款視覺 AI 晶片，面向智慧家居視覺和輕量安防，能效比相比上一代提升 50%，進入批次生產準備階段（來源：2023 年松山湖中國 IC 創新高峰論壇）。
• 2024 年 1 月：億鑄科技宣佈完成數億元 A1 輪融資，由多家國有與產業資本領投，資金用於第一代 ReRAM 存算一體大算力晶片的投片（來源：億鑄科技微信公眾號）。該公司同時稱已與某儲存代工廠達成戰略合作，但未具體透露。
• 2024 年 2 月：Mythic 在經歷 CEO 離職和重組後重新運營，獲得包括 Lockheed Martin 在內的戰略投資，轉向國防與工業市場（來源：Mythic 官網及 Silicon Valley Business Journal）。
• 2024 年 3 月：台積電在其技術論壇上揭露，3D Fabric 生態已支援多家存內計算廠商的原型流片，並演示了 3D 堆疊 SRAM 存內計算測試晶片，能效比達 20 TOPS/W 以上（來源：TSMC 2024 Technology Symposium 資料）。此舉表明代工龍頭正為 CIM 晶片的商業化鋪路。

（以上事件時間均為公開報道月份或公司揭露時間。）

14. 追蹤指標

持續驗證 TMA 產業進展的關鍵訊號：

1. 能效比實測資料：關注第三方（如 MLCommons、EEMBC）公佈的 MLPerf 等基準測試中 TMA 晶片的功耗與吞吐成績，摒棄廠商自標引數。
2. 量產車型/裝置採用：是否有車廠宣佈 SOP 定點搭載 TMA 晶片，或消費電子明星產品開始整合，如旗艦 TWS 耳機、智慧眼鏡等。
3. 生態工具更新：PyTorch/TensorFlow 等主流架構是否出現官方支援的 TMA 後端，或是否有大型開源社群推出穩定的編譯棧。
4. 行業標準進展：JEDEC、OCP 等是否有關於存內計算介面或模組的標準草案推進。
5. 融資與人才流向：頭部 CIM 公司的融資額與從 GPU/NPU 大廠轉入的關鍵架構師數量，反映資本與產業信心。
6. 代工廠技術直通車：台積電、三星是否推出 CIM 專用 PDK 和多專案晶圓（MPW）服務，標誌產業化進入快車道。
7. 政策與專項資金：中國各省市是否有明確針對“存算一體”晶片的專項扶持或採購指導目錄（截至 2024 年，浙江省、上海市有相關提及但不具強制性）。

15. 信源

• Yole Intelligence. “Emerging Non-Volatile Memory 2023”. 2023.
• MarketsandMarkets. “In-Memory Computing Market – Global Forecast to 2028”. 2023.
• Hot Chips 33 (2021). Mythic M1076 Presentation.
• 後摩智慧. “鴻途 H30 產品釋出會”. 2023 年 7 月.
• 知存科技官網及 2023 年 10 月產品更新發布.
• 億鑄科技官方微信公眾號及公開融資公告 (2023—2024).
• Syntiant Corp. 官網及 2023 出貨量公告.
• TSMC 2024 Technology Symposium 公開材料.
• Gartner. “Emerging Technologies and Trends Impact Radar: AI Infrastructure”. 2023.
• 公開專利查詢 (USPTO/CNIPA)：涉及存內計算架構的寒武紀、地平線專利申請。
• 中國半導體行業協會封裝分會. 《中國半導體封裝測試產業調研究報告告 (2023)》.
• 各公司官方新聞稿及 LinkedIn 人才流向動態.

資訊非建議：本文所有內容基於公開技術論文、行業報告、官方揭露及權威媒體，僅用於產業概念梳理與科普，不構成任何投資決策、技術選型或買賣建議。技術路線和市場預測存在高度不確定性，請讀者依據最新原始資料獨立判斷。