神经网络处理器

3 秒看懂

NPU（神经网络处理器）是专为神经网络计算加速而生的专用处理器。它不追求通用计算能力，而是通过大规模并行乘积累加阵列（MAC Array）和高效的数据流调度，将原本在 CPU/GPU 上低效运行的深度学习模型，以极低功耗、极高速度在端侧直接完成推理甚至微调。这是 AI 从云端走向设备本地（手机、汽车、摄像头）的核心硬件引擎。

3 分钟产业解释

NPU 的产业逻辑在于“计算专业化”，它将神经网络中计算密集型的“神经元-突触”拓扑关系，直接映射为硬件上的计算单元阵列。其核心是成千上万个乘法累加单元（MAC）组成的计算网格，配合片上高速暂存器，能在单个指令周期内完成传统 CPU 需要数百甚至上千个周期才能完成的矩阵乘加运算。

从系统视角看，NPU 并非独立工作，而是作为异构计算系统的一部分，通常以 IP 核的形式集成在 SoC（系统级芯片）中，或作为独立加速卡存在。主控 CPU 负责任务调度与图编译，而 NPU 专注于张量运算、激活函数等数据密集型并行计算。产业现状呈现三大方向：

1. 端侧（手机/PC/IoT）：高通、苹果、Arm 等厂商已将具备数十 TOPS（每秒万亿次整数运算）算力的 NPU 集成至旗舰 SoC，支撑影像增强、语音助手和端侧大模型应用。
2. 汽车：自动驾驶域控制器对实时性要求极高，需配备数百 TOPS 的独立 NPU 芯片（如 Mobileye、英伟达 Orin/Thor、地平线等）。
3. 云与数据中心：为降低推理成本与能耗，Google（TPU）、亚马逊（Inferentia）、微软（Maia）等自研 NPU 加速卡，在特定负载（推荐系统、视频分析）上代替 GPU，追求极致的 TCO（总拥有成本）优化。

技术原理

NPU 的本质是把高维张量运算转化为二维矩阵乘法，并在定制硬件上完成高效执行。其架构设计围绕“计算密度”和“数据流效率”展开：

1. 核心计算：脉动阵列与稀疏引擎

主流的计算架构是脉动阵列（Systolic Array）。在此架构中，权重和输入激活按照特定节拍在 PE（处理单元）阵列中流动和累加，形成流水线化操作，最大限度地复用数据并减少对缓存和寄存器的重复读写。

       权重矩阵 (沿列向下广播)
          │
          ▼
  ┌──────────────────────────┐
  │    MAC阵列 (例如 128×128)  │
  │  ┌─┬─┬─┬─┐              │
  │  │P│P│P│P│ ← 部分和     │
  │  ├─┼─┼─┼─┤   累加方向   │
  │  │P│P│P│P│              │
  │  ├─┼─┼─┼─┤              │
  │  │P│P│P│P│              │
  │  └─┴─┴─┴─┘              │
  └──────────────────────────┘
      │   │   │   ... 输出特征图
      ▼   ▼   ▼
    输入激活 (沿行向右流动)

图示说明：权重自上而下流动，输入激活自左向右流动，每个 PE 单元独立完成乘加运算，部分和沿列方向累加输出。这种结构极大减少了数据在内存和计算单元间的搬运开销。 为应对稀疏化模型趋势，先进 NPU 集成稀疏引擎，可在计算时直接跳过权重或激活值中的“0”，成倍提升有效算力与能效。

2. 数据流策略：决定能效的关键

数据搬运消耗的能耗通常远高于计算本身。NPU 通过特定的数据流策略最大化数据复用，降低与外部 DRAM 的交互。代表策略有：

• 权重常驻：将滤波器权重固定在 PE 本地寄存器中，输入和部分和在阵列中流动。适用于权重复用率高的卷积层。
• 输出常驻：部分和在 PE 内就地累加，仅向 DRAM 回写最终结果。适合层间数据交换较少的场景。
• 行常驻：阵列中的一行 PE 共享同一行权重，兼顾了权重与输入的数据复用平衡，是 Eyeriss 等能效导向型加速器采用的方案。

3. 片内架构与数据流

一个完整的 NPU 内部通常包括：

• 张量计算核：负责矩阵乘/卷积，支持 INT8、INT4 及混合精度浮点（FP16、BF16）运算。
• 向量核：处理层归一化（Layer Norm）、Softmax、激活函数（GELU, SiLU）等逐元素操作。
• DMA 控制器：具备多维地址生成能力，在片内外内存间进行高效的张量切片搬移，通过双缓冲、权重预取等机制隐藏访存延迟。
• 指令调度器：轻量级控制器，解析 NPU 专用指令序列，协调各模块流水线运行。

4. 精度弹性

端侧推理主要采用 INT8 甚至 INT4 精度，以在有限的功耗和面积下追求最高能效。而随着端侧微调和云侧训练需求增长，部分 NPU 开始支持 FP16、BF16 甚至 FP32 精度，并引入块浮点格式，在训练稳定性与硬件效率间寻求平衡。

关键参数

评估 NPU 性能需跳出单一 TOPS 数值，从算力、带宽、效率、软件四大维度综合考察：

技术路线

当前 NPU 技术路线可划分为三大阵营，其架构设计和商业逻辑差异显著：

1. 端侧 IP 授权路线

代表厂商：Arm (Ethos-U/N 系列)、新思科技 (ARC NPX/EV 系列)。 特点：提供可综合的 IP 核，授权给无自研能力的中小芯片设计公司。生态高度依赖 Arm 的 IP 集成，工具链完善度一般，追求在最小面积和功耗下完成特定任务，主要用于低端 IoT 和辅助性 AI 功能。Arm 宣称其 Ethos-U85 较前代性能提升 4 倍（来源：Arm 2024 年 4 月新闻稿）。

2. 垂直整合自研路线

代表厂商：苹果 (Neural Engine)、高通 (Hexagon NPU)、华为 (昇腾系列)、英伟达 (Tensor Core)。 特点：NPU 架构与自家 SoC、操作系统、AI 框架深度耦合，协同优化程度最高，实际表现远超纸面 TOPS 数据。苹果从 A11 芯片开始引入自研 NPU，至 A17 Pro 算力达 35 TOPS（来源：苹果 2023 年 9 月发布会），Core ML 工具链可无缝调用；高通 Hexagon NPU 支持微图块推理和 Transformer 加速，是安卓生态端侧 AI 的核心底座（来源：高通 2024 骁龙技术峰会）。

3. 数据中心专用化路线

代表厂商：Google (TPU v5p)、亚马逊 (Inferentia 2, Trainium 2)、微软 (Maia 100)、AMD (Instinct MI300X)。 特点：绕过 GPU 通用性，针对搜索推荐、Transformer 推理等自家最大规模工作负载进行全栈优化，不以售卖硬件为目的，而以云服务形式提供。其竞争优势在于牺牲外部通用性，换取极致内部 TCO 效率和高吞吐量。例如，Google TPU v5p 单 Pod 可达 459 TFLOPS 的 BF16 算力，专为其 Gemini 大模型优化（来源：Google Cloud 2024 官方博客）。

上游

NPU 产业链上游是 IP 核、半导体制造与封装、关键材料与设备供应商：

下游

下游应用场景呈现明确的“端-边-云”三层结构，且对 NPU 的需求各有侧重：

1. 端侧 (智能手机与 PC)

核心需求：影像增强、语音唤醒、隐私保护下的端侧大模型（LLM，如 AI 修图、实时翻译、智能摘要）。此领域由苹果、高通、联发科、三星的旗舰 SoC 拉动。2024 年高通骁龙 X Elite PC 平台集成 45 TOPS NPU，微软定义其为“AI PC”的新算力基准（来源：微软 2024 开发者博客）。

2. 边缘侧 (汽车与物联网)

汽车：智能驾驶（ADAS/AD）和智能座舱双轮驱动。L2+ 级 ADAS 需 10-100 TOPS 算力，L3/L4 级则需 200-2000 TOPS。代表需求方：特斯拉（自研 FSD 芯片，144 TOPS，来源：特斯拉 2023 年技术演示）、中国新势力车企（大量导入英伟达 Orin/Thor、地平线征程系列）。 工业与IoT：工业视觉检测、机器人控制等要求高实时、低功耗，Arm Ethos-U 系列在此领域占据大量份额。

3. 云侧 (数据中心)

核心需求：AI 推理服务（如 ChatGPT 生成回复、推荐系统模型更新），追求极致性价比。代表需求方：云供应商 CSP（微软、亚马逊、Google、阿里、百度）大规模自研 NPU，以降低对 GPU 的依赖和成本，用于内部和对外销售。

受益公司（概念分类）

以下基于公开产业链信息梳理，非投资建议，未覆盖所有公司，排名不分先后：

市场规模

需明确区分不同细分市场的增长逻辑与估算。

• 端侧 AI 芯片 (含 NPU)：市场主要由智能手机、PC、可穿戴设备驱动。据 Counterpoint Research 于 2024 年 5 月发布的数据，2024 年全球智能手机 AI SoC 出货量预计同比增长超 60%，其中高通的骁龙 8 Gen 系列和联发科的天玑 9300 系列占据大部分份额。AI PC 成为 2024 年新增长点，IDC 于 2024 年 4 月预测，2027 年 AI PC 出货占比将达 60%。

• 汽车 AI 芯片：受 L2+ 级智能辅助驾驶渗透率提升驱动。据 Yole Group 2024 年 6 月报告，2028 年全球 ADAS 与自动驾驶处理芯片市场规模预计达 140 亿美元，2023 至 2028 年年复合增长率（CAGR）约为 15%。其中 NPU 或具备 AI 加速能力的 SoC 是增长核心。

• 数据中心 AI 加速器：由生成式 AI 推理需求引爆，是规模最大、增长最快的市场。据 MarketResearchIntellect (2024年Q3分析），2024 年全球数据中心 AI 加速器市场规模为 560 亿美元，预计到 2031 年将达到 3255 亿美元，CAGR 为 28.5%。此市场中，GPU 仍占主导，但专化 NPU/ASIC 比例正快速提升，Google TPU 与亚马逊 Inferentia 已证实其在该领域的巨大商业价值。

玩家对比（端侧与数据中心典型场景）

从技术、商业、生态维度对典型 NPU 玩家进行横向对比，揭示其竞争壁垒与弱点。

风险

投资与产业观察需正视以下多维风险，这些风险可能导致商业化失败或市场格局剧变。

误读纠偏

信息传播中存在的常见认知偏误及其事实澄清：

1. 误读：“NPU 比 GPU 快。” 纠正：这是一个不严谨的定性。在特定工作负载（即模型推理）、特定指标（延时/能效比）下，专门设计的 NPU 可以远优于 GPU。但在通用性、灵活性、特别是庞大和复杂的模型训练领域，英伟达 GPU 凭借 CUDA 生态和高速 HBM 与 NVLink 互联，仍然是事实上的唯一主流选择。NPU 的角色是“补足”，而非“替代”GPU。

2. 误读：“看 TOPS 数字选 NPU 就行。” 纠正：TOPS 是理论峰值，受内存带宽、编译器效率和算子覆盖度的限制，“实测算力通常只有峰值的 30%-60%”（来源：MLPerf Inference 3.1 基准测试结果分析，2023 年 9 月）。不同厂商的 TOPS 标称标准也截然不同（有的包含稀疏算力，有的在理想频率下测算），不具备直接可比性。软硬件协同下的模型实际吞吐量和时延才具有可比性。

3. 误读：“用上 NPU，跑大模型就不需要内存了。” 纠正：这是对计算架构的根本性误解。NPU 的片上 SRAM 至关重要，但对于 7B、13B 甚至 70B 参数的大语言模型，其模型权重和 KV 缓存必须存储在 DRAM 中。此时内存带宽（而非 TOPS 算力）成为首要性能瓶颈。NPU 的主要作用是更高效地执行搬运到片上的那一小部分数据，并能通过压缩等技术变相提高有效带宽。

最新事件（截至 2025 年 Q1）

• 英伟达发布 Jensen Thor 平台：2025 年 1 月 CES 展上，英伟达发布面向汽车的下一代超级芯片平台 Thor，单颗芯片算力飙升至 2000 TOPS，并采用 Blackwell 架构，意在彻底统一自动驾驶和智能座舱计算（来源：英伟达 2025 年 CES 主题演讲）。
• 联发科天玑 9400 发布，NPU 能效大幅提升：2024 年 Q4，联发科发布天玑 9400，NPU 首次支持端侧 LoRA 微调和视频生成，能效比达到业界领先水平，多家旗舰安卓手机搭载（来源：联发科 2024 秋季新品发布会）。
• 高通骁龙 X Elite 系列出货，AI PC 进入“45 TOPS”时代：2024 年 6 月，搭载骁龙 X Elite 的笔记本开始大规模出货，其集成的 45 TOPS NPU 成为微软 Copilot+ PC 的算力通行证，定义了业界新标准（来源：高通2024年Computex主题演讲）。
• 亚马逊推出 Trainium 2 加速器：亚马逊云科技 (AWS) 在 2024 年 Re:Invent 大会上正式发布了用于训练和推理的 Trainium 2 加速器，算力与能效较上代大幅提升，其 10 万片级别集群专为 Anthropic 等大模型公司未来训练基建做准备 (来源: AWS 2024 年 12 月新闻稿)。
• 部分端侧推理芯片公司遭遇商业挫折：公开资料未见确切信息，但从行业交流中观测到，国内数家独立 AI 推理芯片初创公司在缺乏深厚应用绑定和融资环境收紧背景下，已陷入经营困难，反映出该赛道“赢家通吃”效应明显。

跟踪指标

以季度频率追踪以下公开指标，可前瞻性判断 NPU 产业景气度：

1. 智能手机旗舰 SoC NPU 算力均值：追踪高通、联发科、苹果每代旗舰芯片 NPU TOPS 的增长曲线。数据源：各公司发布会、AnandTech 等深度评测。
2. MLPerf Inference 基准测试排行榜：重点关注“开放分区”（Open Division）下，各 NPU（ Intel Gaudi, Google TPU等）在 GPT-3、Stable Diffusion 等模型上相对 NVIDIA H200 的性能和能效比较。数据源：MLCommons 官网。
3. 新能源汽车智驾 SoC 选型方案：统计新发布车型前装智能驾驶域控芯片的选型（英伟达、地平线、Mobileye、黑芝麻等）份额变化。数据源：汽车之家、易车配置库、盖世汽车研究院。
4. 主要云服务商 AI 实例规格与价格变动：监测 AWS Inferentia、Google Cloud TPU 实例的每小时价格与 GPU 实例（如 p5/dr_p5专有实例）的比值，判断 NPU 对云商 TCO 的成本优化程度和推广力度。数据源：AWS、Google Cloud、阿里云官网定价页面。
5. 先进封装与 HBM 产能与价格：追踪台积电 CoWoS 月产能、SK 海力士/三星 HBM3(e) 合约价及交期。这是制约数据中心 NPU 出货的核心物理瓶颈。数据源：集微网、The Elec、TrendForce。

信源

本概念页核心事实与数据来源的推荐阅读及查询清单，均来自公开数据，确保可追溯、可验证。

1. 架构与学术基础：
   • Yu-Hsin Chen et al., Eyeriss: An Energy-Efficient Reconfigurable Accelerator for Deep CNNs, JSSC 2017.（数据流能量模型的奠基性文献）
   • Norman P. Jouppi et al., Ten Lessons from Three Generations Shaped Google’s TPU，ISCA 2021.（Google 官方三代 TPU 发展总结，从业界实践角度提供权威见解）
   • NVIDIA, NVIDIA H100 GPU Architecture Whitepaper, 2022.（包含 Tensor Core 的深度描述，作为对比基准）
2. 产业与市场数据：
   • Counterpoint Research, Smartphone AP-SoC Market Tracker, Q2 2024.
   • IDC, Worldwide AI PC Market Forecast, Apr 2024.
   • Yole Intelligence, Computing for ADAS & Autonomous Driving 2024 Report, June 2024.
   • MarketResearchIntellect, Data Center AI Accelerator Market Size and Projection, Q3 2024.
3. 公司与产品动态：
   • 高通、苹果、超威、英伟达、华为等公司官网投资者关系板块及产品发布会新闻稿。
   • 前沿科技半导体分析媒体：AnandTech, SemiAnalysis, The Elec, 集微网。