端侧 AI 芯片（On-device AI Chip）

3 秒看懂

一句话定义：端侧 AI 芯片是在终端设备（手机、汽车、PC、IoT 设备等）本地执行 AI 推理的专用处理器或处理器子系统，核心目标是在严格功耗/面积/成本约束下实现高效神经网络计算。

关键词：NPU · 边缘推理 · 低功耗 · TOPS/W · 片上存储 · 量化

3 分钟产业解释

为什么需要端侧 AI？

云端推理面临三大结构性瓶颈：延迟（网络往返 50-200ms，实时场景不可接受）、隐私（用户数据上传引发合规风险，GDPR/个保法趋严）、带宽成本（每秒数十亿终端产生的数据无法全部上云）。

端侧 AI 的本质是把“推理”从云搬到设备上。这意味着芯片需要在 1-10W 量级功耗（手机 SoC NPU 子系统通常 1-3W 峰值）下完成过去需要数十瓦甚至数百瓦 GPU 才能完成的推理任务。

产业规模感

• 智能手机是端侧 AI 芯片出货量最大的载体——旗舰 SoC 中 NPU 已成标配，2024 年起中端 SoC 也全面集成 NPU。
• 汽车（ADAS/座舱）是增速最快的细分，L2+ 以上每辆车通常需要 10-200+ TOPS 级 AI 算力。
• AI PC 是最新变量：微软 Copilot+PC 定义了 NPU ≥40 TOPS 的门槛，催生了新一轮 PC NPU 竞赛。
• IoT/可穿戴/音频设备追求 μW-mW 级始终在线（always-on）AI 推理。

端侧 AI 芯片市场（含独立芯片 + SoC 内集成 NPU IP）规模估算口径差异较大，通常在 数百亿美元量级 [行业报告综合估算]，具体取决于是否将 SoC 中 NPU 子系统按比例计入。

15 分钟专家深入

核心设计范式：极致的“能效比”

端侧 AI 芯片的设计哲学与云端 AI 加速器（如 NVIDIA H100/B100、Google TPU）有本质差异：

架构路线分化

端侧 AI 芯片并非单一形态，而是根据应用场景分为几条清晰的技术路线：

路线一：SoC 内集成 NPU 子系统

• 代表：高通 Hexagon NPU、苹果 Neural Engine、联发科 APU、三星 NPU、Google Tensor TPU
• 特征：与 CPU/GPU/ISP/Modem 共享 SoC 封装和内存总线（LPDDR4x/5/5x），NPU 作为加速单元存在
• 制程：旗舰 SoC 通常采用 最先进制程（截至 2024 年，主流旗舰 SoC 使用台积电 N4/N3 系列等先进节点；需注意 N3 系列仍为 FinFET 结构，台积电预计在 N2 节点引入 nanosheet GAA 晶体管）[台积电公开技术路线图]
• 这是出货量最大的端侧 AI 芯片形态

路线二：独立/专用边缘 AI 加速器

• 代表：Hailo-8/8L、Intel Movidius（Myriad X）、Ambarella CV 系列、地平线（Horizon Robotics）征程系列、寒武纪 MLU Edge 系列
• 特征：独立芯片，面向特定场景（安防、机器人、汽车），通常有独立的 SRAM 配置，部分支持 DDR 接口
• 功耗范围跨度大：从 ~2.5W（Hailo-8L 典型功耗）到 ~15W（高算力车载方案）

路线三：MCU 级 AI 处理器

• 代表：STMicroelectronics STM32N6（集成 NPU）、Nordic Semiconductor nRF 系列（TinyML）、ADI MAX78000（CNN 加速器）、瑞萨 RA 系列
• 特征：mW 级功耗，片上 SRAM 仅数百 KB ~ 数 MB，面向始终在线的传感/音频/视觉唤醒
• 典型场景：关键词唤醒（“Hey Siri”）、异常检测、手势识别

路线四：AI PC NPU

• 代表：高通 Snapdragon X Elite/Plus（Hexagon NPU）、英特尔 Core Ultra 系列（NPU）、AMD Ryzen AI（XDNA NPU）
• 特征：PC SoC 内集成 NPU，面向端侧生成式 AI（本地 LLM、Copilot 离线推理）
• 微软定义 Copilot+PC 需 NPU ≥40 TOPS [微软官方定义]，推动了 NPU 算力军备竞赛

关键技术挑战

1. “内存墙”是最大瓶颈 端侧芯片的推理性能往往受限于片外内存带宽而非算力本身。以一个 7B 参数 LLM 为例：

• INT4 量化后模型权重约 3.5-4 GB
• LPDDR5x 带宽约 50-70 GB/s [厂商规格]
• 纯内存搬运即推理延迟的主要来源

因此，端侧 AI 芯片设计的核心是最大化片上 SRAM 容量以减少片外访存。这直接决定了芯片面积/成本与推理速度之间的 tradeoff。

2. 编译器与软件栈是隐形护城河 硬件 TOPS 只是理论峰值，实际模型推理效率取决于：

• 算子融合（operator fusion）策略
• 内存规划（memory planning / tensor lifetime management）
• 量化方案适配（INT8/INT4/mixed-precision 调度）
• 算子覆盖度（不支持的算子 fallback 到 CPU/GPU，性能断崖式下降）

高通 AI Engine Direct SDK、苹果 Core ML、联发科 NeuroPilot、谷歌 LiteRT（原 TFLite）等均属此层。

3. 量化技术是使能技术 端侧推理几乎必然依赖量化：

• INT8：工业界最成熟，精度损失可控（多数视觉任务 <1% mAP 降低），是当前端侧部署的“基线精度” [业界共识]
• INT4：2023-2024 年快速兴起，GPTQ/AWQ 等权重量化方法使 7B LLM 在手机上可跑，但需关注特定任务精度退化
• 混合精度：关键层保持较高精度（INT8/FP16），非关键层压低（INT4），需编译器配合自动调度

技术原理

NPU 核心计算架构

┌─────────────────────────────────────────────────────────┐
│                    NPU Compute Tile                      │
│                                                          │
│  ┌──────────┐    ┌──────────────────────┐               │
│  │  Vector   │    │   Systolic Array /   │               │
│  │  Unit     │    │   MAC Array          │               │
│  │(激活函数, │    │ (矩阵乘法核心)       │               │
│  │ 池化,     │    │  INT8/INT4 MAC       │               │
│  │ 归一化)   │    │  通常 128x128 或      │               │
│  └──────────┘    │  256x256 规模         │               │
│                   └──────────────────────┘               │
│                          │                               │
│                   ┌──────┴──────┐                        │
│                   │ 片上 SRAM   │                        │
│                   │ (权重缓存   │                        │
│                   │  激活缓存   │                        │
│                   │  数百KB~数MB│                        │
│                   └──────┬──────┘                        │
│                          │                               │
│                   ┌──────┴──────┐                        │
│                   │ DMA / NoC   │                        │
│                   │ 总线接口    │                        │
│                   └─────────────┘                        │
└─────────────────────────────────────────────────────────┘
                         │
                  ┌──────┴──────┐
                  │  LPDDR5/5x  │
                  │ (共享内存)  │
                  └─────────────┘

Systolic Array（脉动阵列）：NPU 的矩阵乘法核心。数据从存储流向阵列中的 PE（Processing Element），每个 PE 执行一次乘累加（MAC）并传递结果给相邻 PE。数据流模式（weight-stationary / output-stationary / row-stationary）影响数据复用效率和片上缓冲需求 [经典 Eyeriss 论文分类]。

MAC 单元精度：

• INT8 MAC：每个周期完成 8-bit 乘法 + 累加，单 MAC 能耗约 ~0.1-0.5 pJ [学术估算，因工艺和实现差异较大]
• INT4 MAC：能效约为 INT8 的 ~2-4×（面积和功耗均降低，但精度风险增加）
• FP16 MAC：能效远低于 INT8，端侧仅在关键层使用

片上 SRAM 层级：

寄存器文件 (Register File)  ──  数 KB, <1 cycle, ~pJ/access
        │
L1 Scratchpad (NPU 本地)    ──  数百 KB ~ 数 MB, 1-2 cycles, ~10 pJ
        │
共享 SRAM / Cache            ──  数 MB, 数 cycles, ~100 pJ
        │
片外 LPDDR5/5x               ──  数 GB, 数百 cycles, ~数 nJ  ← 功耗/延迟的“断崖”

设计核心：将尽可能多的权重和中间激活保持在片上 SRAM 中，减少跨越“断崖”的次数。这就是为什么即使制程相同，不同厂商的 NPU 实际推理速度差异巨大——片上 SRAM 容量和调度策略决定了真实的能效表现。

数据流与调度

对于一个典型的卷积/矩阵乘法层：

1. 权重加载：将权重 tile 从片外搬入 SRAM（如果 SRAM 足够大，可缓存多层权重）
2. 输入特征图加载：按 tile 搬入激活值
3. 计算：脉动阵列执行 MAC，结果暂存 SRAM
4. 写回：输出 tile 搬出（供下一层使用，或最终输出到内存）

关键优化：

• Tiling（分块）：将大张量切分为 SRAM 可容纳的 tile
• 算子融合（Operator Fusion）：Conv → BN → ReLU 合并为一个 kernel，减少中间结果的内存读写
• Double Buffering：一个 SRAM bank 做计算，另一个做 DMA 搬运，隐藏访存延迟

量化机制详解

浮点 → 量化推理 过程：

权重 (FP32) ──[离线量化]──> 量化权重 (INT8/INT4)
                              │
                              ▼
输入 (FP32) ──[动态量化]──> 量化输入 (INT8)
                              │
                              ▼
                    INT8 MAC 矩阵乘法
                              │
                              ▼
                    反量化 → FP32/FP16 输出
                    (或直接 INT8 传递给下一层)

量化公式（对称量化）：

q = round(x / scale)
x_reconstructed = q * scale

scale = max(|x|) / (2^(bits-1) - 1)

Per-channel vs Per-tensor：Per-channel 量化（对每个输出通道独立 scale）精度更好，但硬件实现更复杂。端侧 NPU 通常支持 per-channel INT8 [各厂商 NPU 规格]。

技术演进史

技术路线对比

上下游

上游：IP/设计/制造

AI 加速器 IP 授权商                    晶圆代工
┌──────────────────┐              ┌──────────────┐
│ ARM (Ethos-NPU)  │              │ 台积电        │
│ CEVA (NeuPro)    │              │ 三星 Foundry  │
│ Synopsys (ARC)   │              │ 中芯国际      │
│ 寒武纪 (MLU IP)  │              │ 格芯          │
│ Imagination (NX) │              └──────────────┘
└──────────────────┘                    │
        │                               ▼
        ▼                         先进封装
  EDA 工具                   ┌──────────────────┐
┌──────────────┐             │ CoWoS (台积电)   │
│ Synopsys     │             │ InFO (台积电)    │
│ Cadence      │             │ 2.5D/3D 封装    │
│ Siemens EDA  │             └──────────────────┘
└──────────────┘

中游：芯片设计公司

• 自研 SoC + NPU：高通、苹果、联发科、三星、Google、华为海思
• 独立边缘 AI 芯片：Hailo、地平线、寒武纪、Ambarella、爱芯元智（AXera）
• MCU + AI：ST、NXP、ADI、瑞萨、乐鑫（Espressif）
• IP 授权：ARM（Ethos-U/N 系列）、CEVA

下游：终端设备与应用

端侧 AI 芯片 ──> 手机（最大出货量）
             ├──> 汽车（ADAS/座舱，增速最快）
             ├──> PC/笔记本（AI PC，新兴品类）
             ├──> 安防摄像头
             ├──> 智能家居/可穿戴
             ├──> 机器人/无人机
             └──> 工业 IoT/边缘网关

关键指标

供需与市场数据

需求侧驱动

1. 智能手机：全球年出货量约 12 亿部 [IDC/Canalys 行业数据]，旗舰机几乎 100% 集成 NPU，中端机渗透率快速提升。苹果、三星、小米、OPPO 等均将“端侧 AI”作为核心营销点。
2. 汽车：L2+ 渗透率提升（中国市场 2024 年 L2+ 新车渗透率估计超过 50% [行业估算]），单辆车 AI 算力需求从 10 TOPS 级向 100+ TOPS 级演进。
3. AI PC：2024 年为“AI PC 元年”，各主要 PC OEM 推出搭载 NPU 的产品。Copilot+PC 定义了 40 TOPS 门槛。
4. 安防/IoT：智能化升级驱动摄像头、门锁、音箱等设备集成 AI 推理能力。

供给侧格局

• 手机 SoC NPU：高通、联发科、苹果（自用）三强主导，三星 Exynos 和 Google Tensor 为第二梯队，华为海思受制裁影响供应受限。
• 边缘 AI 芯片：竞争格局较分散，Hailo（以色列）、地平线、寒武纪、Ambarella 各有优势领域。
• MCU 级 AI：ST、NXP、ADI 等传统 MCU 巨头布局，但 AI 加速能力差异化尚不显著。

关键数据点（需注意口径）

• 端侧 AI 芯片市场（含 NPU 子系统价值）2024 年估算在 数百亿美元 量级 [综合多家行业报告估算，定义口径差异导致具体数字差异较大]
• 智能手机 NPU 渗透率：旗舰机 ~100%，全价位段（含入门机）渗透率仍在提升中 [行业估算]
• 边缘 AI 推理市场（含芯片+软件+模组）通常被第三方机构视为高增长方向，但公开摘要口径差异较大，本页不写入未锁定来源的 CAGR 数字。

代表公司与资本映射

产业链观察框架

核心判断框架

需求侧支撑因素：

1. 需求确定性高：端侧 AI 是 AI 产业链中少数“量价齐升”的环节——NPU 渗透率提升（量）+ 单颗 SoC 中 NPU 硅面积占比上升（价）
2. AI PC 催化：PC NPU 从 0 到 1 的品类创新，40 TOPS 门槛带动 NPU 硅面积和成本提升，SoC 厂商 ASP 上行
3. 端侧 LLM 落地：量化技术 + 软件优化使 7B 级 LLM 在手机上可用，驱动换机需求和 NPU 算力升级
4. 汽车 AI 渗透：L2+ 普及 + 智能座舱，单车 AI 芯片价值量上行

风险/谨慎点：

1. 硬件差异化收敛：NPU 的“纸面 TOPS”趋于同质化，真正的差异化在软件栈和模型优化，这增加了产业判断的难度
2. 云端 vs 端侧的边界模糊：5G/卫星通信带宽提升可能削弱“必须在端侧跑”的论点；但隐私和延迟需求是结构性的
3. 需求节奏不确定：端侧 AI 功能（如手机 AI 助手）能否真正驱动用户换机，尚需验证
4. 估值分化：头部 SoC 厂商（高通、联发科）估值已部分反映 AI 预期；独立 AI 芯片公司（Hailo、地平线等）估值差异大，需关注实际出货和营收兑现

产业链观察维度

常见误读纠偏

❌ 误读一：“TOPS 数字越高，AI 推理越快”

真相：TOPS 是峰值理论算力，实际推理速度取决于多个因素：

• 内存带宽：端侧 LLM 推理通常是内存带宽受限（memory-bound），不是算力受限。100 TOPS 的芯片如果只有 LPDDR5 的带宽，跑 LLM 可能不比 50 TOPS + 更大 SRAM 的芯片快。
• 模型-硬件适配度：编译器能否高效调度模型到 NPU，决定实际利用率（通常 30-70%）。
• 算子覆盖：不支持的算子会 fallback 到 CPU/GPU，导致性能断崖。

结论：TOPS 是必要不充分条件。评估端侧 AI 性能应看特定模型的端到端推理延迟和吞吐量，而非纸面 TOPS。

❌ 误读二：“NPU 是端侧跑 AI 的唯一方式”

真相：端侧 AI 推理可通过多种计算单元完成：

• CPU：ARM CPU 的 NEON/SVE 向量扩展可跑 AI，灵活性最高但效率最低
• GPU：Adreno/Mali/Apple GPU 可执行 AI 推理（如 OpenCL/Vulkan compute），对并行度高的大张量效率尚可
• DSP：高通 Hexagon DSP 本身就有向量扩展，早期端侧 AI 就跑在 DSP 上
• NPU：专用 MAC 阵列，对卷积/矩阵乘法效率最高，但对非标准算子支持有限

实际部署中，异构调度是常态：编译器会将模型的不同层分配到最适合的计算单元。NPU 通常是“主力”，但 CPU/GPU/DSP 是“辅力”。

❌ 误读三：“端侧 AI 芯片只能跑小模型，大模型必须上云”

真相（2024-2025 年的状态）：

• 通过 INT4 权重量化 + 激活量化，7B 参数级 LLM 已可在旗舰手机上推理（内存占用 ~4-5 GB），首 token 延迟可达秒级，token 生成速率可达 ~10-30 tokens/s [各厂商演示数据，具体取决于模型和优化程度]
• 2025 年，多模态小模型（视觉+语言，1-3B 参数）也在端侧逐步部署
• 但 13B+ 参数模型在当前内存/算力约束下体验仍受限

结论：“只能跑小模型”的说法已过时，但“大模型在端侧体验等同云端”也不准确。当前处于**“能跑但体验有限”**的阶段，且在快速改善中。

❌ 误读四：“INT8/INT4 量化一定严重损失精度”

真相：

• INT8 量化（配合校准数据集）在绝大多数视觉分类/检测任务中精度损失 <1%，已是工业部署标准实践 [学术界和工业界广泛验证]
• INT4 权重量化（GPTQ/AWQ）在 LLM 上的 perplexity 退化可控，但需关注特定下游任务（如数学推理、代码生成）的敏感性
• 混合精度策略可进一步缓解精度问题：关键注意力层保持 INT8/FP