端侧 AI

3 秒看懂

端侧AI（On-Device AI）是在智能手机、PC、汽车、IoT设备等终端上直接完成人工智能推理，无需将所有数据上传云端。它让设备能在离线、低延迟、隐私可控的条件下执行语音识别、图像处理、文本生成等智能任务，核心依赖终端芯片的异构算力（CPU/GPU/NPU）与模型压缩技术。

3 分钟产业解释

传统AI应用重度依赖云端数据中心，数据往返带来延迟、带宽成本与隐私风险。端侧AI将一部分模型直接部署在用户设备上，推理发生在本地，响应速度毫秒级，且用户数据不离开设备。
实现这一范式变化的技术基础有三：其一，芯片集成神经处理单元（NPU），可高效运行卷积、矩阵乘法等AI算子，典型配备在骁龙、A系列、天玑等移动SoC中；其二，模型小型化技术，如量化（INT8/INT4）、剪枝、蒸馏，能将数十亿参数的模型压缩到适合移动端内存与功耗瓶颈的大小；其三，混合AI架构，端侧执行高频、简单任务，复杂任务按需调用云端大模型协同。
产业驱动来自两股力量：智能手机厂商追求差异化AI体验（拍照增强、实时翻译、助手），PC和汽车企业借本地大模型打造生产力与交互卖点。大规模分散终端一旦普及端侧AI，推理的算力总需求将远超任何超大规模数据中心的供给，这是芯片IP厂商、终端SoC设计公司和模型压缩工具链的共同增长机会。

15 分钟专家深入

从云端收缩到端侧的迁移并非简单的硬件替换，它触及计算体系、模型架构和能效极限的重新平衡。端侧AI本质是一个在功耗、存储、算力、精度四维约束下的优化问题。

算力约束
旗舰手机的NPU在INT8算力上可达数十TOPS（具体视代际而定），但相比云端A100/H100的PFLOPS级算力相差约2个数量级。这意味着端侧无法运行全精度的大模型（如GPT-4），必须将模型的激活参数数量级控制在数亿到数十亿级别（注意：MoE模型的激活参数≠总参数，端侧通常使用稠密小模型或MoE的小型变体，激活参数远小于总参数）。一些流程采用“宽体积小模型 + 投机解码 + 云端校验”的方案来提升生成质量。

存储带宽墙
终端DRAM为LPDDR类型，总线宽度多采用64位或128位，带宽约几十GB/s，远低于HBM的TB/s级别。AI推理中自回归生成的每个token都需要读取全部模型权重，存储带宽直接成为瓶颈。因此端侧AI特别重视权重量化和蒸馏，将FP32权重压缩为INT4时理论尺寸可缩减至1/8，将BF16权重压缩为INT4时可缩减至约1/4，并可能配合内存层次优化——将频繁访问的参数驻留在NPU片上的SRAM中。

能效与热约束
手机处理器的TDP仅几瓦，持续高负载AI任务可能触发降频。这是端侧区别于数据中心的根本约束。因此，设计人员追求每瓦TOPS指标，NPU微架构针对MAC阵列的数据复用做了大量优化，避免片外DRAM的频繁访问。苹果的ANE、高通的Hexagon、联发科的APU均围绕卷积、注意力等算子定制专用状态机和内存结构。

隐私与安全
端侧AI的核心卖点之一是隐私——用户语音、照片、文本在本地处理。技术上，这依赖安全区域（如ARM TrustZone、Apple Secure Enclave）与NPU之间的隔离通路，确保模型、权重和输入数据不被应用层窃取，同时仍允许模型更新和联邦学习（在不暴露原始数据的前提下传递梯度）。

模型部署流程
典型流程为：云端训练一个大模型（或基座模型）→ 使用蒸馏产生小尺寸学生模型 → 进行训练后量化（PTQ）或量化感知训练（QAT） → 转换为设备专用格式（Core ML, ONNX, TFLite, QNN等） → 通过NPU编译器进行算子映射与图优化 → 在终端运行。

从产业节奏看，2024-2025年是端侧大模型从可演示走向可商用的关键窗口。PC端（Intel Meteor Lake/Core Ultra集成NPU）、手机端（骁龙8 Gen3、天玑9300、A17 Pro）都已具备运行数十亿参数语言模型的能力，Windows、Android、iOS均提供了系统级AI接口。接下来竞争的焦点将从“能不能跑”转向“跑得有多好、多省电、多安全”。

技术原理

端侧AI的底层在于协同设计（Co-design）：模型结构针对硬件定制，硬件也更多适配新兴AI算子。本节按从算法到芯片的层次拆解。

模型压缩技术

• 量化（Quantization）：将模型权重和激活从浮点数映射到低位宽整数。训练后量化（PTQ）无需重新训练，通过校准集确定截断范围；量化感知训练（QAT）在训练时插入伪量化节点，让模型学习补偿量化误差。端侧主流为INT8推理，最新的硬件（如骁龙X Elite）开始支持INT4。量化带来的精度损失通过per-channel或per-group细粒度量化缓解。
• 剪枝（Pruning）：移除贡献小的权重（非结构化剪枝）或整个通道/注意力头（结构化剪枝）。结构化剪枝更适合硬件加速，因为它能得到规整的稀疏矩阵，NPU可跳过整块计算。剪枝比例可达50%-90%，从而减少访存和算力需求。
• 蒸馏（Distillation）：用大教师模型的输出分布（logits）或中间层特征来训练小模型，使其获得超越纯数据训练的性能。例如将70亿参数模型蒸馏到7亿参数，仍保持可观能力。
• 低秩分解：将权重矩阵近似为两个小矩阵的乘积，减少参数和计算量，不过较少单独使用，常与量化结合。
• 神经架构搜索（NAS）：自动搜索适合特定硬件的网络结构，如MobileNet、EfficientNet等系列，已经将设计目标从精度转向精度-延迟/功耗乘积最优。

端侧推理的算子计算图（示意）

[输入] 
  →  embed_layer (查表, 内存密集)
  →  Transformer Block × N:
        LayerNorm (规约, 细粒度)
        →  Multi-Head Attention:
             Q/K/V投影 (矩阵乘)
             →  Attention Score = Q·K^T / sqrt(d) (矩阵乘)
             →  Softmax (逐元素)
             →  Attention Output = Score·V (矩阵乘)
             →  输出投影 (矩阵乘)
        →  LayerNorm
        →  FFN: 线性1 → 激活 → 线性2 (矩阵乘)
  →  output_projection
  →  softmax / 采样

注意力机制中Q·K^T的矩阵乘具有O(n²d)复杂度（n为序列长度，d为维度），在长上下文下成为瓶颈。端侧通常限制序列长度（如2048），并使用FlashAttention等算法在SRAM内平铺计算，减少HBM/DRAM访问。（对于端侧LPDDR，数据驻留芯片缓存的重要性很高。）

芯片微架构要点

• NPU：多为二维运算阵列（Systolic Array或类似结构），高效处理卷积和矩阵乘累加。内部拥有专用的数据流调度器，能将权重复用、激活复用、输出固定等策略优化。片上SRAM容量是关键性能指标，越大则外部内存访问越少，能效比越高。
• 内存子系统：端侧SoC共享内存，NPU通过系统缓存（SLC）或专用缓存访问LPDDR。为了减少功耗，常采用压缩传输和智能预取。
• 异构调度：CPU核心负责稀疏算子、控制流和模型加载；GPU适合中等粒度且数据并行的部分；NPU处理规整的密集矩阵运算。合理的调度能平衡功耗与吞吐。

技术演进史

• 2017年前 – 萌芽期
  端侧只运行传统计算机视觉滤波或简单决策树。Apple在A11（iPhone 8/X）中推出了第一代神经网络引擎，但局限于Face ID等特定任务。Android端依赖GPU或DSP运行小型CNN，工具链碎片化。

• 2017–2019 – NPU初装期
  华为麒麟970（2017）首发独立NPU，用于拍照场景识别；高通在骁龙845开始集成AI引擎，但算力勉强过1 TOPS。谷歌推出面向移动端的轻量模型MobileNet及TensorFlow Lite。苹果A12的NPU算力达到5 TOPS，Core ML逐步成熟。这个阶段落地应用主要是相机增强、语音唤醒和简单翻译。

• 2020–2023 – 异构AI普及时
  移动SoC全面进入5 TOPS+时代，INT8算力成为宣传指标。高通、联发科、三星均扩展NPU架构。微软Windows on ARM引入AI加速，Intel在第12代Core加入GNA低功耗加速器（后续被NPU取代）。TinyML运动兴起，使MCU也能运行AI。模型压缩方法成熟，量化工具链标准化。

• 2024–今 – 端侧大模型元年
  LLM小型化（例如Gemma、Phi、Llama等7B以下版本）使得在旗舰手机上运行对话模型成为可能。高通发布骁龙8 Gen3，支持100亿参数模型推理（量化后）；联发科天玑9300支持类似能力。Apple在A17 Pro和M4上突出NPU性能，并在iOS 18中引入Apple Intelligence，结合端侧与私人云计算。Intel酷睿Ultra、AMD锐龙内置NPU，微软定义Copilot+ PC硬件要求（需NPU≥40 TOPS）。端侧AI从功能附加变成系统核心，操作系统厂商、模型厂商和芯片厂商三方深度绑定。未来演进方向是更大规模稀疏MoE模型的端侧部署、自适应卸载（部分层跑在端侧，部分在云端）以及联邦持续学习。

技术路线对比

注：具体芯片代际NPU算力、工艺节点不在此表中列出，因涉及不断更新且未获授权披露的具体规格，请参考各厂商官网。

上下游

上游（基础技术供应商）

• 芯片IP：ARM（Cortex CPU + Ethos NPU IP），Imagination Technologies（PowerVR NPU），Cadence（Tensilica DSP/Vision NPU），CEVA（NeuPro NPU）。IP厂商提供可授权的NPU设计，是SoC集成的基础。
• EDA工具：Synopsys、Cadence，提供NPU硬件设计、验证和编译器工具链。
• 晶圆制造与封装：台积电、三星、Intel，提供先进制程（如N3、N4系列）和先进封装（InFO、FOPLP等）以实现高性能低功耗芯片。对于端侧SoC，制程直接影响NPU的每瓦性能。
• 模型库与框架：Google（TensorFlow Lite, MediaPipe）、Meta（PyTorch Mobile, ExecuTorch）、Microsoft（ONNX Runtime）、高通（AI Engine Direct SDK）等。

中游（SoC/platform厂商）

• 移动端：高通（骁龙系列）、联发科（天玑系列）、苹果（A/M系列）、三星（Exynos）、华为海思（麒麟）、紫光展锐。
• PC端：Intel（酷睿Ultra）、AMD（锐龙AI）、苹果（M系列）。
• 汽车与IoT：高通（Snapdragon Ride/数字底盘）、NVIDIA（DRIVE Orin/Thor，端+边）、地平线、黑芝麻、恩智浦、德州仪器。

下游（终端品牌及应用）

• 智能手机：苹果、三星、小米、OPPO/vivo、荣耀等，AI功能日益成为卖点。
• PC：联想、戴尔、惠普、华硕等推出的AI PC。
• 汽车：特斯拉、理想、小鹏、蔚来等使用端侧模型进行座舱交互和辅助驾驶感知。
• AI应用开发商：专做端侧模型优化的算法公司，提供拍照美化、语音交互、文档总结等SDK。

模型小型化与压缩工具链提供商（如Neural Magic、SqueezeBits等）连接上游模型与中游硬件，也在产业中扮演重要角色。

关键指标

• TOPS（Int8）：衡量NPU理论峰值算力，但需要结合内存带宽和模型计算模式理解，无法简单横向比较，不同厂商的Benchmark差异大。实际推理吞吐（token/秒）更具意义。
• 每瓦TOPS：能效比，决定可持续负载和温升，端侧尤为关键。一般在中高端芯片上可实现3-5 TOPS/W（估算范围）。
• 运行模型参数规模：典型的端侧LLM从1B到7B（INT4量化），更高参数模型需要云端或协同。
• 推理延迟（首个token / 每token时间）：用户体验的直接度量。端侧纯LLM首个token时间在几百毫秒量级，后续每token几十毫秒。
• 内存带宽与SRAM容量：从LPDDR5x在128位总线下提供约130 GB/s带宽，NPU片上SRAM容量大小直接影响Transformer中矩阵运算的tile复用效率，从几百KB到数MB不等。
• 隐私认证：是否通过SOC2、ISO27701等，或设备端数据处理符合GDPR等法规，尤其医疗、企业场景。
• 模型压缩率：从FP32到INT4，理论压缩比8:1，但实际需考虑激活量化带来的精度损失，通常用困惑度上升或QA准确率下降来评价。

供需与市场数据

• 需求端：公开资料未见本页可直接复核的端侧 AI 芯片统一市场规模口径；手机、PC、汽车、IoT 是否纳入统计会显著改变金额，因此不写具体 2028 年规模预测。智能手机出货量、AI PC 渗透率和 NPU 配套率需以 IDC、Counterpoint、Yole 等机构的原始年度口径为准。
• 供给端：先进制程产能集中在台积电和三星，对中高端端侧芯片至关重要。成熟制程的端侧AI MCU（如基于Cortex-M搭配Ethos-U）产能较分散，但专用NPU IP授权及软件生态供给较集中。
• 当前态势（2025年初）：高通的骁龙8 Elite、联发科天玑9400、苹果A18 Pro均大幅提升INT8/INT4算力；Intel和AMD在笔记本领域推广NPU，Windows Copilot+ PC需求尚在培育期。端侧大模型应用生态仍处在早期，杀手级应用未完全明朗，但厂商积极布局以防错过入口。

（以上为公开产业动态估算，具体数字请参考各公司财报及专业半导体分析机构。）

代表公司与资本映射

• 高通（Qualcomm）：端侧AI移动SoC龙头，骁龙平台集成Hexagon NPU，积极推动混合AI框架，在安卓高端市场占主导地位。PC端推出骁龙X Elite/Plus，直指Copilot+生态。
• 苹果（Apple）：A17 Pro、M4等芯片NPU性能突出，系统深度整合Core ML与Apple Intelligence，软硬一体，对隐私的强调形成强势品牌差异。产业链封闭但带动代工与封测需求。
• 联发科（MediaTek）：天玑系列在中高端和次旗舰市场渗透，AI算力快速提升，与vivo、小米等深入合作端侧大模型。
• Intel & AMD：在PC端推动NPU内置，Meteor Lake / Lunar Lake与锐龙AI 300系列，意图重振PC市场。产业观察点包括 AI PC 换机周期、NPU 配套率与软件生态适配。
• 华为海思：麒麟芯片回归，端侧AI在鸿蒙生态内闭环，确保供应链安全，Mate/P系列引入端侧模型。
• 端侧算法/工具商：如Neural Magic（致力于CPU上高效推理，与红帽有合作），以及边缘AI平台玩家OctoML等。
• IP公司：ARM（纳斯达克上市），其Ethos NPU系列被众多SoC采用，间接分享端侧AI增长。
• 晶圆代工/封测：台积电（TSMC）独占多数高端移动SoC制造，三星（Samsung）提供代工并以Exynos参与竞争；长电科技、日月光等封测厂商受益于系统级封装（SiP）需求提升。

产业传导逻辑

1. 替代周期主线：AI手机和AI PC的附加价值有望驱动一轮换机潮，关键指标包括 SoC 配套率（NPU TOPS 成为标配）和物料成本增加带来的 ASP 变化。
2. IP核渗透率提升：终端芯片种类从高端向中低端渗透，Arm Ethos等NPU IP授权量增长，代工产能填铺效应。
3. 工具链与算法层：模型压缩、端侧推理引擎是连接模型与硬件的中间层，具备壁垒的公司具备撬动生态的潜力。
4. 隐私计算与安全：端侧AI强调用户数据安全，硬件安全IP（如ARM TrustZone相关）、联邦学习方案可能成为差异化点。
5. 风险：① 端侧杀手级应用不及预期，导致AI算力“堆料”后未有效转化成用户付费意愿；② 云端模型能力快速提升、延迟成本下降，可能削弱纯端侧价值，转向更依赖云；③ 功耗和热问题限制大模型端侧普适，体验差；④ 碎片化生态导致开发者不愿适配，核心平台之争可能挤出部分玩家。

产业研究指标包括头部 SoC 企业的全栈交付能力（芯片+软件栈+开发者生态），以及模型压缩、安全 IP 等细分领域的技术壁垒。

常见误读纠偏

• 误读1：“端侧AI就是手机本地跑大模型”
  纠偏：端侧不仅局限于手机，还包括PC、汽车、可穿戴、工业IoT。另外，端侧模型并不需要和云端GPT-4比参数规模，而是通过混合AI架构完成用户意图：隐私简单任务本地完成，复杂或通用知识任务交云端。另外，“端侧”不等于完全离线，很多方案依赖于联邦更新。

• 误读2：“NPU TOPS越高越好”
  纠偏：TOPS是理论峰值算力，但端侧推理瓶颈往往在内存带宽。Transformer的自回归解码属于内存密集型，高TOPS无法完全发挥。实际性能取决于内存子系统、缓存架构和模型编译优化。两家相同TOPS的NPU，生成速度可能相差50%。更应关注每瓦性能、实际能效比和软件成熟度。

• 误读3：“模型量化到INT4就能在任意端侧设备跑”
  纠偏：INT4需要硬件原生支持，对芯片的数据路径、乘加器设计有专门优化，在缺乏INT4硬件支持的旧架构上运行，虽模型精度可保持，但无法获得INT4的推理加速和能效提升。目前只有较新设计的NPU（如骁龙X Elite等）具备高效INT4推理能力，且对量化技术和校准集非常敏感，需要大量工程调测。

• 误读4：“端侧AI不需要联网，因此无网络安全风险”
  纠偏：端侧虽不传数据，但模型和权重本身面临篡改、模型逆向工程、成员推理攻击等风险。安全需要从硬件可信执行环境、模型加密与签名、防侧信道攻击等多层保障，这仍是研究前沿。

学习路径

1. 基础：理解深度学习基本算子（Conv/MatMul/Layernorm/Attention），移动异构计算基础（ARM big.LITTLE/DynamIQ, 内存层次）。
2. 模型压缩实践：从TensorFlow Lite or PyTorch Mobile入门，学习PTQ和QAT流程，尝试对MobileNet或小Transformer进行INT8量化，在真机（Android/iOS）测延迟和精度。
3. 芯片架构入门：阅读高通Hexagon NPU白皮书，或Arm Ethos-U技术概述，理解数据流、运算阵列、DMA和内存管理。
4. 端侧大模型：运行开源项目（如llama.cpp、MLC-LLM）在移动设备上部署1B/3B模型，分析和优化瓶颈。
5. 系统与安全：学习ARM TrustZone/CCA原理，了解如何在安全世界运行模型并保护数据。阅读联邦学习框架（如TensorFlow Federated）基础。
6. 产业跟踪：关注高通、联发科、苹果新品发布会技术Session；关注AnandTech、Semianalysis、Counterpoint等机构的端侧芯片分析。

一句话总结

端侧AI是算力从云向终端的一次再平衡，它重塑了隐私保护与即时智能的边界，未来AI体验的核心将是端云协同而非二选一，芯片设计、模型算法与操作系统的深度耦合决定这一赛道的高低。

延伸阅读与来源

• 高通 AI Engine 技术概览
• Apple 机器学习框架 Core ML
• ARM Ethos NPUs 产品页面
• TensorFlow Lite 量化文档
• MLC-LLM：通用端侧大语言模型部署方案
• 行业报告：Yole Intelligence, Counterpoint Research, IDC 有关 Edge AI 及手机/PC 芯片预测（需订阅）。

（本文未使用不可公开验证的具体芯片规格数值；部分趋势描述基于公开行业共识与厂商发布会信息，数据来源标注仅列公开可查入口。）