处理元素

1 3 秒看懂

核心定义：处理元素（Processing Element, PE）是计算芯片（如 CPU、GPU、AI 加速器）内部，实际执行算术逻辑运算的最小功能单元。可以将它理解为一个微缩的、专职的“计算工人”。

关键要义：芯片的并行计算能力，本质上取决于两个变量——内部集成的 PE 总数量，以及单个 PE 在单位时间内的有效运算效率。以下全文将围绕这两个变量展开。

2 3 分钟产业解释

在 AI 芯片领域，PE 是衡量计算能力的微观基石。当一颗 AI 芯片宣称拥有数百 TOPS（Tera Operations Per Second, 每秒万亿次运算）算力时，这背后是数万乃至数百万个 PE 在同一时钟周期内协同工作的结果。

产业视角下，PE 之所以成为竞争焦点，基于以下四层逻辑：

1. 性能源头：芯片总算力可近似表达为 PE 数量 × 单 PE 每周期操作数 × 工作频率 × 有效利用率。提升任何一个因子，都是芯片设计公司的核心工程课题。
2. 架构灵魂：不同类型芯片（CPU、GPU、TPU、NPU）的根本分野，在于 PE 的微架构设计（如是否采用脉动阵列 Systolic Array）、互联拓扑（Mesh、Ring、Crossbar）和内存层次（寄存器→本地缓存→共享缓存→片外内存）的差异。PE 的组织形式，定义了芯片的“性格”。
3. 成本与功耗核心：在先进制程 AI 芯片中，PE 阵列通常占据裸片（Die）面积的 40%–70%，并贡献了绝大多数动态功耗。优化 PE 的 PPA（性能 Performance、功耗 Power、面积 Area），直接决定芯片的商业可行性。
4. 软件映射目标：深度学习编译器（如 TVM、XLA）的核心任务，就是把一个神经网络计算图（如 Transformer 的矩阵乘），高效地“切分”并“调度”到成百上千个 PE 上执行。硬件架构与软件算法的“握手”发生在 PE 这一层。

简言之，PE 是理解 AI 算力从“沙子（硅）”到“服务（云算力）”价值链条的微观起点。

3 技术原理

PE 的本质是一台微缩的、高度精简的冯·诺依曼机，但所有设计取舍都围绕数据并行计算展开。本节从计算基础、典型 PE 微架构、数据流机制三个维度进行拆解。

3.1 计算基础：一切围绕 MAC

无论上层神经网络有多复杂（卷积、Transformer 自注意力、推荐系统 Embedding），一旦被编译器分解为底层算子，最终都有 95% 以上的操作归结为乘加运算（Multiply-Accumulate, MAC）：

output = (input_a × input_b) + accumulation

因此，PE 的核心使命是以最高能效完成 MAC 操作。衡量 PE 原始性能的指标，正是其单位时间（通常为每时钟周期）可完成的 MAC 次数。

3.2 脉动阵列 PE 的典型工作机制

脉动阵列（Systolic Array）是当前 AI 加速器（如 Google TPU 系列、华为昇腾 Da Vinci 架构）中 PE 组织的主流范式。以一个抽象的二维脉动阵列为例，其工作流程如下：

            ┌─────────────────────────────┐
  输入 B →  │  ┌───────────┐   传播 B →    │
  (来自上方) │  │           │   (至下方)    │
            │  │  ┌─────┐  │              │
  输入 A →  │  │  │ MAC │  │   累加和     │
  (来自左方) │  → │  │单元 │  │ ↓ (来自上方) │
            │  │  └─────┘  │              │
            │  └───────────┘              │
            └─────────────────────────────┘
                   典型 PE 数据流示意图

工作机制详解：

1. 权重复用（Weight Stationary）：权重数据（B）被预加载至 PE 内部寄存器并保持驻留（部分架构也采用输出驻留或输入驻留策略）。
2. 数据脉动：激活值（A）从左方 PE 流入，每个时钟周期向右传递；部分和（Partial Sum）从上向下流动并累加。
3. MAC 执行：每个 PE 于同一时钟沿完成 A × B + 累加，结果存入内部累加寄存器。
4. 极高数据复用：输入数据（A）被左侧 PE 使用后，继续向右传递供右侧 PE 使用，无需反复从全局缓存读取。这显著降低了片上数据搬运的能耗（通常数据搬运能耗远高于计算本身）。

公开资料未见统一的脉动阵列控制流实现标准。Google TPU 采用 “CISC 指令 + 固定数据流”，华为昇腾 Da Vinci 架构则引入 “3D Cube” 结构以融合张量计算——这些属于企业核心知识产权。

3.3 现代 PE 的组成模块

一个典型 AI 加速器 PE（非 CPU/GPU 那种复杂 PE）包含以下子系统：

来源声明：本节 PE 内部结构描述基于 ISCA、MICRO 等学术会议公开论文及已批专利的信息综合，不指向任何公司未公开的实现细节。

4 关键参数

评估 PE 及其所构成的算力集群，需关注的参数可分为宏观规模参数与微观效率参数。

4.1 宏观规模参数

• PE 总数：芯片集成的 PE 核心数量。2024 年公开数据显示，高端云端 AI 芯片（如英伟达 H200、华为昇腾 910B 等）内部 PE 数量均达万级至数十万级，确切数量因涉及商业机密，公开资料未见统一口径。
• 峰值算力（Peak TOPS）：所有 PE 在理想状态下每秒可完成的理论最大操作数。需严格标注数据精度（INT8 算力通常是 FP16 的 2 倍）和稀疏算力（支持 2:4 结构化稀疏的芯片，峰值可再翻倍）。示例：某芯片宣称 400 TOPS@INT8，其中可能含 200 TOPS@FP16。
• PE 阵列维度：如 “128×128 Systolic Array”，直接决定了可高效执行的矩阵乘粒度。

4.2 微观效率参数

• 计算密度（TOPS/mm²）：单位硅面积的峰值算力。根据公开产业链分析（如 SemiAnalysis 2023 年报告），台积电 4nm/5nm 制程下高端 AI 芯片计算密度约 0.8–1.5 TOPS/mm² (INT8)。该数值随制程进步而提升，但受限于散热和功率密度。
• 能效比（TOPS/W）：每瓦功耗可输出的算力。根据 MLPerf 基准及行业估算，2024 年云端 AI 训练芯片能效比通常低于 5 TOPS/W (FP16)；边缘推理芯片（如智能座舱 SoC 内 NPU）可达 10–20 TOPS/W (INT8)。具体产品数值以官方 Datasheet 为准。
• 有效利用率（Utilization）：实际场景中持续算力与峰值算力的比值。据 MLCommons 2024 年公开结果，主流大模型推理场景下，部分高端 GPU 的有效利用率在 30%–60% 区间，取决于编译器优化与内存带宽。
• 支持数值精度谱系：覆盖 FP64、FP32、TF32、BF16、FP16、INT8、INT4、FP8（新标准）等。精度越“低”，同面积/功耗下的 PE 峰值算力越高，但对算法调优要求更高。

5 技术路线

PE 的设计哲学经历了“通用逐级专用”的演进。各技术路线之间的本质差异，源于对并行度、控制复杂度、能效三者权衡的侧重不同。

5.1 路线对比总览

| 特性维度 | CPU 核心 （复杂 PE） | GPU 流处理器/核心 （简化 PE） | AI 加速器 PE （专用 PE） | FPGA 逻辑单元 （可编程 PE） | | :--- | :--- | :--- | :--- | :--- | | 设计哲学 | 通用性、低延迟 | 大规模数据并行、高吞吐 | 领域专用架构（DSA） 极致能效 | 硬件可重构、灵活 | | PE 复杂度 | 高 含分支预测、乱序执行 | 中等 含向量 ALU、特殊函数单元 | 中到低 以 MAC 为主，控制极简 | 低 基于查找表（LUT） | | 单芯片 PE 规模 | 数十至百余核 | 数万核 | 数千至数十万 PE | 取决于设计，可达百万级 LUT | | 控制与调度 | 强，操作系统级调度 | 弱，SIMT/SIMD 统一调度 | 极弱，数据流/编译器静态调度 | 灵活，可定制状态机 | | 能效比 | 低（约 0.1-1 TOPS/W 级）| 中高（约 1-5 TOPS/W 级）| 极高（约 5-20 TOPS/W 级）| 中（约 0.5-2 TOPS/W 级）| | 核心适用场景 | 操作系统、数据库、复杂逻辑 | 图形渲染、通用并行计算 | AI 训练/推理、特定信号处理 | 原型验证、低延迟网络处理 |

5.2 技术演进历史

1. 通用计算时代（~2000s）：PE 即 CPU 内核。Intel Pentium 至 Core 架构的演进，围绕指令级并行（ILP）、流水线深度与缓存层次展开。
2. 并行计算觉醒期（约 2007–2015）：NVIDIA CUDA（2007 年发布）将 GPU 重新定义为通用并行处理器。其 “流式多处理器（SM）– CUDA 核心–寄存器堆” 层次，让 PE 从单打独斗走向大规模并行。
3. AI 加速器爆发期（2016–至今）：
   • 2016–2017：Google 发布 TPUv1 论文（ISCA 2017），脉动阵列 PE 成为 AI 专用架构的基准范式。
   • 2018–2021：华为昇腾 Da Vinci 架构（2018 年发布）、寒武纪 MLU 系列，均在脉动阵列基础上引入 3D 张量计算或向量融合能力。
   • 2022–2024：英伟达 Hopper（H100, 2022 年发布）引入 Transformer Engine（动态混合精度），本质上是在 PE 内部增加精度转换逻辑；AMD MI300（2024 年发货）采用 CDNA3 架构，PE 走向 Chiplet 级扩展。

6 上游

PE 从设计到物理实现，依赖以下层层递进的上游技术与产业环节：

• EDA 与 IP（设计工具层）

  • 作用：使用 EDA 工具（如 Synopsys Fusion Compiler、Cadence Innovus）完成 PE 的逻辑综合、布局布线、时序收敛。
  • 代表企业：Synopsys（美）、Cadence（美）、Siemens EDA（德）。中国市场亦有华大九天（公开资料未见其在先进制程 PE 设计中的具体份额）。
  • 关键 IP 核：部分芯片公司采购第三方 MAC 单元或 SRAM IP 以加快开发周期，具体供应商依赖非公开商业协议。

• 半导体制造（晶圆层）

  • 作用：将 PE 版图刻蚀在硅晶圆上，制程节点是决定 PE 密度与功耗的第一物理约束。
  • 代表企业与制程：台积电（TSMC，N5/N4P/N3 家族）、三星（Samsung，5nm/3nm GAA）、Intel（Intel 3/18A）。据 TrendForce 2024 年 Q2 数据，全球 AI 芯片先进制程（≤7nm）产能约 90% 集中于台积电。
  • 关键设备与材料：ASML 的 EUV 光刻机是 5nm 及以下 PE 图形化的不可缺设备。日系厂商在光刻胶、高纯化学试剂等材料环节份额显著。

• 先进封装（集成层）

  • 作用：将 PE 密集的 Compute Die 与 HBM 内存通过 2.5D/3D 封装合封，解决 PE 到内存的带宽瓶颈。
  • 关键技术：台积电 CoWoS-S/R/L、Intel EMIB、三星 I-Cube。根据摩根士丹利 2024 年行业报告估算，2024 年全球 CoWoS 产能较 2023 年增长逾 100%，但仍为供给最紧张的环节之一。

7 下游

PE 的价值实现，通过下游各层级的产品化与服务化转化：

• 芯片设计公司（直接集成者）

  • 方式：设计含 PE 阵列的最终芯片（如 GPU、NPU、ASIC），定义 PE 数量与互联架构。
  • 代表：英伟达、AMD、Intel、高通、华为海思、寒武纪、Google（自用 TPU）、Amazon（自用 Trainium/Inferentia）。

• 云计算与互联网巨头（算力服务化者）

  • 方式：采购/自研 AI 芯片，构建算力集群，以 IaaS/PaaS 形式对外提供 AI 训练与推理服务。
  • 需求特征：对 PE 的绝对性能、集群可扩展性、内存带宽要求极高。以万卡级集群为新的规划单元（公开信息显示，2024 年多家云厂商已部署或规划万卡 H100 集群）。

• 终端与边缘设备（嵌入式集成者）

  • 方式：在智能汽车 SoC（如 NVIDIA Orin、高通 8295 内置 NPU）、手机 AP（如 Apple A17 Pro Neural Engine）、工业相机中嵌入 PE 集群。
  • 需求特征：对 PE 的功耗上限和实时性极为敏感，追求高 TOPS/W 和低延迟。

• 算法与软件生态（需求定义者）

  • 逻辑：算法模型架构的变化，直接传导为对 PE 支持精度、稀疏模式、算子类型的需求。例如，Transformer 大模型催生了 FP8 精度和 FlashAttention 算子的硬件优化。

8 受益公司

围绕 PE 的价值链，受益公司可分为四个层次。声明：以下内容为客观商业结构与技术角色分析，不构成任何形式的投资建议。

8.1 架构设计龙头

• 英伟达（NVIDIA, 美）：通过 Hopper、Blackwell 等 GPU 架构定义通用 PE 计算范式，依托 CUDA 生态锁定开发者。
• Google（美）：TPU 系列首创脉动阵列 PE，以云服务形式内部大规模部署。据公开信息，TPU v5p 已部署于其 AI 超算。
• 华为海思（中）：昇腾系列采用自研 Da Vinci 架构，覆盖端边云。
• 寒武纪（中）：思元系列 MLU 架构持续迭代，面向云端及边缘推理。

8.2 制造与封装瓶颈环节

• 台积电（TSMC, 中国台湾）：承接全球绝大多数先进 AI 芯片晶圆代工及 CoWoS 封装订单。
• ASML（荷）：独家供应 EUV 光刻机，设备交付量决定全球先进 PE 产能扩展节奏。
• SK 海力士 / 三星 / 美光（韩/美）：HBM 内存供应商。HBM3E 已成 H200/B200 标配，其产能直接影响高端 PE 集群交付。据 TrendForce，2024 年 HBM 市场 SK 海力士与三星两家市占率合计逾 90%。

8.3 国产替代关键节点

• 中芯国际（SMIC）：先进制程能力受限，但为部分中端 AI 芯片提供制造。
• 通富微电 / 长电科技：国内先进封装核心企业，承接部分算力芯片的 2.5D/3D 封装需求。
• 华大九天：国产 EDA 代表，公开资料未见其支撑 5nm PE 设计的明确商业化案例，但在成熟制程芯片设计中逐渐渗透。

8.4 PE 新范式探索者

• 存内计算（PIM/CIM）芯片公司、光子计算初创企业。这些公司试图在 PE 的根本物理实现方式上突破，目前多在早期产品化阶段。公开资料未见其大规模商用份额数据。

9 市场规模

本节聚焦于与 PE 强相关的 AI 芯片及上下游关键环节的市场规模估算。以下数据源自第三方分析机构公开报告，口径与年份已尽力标注。

9.1 AI 芯片市场规模（直接市场）

• 全球 AI 芯片市场：据 Gartner 2024 年 Q1 报告预测，2024 年全球 AI 芯片营收约 670 亿美元（口径：含 GPU、NPU、ASIC 等所有面向 AI 工作负载的芯片），同比增长逾 25%。其中，近 80% 份额由英伟达占据（依据 Mercury Research 与公司财报交叉估算）。
• 中国 AI 芯片市场：据 IDC 中国 2024 年报告，2023 年中国加速计算（AI 芯片为首）市场规模约 140 亿美元（约合人民币 1000 亿元），预计 2024–2027 年 CAGR 约 30%。

9.2 上游环节关键数字（2023–2024 年）

• 先进封装（CoWoS）：据摩根士丹利 2024 年半导体行业报告，2023 年台积电 CoWoS 产能约 16 万片/年（等效 12 寸晶圆），2024 年扩至 35 万片/年以上。因 PE 芯片对 CoWoS 需求远超供给，该市场至 2025 年前仍处严重供不应求。
• HBM 内存：据 TrendForce 2024 年 Q2 数据，2024 年全球 HBM 市场规模预计达 180 亿美元，其中 80% 以上与 AI 加速器 PE 配套使用。

9.3 数据口径提示

• “AI 芯片”定义口径不一：部分统计含边缘推理 SoC（带 NPU），部分仅含云端加速卡。引用时需注意。
• 所有市场预测性数据均含显著不确定性，最终以各公司财报披露及官方统计为准。

10 玩家对比

选取四类 PE 架构的典型代表，从技术维度进行横向对比（信息截至 2024 年 Q3，基于官方白皮书及行业分析）。

注意事项：TPU v5p 等内部部署产品，大量技术参数未被谷歌完整公开，表中估算值来自 Semianalysis、The Next Platform 等第三方分析。参数以各公司官方最新 Datasheet 为准。

11 风险

对围绕 PE 的任何商业或技术布局而言，需关注以下风险维度：

11.1 技术风险

• 内存墙（Memory Wall）：PE 算力增速远超内存带宽增速。2024 年主流 HBM 带宽约 4.8 TB/s，而万级 PE 所需的理论带宽可达数十 TB/s。若无法突破，PE 利用率将持续受限。
• 功耗墙与散热：单芯片 TDP 已达 700–1000W（如 H200 SXM 为 700W，B200 据称达 1000W），逼近风冷散热极限。液冷成为刚性需求，增加部署复杂性与成本。
• 互联瓶颈：PE 片内与片间互联若设计不当，会在大规模集群（万卡级）下出现严重通信拥塞，导致实际总算力增长远低于 PE 数量增长。
• 先进制程依赖：顶级 PE 芯片高度依赖 5nm/3nm 制程。地缘政治或自然灾害导致的单点供应中断，将造成代际性影响。

11.2 供应链风险

• CoWoS 产能风险：2024–2025 年，台积电 CoWoS 是 AI 芯片交付总量的决定性约束。任何产能爬坡不及预期将直接推迟芯片交付。
• HBM 供应集中：HBM 供应高度集中于 SK 海力士、三星两家。竞争格局或产能事故可能引发全球 AI 芯片出货波动。
• 地缘政策不确定：特定国家对先进芯片制造设备、EDA 工具的出口管控，可能改变 PE 技术路线的可行性。

11.3 市场与商业风险

• 需求周期性波动：云计算公司 CAPEX 具有周期性。若 AI 应用的商业回报低于大规模基础设施投入的预期，可能出现算力投资阶段性放缓。
• 架构替代风险：存内计算、光子计算等在能效比上可能实现颠覆性突破。若此类新范式提前成熟，可能快速侵蚀传统数字 PE 的市场。

12 误读纠偏

• 误读一：“PE 就是 ALU（算术逻辑单元）。”

  • 纠偏：这是对现代芯片设计的严重简化。ALU/MAC 单元只是 PE 的执行部件。一个完整的 PE 包含 MAC、寄存器、本地控制逻辑和互联接口，构成微型的“取指-执行-写回”闭环。将 PE 等同于 ALU，类似于将整间工厂等同于一个拧螺丝的机械臂。

• 误读二：“PE 数量越多，芯片算力就一定越强。”

  • 纠偏：PE 数量是算力的必要但不充分条件。实际芯片算力 ≈ PE 数量 × 单 PE 效率 × PE 利用率 × 频率。如果内存带宽不足或编译器调度低效，大量 PE 将处于“等待数据”的空转状态。衡量芯片质量的关键，不是标称 PE 数量，而是 MLPerf 等实际业务基准下的有效吞吐量。

• 误读三：“只要用最先进制程，PE 能效自然就高。”

  • 纠偏：先进制程是能效的重要放大器，但不是全部。PE 微架构设计——特别是数据复用策略和本地缓存层次——对能效的影响常常比制程本身更显著。一个优秀架构在落后一代制程上，完全可能实现优于平庸架构的能效比（以 TOPS/W 计）。

• 误读四：“CPU PE 已无价值，应全部由 GPU/AI PE 取代。”

  • 纠偏：二者分工不同。CPU PE（核心）专长于复杂控制流、分支密集的任务（如数据库查询、操作系统调度）；GPU/AI PE 专长于数据流规则、计算密集的任务（如矩阵乘）。大规模系统中二者并存，AI 服务器仍需强大 CPU 进行推理前的数据预处理和结果后处理。

13 最新事件

事件时效范围：本段落聚焦 2024 年公开可查的产业动态，反映 PE 竞争的最新演进。

• 英伟达 Blackwell B200 发布（2024 年 3 月）

  • 事件：GTC 2024 上发布 B200 GPU，采用双 Die 合封，搭载第二代 Transformer Engine 并引入 FP4 精度。预估在 2080 亿晶体管中，PE 阵列（Tensor Core）面积与算力再创新高。
  • 意义：标志着 PE 数据精度继续向超低精度（FP4）下探，同时 Chiplet 方式突破单 Die 面积极限。

• Google TPU v5p 全面可用（2024 年）

  • 事件：Google Cloud 宣布 TPU v5p 于 2024 年面向部分客户正式可用。首次在 Google TPU 中强调 Chiplet 架构和液冷。
  • 意义：PE 集群的训练可扩展性成为 Google 内部大模型（Gemini）的核心推手，且 Chiplet 化趋势与 GPU 路线趋同。

• 华为昇腾 910C 传闻与国内算力基建

  • 事件：2024 年，国内多家网络媒体引述产业链消息提及昇腾系列新品规划。具体规格公开资料未见官方确认。
  • 意义：国内 PE 芯片供应将持续依赖先进封装国产化进程。多座城市发布智算中心建设规划，明确要求国产 PE 芯片采购比例。

• 头部云厂商自研 PE 芯片加速

  • Amazon 的 Trainium2、Microsoft 的 Maia 100 于 2023 年末至 2024 年陆续进入量产或部署阶段。均面向大模型优化 PE 设计。这显示 PE 芯片市场的垂直整合趋势：下游云厂商通过自研实现 PE 架构的个性化。

14 跟踪指标

持续理解 PE 行业发展，可从以下可验证的量化或事件指标入手：

1. 公开基准成绩：每半年跟踪 MLPerf Inference / Training 榜单中，各芯片在主流模型（GPT、BERT、Stable Diffusion）上的每瓦性能和单位算力吞吐量，这是 PE 有效效率的终极公开标尺。
2. 台积电 CoWoS 月产能数据：通过台积电法人说明会（每季度）公布的先进封装营收同比，推测 PE 的总供给瓶颈是否缓解。
3. HBM 合约价与交期：通过 DRAM 原厂披露的 HBM 营收占比和合约价，反推下游 PE 芯片的景气度。
4. 旗舰芯片面积与晶体管密度估算：每当英伟达、AMD 等发布新架构，由第三方机构（如 TechInsights）进行芯片级逆向分析，得出 PE 阵列的面积占比、SRAM 占比、计算密度（TOPS/mm²）变化。
5. 存内计算/光子计算企业原型验证节点：透过 Nature、ISSCC、Hot Chips 论文，关注新范式 PE 能否达到“超越数字 PE 能效 1 个数量级”的里程碑。
6. 云计算厂商 AI 实例更新周期：如 AWS、阿里云提供的 AI 实例中包含的 GPU/NPU 代际与规模，反映下游对 PE 芯片的采购和部署节奏。

15 信源

本文技术描述、行业分析与估算数据基于以下来源，并尽量标注年份与公开可查路径。

学术论文与会议

• Jouppi, N.P., et al. “In-Datacenter Performance Analysis of a Tensor Processing Unit.” ISCA 2017. (TPU v1 脉动阵列 PE 的奠基文献)
• Hennessy & Patterson. Computer Architecture: A Quantitative Approach, 6th Edition, 2017. (PE 设计基础理论)

公司官方出版物

• NVIDIA. “NVIDIA H200 Tensor Core GPU Architecture Whitepaper.” 2024.
• NVIDIA. “NVIDIA Blackwell Architecture Technical Brief.” 2024.
• Intel. “Intel Gaudi 3 AI Accelerator Architecture Brief.” 2024.

行业分析报告

• Semianalysis. 多篇关于 TPU/GPU 架构逆向与成本分析的文章（2023–2024）。[需订阅]
• The Next Platform. 对 Hot Chips 与顶级架构的深度解读（2023–2024）。
• TrendForce. “HBM Market Tracker Q2 2024.” (HBM 份额与规模数据)
• Morgan Stanley. “Semiconductor: AI & Advanced Packaging Update.” 2024. (CoWoS 产能与预测)
• Gartner. “Worldwide AI Semiconductor Revenue Forecast.” Q1 2024. (整体市场规模口径)

基准与评测组织

• MLCommons. MLPerf Inference/Training v4.0 结果（2024 年上半年发布）。[公开可查]

来源声明

• 所有涉及具体产品的产能、良率、PE 确切数量，若未被公司正式披露，文中均标注为“公开资料未见统一口径”或“行业估算”。
• 本文不含任何对未来股价或营收的预测、不含投资评级、不提供买卖建议。