脉动阵列

1 3 秒看懂

脉动阵列是一种让数据在多颗计算单元之间像心跳一样节拍流动的并行计算架构。它把乘加器排成规整方格，矩阵数据从两个方向“泵入”格子，每个时钟节拍向前传递一格并完成一次乘法累加，全程几乎不访问全局存储器。在深度学习领域，谷歌TPU的矩阵乘法单元就是脉动阵列的经典商用案例，大幅提升了卷积与全连接层的能效比。

2 3 分钟产业解释

脉动阵列由H.T. Kung与Charles Leiserson于1978年正式提出。其核心思想是把计算和数据流在时间与空间两个维度上完美对齐。它不像传统CPU/GPU那样从共享寄存器或缓存反复读取数据，而是让数据在相邻处理单元之间像流水线一样节拍传递。每个PE只完成简单的乘加运算，输入数据流出到下一PE，部分和沿另一方向累积。

在深度学习场景中，矩阵乘法与卷积是最核心的算子。脉动阵列天然适配这种“乘加密集、数据复用度极高”的计算模式。以谷歌第一代TPU为例，其矩阵乘法单元是一个256×256的脉动阵列，每个周期涌入一批输入，经256个周期后流出一批结果，将数据搬移功耗压至极低水平，从而在约40 W功耗下实现92 Tops算力（谷歌2017年ISCA论文公开数据，INT8精度）。

产业意义上，脉动阵列是AI专用芯片的基石架构之一。英伟达Tensor Core在微观层面借鉴了节奏化数据复用思想，但不属于经典脉动阵列。当前大模型训练与推理芯片设计，几乎都离不开脉动阵列或其变体。

3 技术原理

以下从处理单元、数据流映射、流水线时序三个层面拆解脉动阵列的工作原理。

基本处理单元

每个PE包含一个乘法器、一个加法器和一组流水线寄存器。它接收三路输入 a_in、b_in、c_in，产生三路输出 a_out、b_out、c_out。其中 b_in 在配置阶段写入权值并保持，脉动运算期间 b_out 恒为 b_in，无实际数据流动。

运算规则为：

c_out = c_in + (a_in × weight)   // weight 由 b_in 写入后保持
a_out = a_in

即激活数据沿水平方向透传，部分和就地累加并向下传递至下一PE。

二维脉动阵列的矩阵乘法映射

设计算目标为 C = A × B，其中A尺寸 M×K，B尺寸 K×N，C尺寸 M×N。将B矩阵预加载至PE阵列（权值固定），A矩阵从上边界按时钟节拍输入，C初始为0从左边界或上边界流入。在一个 M×N 阵列上执行 K 次运算的过程：

• 时间步 t=1：第一行A元素进入第一行PE，与预存B元素相乘，结果暂存；
• 时间步 t=2：新一行A元素进入，上一行A向右平移一格，部分和向下传递；
• 时间步 t=3 至 t=K+M-1：持续流动，直到A的第K列元素流过所有PE。

关键特征在于：满流水状态下，任一时刻所有PE均在执行有效计算，无空闲单元。

数据流动结构示意

以权值预加载的二维脉动阵列为例（权重矩阵B已固定在PE内）：

           b_00   b_01   b_02       ← 预加载的 B 矩阵权重 (2×3)
          +-----+-----+-----+
  a_00 → | PE  | →→→ | PE  | →→→ | PE  |
          +-----+-----+-----+
  a_10 → | PE  | →→→ | PE  | →→→ | PE  |
          +-----+-----+-----+
            ↓      ↓      ↓
        部分和累积，最终输出 C (3×3)，经 M+K-1 个节拍完成

A矩阵元素自左边界逐行、逐拍向右移动，每个PE执行一次乘法，与来自上方的部分和相加，结果向下传递。经 M+K-1 个节拍后，完整结果矩阵从下端流出。

定名缘由

数据像心脏泵血一样，节律性地在相邻处理单元之间“收缩”传递，而非通过长距离总线广播。这种近邻通信大幅缩短连线长度，降低功耗。

算力估算模型

对于典型 256×256 阵列，设时钟频率700 MHz（参考TPUv1公开参数范围，精确频率谷歌未逐代披露）。理论峰值算力计算公式为：

峰值算力 = 阵列行数 × 阵列列数 × 2（乘加各计1次操作） × 时钟频率
         = 256 × 256 × 2 × 0.7 GHz ≈ 91.8 Tops

实际芯片利用率受填充延迟、输出排空、内存带宽等因素影响，典型区间为30%–60%（行业经验范围，具体产品非公开）。

4 关键参数

评估脉动阵列设计的核心指标如下。以下数据综合自公开论文及行业经验参数，非针对特定未公开产品。

未充分披露项：各厂商的DDR/HBM接口延迟、阵列唤醒时间、支持的稀疏结构等细节多为未公开,公开资料未见。

5 技术路线

经典脉动阵列与主流路线的比较

当前技术分化方向

2020年代，脉动阵列设计出现以下分化（据ISCA、MICRO、HPCA会议公开论文方向整理）：

• 稀疏脉动阵列：增加列/行跳过逻辑，适配结构化稀疏（如2:4模式），减少零值计算浪费；
• 可重构脉动阵列：支持运行时切换数据流模式（权值固定/激活固定/输出固定），适配不同算子；
• 3D封装脉动阵列：与HBM垂直堆叠，缩短存储访问路径，提升带宽密度；
• Transformer专用优化：针对FlashAttention算子、MoE路由增加动态稀疏选取与数据流重排单元。

6 上游

脉动阵列芯片的产业链上游由以下环节构成：

• 算法框架与编译器：TensorFlow、PyTorch、JAX等框架需通过底层编译器（XLA、MLIR、TVM）将算子映射为适配阵列尺寸的GEMM调用。MLIR的Linalg方言可将高级算子渐进降级至硬件循环。编译器质量直接决定阵列利用率。
• EDA与IP工具：Synopsys、Cadence提供HLS综合工具，帮助将脉动阵列架构描述转化为RTL；部分厂商自研专用映射工具。
• 制程工艺与封装：7 nm、5 nm等先进节点提供更高PE密度和更低电压，直接影响算力密度。台积电2023年财报披露其5 nm及以下节点产能持续满负荷（来源：台积电2023年报）。CoWoS封装产能是另一关键瓶颈，台积电2024年宣布CoWoS月产能约3.5万片，并计划扩至2025年的5.5万片以上（来源：台积电2024年Q2法说会）。
• HBM供应商：SK海力士、三星为主要HBM供应商。SK海力士2024年Q1财报披露其HBM3E已量产，2024年HBM产能已售罄。美光2023年宣布HBM3E产品线，计划2024年量产。

7 下游

脉动阵列技术直接驱动的下游应用场景：

• 云端推理/训练加速卡：谷歌Cloud TPU通过GCP对外提供算力服务（TPU芯片不单独销售）。国产云端推理卡（华为昇腾、寒武纪思元等）面向数据中心客户。
• 边缘AI芯片：采用较小规模脉动阵列（如16×16或32×32），满足功耗约束。应用于智能安防摄像头、工业视觉等场景。
• 终端SoC集成：智能手机NPU内部IP采用脉动阵列处理影像、语音等AI任务（高通Hexagon、苹果Neural Engine等均有脉动或类脉动设计，具体细节未公开）。

脉动阵列位于计算架构层，需与片上网络、内存子系统紧密配合。若外部HBM/DDR带宽跟不上算力需求，阵列利用率将急剧下降——这是当前多数AI芯片的实际瓶颈之一。

8 受益公司

以下列示在脉动阵列相关技术链上具备公开可查商业实体的公司，仅作产业信息梳理，不含任何投资建议。

9 市场规模

AI芯片市场整体规模

• 据第三方机构Gartner于2024年5月发布的报告（数据截至2024年Q1），2024年全球AI芯片市场收入预计约671亿美元，同比增长约25%（口径：含GPU、ASIC、FPGA）。
• 另一第三方机构MarketsandMarkets于2024年1月报告预测2024年全球AI芯片市场约497亿美元（口径差异主要在于是否含部分边缘设备SoC），2029年预计达约1,394亿美元（来源：MarketsandMarkets，2024年1月）。

脉动阵列相关细分市场

公开资料中未见以“脉动阵列”为独立统计口径的市场规模数据。行业估算约30%–40%的AI专用算力由采用脉动阵列或类架构的ASIC贡献（第三方定性判断，非精确数据）。实际份额难以精确拆分，因为多数厂商不公开内部架构细节。

供给端约束

先进制程与CoWoS封装产能构成供给侧关键瓶颈：

• 台积电2024年Q2法说会披露，CoWoS产能仍供不应求，预计2025年达到约5.5万片/月。
• SK海力士2024年Q1财报披露，2024年全年HBM产能已售罄。

以上数据均为第三方机构公开信息，不构成投资依据。

10 玩家对比

基于公开资料对主要AI芯片厂商的脉动阵列相关技术路线进行对比（数据来源：各公司公开白皮书、论文及行业分析）。

说明：表格中标注“未公开”或“公开资料未见”的指标，系厂商确未在官方渠道披露，不得以猜测填补。

11 风险

以下为脉动阵列技术及相关产业面临的主要风险因素：

• 灵活性缺陷风险：脉动阵列对不规则计算（变长序列、动态稀疏、控制流密集型算子）效率断崖式下降。大模型向多模态、复杂推理演进，对灵活性需求提升，死板的阵列可能成为限制。
• 内存墙风险：HBM带宽增速落后于算力增速。HBM3E单栈带宽约1.2 TB/s（SK海力士2023年产品参数），而下一代大阵列理论算力对带宽需求已超过2 TB/s，“计算饥荒”难题持续存在。
• 制程与供应链风险：先进制程集中于台积电、CoWoS产能有限、HBM集中在SK海力士与三星——对国产设计公司而言，地缘因素导致的供应链中断风险显著。美国2023年10月修订的出口管制规则进一步收紧了对中国大陆的先进计算芯片与制造设备限制。
• 替代架构冲击：存内计算、光学计算、模拟计算等新范式持续演进，若在能效或成本上取得突破，可能影响脉动阵列的长期地位。
• 软件生态壁垒：CUDA的深厚生态使得英伟达产品即使架构优势不再突出，用户迁移成本仍极高。自研脉动阵列芯片进入通用市场需克服软件适配壁垒。

12 误读纠偏

误读1：“脉动阵列就等价于谷歌TPU，GPU里没有这类结构。”

纠偏：谷歌TPU是脉动阵列的典型商用实例，英伟达GPU的Tensor Core在Warp级别执行矩阵乘法时，通过线程寄存器广播与Warp级协作完成，并非相邻PE间数据节拍流动的经典脉动阵列架构。两者属于不同的架构实现路径，不能简单等同。（来源：NVIDIA A100 Tensor Core Architecture白皮书，2020年；谷歌TPUv1 ISCA论文，2017年。）

误读2：“脉动阵列算力就是‘阵列尺寸×频率×2’，利用率应接近100%。”

纠偏：实际硬件受初始化填充、输出排空、内存延迟、任务切换等影响，典型利用率远低于峰值。谷歌TPUv1论文公开的实测利用率在部分模型上约46%–65%（CNN推理任务），业界部分场景甚至低至30%以下。需搭配极致的软件流水编排才能接近理论值。

误读3：“脉动阵列只能做推理，做不了训练。”

纠偏：训练的前向传播、反向传播均包含大量矩阵乘法，脉动阵列完全可用于训练。谷歌TPUv2/v3/v4/v5均支持训练，需配合BF16/FP32精度及更大片上内存来存储中间梯度。是否可用于训练主要取决于精度支持和内存容量，而非脉动阵列本身。

误读4：“阵列越大越好，做个512×512的就领先了。”

纠偏：阵列尺寸受制于芯片面积、功耗密度、利用率折减。大阵列要求的输入/输出数据量同步增大，若无匹配内存带宽，填充延迟将急剧增加，实际有效算力反降。尺寸选择是系统级权衡。

13 最新事件

以下为2023年Q4至2025年Q1期间脉动阵列相关领域的重要事件（来源均为公开报道或公司公告）：

• 2024年5月：谷歌在I/O大会上公布第六代TPU（Trillium），宣称单芯片峰值算力较v5e提升约4.7倍，HBM容量与带宽翻倍。架构细节尚未完全公开，官方博客确认仍采用矩阵乘法单元为核心。（来源：Google Cloud Blog，2024年5月。）
• 2024年3月：英伟达在GTC上发布Blackwell架构B200 GPU，Tensor Core升级至第五代，支持FP4精度，矩阵运算吞吐量较Hopper提升（官方未披露Tensor Core内部微架构细节是否含脉动结构变化）。（来源：NVIDIA GTC 2024 Keynote。）
• 2024年9月：华为在全联接大会上发布昇腾910C芯片及CANN 8.0，910C公开资料显示其达芬奇架构计算核心升级，支持更多混合精度组合。具体脉动阵列尺寸未公开。（来源：华为全联接大会2024公开资料及新闻报道。）
• 2024年全年：寒武纪思元590持续在国产算力项目中推进适配，公开招投标信息显示多省市智算中心有采购意向，但具体交付数据未在定期报告中详列（来源：多地公共资源交易平台公告。未获得寒武纪官方确认的具体出货量）。
• 2025年1月：美国商务部宣布进一步收紧先进计算芯片出口管制规则，对AI加速器的算力密度和互连带宽设置新阈值，影响多款国产AI芯片的海外流片与采购路径（公开报道，多个媒体来源）。

14 跟踪指标

跟踪脉动阵列技术产业化进展，可关注以下指标与信息来源：

技术指标

商业指标

15 信源

以下为本文引用的主要公开信息来源：

• H.T. Kung, C.E. Leiserson, “Systolic arrays (for VLSI),” Sparse Matrix Proceedings 1978, pp. 256–282. —— 脉动阵列概念源头。
• H.T. Kung, “Why Systolic Architectures?” Computer, vol. 15, no. 1, pp. 37–46, 1982. —— 脉动阵列设计哲学阐述。
• Norman P. Jouppi et al., “In-Datacenter Performance Analysis of a Tensor Processing Unit,” ISCA 2017. —— 谷歌TPUv1权威公开数据，含架构、算力、功耗实测。
• NVIDIA, “NVIDIA A100 Tensor Core GPU Architecture,” Whitepaper, 2020. —— Tensor Core架构描述。
• Google Cloud Blog, “Introducing Trillium, our sixth-generation TPU,” May 2024. —— 第六代TPU公布信息。
• Gartner, “Forecast Analysis: AI Semiconductors, Worldwide,” May 2024. —— AI芯片市场规模报告。
• MarketsandMarkets, “AI Chip Market – Global Forecast to 2029,” January 2024. —— AI芯片市场预测。
• 台积电2024年Q2法说会材料，CoWoS产能计划。
• SK海力士2024年Q1财报，HBM产能及出货。
• 华为昇腾技术白皮书（官网公开版本），达芬奇架构概述。
• 寒武纪思元产品规格书（官网公开版本），MLU架构概述。
• MLCommons MLPerf Inference/Training 公开基准测试结果，mlcommons.org。
• 美国商务部工业安全局(BIS)联邦公报，2023年10月及2025年1月出口管制修订文件。

说明：未明确标注年份和来源的具体财务、份额、产能数字为公开资料未见。文中所列第三方市场数据仅供产业背景参考，不构成任何投资依据。本文不含任何荐股、买卖建议或涨跌预测内容。