向量处理（Vector Processing）

3 秒看懂

一句话：向量处理是一种「一条指令同时操作一组数据元素」的计算范式，是 SIMD（Single Instruction, Multiple Data）思想的经典硬件实现；从 1976 年 Cray-1 到今天的 GPU warp、ARM SVE、RISC-V V 扩展，向量处理一直是高性能计算与 AI 推理/训练的底层基石。

关键词：向量寄存器、SIMD、数据级并行、内存带宽利用、AI 加速基础

3 分钟产业解释

为什么向量处理重要？

现代 AI 工作负载的本质是大规模矩阵/张量运算——无论 GPT 的注意力机制还是 ResNet 的卷积层，核心都是重复执行 y = Wx + b 式的乘累加（MAC）。向量处理正是将这类”同构数据×同一操作”高效映射到硬件的范式。

产业位置

上层：AI 框架（PyTorch / JAX / TensorFlow）
  ↓ 算子编译
中层：向量化编译器 / 自动向量化（LLVM auto-vectorization, XLA）
  ↓ 指令映射
底层：向量处理单元（VPU）——GPU SM、CPU SIMD 单元、NPU 向量管线

核心价值

产业意义：在摩尔定律放缓、算力需求爆发的矛盾下，向量处理是”不靠工艺进步也能提升吞吐”的核心手段之一。

15 分钟专家深入

1. 向量处理的本质：数据级并行（DLP）

Flynn 分类法中，向量处理属于 SIMD 范式——单条指令在多个数据元素上并行执行。它与以下概念密切相关但不等同：

• 向量处理器（Vector Processor）：专用硬件，拥有向量寄存器文件、向量功能单元、向量控制逻辑。经典代表：Cray 系列。
• SIMD 扩展指令集：在标量处理器上增加 SIMD 指令。代表：x86 的 SSE→AVX→AVX-512、ARM 的 NEON→SVE/SVE2、RISC-V 的 V 扩展。
• GPU 的 SIMT（Single Instruction Multiple Threads）：本质上是 SIMD 的大规模多线程化变体，warp/wavefront 内所有线程执行同一指令。

三者共享”一条指令驱动多个数据操作”的核心思想，但微架构实现差异巨大。

2. 向量处理器的经典架构

┌─────────────────────────────────────────────┐
│              向量处理器核心                    │
│                                              │
│  ┌──────────┐    ┌─────────────────────┐     │
│  │ 标量单元  │    │     向量寄存器文件    │     │
│  │(控制流、  │    │ V0 ─┬─ [e0|e1|...|eN-1] │
│  │ 地址计算) │    │ V1 ─┤   ↑ 向量长度=VL    │
│  └────┬─────┘    │ ... │                     │
│       │          │Vk-1─┘                     │
│       │          └─────┬───────────────────┘  │
│       │                │                      │
│       ▼                ▼                      │
│  ┌──────────┐   ┌──────────────────────┐     │
│  │ 向量控制  │   │   向量功能单元阵列     │     │
│  │ ·VL 寄存器│   │ [Lane0][Lane1]...[LaneN-1]│
│  │ ·VM 掩码  │   │  · 加法流水线          │     │
│  │ ·步长/索引│   │  · 乘法流水线          │     │
│  └──────────┘   │  · FMA 流水线          │     │
│                  └──────────────────────┘     │
│                        │                      │
│                        ▼                      │
│              ┌──────────────────┐             │
│              │   向量 Load/Store │             │
│              │   · Unit-stride   │             │
│              │   · Strided      │             │
│              │   · Indexed/Scatter│            │
│              │   · Segment      │             │
│              └──────────────────┘             │
└─────────────────────────────────────────────┘

关键组件说明：

3. 为什么向量处理能加速 AI？

AI 工作负载的核心计算特征：

for i in range(M):          # 批量样本 / 输出通道
  for j in range(N):        # 输出维度
    for k in range(K):      # 归约维度
      y[i][j] += W[j][k] * x[i][k]

内层循环 K 次乘累加是天然可向量化的——W[j][0:K] 和 x[i][0:K] 各是一个向量，逐元素相乘后求和（reduce）。

现代 AI 芯片的”张量核心”（Tensor Core / Matrix Engine / MXU）本质上是向量处理的二维扩展——不再是一个向量×标量的 FMA，而是一个小矩阵×小矩阵的乘法单元，但其数据供给和控制逻辑依然大量依赖向量处理机制。

4. 内存层次与带宽——向量处理的命门

向量计算的算术强度（FLOP/Byte）通常较低，容易受内存带宽限制：

Roofline 模型示意：

计算吞吐 (FLOPS)
  ^
  |        /—————————————— ← 计算瓶颈区（AI 训练/推理的 GEMM 层）
  |       /
  |      /
  |     /  ← 带宽瓶颈区（逐元素操作、BatchNorm、激活函数）
  |    /
  |   /
  +--+-----------------------------> 算术强度 (FLOP/Byte)
     ↑
   拐点 = 峰值FLOPS / 带宽

关键设计权衡：

• 向量寄存器越宽 → 单指令吞吐越大 → 但对带宽需求越高
• 片上 SRAM（scratchpad / L1 cache）越深 → 能隐藏更多延迟 → 但面积/功耗代价大
• Prefetch / 软件流水线 → 利用向量操作的长延迟特性隐藏内存延迟

这是理解为何 GPU（极宽 SIMD + HBM）和 CPU（较窄 SIMD + 大缓存）在不同 AI 负载上表现差异的关键。

技术原理（最深）

A. 向量执行模型：Chaining 与 Strip-Mining

Chaining（链接）：类似乱序执行中的 forwarding，前一个向量运算的结果直接旁路到下一个向量运算的操作数端，无需先写回寄存器再读出。这大幅减少中间结果的寄存器压力和延迟。

# Chaining 允许以下流水线几乎无缝衔接：
V1 = V2 * V3     # 乘法，每拍出一个元素结果
V4 = V1 + V5     # 加法，拿到 V1 的第一个结果即可开始

# 无 chaining 时，必须等 V1 全部写回后才能启动 V4

Strip-Mining（条带挖掘）：当数组长度 N >> 向量寄存器长度 VL 时，编译器/硬件将循环分解为多个”条带”，每个条带处理 VL 个元素：

// 原始标量循环
for (i = 0; i < N; i++)
    C[i] = A[i] + B[i];

// Strip-mined 向量化
for (i = 0; i < N; i += VL) {
    vl = min(VL, N - i);     // 尾部处理
    VA = vload(A + i, vl);
    VB = vload(B + i, vl);
    VC = vadd(VA, VB, vl);
    vstore(C + i, VC, vl);
}

B. 向量访存模式

硬件优化：

• Memory Banking：将存储体（bank）数量 ≥ 向量长度，避免 bank conflict
• Outstanding Miss Handling：向量 load 一次触发多个 cache line miss，需要足够的 MSHR（Miss Status Holding Registers）
• TLB 压力：跨页访问需要多个 TLB 条目，大页（Huge Page）是常见缓解手段

C. 向量规约（Reduction）

向量规约是 AI 中最频繁的操作之一（点积、softmax 归一化、BatchNorm 均值/方差）：

# 水平规约示意（假设 VL=8 的加法规约）
V0 = [a0, a1, a2, a3, a4, a5, a6, a7]
              ↓ vreduce_add (硬件树形归约)
scalar_sum = a0+a1+a2+...+a7

硬件实现有两种主流方案：

1. 专用水平归约指令：一条指令完成向量→标量，延迟 O(log VL)（树形）
2. 软件多步归约：利用 lane 间 shuffle + 加法逐步缩小，灵活性更高但指令数多

D. 向量掩码与 predication

# 条件向量操作：ReLU(x) = max(0, x)
VM = vgt(Vx, 0.0)        # 比较，生成掩码 [1,0,1,1,0,...]
Vy = vsel(VM, Vx, 0.0)   # 选择：掩码=1 取 Vx，否则取 0

掩码机制避免了向量化后的分支问题，是向量处理能覆盖不规则控制流的关键。ARM SVE 的谓词寄存器（Predicate Register）和 RISC-V V 的 v0.t 掩码都是这一思想的体现。

E. 向量处理 vs. 标量乱序 vs. 张量核心

┌─────────────┬──────────────┬───────────────┬───────────────┐
│   维度       │ 标量 OoO     │ 向量/SIMD     │ 张量核心       │
├─────────────┼──────────────┼───────────────┼───────────────┤
│ 并行粒度     │ 指令级 ILP   │ 数据级 DLP    │ 数据级 DLP²   │
│              │ (几条/拍)    │ (VL 元素/拍)  │ (小矩阵/拍)   │
├─────────────┼──────────────┼───────────────┼───────────────┤
│ 控制复杂度   │ 高(TLB/ROB/  │ 中等          │ 较低(固定模式) │
│              │ 分支预测)    │               │               │
├─────────────┼──────────────┼───────────────┼───────────────┤
│ 适用模式     │ 通用+不规则  │ 规则数据并行  │ GEMM/卷积     │
├─────────────┼──────────────┼───────────────┼───────────────┤
│ 能效         │ 较低         │ 中高          │ 最高(专用)    │
├─────────────┼──────────────┼───────────────┼───────────────┤
│ 灵活性       │ 最高         │ 高            │ 较低          │
└─────────────┴──────────────┴───────────────┴───────────────┘

注：现代 AI 芯片通常是三者混合——标量单元做控制流和地址计算，向量单元做逐元素操作（激活函数、归一化、逐元素加），张量核心做矩阵乘法。向量处理是连接两者的粘合层。

技术演进史

趋势总结：向量宽度持续增长 → 向量长度可配置/可扩展（VLA） → 向量与张量深度融合 → 向量处理从 HPC 专属变为所有算力芯片的标配组件。

技术路线对比

当前主流向量/SIMD 实现对比

注：以上数据中，NVIDIA H100 的 TFLOPS 来自 NVIDIA 官方规格；CPU 的 TFLOPS 数字为理论峰值估算（=核心数×频率×SIMD宽度×FMA），实际依赖工作负载和功耗墙。

上下游

上游：向量处理的基础设施

中游：向量处理的载体

下游：受益应用

关键指标

衡量向量处理能力的核心参数

AI 芯片中向量处理的关键比例

向量单元贡献算力占比（典型 AI 推理）[定性估算]:

  Transformer 推理（LLM）:
    ├── 矩阵乘法（Attention QKV、FFN）: ~85-95% FLOPS → 张量核心
    ├── 逐元素操作（Norm、激活、残差）: ~3-10% FLOPS → 向量单元
    └── 规约（Softmax、LayerNorm）    : ~2-5% FLOPS → 向量单元

  CNN 推理:
    ├── 卷积/GEMM: ~90%+ FLOPS → 张量核心/向量 MAC
    └── BN/激活/池化: ~5-10% → 向量单元

关键洞察：虽然向量操作的 FLOPS 占比低，但它们往往是延迟关键路径——因为张量核心有极高的吞吐，而向量操作种类多、数据依赖复杂，容易成为瓶颈。这就是为什么优秀的 AI 芯片不只需要大的张量核心，还需要高效的向量单元。

供需与市场数据

定性市场格局

注意：以下市场数据为定性趋势描述，无具体数字源，不编造精确数据。

供给侧：

• CPU 向量化能力持续增强：Intel 和 AMD 的最新服务器 CPU 均配备 AVX-512（或等效），ARM 阵营的 Neoverse V2（SVE2 256-bit）在云实例中快速渗透（AWS Graviton4 等）。
• RISC-V V 生态加速：SiFive、阿里平头哥（玄铁 C920）、Andes 等均已推出支持 V 扩展的 IP/芯片，嵌入式/边缘 AI 是主要切入点。
• GPU 向量/张量融合：NVIDIA 每一代 GPU 的 Tensor Core 能力增强，但每 SM 的向量 FP32 吞吐保持甚至增长——说明向量处理不会被张量核心替代，而是互补。

需求侧：

• AI 推理的”长尾”操作：LLM 推理中 Softmax、LayerNorm、采样等操作占推理延迟的非平凡比例（尤其在小 batch/交互场景下），这些操作需要向量处理能力而非张量核心。
• 端侧 AI 爆发：手机/汽车/IoT 端侧 AI 对功耗敏感，NEON/SVE 等向量化能力是端侧 NPU 的重要补充。
• 绿色计算：向量化提升能效（同等 FLOPS 下减少指令数→减少取指/译码能耗），符合数据中心 PUE 优化趋势。

代表公司与资本映射

向量处理产业链关键玩家

投资逻辑

核心投资主题

1. “向量能力=AI 推理效率的隐性瓶颈”

• 张量核心的 FLOPS 已经足够高（H100 ~2000 TOPS INT8），但实际推理吞吐受限于”非矩阵”操作的处理速度
• 具备强向量处理能力的处理器（如 SVE2 CPU、向量单元优化的 GPU）在推理场景中 TCO 更优
• 受益：ARM（SVE2/SME 生态扩展）、Ampere（高密度 ARM CPU）、AMD（MI300 向量+矩阵融合）

2. RISC-V V 生态的”寒武纪时刻”

• RISC-V V 1.0 标准冻结 + 中国半导体国产化需求 → 嵌入式/边缘 AI 芯片快速采用
• 带动 RISC-V IP 授权、工具链、操作系统适配等上下游
• 受益：SiFive、平头哥、芯来科技、赛昉科技等（多为非上市/一级市场）

3. CPU 重估——向量化让 CPU 变回”AI 推理利器”

• 对于 batch=1 的交互式 LLM 推理，CPU 的向量化能力使其与 GPU 的差距缩小
• 云厂商倾向用 CPU 推理降低小规模部署的 TCO
• 受益：Intel（Xeon）、AMD（EPYC）、Ampere、AWS Graviton

4. 编译器/工具链是”卖铲子”机会

• 自动向量化编译器的成熟度直接决定硬件向量能力的利用率
• AI 编译器（TVM、XLA、Triton）中的向量化优化是核心竞争力
• 受益：开源社区主导，商业化路径需关注编译器即服务（CaaS）模式

常见误读纠偏

❌ 误读一：“向量处理是过时技术，已被 GPU/Tensor Core 取代”

纠偏：

• 向量处理不是某个具体产品，而是一种计算范式。GPU 的 SIMT 本质上就是向量处理