晶片層 開放閱讀

向量處理

Vector Processing

概念 ID
vector-processing
更新時間
2026-05-29
來源數量
待補

向量處理(Vector Processing)

3 秒看懂

一句話:向量處理是一種「一條指令同時操作一組資料元素」的計算範式,是 SIMD(Single Instruction, Multiple Data)思想的經典硬體實現;從 1976 年 Cray-1 到今天的 GPU warp、ARM SVE、RISC-V V 擴充套件,向量處理一直是高效能運算與 AI 推論/訓練的底層基石。

關鍵詞:向量暫存器、SIMD、資料級並行、記憶體頻寬利用、AI 加速基礎

3 分鐘產業解釋

為什麼向量處理重要?

現代 AI 工作負載的本質是大規模矩陣/張量運算——無論 GPT 的注意力機制還是 ResNet 的卷積層,核心都是重複執行 y = Wx + b 式的乘累加(MAC)。向量處理正是將這類”同構資料×同一操作”高效對映到硬體的範式。

產業位置

上層:AI 架構(PyTorch / JAX / TensorFlow)
  ↓ 運算元編譯
中層:向量化編譯器 / 自動向量化(LLVM auto-vectorization, XLA)
  ↓ 指令對映
底層:向量處理單元(VPU)——GPU SM、CPU SIMD 單元、NPU 向量管線

核心價值

維度標量處理器向量處理器
指令效率1 條指令 → 1 個結果1 條指令 → N 個結果(N = 向量長度)
能效指令取指/譯碼開銷佔比高攤薄指令開銷,能效顯著提升
記憶體頻寬利用連續訪問難以保證天然連續訪存(stride/segment load)
程式設計複雜度中等(需向量化思維或依賴編譯器)

產業意義:在摩爾定律放緩、算力需求爆發的矛盾下,向量處理是”不靠工藝進步也能提升吞吐”的核心手段之一。

15 分鐘專家深入

1. 向量處理的本質:資料級並行(DLP)

Flynn 分類法中,向量處理屬於 SIMD 範式——單條指令在多個數據元素上並行執行。它與以下概念密切相關但不等同:

  • 向量處理器(Vector Processor):專用硬體,擁有向量暫存器檔案、向量功能單元、向量控制邏輯。經典代表:Cray 系列。
  • SIMD 擴充套件指令集:在標量處理器上增加 SIMD 指令。代表:x86 的 SSE→AVX→AVX-512、ARM 的 NEON→SVE/SVE2、RISC-V 的 V 擴充套件。
  • GPU 的 SIMT(Single Instruction Multiple Threads):本質上是 SIMD 的大規模多執行緒化變體,warp/wavefront 內所有執行緒執行同一指令。

三者共享”一條指令驅動多個數據操作”的核心思想,但微架構實現差異巨大。

2. 向量處理器的經典架構

┌─────────────────────────────────────────────┐
│              向量處理器核心                    │
│                                              │
│  ┌──────────┐    ┌─────────────────────┐     │
│  │ 標量單元  │    │     向量暫存器檔案    │     │
│  │(控制流、  │    │ V0 ─┬─ [e0|e1|...|eN-1] │
│  │ 地址計算) │    │ V1 ─┤   ↑ 向量長度=VL    │
│  └────┬─────┘    │ ... │                     │
│       │          │Vk-1─┘                     │
│       │          └─────┬───────────────────┘  │
│       │                │                      │
│       ▼                ▼                      │
│  ┌──────────┐   ┌──────────────────────┐     │
│  │ 向量控制  │   │   向量功能單元陣列     │     │
│  │ ·VL 暫存器│   │ [Lane0][Lane1]...[LaneN-1]│
│  │ ·VM 掩碼  │   │  · 加法流水線          │     │
│  │ ·步長/索引│   │  · 乘法流水線          │     │
│  └──────────┘   │  · FMA 流水線          │     │
│                  └──────────────────────┘     │
│                        │                      │
│                        ▼                      │
│              ┌──────────────────┐             │
│              │   向量 Load/Store │             │
│              │   · Unit-stride   │             │
│              │   · Strided      │             │
│              │   · Indexed/Scatter│            │
│              │   · Segment      │             │
│              └──────────────────┘             │
└─────────────────────────────────────────────┘

關鍵元件說明

元件功能設計要點
向量暫存器(VRF)存放一組資料元素寬度 × 深度決定可用並行度;面積和功耗的主要來源之一
向量長度暫存器(VL)控制本次操作實際處理的元素數支援尾部元素處理(loop strip-mining 的硬體基礎)
向量掩碼暫存器(VM)按元素粒度遮蔽操作實現條件向量操作(if-conversion),避免分支
向量功能單元執行算術/邏輯/移位等操作多 lane 並行,每個 lane 含獨立 ALU/FMA
向量 Load/Store 單元批次資料搬運支援 unit-stride(最高效)、strided、indexed(scatter/gather)訪存模式

3. 為什麼向量處理能加速 AI?

AI 工作負載的核心計算特徵:

for i in range(M):          # 批次樣本 / 輸出通道
  for j in range(N):        # 輸出維度
    for k in range(K):      # 歸約維度
      y[i][j] += W[j][k] * x[i][k]

內層迴圈 K 次乘累加是天然可向量化的——W[j][0:K]x[i][0:K] 各是一個向量,逐元素相乘後求和(reduce)。

現代 AI 晶片的”張量核心”(Tensor Core / Matrix Engine / MXU)本質上是向量處理的二維擴充套件——不再是一個向量×標量的 FMA,而是一個小矩陣×小矩陣的乘法單元,但其資料供給和控制邏輯依然大量依賴向量處理機制。

4. 記憶體層次與頻寬——向量處理的命門

向量計算的算術強度(FLOP/Byte)通常較低,容易受記憶體頻寬限制:

Roofline 模型示意:

計算吞吐 (FLOPS)
  ^
  |        /—————————————— ← 計算瓶頸區(AI 訓練/推論的 GEMM 層)
  |       /
  |      /
  |     /  ← 頻寬瓶頸區(逐元素操作、BatchNorm、啟用函式)
  |    /
  |   /
  +--+-----------------------------> 算術強度 (FLOP/Byte)

   拐點 = 峰值FLOPS / 頻寬

關鍵設計權衡

  • 向量暫存器越寬 → 單指令吞吐越大 → 但對頻寬需求越高
  • 片上 SRAM(scratchpad / L1 cache)越深 → 能隱藏更多延遲 → 但面積/功耗代價大
  • Prefetch / 軟體流水線 → 利用向量操作的長延遲特性隱藏記憶體延遲

這是理解為何 GPU(極寬 SIMD + HBM)和 CPU(較窄 SIMD + 大快取)在不同 AI 負載上表現差異的關鍵。


技術原理(最深)

A. 向量執行模型:Chaining 與 Strip-Mining

Chaining(連結):類似亂序執行中的 forwarding,前一個向量運算的結果直接旁路到下一個向量運算的運算元端,無需先寫回暫存器再讀出。這大幅減少中間結果的暫存器壓力和延遲。

# Chaining 允許以下流水線幾乎無縫銜接:
V1 = V2 * V3     # 乘法,每拍出一個元素結果
V4 = V1 + V5     # 加法,拿到 V1 的第一個結果即可開始

# 無 chaining 時,必須等 V1 全部寫回後才能啟動 V4

Strip-Mining(條帶挖掘):當陣列長度 N >> 向量暫存器長度 VL 時,編譯器/硬體將迴圈分解為多個”條帶”,每個條帶處理 VL 個元素:

// 原始標量迴圈
for (i = 0; i < N; i++)
    C[i] = A[i] + B[i];

// Strip-mined 向量化
for (i = 0; i < N; i += VL) {
    vl = min(VL, N - i);     // 尾部處理
    VA = vload(A + i, vl);
    VB = vload(B + i, vl);
    VC = vadd(VA, VB, vl);
    vstore(C + i, VC, vl);
}

B. 向量訪存模式

訪存模式描述典型場景頻寬利用效率
Unit-stride連續地址,一次發一個 cache line矩陣連續行/列訪問最高
Strided固定步長跳躍訪問轉置矩陣列訪問、多通道交錯儲存中等(大步長時浪費嚴重)
Indexed (Scatter/Gather)每個元素地址由索引向量決定稀疏矩陣、Embedding Lookup最低(依賴 TLB 和 cache 行為)
Segment連續塊中按段打包/解包SIMD-in-register 的結構體陣列(AoS↔SoA)取決於資料版面配置

硬體最佳化

  • Memory Banking:將儲存體(bank)數量 ≥ 向量長度,避免 bank conflict
  • Outstanding Miss Handling:向量 load 一次觸發多個 cache line miss,需要足夠的 MSHR(Miss Status Holding Registers)
  • TLB 壓力:跨頁訪問需要多個 TLB 條目,大頁(Huge Page)是常見緩解手段

C. 向量規約(Reduction)

向量規約是 AI 中最頻繁的操作之一(點積、softmax 歸一化、BatchNorm 均值/方差):

# 水平規約示意(假設 VL=8 的加法規約)
V0 = [a0, a1, a2, a3, a4, a5, a6, a7]
              ↓ vreduce_add (硬體樹形歸約)
scalar_sum = a0+a1+a2+...+a7

硬體實現有兩種主流方案:

  1. 專用水平歸約指令:一條指令完成向量→標量,延遲 O(log VL)(樹形)
  2. 軟體多步歸約:利用 lane 間 shuffle + 加法逐步縮小,靈活性更高但指令數多

D. 向量掩碼與 predication

# 條件向量操作:ReLU(x) = max(0, x)
VM = vgt(Vx, 0.0)        # 比較,生成掩碼 [1,0,1,1,0,...]
Vy = vsel(VM, Vx, 0.0)   # 選擇:掩碼=1 取 Vx,否則取 0

掩碼機制避免了向量化後的分支問題,是向量處理能覆蓋不規則控制流的關鍵。ARM SVE 的謂詞暫存器(Predicate Register)和 RISC-V V 的 v0.t 掩碼都是這一思想的體現。

E. 向量處理 vs. 標量亂序 vs. 張量核心

┌─────────────┬──────────────┬───────────────┬───────────────┐
│   維度       │ 標量 OoO     │ 向量/SIMD     │ 張量核心       │
├─────────────┼──────────────┼───────────────┼───────────────┤
│ 並行粒度     │ 指令級 ILP   │ 資料級 DLP    │ 資料級 DLP²   │
│              │ (幾條/拍)    │ (VL 元素/拍)  │ (小矩陣/拍)   │
├─────────────┼──────────────┼───────────────┼───────────────┤
│ 控制複雜度   │ 高(TLB/ROB/  │ 中等          │ 較低(固定模式) │
│              │ 分支預測)    │               │               │
├─────────────┼──────────────┼───────────────┼───────────────┤
│ 適用模式     │ 通用+不規則  │ 規則資料並行  │ GEMM/卷積     │
├─────────────┼──────────────┼───────────────┼───────────────┤
│ 能效         │ 較低         │ 中高          │ 最高(專用)    │
├─────────────┼──────────────┼───────────────┼───────────────┤
│ 靈活性       │ 最高         │ 高            │ 較低          │
└─────────────┴──────────────┴───────────────┴───────────────┘

:現代 AI 晶片通常是三者混合——標量單元做控制流和地址計算,向量單元做逐元素操作(啟用函式、歸一化、逐元素加),張量核心做矩陣乘法。向量處理是連線兩者的粘合層。


技術演進史

年代里程碑關鍵技術特徵產業影響
1976Cray-1 釋出64 元素×64-bit 向量暫存器;向量連結(chaining);160 MFLOPS定義了向量處理範式,主導超級計算十年
1980s日本向量超算競賽NEC SX 系列、富士通 VP 系列;多向量管道並行與美國 Cray 競爭推動 HPC 發展
1996Intel MMX64-bit SIMD 暫存器(複用 FPU 暫存器),整數多媒體加速SIMD 進入消費級 CPU
1999SSE (Streaming SIMD Extensions)128-bit XMM 暫存器,首次支援單精度浮點 SIMD奠定 x86 SIMD 基礎
2001SIMT 架構出現(GPU 可程式設計化)NVIDIA GeForce 3 引入可程式設計著色器;後演化為 warp 執行模型為 GPGPU 鋪路
2006NVIDIA CUDA + Tesla 架構通用 GPU 計算模型;數千 CUDA 核心 = 大規模 SIMD/SIMTAI/HPC 加速的起點
2011SSE → AVX (256-bit)256-bit YMM 暫存器;VEX 編碼x86 SIMD 寬度翻倍
2011ARM NEON 成為標配128-bit SIMD,移動 SoC 標準組件行動端向量化普及
2015Intel AVX-512512-bit ZMM 暫存器;掩碼暫存器 k0-k7;多種子集擴充套件HPC/AI CPU 推論的重要能力(Knights Landing 首發,2017 年 Skylake-SP 引入至強)
2017NVIDIA Volta + Tensor Core v14×4 FP16 矩陣乘法單元;Volta 架構首次引入AI 訓練速度飛躍
2017ARM SVE (Scalable Vector Extension)可變向量長度 128~2048 bit;謂詞暫存器;First-fault load向量長度無關(VLA)程式設計模型
2019RISC-V V 擴充套件 v0.7(後至 v1.0)VLA 模型;LMUL(暫存器分組);豐富掩碼操作開源 ISA 的向量化標準,推動國產晶片生態
2020sChiplet + HBM + 向量/張量混合NVIDIA H100(Hopper):128 SM,每 SM 含 4th gen Tensor Core + 向量單元;AMD CDNA 3 MI300 系列向量+張量融合成為主流 AI 晶片架構範式
2023+SVE2 廣泛部署(ARM Neoverse V2 等)、RISC-V V 量產資料中心 CPU 向量化能力趨同 GPU 思維推論側 CPU 向量化部署降低 TCO

趨勢總結:向量寬度持續增長 → 向量長度可配置/可擴充套件(VLA) → 向量與張量深度融合 → 向量處理從 HPC 專屬變為所有算力晶片的標配元件。


技術路線對比

當前主流向量/SIMD 實現對比

特性x86 AVX-512ARM SVE2RISC-V V 1.0NVIDIA GPU (SIMT)
向量寬度固定 512 bit可變 128~2048 bit(硬體選配置)可變,執行時可設(VLEN 硬體上限)warp 32 執行緒 × 32 bit = 1024 bit/warp [估算]
程式設計模型固定寬度 SIMDVLA(向量長度無關)VLASIMT(warp 級鎖步)
掩碼機制8 個 k 暫存器(64-bit)16 個謂詞暫存器(1 bit/元素)v0 暫存器作謂詞 + 隱式掩碼活躍掩碼(per-thread)
規約支援水平 add/min/max 指令豐富規約指令vredsum 等指令 + vwredsumwarp shuffle + shared memory
FMA 吞吐(代表型號)Intel Sapphire Rapids:~2 TFLOPS FP32(AVX-512 單 socket)[估算]Neoverse V2:依賴具體實現依賴具體 SoC 實現H100 SXM:~67 TFLOPS FP32(全晶片)[NVIDIA 官方]
AI 特化AMX(矩陣 tile 加速,獨立於 AVX-512)SME(Scalable Matrix Extension)[ARM 2022+]矩陣擴充套件提案中Tensor Core(第4代):FP8/FP16/BF16/TF32/INT8 矩陣乘
生態成熟度★★★★★★★★★(資料中心快速滲透)★★★(生態仍在完善)★★★★★(AI 最成熟)
適用場景CPU 端 AI 推論、科學計算雲端伺服器 CPU、手機 SoC嵌入式 AI、邊緣推論、國產替代AI 訓練/大規模推論、HPC

:以上資料中,NVIDIA H100 的 TFLOPS 來自 NVIDIA 官方規格;CPU 的 TFLOPS 數字為理論峰值估算(=核心數×頻率×SIMD寬度×FMA),實際依賴工作負載和功耗牆。


上下游

上游:向量處理的基礎設施

環節關鍵要素代表廠商/技術
指令集架構(ISA)向量擴充套件定義ARM(SVE2/SME)、RISC-V International(V ext)、x86(Intel/AMD AVX-512)
EDA 工具向量單元綜合/驗證Synopsys、Cadence、Siemens EDA
硬體 IP向量處理單元 IP 核SiFive(RISC-V V)、Arm(Neoverse CSS)
編譯器自動向量化LLVM/Clang、GCC、Intel oneAPI (icx)
製造工藝先進製程(影響頻率和功耗)台積電、三星、Intel(Intel 4/3/18A)

中游:向量處理的載體

載體向量處理角色代表產品
資料中心 CPU向量單元做推論前/後處理、中小規模推論Intel Xeon(Sapphire Rapids/Emerald Rapids)、AMD EPYC(Genoa/Turin)、AWS Graviton(Neoverse V2)
資料中心 GPU/AI 加速器向量單元做逐元素 op,張量核心做 GEMMNVIDIA H100/B100/B200、AMD MI300X、Intel Gaudi
移動 SoCNEON/SVE 做端側推論Apple A/M 系列(AMX 擴充套件)、高通 Snapdragon、聯發科 Dimensity
專用 AI 晶片(NPU/TPU)內含向量管線做非 GEMM 操作Google TPU v5、寒武紀 MLU、地平線 BPU

下游:受益應用

應用領域向量處理支撐的具體操作
大語言模型推論Softmax、LayerNorm、RoPE 位置編碼、Top-K/Top-P 取樣——這些是逐元素/規約操作,依賴向量單元
影像/影片處理啟用函式(GELU/SiLU)、逐元素加/乘、Resize、Color Space 轉換
推薦系統Embedding table lookup(scatter 訪存)、特徵交叉的逐元素操作
科學計算N-body 模擬、CFD、分子動力學中的向量運算
訊號處理FFT、卷積、濾波——經典向量化工作負載

關鍵指標

衡量向量處理能力的核心引數

指標定義為什麼重要
向量暫存器寬度(VLEN)單個向量暫存器的位寬決定單指令可並行處理的資料量
向量暫存器數量架構可見的向量暫存器個數決定暫存器壓力和迴圈展開深度
SIMD Lane 數功能單元中的並行執行通道數可能 ≠ VLEN/element_width(lane 數可能更少,多拍完成)
向量 FMA 吞吐每週期可完成的向量乘累加次數直接決定峰值 FLOPS
向量 Load/Store 頻寬每週期可讀寫的資料位元組數決定是否受頻寬瓶頸限制
向量啟動延遲(Startup Latency)向量指令從發射到第一個結果產出的時鐘週期影響短向量的效率(若 VL < 啟動延遲,則浪費)
Chaining 支援是否允許相鄰向量指令間資料旁路嚴重影響流水線效率
Mask/Predicate 效率掩碼操作的額外開銷影響不規則計算的效率

AI 晶片中向量處理的關鍵比例

向量單元貢獻算力佔比(典型 AI 推論)[定性估算]:

  Transformer 推論(LLM):
    ├── 矩陣乘法(Attention QKV、FFN): ~85-95% FLOPS → 張量核心
    ├── 逐元素操作(Norm、啟用、殘差): ~3-10% FLOPS → 向量單元
    └── 規約(Softmax、LayerNorm)    : ~2-5% FLOPS → 向量單元

  CNN 推論:
    ├── 卷積/GEMM: ~90%+ FLOPS → 張量核心/向量 MAC
    └── BN/啟用/池化: ~5-10% → 向量單元

關鍵洞察:雖然向量操作的 FLOPS 佔比低,但它們往往是延遲關鍵路徑——因為張量核心有極高的吞吐,而向量操作種類多、資料依賴複雜,容易成為瓶頸。這就是為什麼優秀的 AI 晶片不只需要大的張量核心,還需要高效的向量單元。


供需與市場資料

定性市場格局

注意:以下市場資料為定性趨勢描述,無具體數字源,不編造精確資料。

供給側

  • CPU 向量化能力持續增強:Intel 和 AMD 的最新伺服器 CPU 均配備 AVX-512(或等效),ARM 陣營的 Neoverse V2(SVE2 256-bit)在雲端例項中快速滲透(AWS Graviton4 等)。
  • RISC-V V 生態加速:SiFive、阿里平頭哥(玄鐵 C920)、Andes 等均已推出支援 V 擴充套件的 IP/晶片,嵌入式/邊緣 AI 是主要切入點。
  • GPU 向量/張量融合:NVIDIA 每一代 GPU 的 Tensor Core 能力增強,但每 SM 的向量 FP32 吞吐保持甚至增長——說明向量處理不會被張量核心替代,而是互補。

需求側

  • AI 推論的”長尾”操作:LLM 推論中 Softmax、LayerNorm、取樣等操作佔推論延遲的非平凡比例(尤其在小 batch/互動場景下),這些操作需要向量處理能力而非張量核心。
  • 端側 AI 爆發:手機/汽車/IoT 端側 AI 對功耗敏感,NEON/SVE 等向量化能力是端側 NPU 的重要補充。
  • 綠色計算:向量化提升能效(同等 FLOPS 下減少指令數→減少取指/譯碼能耗),符合資料中心 PUE 最佳化趨勢。

代表公司與資本對映

向量處理產業鏈關鍵玩家

環節公司向量處理相關業務上市/投資標的
ISA 授權ARMSVE2/SME 指令集、Neoverse IPARM (NASDAQ: ARM)
ISA 社群RISC-V InternationalV 擴充套件標準制定非上市;關聯廠商眾多
CPU 晶片IntelXeon(AVX-512 + AMX)、Clearwater ForestINTC (NASDAQ)
CPU 晶片AMDEPYC(AVX-512)、MI300 系列AMD (NASDAQ)
CPU/定製晶片Ampere ComputingAmpereOne(ARM,128+核,SVE2)非上市(曾傳 IPO)
雲端廠商自研AWSGraviton4(Neoverse V2,SVE2 256-bit)AMZN 間接
GPU/AI 晶片NVIDIAH100/B200(向量單元 + Tensor Core)NVDA (NASDAQ)
GPU/AI 晶片AMDMI300X/MI300A(CDNA 3 向量+矩陣引擎)AMD (NASDAQ)
RISC-V 晶片SiFiveP870(高效能 RISC-V,V 擴充套件)非上市
RISC-V IP/晶片阿里平頭哥玄鐵 C920(RISC-V V 擴充套件)阿里巴巴 (BABA/9988.HK) 間接
編譯器/工具LLVM 社群自動向量化後端開源;Intel/ARM/Google 等貢獻
EDASynopsys / Cadence向量單元設計驗證工具鏈SNPS / CDNS (NASDAQ)

投資邏輯

核心投資主題

1. “向量能力=AI 推論效率的隱性瓶頸”

  • 張量核心的 FLOPS 已經足夠高(H100 ~2000 TOPS INT8),但實際推論吞吐受限於”非矩陣”操作的處理速度
  • 具備強向量處理能力的處理器(如 SVE2 CPU、向量單元最佳化的 GPU)在推論場景中 TCO 更優
  • 受益:ARM(SVE2/SME 生態擴充套件)、Ampere(高密度 ARM CPU)、AMD(MI300 向量+矩陣融合)

2. RISC-V V 生態的”寒武紀時刻”

  • RISC-V V 1.0 標準凍結 + 中國半導體國產化需求 → 嵌入式/邊緣 AI 晶片快速採用
  • 帶動 RISC-V IP 授權、工具鏈、作業系統適配等上下游
  • 受益:SiFive、平頭哥、芯來科技、賽昉科技等(多為非上市/一級市場)

3. CPU 重估——向量化讓 CPU 變回”AI 推論利器”

  • 對於 batch=1 的互動式 LLM 推論,CPU 的向量化能力使其與 GPU 的差距縮小
  • 雲端廠商傾向用 CPU 推論降低小規模部署的 TCO
  • 受益:Intel(Xeon)、AMD(EPYC)、Ampere、AWS Graviton

4. 編譯器/工具鏈是”賣鏟子”機會

  • 自動向量化編譯器的成熟度直接決定硬體向量能力的利用率
  • AI 編譯器(TVM、XLA、Triton)中的向量化最佳化是核心競爭力
  • 受益:開源社群主導,商業化路徑需關注編譯器即服務(CaaS)模式

常見誤讀糾偏

❌ 誤讀一:“向量處理是過時技術,已被 GPU/Tensor Core 取代”

糾偏

  • 向量處理不是某個具體產品,而是一種計算範式。GPU 的 SIMT 本質上就是向量處理
source: 公開揭露與公開資料整理 本頁僅用於產業鏈學習、資訊檢索和研究輔助;不構成投資建議,不預測漲跌,不提供買賣、部位或目標價建議。
完整概念頁 複盤 13 節結構 公司投研頁 沿產業鏈找到受益公司 投資課 把概念轉成可跟蹤模型