向量處理(Vector Processing)
3 秒看懂
一句話:向量處理是一種「一條指令同時操作一組資料元素」的計算範式,是 SIMD(Single Instruction, Multiple Data)思想的經典硬體實現;從 1976 年 Cray-1 到今天的 GPU warp、ARM SVE、RISC-V V 擴充套件,向量處理一直是高效能運算與 AI 推論/訓練的底層基石。
關鍵詞:向量暫存器、SIMD、資料級並行、記憶體頻寬利用、AI 加速基礎
3 分鐘產業解釋
為什麼向量處理重要?
現代 AI 工作負載的本質是大規模矩陣/張量運算——無論 GPT 的注意力機制還是 ResNet 的卷積層,核心都是重複執行 y = Wx + b 式的乘累加(MAC)。向量處理正是將這類”同構資料×同一操作”高效對映到硬體的範式。
產業位置
上層:AI 架構(PyTorch / JAX / TensorFlow)
↓ 運算元編譯
中層:向量化編譯器 / 自動向量化(LLVM auto-vectorization, XLA)
↓ 指令對映
底層:向量處理單元(VPU)——GPU SM、CPU SIMD 單元、NPU 向量管線
核心價值
| 維度 | 標量處理器 | 向量處理器 |
|---|---|---|
| 指令效率 | 1 條指令 → 1 個結果 | 1 條指令 → N 個結果(N = 向量長度) |
| 能效 | 指令取指/譯碼開銷佔比高 | 攤薄指令開銷,能效顯著提升 |
| 記憶體頻寬利用 | 連續訪問難以保證 | 天然連續訪存(stride/segment load) |
| 程式設計複雜度 | 低 | 中等(需向量化思維或依賴編譯器) |
產業意義:在摩爾定律放緩、算力需求爆發的矛盾下,向量處理是”不靠工藝進步也能提升吞吐”的核心手段之一。
15 分鐘專家深入
1. 向量處理的本質:資料級並行(DLP)
Flynn 分類法中,向量處理屬於 SIMD 範式——單條指令在多個數據元素上並行執行。它與以下概念密切相關但不等同:
- 向量處理器(Vector Processor):專用硬體,擁有向量暫存器檔案、向量功能單元、向量控制邏輯。經典代表:Cray 系列。
- SIMD 擴充套件指令集:在標量處理器上增加 SIMD 指令。代表:x86 的 SSE→AVX→AVX-512、ARM 的 NEON→SVE/SVE2、RISC-V 的 V 擴充套件。
- GPU 的 SIMT(Single Instruction Multiple Threads):本質上是 SIMD 的大規模多執行緒化變體,warp/wavefront 內所有執行緒執行同一指令。
三者共享”一條指令驅動多個數據操作”的核心思想,但微架構實現差異巨大。
2. 向量處理器的經典架構
┌─────────────────────────────────────────────┐
│ 向量處理器核心 │
│ │
│ ┌──────────┐ ┌─────────────────────┐ │
│ │ 標量單元 │ │ 向量暫存器檔案 │ │
│ │(控制流、 │ │ V0 ─┬─ [e0|e1|...|eN-1] │
│ │ 地址計算) │ │ V1 ─┤ ↑ 向量長度=VL │
│ └────┬─────┘ │ ... │ │
│ │ │Vk-1─┘ │
│ │ └─────┬───────────────────┘ │
│ │ │ │
│ ▼ ▼ │
│ ┌──────────┐ ┌──────────────────────┐ │
│ │ 向量控制 │ │ 向量功能單元陣列 │ │
│ │ ·VL 暫存器│ │ [Lane0][Lane1]...[LaneN-1]│
│ │ ·VM 掩碼 │ │ · 加法流水線 │ │
│ │ ·步長/索引│ │ · 乘法流水線 │ │
│ └──────────┘ │ · FMA 流水線 │ │
│ └──────────────────────┘ │
│ │ │
│ ▼ │
│ ┌──────────────────┐ │
│ │ 向量 Load/Store │ │
│ │ · Unit-stride │ │
│ │ · Strided │ │
│ │ · Indexed/Scatter│ │
│ │ · Segment │ │
│ └──────────────────┘ │
└─────────────────────────────────────────────┘
關鍵元件說明:
| 元件 | 功能 | 設計要點 |
|---|---|---|
| 向量暫存器(VRF) | 存放一組資料元素 | 寬度 × 深度決定可用並行度;面積和功耗的主要來源之一 |
| 向量長度暫存器(VL) | 控制本次操作實際處理的元素數 | 支援尾部元素處理(loop strip-mining 的硬體基礎) |
| 向量掩碼暫存器(VM) | 按元素粒度遮蔽操作 | 實現條件向量操作(if-conversion),避免分支 |
| 向量功能單元 | 執行算術/邏輯/移位等操作 | 多 lane 並行,每個 lane 含獨立 ALU/FMA |
| 向量 Load/Store 單元 | 批次資料搬運 | 支援 unit-stride(最高效)、strided、indexed(scatter/gather)訪存模式 |
3. 為什麼向量處理能加速 AI?
AI 工作負載的核心計算特徵:
for i in range(M): # 批次樣本 / 輸出通道
for j in range(N): # 輸出維度
for k in range(K): # 歸約維度
y[i][j] += W[j][k] * x[i][k]
內層迴圈 K 次乘累加是天然可向量化的——W[j][0:K] 和 x[i][0:K] 各是一個向量,逐元素相乘後求和(reduce)。
現代 AI 晶片的”張量核心”(Tensor Core / Matrix Engine / MXU)本質上是向量處理的二維擴充套件——不再是一個向量×標量的 FMA,而是一個小矩陣×小矩陣的乘法單元,但其資料供給和控制邏輯依然大量依賴向量處理機制。
4. 記憶體層次與頻寬——向量處理的命門
向量計算的算術強度(FLOP/Byte)通常較低,容易受記憶體頻寬限制:
Roofline 模型示意:
計算吞吐 (FLOPS)
^
| /—————————————— ← 計算瓶頸區(AI 訓練/推論的 GEMM 層)
| /
| /
| / ← 頻寬瓶頸區(逐元素操作、BatchNorm、啟用函式)
| /
| /
+--+-----------------------------> 算術強度 (FLOP/Byte)
↑
拐點 = 峰值FLOPS / 頻寬
關鍵設計權衡:
- 向量暫存器越寬 → 單指令吞吐越大 → 但對頻寬需求越高
- 片上 SRAM(scratchpad / L1 cache)越深 → 能隱藏更多延遲 → 但面積/功耗代價大
- Prefetch / 軟體流水線 → 利用向量操作的長延遲特性隱藏記憶體延遲
這是理解為何 GPU(極寬 SIMD + HBM)和 CPU(較窄 SIMD + 大快取)在不同 AI 負載上表現差異的關鍵。
技術原理(最深)
A. 向量執行模型:Chaining 與 Strip-Mining
Chaining(連結):類似亂序執行中的 forwarding,前一個向量運算的結果直接旁路到下一個向量運算的運算元端,無需先寫回暫存器再讀出。這大幅減少中間結果的暫存器壓力和延遲。
# Chaining 允許以下流水線幾乎無縫銜接:
V1 = V2 * V3 # 乘法,每拍出一個元素結果
V4 = V1 + V5 # 加法,拿到 V1 的第一個結果即可開始
# 無 chaining 時,必須等 V1 全部寫回後才能啟動 V4
Strip-Mining(條帶挖掘):當陣列長度 N >> 向量暫存器長度 VL 時,編譯器/硬體將迴圈分解為多個”條帶”,每個條帶處理 VL 個元素:
// 原始標量迴圈
for (i = 0; i < N; i++)
C[i] = A[i] + B[i];
// Strip-mined 向量化
for (i = 0; i < N; i += VL) {
vl = min(VL, N - i); // 尾部處理
VA = vload(A + i, vl);
VB = vload(B + i, vl);
VC = vadd(VA, VB, vl);
vstore(C + i, VC, vl);
}
B. 向量訪存模式
| 訪存模式 | 描述 | 典型場景 | 頻寬利用效率 |
|---|---|---|---|
| Unit-stride | 連續地址,一次發一個 cache line | 矩陣連續行/列訪問 | 最高 |
| Strided | 固定步長跳躍訪問 | 轉置矩陣列訪問、多通道交錯儲存 | 中等(大步長時浪費嚴重) |
| Indexed (Scatter/Gather) | 每個元素地址由索引向量決定 | 稀疏矩陣、Embedding Lookup | 最低(依賴 TLB 和 cache 行為) |
| Segment | 連續塊中按段打包/解包 | SIMD-in-register 的結構體陣列(AoS↔SoA) | 取決於資料版面配置 |
硬體最佳化:
- Memory Banking:將儲存體(bank)數量 ≥ 向量長度,避免 bank conflict
- Outstanding Miss Handling:向量 load 一次觸發多個 cache line miss,需要足夠的 MSHR(Miss Status Holding Registers)
- TLB 壓力:跨頁訪問需要多個 TLB 條目,大頁(Huge Page)是常見緩解手段
C. 向量規約(Reduction)
向量規約是 AI 中最頻繁的操作之一(點積、softmax 歸一化、BatchNorm 均值/方差):
# 水平規約示意(假設 VL=8 的加法規約)
V0 = [a0, a1, a2, a3, a4, a5, a6, a7]
↓ vreduce_add (硬體樹形歸約)
scalar_sum = a0+a1+a2+...+a7
硬體實現有兩種主流方案:
- 專用水平歸約指令:一條指令完成向量→標量,延遲 O(log VL)(樹形)
- 軟體多步歸約:利用 lane 間 shuffle + 加法逐步縮小,靈活性更高但指令數多
D. 向量掩碼與 predication
# 條件向量操作:ReLU(x) = max(0, x)
VM = vgt(Vx, 0.0) # 比較,生成掩碼 [1,0,1,1,0,...]
Vy = vsel(VM, Vx, 0.0) # 選擇:掩碼=1 取 Vx,否則取 0
掩碼機制避免了向量化後的分支問題,是向量處理能覆蓋不規則控制流的關鍵。ARM SVE 的謂詞暫存器(Predicate Register)和 RISC-V V 的 v0.t 掩碼都是這一思想的體現。
E. 向量處理 vs. 標量亂序 vs. 張量核心
┌─────────────┬──────────────┬───────────────┬───────────────┐
│ 維度 │ 標量 OoO │ 向量/SIMD │ 張量核心 │
├─────────────┼──────────────┼───────────────┼───────────────┤
│ 並行粒度 │ 指令級 ILP │ 資料級 DLP │ 資料級 DLP² │
│ │ (幾條/拍) │ (VL 元素/拍) │ (小矩陣/拍) │
├─────────────┼──────────────┼───────────────┼───────────────┤
│ 控制複雜度 │ 高(TLB/ROB/ │ 中等 │ 較低(固定模式) │
│ │ 分支預測) │ │ │
├─────────────┼──────────────┼───────────────┼───────────────┤
│ 適用模式 │ 通用+不規則 │ 規則資料並行 │ GEMM/卷積 │
├─────────────┼──────────────┼───────────────┼───────────────┤
│ 能效 │ 較低 │ 中高 │ 最高(專用) │
├─────────────┼──────────────┼───────────────┼───────────────┤
│ 靈活性 │ 最高 │ 高 │ 較低 │
└─────────────┴──────────────┴───────────────┴───────────────┘
注:現代 AI 晶片通常是三者混合——標量單元做控制流和地址計算,向量單元做逐元素操作(啟用函式、歸一化、逐元素加),張量核心做矩陣乘法。向量處理是連線兩者的粘合層。
技術演進史
| 年代 | 里程碑 | 關鍵技術特徵 | 產業影響 |
|---|---|---|---|
| 1976 | Cray-1 釋出 | 64 元素×64-bit 向量暫存器;向量連結(chaining);160 MFLOPS | 定義了向量處理範式,主導超級計算十年 |
| 1980s | 日本向量超算競賽 | NEC SX 系列、富士通 VP 系列;多向量管道並行 | 與美國 Cray 競爭推動 HPC 發展 |
| 1996 | Intel MMX | 64-bit SIMD 暫存器(複用 FPU 暫存器),整數多媒體加速 | SIMD 進入消費級 CPU |
| 1999 | SSE (Streaming SIMD Extensions) | 128-bit XMM 暫存器,首次支援單精度浮點 SIMD | 奠定 x86 SIMD 基礎 |
| 2001 | SIMT 架構出現(GPU 可程式設計化) | NVIDIA GeForce 3 引入可程式設計著色器;後演化為 warp 執行模型 | 為 GPGPU 鋪路 |
| 2006 | NVIDIA CUDA + Tesla 架構 | 通用 GPU 計算模型;數千 CUDA 核心 = 大規模 SIMD/SIMT | AI/HPC 加速的起點 |
| 2011 | SSE → AVX (256-bit) | 256-bit YMM 暫存器;VEX 編碼 | x86 SIMD 寬度翻倍 |
| 2011 | ARM NEON 成為標配 | 128-bit SIMD,移動 SoC 標準組件 | 行動端向量化普及 |
| 2015 | Intel AVX-512 | 512-bit ZMM 暫存器;掩碼暫存器 k0-k7;多種子集擴充套件 | HPC/AI CPU 推論的重要能力(Knights Landing 首發,2017 年 Skylake-SP 引入至強) |
| 2017 | NVIDIA Volta + Tensor Core v1 | 4×4 FP16 矩陣乘法單元;Volta 架構首次引入 | AI 訓練速度飛躍 |
| 2017 | ARM SVE (Scalable Vector Extension) | 可變向量長度 128~2048 bit;謂詞暫存器;First-fault load | 向量長度無關(VLA)程式設計模型 |
| 2019 | RISC-V V 擴充套件 v0.7(後至 v1.0) | VLA 模型;LMUL(暫存器分組);豐富掩碼操作 | 開源 ISA 的向量化標準,推動國產晶片生態 |
| 2020s | Chiplet + HBM + 向量/張量混合 | NVIDIA H100(Hopper):128 SM,每 SM 含 4th gen Tensor Core + 向量單元;AMD CDNA 3 MI300 系列 | 向量+張量融合成為主流 AI 晶片架構範式 |
| 2023+ | SVE2 廣泛部署(ARM Neoverse V2 等)、RISC-V V 量產 | 資料中心 CPU 向量化能力趨同 GPU 思維 | 推論側 CPU 向量化部署降低 TCO |
趨勢總結:向量寬度持續增長 → 向量長度可配置/可擴充套件(VLA) → 向量與張量深度融合 → 向量處理從 HPC 專屬變為所有算力晶片的標配元件。
技術路線對比
當前主流向量/SIMD 實現對比
| 特性 | x86 AVX-512 | ARM SVE2 | RISC-V V 1.0 | NVIDIA GPU (SIMT) |
|---|---|---|---|---|
| 向量寬度 | 固定 512 bit | 可變 128~2048 bit(硬體選配置) | 可變,執行時可設(VLEN 硬體上限) | warp 32 執行緒 × 32 bit = 1024 bit/warp [估算] |
| 程式設計模型 | 固定寬度 SIMD | VLA(向量長度無關) | VLA | SIMT(warp 級鎖步) |
| 掩碼機制 | 8 個 k 暫存器(64-bit) | 16 個謂詞暫存器(1 bit/元素) | v0 暫存器作謂詞 + 隱式掩碼 | 活躍掩碼(per-thread) |
| 規約支援 | 水平 add/min/max 指令 | 豐富規約指令 | vredsum 等指令 + vwredsum | warp shuffle + shared memory |
| FMA 吞吐(代表型號) | Intel Sapphire Rapids:~2 TFLOPS FP32(AVX-512 單 socket)[估算] | Neoverse V2:依賴具體實現 | 依賴具體 SoC 實現 | H100 SXM:~67 TFLOPS FP32(全晶片)[NVIDIA 官方] |
| AI 特化 | AMX(矩陣 tile 加速,獨立於 AVX-512) | SME(Scalable Matrix Extension)[ARM 2022+] | 矩陣擴充套件提案中 | Tensor Core(第4代):FP8/FP16/BF16/TF32/INT8 矩陣乘 |
| 生態成熟度 | ★★★★★ | ★★★★(資料中心快速滲透) | ★★★(生態仍在完善) | ★★★★★(AI 最成熟) |
| 適用場景 | CPU 端 AI 推論、科學計算 | 雲端伺服器 CPU、手機 SoC | 嵌入式 AI、邊緣推論、國產替代 | AI 訓練/大規模推論、HPC |
注:以上資料中,NVIDIA H100 的 TFLOPS 來自 NVIDIA 官方規格;CPU 的 TFLOPS 數字為理論峰值估算(=核心數×頻率×SIMD寬度×FMA),實際依賴工作負載和功耗牆。
上下游
上游:向量處理的基礎設施
| 環節 | 關鍵要素 | 代表廠商/技術 |
|---|---|---|
| 指令集架構(ISA) | 向量擴充套件定義 | ARM(SVE2/SME)、RISC-V International(V ext)、x86(Intel/AMD AVX-512) |
| EDA 工具 | 向量單元綜合/驗證 | Synopsys、Cadence、Siemens EDA |
| 硬體 IP | 向量處理單元 IP 核 | SiFive(RISC-V V)、Arm(Neoverse CSS) |
| 編譯器 | 自動向量化 | LLVM/Clang、GCC、Intel oneAPI (icx) |
| 製造工藝 | 先進製程(影響頻率和功耗) | 台積電、三星、Intel(Intel 4/3/18A) |
中游:向量處理的載體
| 載體 | 向量處理角色 | 代表產品 |
|---|---|---|
| 資料中心 CPU | 向量單元做推論前/後處理、中小規模推論 | Intel Xeon(Sapphire Rapids/Emerald Rapids)、AMD EPYC(Genoa/Turin)、AWS Graviton(Neoverse V2) |
| 資料中心 GPU/AI 加速器 | 向量單元做逐元素 op,張量核心做 GEMM | NVIDIA H100/B100/B200、AMD MI300X、Intel Gaudi |
| 移動 SoC | NEON/SVE 做端側推論 | Apple A/M 系列(AMX 擴充套件)、高通 Snapdragon、聯發科 Dimensity |
| 專用 AI 晶片(NPU/TPU) | 內含向量管線做非 GEMM 操作 | Google TPU v5、寒武紀 MLU、地平線 BPU |
下游:受益應用
| 應用領域 | 向量處理支撐的具體操作 |
|---|---|
| 大語言模型推論 | Softmax、LayerNorm、RoPE 位置編碼、Top-K/Top-P 取樣——這些是逐元素/規約操作,依賴向量單元 |
| 影像/影片處理 | 啟用函式(GELU/SiLU)、逐元素加/乘、Resize、Color Space 轉換 |
| 推薦系統 | Embedding table lookup(scatter 訪存)、特徵交叉的逐元素操作 |
| 科學計算 | N-body 模擬、CFD、分子動力學中的向量運算 |
| 訊號處理 | FFT、卷積、濾波——經典向量化工作負載 |
關鍵指標
衡量向量處理能力的核心引數
| 指標 | 定義 | 為什麼重要 |
|---|---|---|
| 向量暫存器寬度(VLEN) | 單個向量暫存器的位寬 | 決定單指令可並行處理的資料量 |
| 向量暫存器數量 | 架構可見的向量暫存器個數 | 決定暫存器壓力和迴圈展開深度 |
| SIMD Lane 數 | 功能單元中的並行執行通道數 | 可能 ≠ VLEN/element_width(lane 數可能更少,多拍完成) |
| 向量 FMA 吞吐 | 每週期可完成的向量乘累加次數 | 直接決定峰值 FLOPS |
| 向量 Load/Store 頻寬 | 每週期可讀寫的資料位元組數 | 決定是否受頻寬瓶頸限制 |
| 向量啟動延遲(Startup Latency) | 向量指令從發射到第一個結果產出的時鐘週期 | 影響短向量的效率(若 VL < 啟動延遲,則浪費) |
| Chaining 支援 | 是否允許相鄰向量指令間資料旁路 | 嚴重影響流水線效率 |
| Mask/Predicate 效率 | 掩碼操作的額外開銷 | 影響不規則計算的效率 |
AI 晶片中向量處理的關鍵比例
向量單元貢獻算力佔比(典型 AI 推論)[定性估算]:
Transformer 推論(LLM):
├── 矩陣乘法(Attention QKV、FFN): ~85-95% FLOPS → 張量核心
├── 逐元素操作(Norm、啟用、殘差): ~3-10% FLOPS → 向量單元
└── 規約(Softmax、LayerNorm) : ~2-5% FLOPS → 向量單元
CNN 推論:
├── 卷積/GEMM: ~90%+ FLOPS → 張量核心/向量 MAC
└── BN/啟用/池化: ~5-10% → 向量單元
關鍵洞察:雖然向量操作的 FLOPS 佔比低,但它們往往是延遲關鍵路徑——因為張量核心有極高的吞吐,而向量操作種類多、資料依賴複雜,容易成為瓶頸。這就是為什麼優秀的 AI 晶片不只需要大的張量核心,還需要高效的向量單元。
供需與市場資料
定性市場格局
注意:以下市場資料為定性趨勢描述,無具體數字源,不編造精確資料。
供給側:
- CPU 向量化能力持續增強:Intel 和 AMD 的最新伺服器 CPU 均配備 AVX-512(或等效),ARM 陣營的 Neoverse V2(SVE2 256-bit)在雲端例項中快速滲透(AWS Graviton4 等)。
- RISC-V V 生態加速:SiFive、阿里平頭哥(玄鐵 C920)、Andes 等均已推出支援 V 擴充套件的 IP/晶片,嵌入式/邊緣 AI 是主要切入點。
- GPU 向量/張量融合:NVIDIA 每一代 GPU 的 Tensor Core 能力增強,但每 SM 的向量 FP32 吞吐保持甚至增長——說明向量處理不會被張量核心替代,而是互補。
需求側:
- AI 推論的”長尾”操作:LLM 推論中 Softmax、LayerNorm、取樣等操作佔推論延遲的非平凡比例(尤其在小 batch/互動場景下),這些操作需要向量處理能力而非張量核心。
- 端側 AI 爆發:手機/汽車/IoT 端側 AI 對功耗敏感,NEON/SVE 等向量化能力是端側 NPU 的重要補充。
- 綠色計算:向量化提升能效(同等 FLOPS 下減少指令數→減少取指/譯碼能耗),符合資料中心 PUE 最佳化趨勢。
代表公司與資本對映
向量處理產業鏈關鍵玩家
| 環節 | 公司 | 向量處理相關業務 | 上市/投資標的 |
|---|---|---|---|
| ISA 授權 | ARM | SVE2/SME 指令集、Neoverse IP | ARM (NASDAQ: ARM) |
| ISA 社群 | RISC-V International | V 擴充套件標準制定 | 非上市;關聯廠商眾多 |
| CPU 晶片 | Intel | Xeon(AVX-512 + AMX)、Clearwater Forest | INTC (NASDAQ) |
| CPU 晶片 | AMD | EPYC(AVX-512)、MI300 系列 | AMD (NASDAQ) |
| CPU/定製晶片 | Ampere Computing | AmpereOne(ARM,128+核,SVE2) | 非上市(曾傳 IPO) |
| 雲端廠商自研 | AWS | Graviton4(Neoverse V2,SVE2 256-bit) | AMZN 間接 |
| GPU/AI 晶片 | NVIDIA | H100/B200(向量單元 + Tensor Core) | NVDA (NASDAQ) |
| GPU/AI 晶片 | AMD | MI300X/MI300A(CDNA 3 向量+矩陣引擎) | AMD (NASDAQ) |
| RISC-V 晶片 | SiFive | P870(高效能 RISC-V,V 擴充套件) | 非上市 |
| RISC-V IP/晶片 | 阿里平頭哥 | 玄鐵 C920(RISC-V V 擴充套件) | 阿里巴巴 (BABA/9988.HK) 間接 |
| 編譯器/工具 | LLVM 社群 | 自動向量化後端 | 開源;Intel/ARM/Google 等貢獻 |
| EDA | Synopsys / Cadence | 向量單元設計驗證工具鏈 | SNPS / CDNS (NASDAQ) |
投資邏輯
核心投資主題
1. “向量能力=AI 推論效率的隱性瓶頸”
- 張量核心的 FLOPS 已經足夠高(H100 ~2000 TOPS INT8),但實際推論吞吐受限於”非矩陣”操作的處理速度
- 具備強向量處理能力的處理器(如 SVE2 CPU、向量單元最佳化的 GPU)在推論場景中 TCO 更優
- 受益:ARM(SVE2/SME 生態擴充套件)、Ampere(高密度 ARM CPU)、AMD(MI300 向量+矩陣融合)
2. RISC-V V 生態的”寒武紀時刻”
- RISC-V V 1.0 標準凍結 + 中國半導體國產化需求 → 嵌入式/邊緣 AI 晶片快速採用
- 帶動 RISC-V IP 授權、工具鏈、作業系統適配等上下游
- 受益:SiFive、平頭哥、芯來科技、賽昉科技等(多為非上市/一級市場)
3. CPU 重估——向量化讓 CPU 變回”AI 推論利器”
- 對於 batch=1 的互動式 LLM 推論,CPU 的向量化能力使其與 GPU 的差距縮小
- 雲端廠商傾向用 CPU 推論降低小規模部署的 TCO
- 受益:Intel(Xeon)、AMD(EPYC)、Ampere、AWS Graviton
4. 編譯器/工具鏈是”賣鏟子”機會
- 自動向量化編譯器的成熟度直接決定硬體向量能力的利用率
- AI 編譯器(TVM、XLA、Triton)中的向量化最佳化是核心競爭力
- 受益:開源社群主導,商業化路徑需關注編譯器即服務(CaaS)模式
常見誤讀糾偏
❌ 誤讀一:“向量處理是過時技術,已被 GPU/Tensor Core 取代”
糾偏:
- 向量處理不是某個具體產品,而是一種計算範式。GPU 的 SIMT 本質上就是向量處理