脈動陣列

1 3 秒看懂

脈動陣列是一種讓資料在多顆計算單元之間像心跳一樣節拍流動的平行計算架構。它把乘加器排成規整方格，矩陣資料從兩個方向“泵入”格子，每個時鐘節拍向前傳遞一格並完成一次乘法累加，全程幾乎不訪問全域性儲存器。在深度學習領域，GoogleTPU的矩陣乘法單元就是脈動陣列的經典商用案例，大幅提升了卷積與全連線層的能效比。

2 3 分鐘產業解釋

脈動陣列由H.T. Kung與Charles Leiserson於1978年正式提出。其核心思想是把計算和資料流在時間與空間兩個維度上完美對齊。它不像傳統CPU/GPU那樣從共享暫存器或快取反覆讀取資料，而是讓資料在相鄰處理單元之間像流水線一樣節拍傳遞。每個PE只完成簡單的乘加運算，輸入資料流出到下一PE，部分和沿另一方向累積。

在深度學習場景中，矩陣乘法與卷積是最核心的運算元。脈動陣列天然適配這種“乘加密集、資料複用度極高”的計算模式。以Google第一代TPU為例，其矩陣乘法單元是一個256×256的脈動陣列，每個週期湧入一批輸入，經256個週期後流出一批結果，將資料搬移功耗壓至極低水平，從而在約40 W功耗下實現92 Tops算力（Google2017年ISCA論文公開資料，INT8精度）。

產業意義上，脈動陣列是AI專用晶片的基石架構之一。輝達Tensor Core在微觀層面借鑑了節奏化資料複用思想，但不屬於經典脈動陣列。當前大型模型訓練與推論晶片設計，幾乎都離不開脈動陣列或其變體。

3 技術原理

以下從處理單元、資料流對映、流水線時序三個層面拆解脈動陣列的工作原理。

基本處理單元

每個PE包含一個乘法器、一個加法器和一組流水線暫存器。它接收三路輸入 a_in、b_in、c_in，產生三路輸出 a_out、b_out、c_out。其中 b_in 在配置階段寫入權值並保持，脈動運算期間 b_out 恆為 b_in，無實際資料流動。

運算規則為：

c_out = c_in + (a_in × weight)   // weight 由 b_in 寫入後保持
a_out = a_in

即啟用資料沿水平方向透傳，部分和就地累加並向下傳遞至下一PE。

二維脈動陣列的矩陣乘法對映

設計算目標為 C = A × B，其中A尺寸 M×K，B尺寸 K×N，C尺寸 M×N。將B矩陣預載入至PE陣列（權值固定），A矩陣從上邊界按時鐘節拍輸入，C初始為0從左邊界或上邊界流入。在一個 M×N 陣列上執行 K 次運算的過程：

• 時間步 t=1：第一行A元素進入第一行PE，與預存B元素相乘，結果暫存；
• 時間步 t=2：新一行A元素進入，上一行A向右平移一格，部分和向下傳遞；
• 時間步 t=3 至 t=K+M-1：持續流動，直到A的第K列元素流過所有PE。

關鍵特徵在於：滿流水狀態下，任一時刻所有PE均在執行有效計算，無空閒單元。

資料流動結構示意

以權值預載入的二維脈動陣列為例（權重矩陣B已固定在PE內）：

           b_00   b_01   b_02       ← 預載入的 B 矩陣權重 (2×3)
          +-----+-----+-----+
  a_00 → | PE  | →→→ | PE  | →→→ | PE  |
          +-----+-----+-----+
  a_10 → | PE  | →→→ | PE  | →→→ | PE  |
          +-----+-----+-----+
            ↓      ↓      ↓
        部分和累積，最終輸出 C (3×3)，經 M+K-1 個節拍完成

A矩陣元素自左邊界逐行、逐拍向右移動，每個PE執行一次乘法，與來自上方的部分和相加，結果向下傳遞。經 M+K-1 個節拍後，完整結果矩陣從下端流出。

定名緣由

資料像心臟泵血一樣，節律性地在相鄰處理單元之間“收縮”傳遞，而非通過長距離匯流排廣播。這種近鄰通訊大幅縮短連線長度，降低功耗。

算力估算模型

對於典型 256×256 陣列，設時脈頻率700 MHz（參考TPUv1公開引數範圍，精確頻率Google未逐代揭露）。理論峰值算力計算公式為：

峰值算力 = 陣列行數 × 陣列列數 × 2（乘加各計1次操作） × 時脈頻率
         = 256 × 256 × 2 × 0.7 GHz ≈ 91.8 Tops

實際晶片利用率受填充延遲、輸出排空、記憶體頻寬等因素影響，典型區間為30%–60%（行業經驗範圍，具體產品非公開）。

4 關鍵引數

評估脈動陣列設計的核心指標如下。以下資料綜合自公開論文及行業經驗引數，非針對特定未公開產品。

引數	說明	典型範圍/公式
陣列尺寸	決定單週期MAC並行度	32×32 至 256×256（公開產品範圍）
支援精度	INT8、BF16、FP8、FP16等	INT8用於推論，BF16/FP8用於訓練
時脈頻率	制約吞吐量上限	700 MHz–1 GHz（28 nm至7 nm工藝區間）
峰值算力	陣列尺寸 × 2 × 時鐘 × 精度係數	256×256×2×1 GHz ≈ 131 TOPS
記憶體頻寬	與算力匹配，避免計算饑荒	每Tops建議0.5–1 TB/s（行業經驗值）
實際利用率	受任務粒度、填充開銷、頻寬制約	30%–60%（行業經驗值，非各廠官方揭露）
能效比	每瓦Tops數，脈動陣列核心優勢	INT8下可達1–3 TOPS/W（GoogleTPUv1公開資料約為2.3 TOPS/W）

未充分揭露項：各廠商的DDR/HBM介面延遲、陣列喚醒時間、支援的稀疏結構等細節多為未公開,公開資料未見。

5 技術路線

經典脈動陣列與主流路線的比較

特性	脈動陣列	SIMD/SIMT（GPU CUDA核心）	資料流架構
資料供應	近鄰節拍傳遞	共享記憶體/暫存器廣播	片上網路受控流動
控制機制	編譯器靜態編排，固定資料流	指令流驅動，多執行緒掩蓋延遲	硬體令牌/觸發，細粒度排程
能效	極高（剔除大部分控制開銷）	中等（需取指、譯碼、排程）	高（接近陣列，互連功耗略高）
靈活性	低，聚焦規整矩陣乘	極高，支援任意控制流	中等，擅長不規則資料流圖
稀疏支援	需專門跳過邏輯，原生架構浪費	可通過掩碼指令支援	可細粒度跳過，控制複雜
典型產品	GoogleTPU系列	NVIDIA CUDA Core	Graphcore IPU、Groq TSP
程式設計模型	與GEMM庫深度繫結	CUDA、OpenCL	Poplar等圖編譯器

當前技術分化方向

2020年代，脈動陣列設計出現以下分化（據ISCA、MICRO、HPCA會議公開論文方向整理）：

• 稀疏脈動陣列：增加列/行跳過邏輯，適配結構化稀疏（如2:4模式），減少零值計算浪費；
• 可重構脈動陣列：支援執行時切換資料流模式（權值固定/啟用固定/輸出固定），適配不同運算元；
• 3D封裝脈動陣列：與HBM垂直堆疊，縮短儲存訪問路徑，提升頻寬密度；
• Transformer專用最佳化：針對FlashAttention運算元、MoE路由增加動態稀疏選取與資料流重排單元。

6 上游

脈動陣列晶片的產業鏈上游由以下環節構成：

• 演算法架構與編譯器：TensorFlow、PyTorch、JAX等架構需通過底層編譯器（XLA、MLIR、TVM）將運算元對映為適配陣列尺寸的GEMM呼叫。MLIR的Linalg方言可將高階運算元漸進降級至硬體迴圈。編譯器質量直接決定陣列利用率。
• EDA與IP工具：Synopsys、Cadence提供HLS綜合工具，幫助將脈動陣列架構描述轉化為RTL；部分廠商自研專用對映工具。
• 製程工藝與封裝：7 nm、5 nm等先進節點提供更高PE密度和更低電壓，直接影響算力密度。台積電2023年財報揭露其5 nm及以下節點產能持續滿負荷（來源：台積電2023年報）。CoWoS封裝產能是另一關鍵瓶頸，台積電2024年宣佈CoWoS月產能約3.5萬片，並計劃擴至2025年的5.5萬片以上（來源：台積電2024年Q2法說會）。
• HBM供應商：SK海力士、三星為主要HBM供應商。SK海力士2024年Q1財報揭露其HBM3E已量產，2024年HBM產能已售罄。美光2023年宣佈HBM3E產品線，計劃2024年量產。

7 下游

脈動陣列技術直接驅動的下游應用場景：

• 雲端端推論/訓練加速卡：GoogleCloud TPU通過GCP對外提供算力服務（TPU晶片不單獨銷售）。國產雲端端推論卡（華為昇騰、寒武紀思元等）面向資料中心客戶。
• 邊緣AI晶片：採用較小規模脈動陣列（如16×16或32×32），滿足功耗約束。應用於智慧安防攝像頭、工業視覺等場景。
• 終端SoC整合：智慧手機NPU內部IP採用脈動陣列處理影像、語音等AI任務（高通Hexagon、AppleNeural Engine等均有脈動或類脈動設計，具體細節未公開）。

脈動陣列位於計算架構層，需與片上網路、記憶體子系統緊密配合。若外部HBM/DDR頻寬跟不上算力需求，陣列利用率將急劇下降——這是當前多數AI晶片的實際瓶頸之一。

8 受益公司

以下列示在脈動陣列相關技術鏈上具備公開可查商業實體的公司，僅作產業資訊梳理，不含任何投資建議。

公司	相關業務	資本分佈
Google	TPU系列，脈動陣列商用化先驅，從v1至v5持續迭代	美股上市(NASDAQ: GOOGL)
輝達	Tensor Core內借鑑脈動思想，A100/H100/B200均含相關結構	美股上市(NASDAQ: NVDA)
華為海思	昇騰系列採用達芬奇架構，內含3D Cube計算單元（實質為二維脈動陣列）	華為未上市
寒武紀	思元系列MLU內含類脈動陣列的MAC陣列	A股上市(688256)
燧原科技	雲端燧系列AI訓練/推論卡，公開資料顯示其計算核心採用脈動陣列架構	非上市，2024年傳聞籌備IPO（公開報道，未證實）
Groq	TSP架構採用確定性資料流排程，體現脈動思想	非上市，2024年完成D輪融資（公開報道）

9 市場規模

AI晶片市場整體規模

• 據第三方機構Gartner於2024年5月釋出的報告（資料截至2024年Q1），2024年全球AI晶片市場營收預計約671億美元，年增率增長約25%（口徑：含GPU、ASIC、FPGA）。
• 另一第三方機構MarketsandMarkets於2024年1月報告預測2024年全球AI晶片市場約497億美元（口徑差異主要在於是否含部分邊緣裝置SoC），2029年預計達約1,394億美元（來源：MarketsandMarkets，2024年1月）。

脈動陣列相關細分市場

公開資料中未見以“脈動陣列”為獨立統計口徑的市場規模資料。行業估算約30%–40%的AI專用算力由採用脈動陣列或類架構的ASIC貢獻（第三方定性判斷，非精確資料）。實際份額難以精確拆分，因為多數廠商不公開內部架構細節。

供給端約束

先進製程與CoWoS封裝產能構成供給側關鍵瓶頸：

• 台積電2024年Q2法說會揭露，CoWoS產能仍供不應求，預計2025年達到約5.5萬片/月。
• SK海力士2024年Q1財報揭露，2024年全年HBM產能已售罄。

以上資料均為第三方機構公開資訊，不構成投資依據。

10 玩家對比

基於公開資料對主要AI晶片廠商的脈動陣列相關技術路線進行對比（資料來源：各公司公開白皮書、論文及行業分析）。

維度	GoogleTPU v4	輝達H100	華為昇騰910B	寒武紀思元590
核心架構	脈動陣列	Tensor Core(類脈動,非經典架構)	達芬奇(含3D Cube)	智慧處理器架構(含MAC陣列)
公開峰值算力(INT8)	約275 TOPS(Google公開)	約3,026 TOPS(含稀疏)	未公開INT8 TOPS，公開FP16約320 TFLOPS	未公開INT8 TOPS
製程	7 nm(公開資料)	4 nm(TSMC)	7 nm(公開資料)	7 nm(公開報道)
晶片銷售模式	雲端服務，不單獨銷售	晶片/模組外售	晶片/模組外售	晶片/模組外售
軟體生態	JAX/TensorFlow深度繫結	CUDA,市佔率極高	CANN/昇思MindSpore	寒武紀基礎軟體棧

說明：表格中標註“未公開”或“公開資料未見”的指標，系廠商確未在官方渠道揭露，不得以猜測填補。

11 風險

以下為脈動陣列技術及相關產業面臨的主要風險因素：

• 靈活性缺陷風險：脈動陣列對不規則計算（變長序列、動態稀疏、控制流密集型運算元）效率斷崖式下降。大型模型向多模態、複雜推論演進，對靈活性需求提升，死板的陣列可能成為限制。
• 記憶體牆風險：HBM頻寬增速落後於算力增速。HBM3E單棧頻寬約1.2 TB/s（SK海力士2023年產品引數），而下一代大陣列理論算力對頻寬需求已超過2 TB/s，“計算饑荒”難題持續存在。
• 製程與供應鏈風險：先進製程集中於台積電、CoWoS產能有限、HBM集中在SK海力士與三星——對國產設計公司而言，地緣因素導致的供應鏈中斷風險顯著。美國2023年10月修訂的出口管制規則進一步收緊了對中國大陸的先進計算晶片與製造裝置限制。
• 替代架構衝擊：存內計算、光學計算、模擬計算等新範式持續演進，若在能效或成本上取得突破，可能影響脈動陣列的長期地位。
• 軟體生態壁壘：CUDA的深厚生態使得輝達產品即使架構優勢不再突出，使用者遷移成本仍極高。自研脈動陣列晶片進入通用市場需克服軟體適配壁壘。

12 誤讀糾偏

誤讀1：“脈動陣列就等價於GoogleTPU，GPU裡沒有這類結構。”

糾偏：GoogleTPU是脈動陣列的典型商用例項，輝達GPU的Tensor Core在Warp級別執行矩陣乘法時，通過執行緒暫存器廣播與Warp級協作完成，並非相鄰PE間資料節拍流動的經典脈動陣列架構。兩者屬於不同的架構實現路徑，不能簡單等同。（來源：NVIDIA A100 Tensor Core Architecture白皮書，2020年；GoogleTPUv1 ISCA論文，2017年。）

誤讀2：“脈動陣列算力就是‘陣列尺寸×頻率×2’，利用率應接近100%。”

糾偏：實際硬體受初始化填充、輸出排空、記憶體延遲、任務切換等影響，典型利用率遠低於峰值。GoogleTPUv1論文公開的實測利用率在部分模型上約46%–65%（CNN推論任務），業界部分場景甚至低至30%以下。需搭配極致的軟體流水編排才能接近理論值。

誤讀3：“脈動陣列只能做推論，做不了訓練。”

糾偏：訓練的前向傳播、反向傳播均包含大量矩陣乘法，脈動陣列完全可用於訓練。GoogleTPUv2/v3/v4/v5均支援訓練，需配合BF16/FP32精度及更大片上記憶體來儲存中間梯度。是否可用於訓練主要取決於精度支援和記憶體容量，而非脈動陣列本身。

誤讀4：“陣列越大越好，做個512×512的就領先了。”

糾偏：陣列尺寸受制於晶片面積、功耗密度、利用率折減。大陣列要求的輸入/輸出資料量同步增大，若無匹配記憶體頻寬，填充延遲將急劇增加，實際有效算力反降。尺寸選擇是系統級權衡。

13 最新事件

以下為2023年Q4至2025年Q1期間脈動陣列相關領域的重要事件（來源均為公開報道或公司公告）：

• 2024年5月：Google在I/O大會上公佈第六代TPU（Trillium），宣稱單晶片峰值算力較v5e提升約4.7倍，HBM容量與頻寬翻倍。架構細節尚未完全公開，官方部落格確認仍採用矩陣乘法單元為核心。（來源：Google Cloud Blog，2024年5月。）
• 2024年3月：輝達在GTC上釋出Blackwell架構B200 GPU，Tensor Core升級至第五代，支援FP4精度，矩陣運算吞吐量較Hopper提升（官方未揭露Tensor Core內部微架構細節是否含脈動結構變化）。（來源：NVIDIA GTC 2024 Keynote。）
• 2024年9月：華為在全聯接大會上釋出昇騰910C晶片及CANN 8.0，910C公開資料顯示其達芬奇架構計算核心升級，支援更多混合精度組合。具體脈動陣列尺寸未公開。（來源：華為全聯接大會2024公開資料及新聞報道。）
• 2024年全年：寒武紀思元590持續在國產算力專案中推進適配，公開招投標資訊顯示多省市智算中心有采購意向，但具體交付資料未在定期報告中詳列（來源：多地公共資源交易平台公告。未獲得寒武紀官方確認的具體出貨量）。
• 2025年1月：美國商務部宣佈進一步收緊先進計算晶片出口管制規則，對AI加速器的算力密度和互連頻寬設定新閾值，影響多款國產AI晶片的海外流片與採購路徑（公開報道，多個媒體來源）。

14 追蹤指標

追蹤脈動陣列技術產業化進展，可關注以下指標與資訊來源：

技術指標

指標	來源	意義
AI晶片旗艦產品公開峰值TOPS及精度	各廠商官網/白皮書	單指標參考，須結合利用率看
MLPerf推論/訓練排行榜實測成績	MLCommons公開結果	真實軟體棧與硬體的綜合效率
晶圓代工先進製程產能價格與交付週期	台積電等法說會	影響晶片迭代節奏
HBM最新一代產品引數與出貨進度	SK海力士/三星/美光財報	決定陣列能喂多飽
關鍵學術頂會收錄的陣列架構論文數	ISCA/MICRO/HPCA/dblp	反映架構演進活躍度

商業指標

指標	來源	意義
主要雲端廠商AI加速器例項型別及區域覆蓋	AWS/GCP/Azure/華為雲端官網	反映脈動陣列晶片的雲端部署進展
國產AI晶片企業在公開招投標中的中標情況	各地公共資源交易平台	反映政企市場推進節奏
半導體裝置及EDA出口管制政策動態	BIS聯邦公報/日本經產省/荷蘭政府公報	直接影響國產晶片迭代可能

15 信源

以下為本文引用的主要公開資訊來源：

• H.T. Kung, C.E. Leiserson, “Systolic arrays (for VLSI),” Sparse Matrix Proceedings 1978, pp. 256–282. —— 脈動陣列概念源頭。
• H.T. Kung, “Why Systolic Architectures?” Computer, vol. 15, no. 1, pp. 37–46, 1982. —— 脈動陣列設計哲學闡述。
• Norman P. Jouppi et al., “In-Datacenter Performance Analysis of a Tensor Processing Unit,” ISCA 2017. —— GoogleTPUv1權威公開資料，含架構、算力、功耗實測。
• NVIDIA, “NVIDIA A100 Tensor Core GPU Architecture,” Whitepaper, 2020. —— Tensor Core架構描述。
• Google Cloud Blog, “Introducing Trillium, our sixth-generation TPU,” May 2024. —— 第六代TPU公佈資訊。
• Gartner, “Forecast Analysis: AI Semiconductors, Worldwide,” May 2024. —— AI晶片市場規模報告。
• MarketsandMarkets, “AI Chip Market – Global Forecast to 2029,” January 2024. —— AI晶片市場預測。
• 台積電2024年Q2法說會材料，CoWoS產能計劃。
• SK海力士2024年Q1財報，HBM產能及出貨。
• 華為昇騰技術白皮書（官網公開版本），達芬奇架構概述。
• 寒武紀思元產品規格書（官網公開版本），MLU架構概述。
• MLCommons MLPerf Inference/Training 公開基準測試結果，mlcommons.org。
• 美國商務部工業安全域性(BIS)聯邦公報，2023年10月及2025年1月出口管制修訂檔案。

說明：未明確標註年份和來源的具體財務、份額、產能數字為公開資料未見。文中所列第三方市場資料僅供產業背景參考，不構成任何投資依據。本文不含任何薦股、買賣建議或漲跌預測內容。