架構設計

3 秒看懂

深度學習架構設計（Architecture Design）是定義 AI 晶片/計算系統硬體藍圖的工程實踐——它決定“在何處、用何種單元、以怎樣的節奏完成矩陣乘與資料搬移”，直接塑造算力上限、能效邊界和可程式設計性，是演算法與物理矽片之間的核心橋樑。

3 分鐘產業解釋

如果把深度學習模型想像成一張需要搬運無數張卡車的超大城市路網，架構設計就是確定道路種類（高速/隧道/立交）、車道寬度、交通訊號系統與物流樞紐的版面配置。在晶片語境下，它涵蓋：

• 計算引擎：張量核、脈動陣列、向量單元等，決定矩陣乘法的吞吐率。
• 儲存層次：暫存器、L1/L2 SRAM、HBM（高頻寬記憶體），控制資料複用距離與頻寬瓶頸。
• 互聯拓撲：片內 NoC（片上網路）、晶片間 NVLink/C2C/UCIe，影響多卡擴充套件效率與延遲。
• 程式設計模型：CUDA 執行緒層次、編譯器對資料流的對映，決定軟體生態的易用性和效能下限。

架構設計的核心矛盾始終是靈活性與效率的權衡：通用 GPU 犧牲部分能效換取 CUDA 生態的廣泛覆蓋；專用 ASIC（如 TPU、NPU）為特定模型結構極致最佳化算力密度，但代價是適配新演算法的能力較弱。隨著大型模型引數膨脹至萬億級，架構設計正從單純追求峰值 TOPS 轉向系統級協同設計，包括先進封裝（CoWoS）、HBM 垂直堆疊、容錯機制與稀疏計算支援，整個產業正經歷從“單晶片競賽”到“超級系統整合”的範式躍遷。

15 分鐘專家深入

要理解深度學習架構設計的當代全貌，需要從計算範式、儲存牆攻克、互聯放大係數和異構整合四個剖面切入。

1. 計算範式的分化

• SIMT/SIMD 向量型（GPU）：NVIDIA 從 Volta 架構引入 Tensor Core，以 warp 執行緒束為單位排程，執行 4×4 矩陣乘累加；後續 Hopper 架構加入 FP8 和 Transformer Engine，針對注意力機制微調資料精度。
• 脈動陣列（TPU）：資料在 PE（處理單元）陣列中“波浪式”流動，鄰接單元間短距通訊，極大減少暫存器到全域性快取的搬運功耗，適合稠密矩陣乘，但不擅隨機訪存。
• 資料流著色架構（Cerebras WSE）：整個晶圓級晶片由數十萬個輕量級核心構成，每個核心擁有私有記憶體並與鄰居構成 2D 網狀網路，編譯器將運算圖靜態對映到物理核心，消除傳統快取的複雜一致性協議，但對對映最佳化依賴極強。
• 可重構/粗粒度陣列（CGRA）與 FPGA：以邏輯塊和可程式設計互連為骨架，支援自定義資料路徑，在推論階段有極低延遲和能效，但編譯難度大、頻率較低。

2. 儲存牆的緩解術 記憶體頻寬長期落後於算力增長。架構手段包括：

• 多級片上儲存：L0 指令快取 → 暫存器檔案 → L1 SRAM（用於資料複用，如 A100 每個SM的L1資料快取與共享記憶體的總容量為192 KB，共享記憶體最大可配置為164 KB）→ L2 快取（數十 MB 級），配合軟體管理的 shared memory 和非同步複製引擎（如 TMA（張量記憶體加速器）），最大化資料重用機率。
• 高頻寬儲存器 HBM：採用矽中介層（Interposer）將 DRAM 堆疊與邏輯 die 封裝在一起，每代 HBM（HBM2e→HBM3→HBM3e）頻寬按約 1.5x ～ 2x 提升[行業共識]。典型高階 AI 晶片 HBM 頻寬可達 3 TB/s 以上[公開產品引數]，能效比優於 GDDR。
• 存內計算：將部分計算嵌入 DRAM 或 SRAM 陣列，徹底避免資料移動，適合神經網路推論階段的點積操作，但仍面臨工藝成熟度和精度挑戰。

3. 互聯拓撲的放大效應 單晶片算力逼近光罩極限後，互聯成為唯一可擴充套件維度：

• 片內：Mesh、Crossbar、Torus 等 NoC 拓撲決定 PE 間通訊延遲。TPUv4 使用 3D Torus，Cerebras 採用 2D Mesh。
• 片間/節點間：NVIDIA NVLink 與 NVSwitch 構成無阻塞全互聯域（DGX 內部），跨節點則用 InfiniBand/乙太網路實現 RDMA。AMD 的 Infinity Fabric 與 Intel主導的UCIe標準推動 Chiplet 間標準化介面，使不同功能 die（計算、I/O、記憶體控制器）能以更低延遲拼接，提升良率、降低成本。
• 對 MoE 等稀疏啟用模型的適配：All-to-All 通訊成為關鍵路徑，架構需支援細粒度集合通訊原語、屏障同步及流水線重疊。

4. 先進封裝與異構整合

• CoWoS (Chip-on-Wafer-on-Substrate)：將多顆邏輯 die 與 HBM 封裝在一起，提供超高密度互連。根據中介層型別分為 S/L/R 系列（S 採用矽中介層，L 採用區域性矽橋+有機基板，R 採用有機中介層），分別對應不同面積與成本。
• 3D 堆疊：邏輯-on-邏輯或邏輯-on-記憶體，通過矽通孔 (TSV) 增加頻寬密度。但熱密度和時序收斂是重大挑戰。

這些架構選擇相互耦合：例如，高頻寬 HBM 降低了資料短缺風險，但若計算單元功率密度過高，又會觸發熱節流，因此需在晶片 floorplan 階段做全系統熱建模。現代 AI 晶片架構設計已進階為 SoC Scale‑Out 工程，融合微架構、物理實現、系統軟體與數學建模。

技術原理（最深）

本節拆解最深層的機制——矩陣乘法加速單元如何從電晶體演化出並行算力。

脈動陣列的“資料韻律” 典型的 2D 脈動陣列由 M×N 個處理單元（PE）組成，每個 PE 含有一個乘加器（MAC）和一個本地累加暫存器。

  權重      ┌───┐  ┌───┐  ┌───┐
   ─────────→│PE │→│PE │→│PE │→ ... 行1
   ─────────→│PE │→│PE │→│PE │→ ... 行2
             └───┘  └───┘  └───┘
               ↑      ↑      ↑
       輸入啟用 (從上向下廣播)
               ↓      ↓      ↓
           部分和  部分和  部分和
           (下方向累加傳遞)

• 權重（如濾波器引數）沿行向右流動。
• 輸入啟用沿列向下廣播。
• 每個週期，PE 計算 a*w + acc，並將部分和向下傳遞。最終陣列底部輸出完整累加結果。
• 關鍵引數：2 × 陣列大小（如 128×128）× 時脈頻率，即峰值 TOPS（每秒萬億次運算，因每次乘加計為兩次運算）。實際利用率取決於編譯器的時間與空間對映，能否將資料流編排得讓絕大多數 PE 每個週期都在計算。

Tensor Core 的矩陣碎片化 NVIDIA Tensor Core 在單指令內執行 4×4×4 矩陣乘：

D[4,4] = A[4,4] × B[4,4] + C[4,4]

這相當於 64 次乘加（FMA），由硬體中融合16個半精度乘法器（或相應精度）與樹上加法器完成。Warp 內 32 執行緒協作分發資料，共享記憶體作為臨時緩衝。MMA 指令 (m16n8k16 等) 指定矩陣維度，由編譯器生成高效 warp‑level 矩陣片段，規避傳統 SIMT 的低效率。

記憶體延遲隱藏靠 Warp 排程 GPU 大量計算吞吐靠掩蓋記憶體延遲：當 Warp A 等待全域性記憶體資料時，Warp 排程器瞬間切換到 Warp B，保證執行單元不閒。因此架構設計需精確平衡 CUDA Core 數量、暫存器檔案大小、共享記憶體容量和最大併發 warp 數，否則出現“暫存器溢位”降低佔用率。

混合精度數值架構

• IEEE FP16（1‑5‑10）→ BF16（1‑8‑7）在架構中提供專用資料路徑，BF16 動態範圍與 FP32 相同，訓練更穩定。
• 更新的 FP8（E4M3/E5M2）進一步壓縮資料量，但需要 per‑tensor scaling 因子，硬體中增加額外 accumulate/shift 單元。
• 部分推論晶片採用 INT8/INT4，通過飽和量化與直方圖分析保證精度。

稀疏性加速·硬體層面 NVIDIA Ampere 引入了 2:4 結構化稀疏矩陣：每 4 個元素至少 2 個零，壓縮儲存，解碼邏輯在取數階段自動展開非零值，Tensor Core 只處理有效乘加，理論可獲 2x 有效算力。

多晶片互聯拓撲數學 擴充套件效率 = 多卡實測算力 / (N × 單卡算力)，受制於通訊開銷。AllReduce 通訊量 ≈ 2(N‑1)·訊息大小 / 頻寬；若在系統架構中採用 CLOS 交換網或 Dragonfly 拓撲，可線性縮放頻寬並降低跨節點跳數。

技術演進史

時間	標誌性事件	架構創新
2007	NVIDIA G80 釋出，CUDA 誕生	統一著色器，GPU 從圖形固定管線轉入通用平行計算 SIMT
2012	AlexNet 首次在 GPU 上突出表現	催生深度學習專用最佳化，但硬體未變
2016	Google 公開 TPUv1（推論）	脈動陣列專為矩陣乘，8 位整數，開啟 AI 專用 ASIC 紀元
2017	NVIDIA Volta 引入第一代 Tensor Core	FP16 混合精度訓練，mma 指令，張量算力數倍提升
2017	Google 釋出 TPUv2，首次引入訓練能力	二維脈動陣列，HBM，高頻寬片間互聯 (ICI)
2018	Google 釋出 TPUv3	架構最佳化，進一步提升訓練效能
2020	Ampere 架構，A100 首次採用 MIG 與稀疏加速	2:4 結構化稀疏，TF32 格式，MIG 多例項 GPU 隔離
2022	Hopper 架構，Transformer Engine	FP8 動態精度，TMA 張量記憶體加速器，NVLink 4 + NVSwitch
2023‑2024	Chiplet 架構爆發（AMD MI300、Intel Falcon Shores）	3D 混合鍵合，UCIe 標準，多 die 融合 CPU 與 AI 引擎
2024‑	晶圓級/近記憶體計算驗證	超級晶片消除晶片間通訊瓶頸，存算一體進入小規模量產

演進邏輯從 “處理更多畫素” → “處理張量” → “系統化異構整合”，逐層抽象，每代解決最痛頻寬或程式設計瓶頸。

技術路線對比（量化表）

（表中數字為典型區間或公開產品常見規格，供比較用）

特性 / 架構	GPU (NVIDIA H100)	TPU v4	Graphcore IPU	Cerebras WSE‑2	華為昇騰 910B
計算範式	SIMT + Tensor Core	脈動陣列	大規模 MIMD 圖形核	資料流粗粒度陣列	Da Vinci 架構多維混合
峰值算力 (FP16 TFLOPS)	~989 (稠密) / ~1979 (2:4 稀疏) [公開規格]	數百 TFLOPS [估算]	~數百 TFLOPS	~數百 TFLOPS	~數百 TFLOPS
片上儲存	~50 MB L2 + 共享記憶體	~ 數百 MB SRAM	~ 幾百 MB in‑processor memory	~ 40 GB SRAM 總量	~ 幾十 MB 統一快取
記憶體頻寬 (TB/s)	~3 TB/s HBM	~1‑2	高頻寬 DDR (Streaming)	片內 超 10 PB/s	~1‑2 TB/s HBM
片間互聯	NVLink 900 GB/s + NVSwitch	ICI 環形/ Torus	IPU‑Link	晶圓內無需通訊	HCCS 高速互連
工藝與封裝	4nm FinFET + CoWoS‑S	7nm 級 + 定製殼	7nm 級	7nm 級，整片晶圓	7nm 級，2.5D/3D
程式設計架構	CUDA, Triton	TF/JAX 閉源編譯	Poplar SDK	CSL, 定製編譯	CANN, PyTorch 適配
強項	生態、靈活性、全棧平台	超規模部署效率	細粒度資料流，稀疏模型	極致頻寬，無片間瓶頸	國產化、推論訓練全覆蓋
弱項	功耗較高，供應鏈依賴	封閉，硬體繫結雲端	生態窄，適用場景需調優	極貴，單點失效風險	生態成熟度追趕中

上下游

• 上游：
  • EDA/IP：Cadence/Synopsys 提供 HBM PHY、PCIe/CXL 控制器 IP、NoC 生成工具。
  • 製造與封裝：台積電 CoWoS/SoIC/InFO，三星 I‑Cube 封裝；HBM 供應商 SK 海力士/三星主導。
  • 基礎材料/裝置：矽晶圓、先進光刻膠、刻蝕裝置。
• 中游：
  • 晶片設計公司：NVIDIA、AMD、Intel、Google、Cerebras、Graphcore、寒武紀、海思、燧原等。需整合架構師、物理設計、驗證團隊。
• 下游：
  • 基礎設施：雲端服務商（AWS、Azure、Google Cloud）、國家超算中心、AI 創業公司、自動駕駛公司。
  • 應用：大型模型訓練/推論、科學模擬、金融風控、即時影片分析。

關鍵指標

• 算力密度 (TOPS/mm²)：單位面積最大運算能力，受邏輯單元面積、SRAM 密度限制。
• 能效 (TOPS/W)：推論卡每瓦提供的有效算力，決定資料中心 TCO。
• 記憶體頻寬/算力比 (Bytes/FLOP)：數值過低導致 Roofline 模型中的頻寬瓶頸區擴大。
• 擴充套件效率 (擴充套件 N 卡實際增益比例)：強互聯與拓撲設計的檢驗。
• 軟體棧成熟度：運算元覆蓋度、編譯最佳化、分散式架構整合，比裸硬體指標更具商業壁壘。

供需與市場資料

• 據第三方行業分析報告[公開預估]，2025 年全球 AI 晶片市場規模可達數百億美元量級，其中訓練約佔三分之一，推論增速更快。
• HBM 供給持續緊張，SK 海力士份額領先，封裝產能 CoWoS 為產能瓶頸之一[供應鏈資訊]。
• 驅動需求端：萬億引數 MoE 模型訓練需要數萬張先進 AI 晶片組成叢集；端側大型模型興起拉動手機/PC NPU 設計。
• 地緣因素刺激多地自研 AI 晶片，推動 RISC‑V 與 UCIe 異構整合生態。

代表公司與資本對映

• NVIDIA：全棧壁壘，從 GPU 架構到 CUDA/NVLink/DPU 形成閉環，注重軟體與硬體的協同迭代，每年投入數十億美元研發，HPC+AI 雙輪驅動。
• AMD：CDNA 架構專注計算，Instinct MI 系列，Chiplet 先鋒，通過收購 Xilinx 補強 FPGA 能力，ROCm 開源生態追趕 CUDA。
• Google：TPU 不對外出售晶片，通過 Cloud 繫結提供，架構高度定製，反映了超大規模使用者內部設計趨勢。
• Cerebras：晶圓級晶片，用單處理器替代叢集，銷售給國家實驗室、製藥公司，走極致效能道路。
• 國內代表：寒武紀（推論/訓練 AI 晶片，建置通用智慧指令集）、華為昇騰（集訓練推論於一體，已在多個智算中心部署）、燧原等。一級市場/IPO 估值受地緣技術和市場自主替代預期推動。
• 投資對映可關注：有差異化互聯/封裝方案的初創、近存計算/存內計算公司、AI 晶片 EDA 工具鏈及先進封裝供應鏈。

投資邏輯

1. 專用化決定護城河：通用 GPU 生態為王，但專用架構在特定負載 TCO 上可能形成顛覆，關注能否在 2‑3 年內構築編譯器和架構生態。
2. Chiplet + 高速互聯：未來高階晶片比拼的不再是單一 die，而是 die‑to‑die 互連頻寬與功耗，投資封裝/互聯方案提供商。
3. 推論爆發節點：端側/Chatbot 推論需求的平方級增長為低功耗、高性價比推論晶片開啟視窗。
4. 軟體閉鎖風險：硬體初創公司若無法相容主流訓練架構（如 PyTorch、JAX），再高的峰值 TOPS 也難落地，投資需重點評估軟體團隊實力。
5. 地緣安全與供應鏈分散：支援本土化設計、封裝、儲存的鏈條有價值重估機會。

常見誤讀糾偏

• 誤讀 1：“TOPS 越高晶片越強”
  峰值 TOPS 往往在 100% 計算單元利用率和理想資料搬移下測得，實際受限於記憶體頻寬、併發佔用率、軟體最佳化水平。很多專用晶片論文中的 TOPS 只在模型每一層都恰好對齊脈動陣列尺寸時能接近上限，真實吞吐可能僅 20%‑50%。更需關注 實測 MLPerf 或特定模型的 Token 生成速度。

• 誤讀 2：“AI 晶片架構就是 ISA 設計”
  指令集（ISA）僅規定了軟體可見的操作碼和程式設計模型，而深度學習架構設計的核心是 微架構（資料路徑、儲存層次、排程器）與物理實現（版面配置規劃、時鐘樹、封裝）。CUDA 核的設計與 ARMv9 的 ISA 擴充套件完全是兩個層次。AI 晶片架構更類似 ASIC 前端微架構設計，而不是 CPU 指令集定義。

• 誤讀 3：“Chiplet 能無成本提升良率”
  Chiplet 雖能提高小 die 的良率，但引入晶片間互聯的功耗、延遲、以及測試/封裝成本，且需要標準化介面（UCIe）和高密度走線，對系統設計是巨大考驗，熱和訊號完整性問題可能抵消收益。

學習路徑

1. 基礎書：Hennessy & Patterson《Computer Architecture: A Quantitative Approach》有關向量、SIMD、GPU 和領域專用架構章節；David Patterson 《The TPU Paper》原論文。
2. 硬體大會：Hot Chips、ISSCC、Micro 的 AI 晶片 session（如 NVIDIA Hopper 架構揭露、Tesla Dojo 等技術演講）。
3. 開源：研究 NVIDIA 公開的 GPU 效能分析指南、Tensor Core PTX 規範，以及 AMD CDNA 架構白皮書。
4. 軟體練習：用 Triton 編寫自定義運算元並配合 Nsight 分析計算與記憶體佔用，理解架構限制。
5. 行業追蹤：關注 TechInsights 對先進封裝的拆解報告、Semianalysis 的晶片分析深度文章。

一句話總結

深度學習架構設計是 “用電晶體編織算力樂章” 的藝術與科學，它既要狂野提升矩陣乘吞吐，又得在儲存牆、功耗牆和生態壁壘間精妙平衡，是演算法創新與物理極限碰撞的最前沿。

延伸閱讀與來源

• NVIDIA H100 Tensor Core Architecture Whitepaper
• Google TPU: “In-Datacenter Performance Analysis of a Tensor Processing Unit” (ISCA 2017)
• 《The NVIDIA GPU Hardware Architecture》, ACM Queue
• Cerebras WSE‑2: “A Second-Generation Wafer-Scale Engine”, IEEE Micro
• AMD Instinct MI300X Technical Overview
• 台積電 CoWoS 封裝技術簡報
• MLPerf Training/Inference benchmark results

宣告：文中具體數字如無引用系基於公開產品引數/常見規格範圍定性說明，用於概念比較。投資內容僅供參考，不構成建議。