邊緣 AI 晶片

1. 3 秒看懂

邊緣 AI 晶片是部署在網路邊緣裝置（攝像頭、手機、汽車、機器人、工業感測器等）上，專門高效執行 AI 推論任務的處理器。其核心追求不是絕對算力，而是高能效比（TOPS/W）與低時延，讓智慧在資料來源頭即時響應。

2. 3 分鐘產業解釋

雲端運算模型在面對海量端側資料時暴露出延遲大、頻寬成本高、隱私風險突出等問題，邊緣 AI 晶片因此成為產業剛需。它將 AI 推論能力“下沉”到資料產生的最前線，使裝置能自行完成即時、本地化的智慧決策，而不必頻繁依賴遠端資料中心。

兩大核心驅動力推動產業加速：

1. 海量終端智慧化：智慧手機的 AI 攝影與語音助手、汽車自動駕駛感知、智慧家居互動、工業視覺質檢，都需要本地 AI 計算，要求晶片在幾瓦甚至毫瓦級功耗下完成複雜的神經網路推論。
2. 隱私與即時性要求：安防監控、醫療影像、金融支付等場景，資料不能或不願離開本地；工業產線、自動駕駛要求毫秒級確定性時延，容不得網路波動。邊緣 AI 晶片從架構上保障了資料在端側處理。

因此，邊緣 AI 晶片的本質是在算力、能效、成本、專用性四者之間找到最優平衡。其設計高度聚焦於“計算單元與儲存器的協同最佳化”，力圖減少資料搬運帶來的巨大能耗——這正是其與雲端端 AI 加速器的根本區別。

3. 技術原理

邊緣 AI 推論的工作負載主要是大規模的矩陣乘加（MAC）和向量運算。晶片架構即圍繞如何最省電、最高效地執行這些運算展開。

典型資料流與模組：

[ 輸入資料 (影像/語音/點雲端) ]
       ↓
[ 預處理單元 (ISP/DSP) ] → 降噪、歸一化、格式轉換
       ↓
[ AI 加速核心 ]
  ├─ 計算單元 (CU)：大規模並行 MAC 陣列（如脈動陣列 / 張量核心）
  ├─ 儲存層次：大容量片上 SRAM (L1/L2 快取) → 低功耗外部 LPDDR 介面
  └─ 控制與排程單元：指令解碼、資料流編排、稀疏跳零
       ↓
[ 後處理單元 ] → 非極大值抑制 (NMS)、Softmax 等
       ↓
[ 輸出結果 ]

關鍵電路與工藝最佳化：

• 脈動陣列（Systolic Array）：通過固定的資料流方向，讓權重、啟用值在陣列中“流動”，最大化資料複用，減少對全域性快取/DRAM 的訪問，已成為大多數低功耗 NN 加速器的基礎結構。
• 低位元量化：將模型權重和啟用從 FP32/FP16 壓縮至 INT8、INT4 甚至混合精度。每降低一位精度，MAC 操作的能耗幾乎減半，所需儲存頻寬也相應下降。這是提升能效最直接、普及度最高的手段。現代量化感知訓練（QAT）和訓練後量化（PTQ）技術能保證精度損失通常 <1%。
• 結構化稀疏與跳零：利用神經網路的固有稀疏性，硬體在解碼時直接跳過零值權重或啟用值的計算，節省計算與取數功耗。NVIDIA Ampere/Orin 等架構已支援細粒度結構化稀疏。
• 存內計算（CIM, Computing-in-Memory）：將模擬或數字計算單元嵌入儲存器陣列內部，在資料儲存的位置直接完成乘加操作，理論上可打破傳統馮·諾依曼瓶頸，實現數量級的能效提升。當前仍處於產業匯入期，部分初創公司（如知存科技、Mythic）和學術成果已在低功耗語音、視覺端點實現產品化。
• 近儲存計算（Near-Memory Computing）：通過 2.5D/3D 封裝將邏輯晶片與高頻寬儲存堆疊，大幅增加訪存頻寬密度，代表性技術為台積電 CoWoS、英特爾 EMIB 等，主要用於高算力邊緣/嵌入式場景（如自動駕駛域控）。

編譯器與軟體棧對映： 硬體效能的發揮極度依賴底層編譯器。現代邊緣 AI 編譯架構（如 TVM、MLIR）通過運算元圖最佳化、記憶體分配最佳化、自動分塊（tiling）等，將演算法模型高效對映至特定硬體，其最佳化質量直接決定“有效算力”與功耗表現。因此，邊緣 AI 晶片的競爭往往是“軟硬一體”的競爭。

4. 關鍵引數

邊緣 AI 晶片的選型不可單看某一大數字，需綜合考量以下互相關聯的指標：

• 能效（TOPS/W）：第一優先順序。在整數精度 INT8 下，當前主流邊緣晶片模組（含 DRAM）的能效比大致在 2-15 TOPS/W 區間（根據各廠商官方資料及第三方評測，2023-2024 年；先進工藝專用 ASIC 可達上限，通用 GPU 模組通常偏低）。它直接決定裝置發熱、續航以及散熱設計的可行性。
• 算力（TOPS 或 MACs）：須標明精度。邊緣端常用 INT8 或 FP16（BF16）。旗艦車載智駕晶片已達 200-500+ TOPS (INT8)，高階手機 NPU 約 30-60 TOPS (INT8)，物聯網/安防類則多為 0.5-10 TOPS。需關注“可用有效算力”，避免泡沫峰值。
• 功耗（TDP/功耗牆）：典型約束如智慧攝像頭 <5W，ADAS 域控 15-60W，無人機 <15W。晶片設計必須在給定的熱包絡（thermal envelope）內擠出最大有效算力。
• 記憶體頻寬與容量：邊緣端普遍採用 LPDDR4X/5 或 LPDDR5X，頻寬 25-70 GB/s（單晶片封裝）。有限的頻寬必須通過模型壓縮、資料複用和軟硬體協同最佳化來緩解，否則計算單元將因“等資料”而空轉。片上 SRAM 容量（通常幾 MB 到數十 MB）至關重要。
• 軟體生態與工具鏈成熟度：涵蓋模型轉換成功率、編譯器最佳化效率、運算元支援度（尤其 Transformer 變體）、除錯工具完整性。這是決定晶片從樣片到量產部署速度的分水嶺，比單純硬體引數更具長期護城河效應。
• 單位成本與晶片面積：邊緣市場對價格極度敏感。晶片面積（die size）與封裝複雜度直接決定成本，最終制約終端 BOM。在視覺 SoC 市場，AI 加速部分往往只為整顆 SoC 面積和成本的一小部分。

5. 技術路線

按架構靈活度與能效平衡關係，主流技術路線可劃分為四類（下表資料基於各廠商旗艦產品公開引數，對比視窗為 2023-2024 年）：

路線	代表架構/產品	典型能效 (TOPS/W INT8)	靈活度	開發門檻	主要應用場景
GPU（通用圖形處理器）	NVIDIA Jetson AGX Orin/Orin Nano	中（約 2-4，模組級）	極高（CUDA 生態）	低（生態完善）	機器人、科研平台、高階自主移動裝置
移動異構 SoC	高通驍龍 8 Gen 3/8cx Gen 4、MediaTek 天璣 9300+、Apple A17 Pro / M4	中高（約 5-10+）	高（整合 CPU/GPU/ISP/DSP）	中（需適配 SDK）	智慧手機、平板、輕量筆記本、XR
專用 AI ASIC / NPU	華為昇騰 / 麒麟、地平線征程 5/6、特斯拉 FSD、Google Edge TPU	高（可達 10+）	低（面向特定演算法最佳化）	高（工具鏈專門化）	自動駕駛域控、智慧安防、工業視覺
可重構 / CGRA / FPGA	清微智慧、千芯科技、部分 Lattice/賽靈思器件	潛力高（架構可重配置）	中（支援不同資料流）	高（程式設計模型異質）	語音感測、演算法多變的工業場景

注：能效數值受晶片配置、頻率鎖定、評測負載影響極大，上表僅代表定性區間。NVIDIA Jetson 模組因包含 CPU/GPU/記憶體/電源等整體功耗，裸 GPU 晶片能效會高一些。

當前趨勢是：專用 NPU/ASIC 在定型的大型模型和視覺流水線中能效最優；GPU 路線憑藉 CUDA 程式可移植性，在需要快速迭代、模型多樣的開發平台和機器人中仍佔統治地位；異構 SoC 則成為消費終端標配，在待機、拍照、遊戲等混合負載中動態排程。

6. 上游

邊緣 AI 晶片產業的上游主要涵蓋設計工具、IP 核、晶圓製造與封裝測試四個層面：

• EDA 與設計工具：Cadence、Synopsys 和西門子 EDA 提供從架構探索、RTL 模擬、綜合到版面配置佈線的全流程工具。在 AI 加速器設計中，高頻寬互聯、先進時鐘樹和低功耗物理實現是關鍵難點。
• IP 授權與架構許可：
  • CPU IP：ARM Cortex-A/R/M 系列佔據絕對主導，用於系統控制和部分預處理。RISC-V 架構在定製化、低成本邊緣晶片中開始滲透（如 SiFive、晶心科技），尤其在物聯網、MCU 級 AI 應用中嶄露頭角。
  • GPU IP：Imagination 提供高效 GPU IP，被不少 AIoT SoC 整合。Arm Mali / Immortalis 則廣泛用於手機。
  • NPU/ISP IP：ARM Ethos 系列、Cadence Tensilica、芯原股份的 Vivante NPU 等，為 Fabless 公司提供可整合的 AI 加速 IP，縮短上市時間。
• 晶圓代工與製程：邊緣側晶片廣泛採用 12nm、8nm、6nm、5nm 等成熟及先進製程。根據 TrendForce 和公開報道（2023-2024），自動駕駛高算力 SoC 集中在臺積電 5nm/6nm（如 Nvidia Orin、特斯拉 FSD、高通 Ride），中低端視覺 SoC 多采用 12-28nm（如瑞芯微、星宸科技型號）。三星、中芯國際等亦參與代工。平衡效能、功耗與成本是決定製程的關鍵。
• 封裝與測試：多晶片異構整合成為趨勢。通過 FC-BGA、InFO 等先進封裝將 AI 晶片與 LPDDR 記憶體堆疊（如手機 PoP 封裝），或採用台積電 CoWoS 等 2.5D 封裝以整合更大規模的計算與記憶體。Amkor、日月光、長電科技等為主要封測廠商。

7. 下游

邊緣 AI 晶片的下游由不同量級的終端裝置與應用構成，需求差異顯著：

• 自動駕駛與智慧座艙：目前對算力需求最高的邊緣市場。要求高功能安全（ISO 26262 ASIL-D）、硬即時處理和極高可靠性，並需要支援多感測器融合與大型模型。Tier1 廠商（如博世、大陸、德賽西威）將晶片整合至域控制器/中央計算平台，然後供給整車廠。
• 智慧手機與消費電子：最龐大的出貨市場。NPU 已為旗艦 SoC 標配，用於計算攝影、語音助手、即時翻譯、影像增強和遊戲插幀等。廠商如小米、OPPO、vivo、三星、Apple深度定製 AI 特性，對晶片能效和麵積極度敏感。
• 智慧安防與城市管理：智慧網路攝像機（IPC）、NVR 和邊緣伺服器執行人臉識別、車輛結構化、行為分析，需要多路影片流並行處理和高吞吐量。海康威視、大華股份等既自研部分晶片也外採，構成核心下游。
• 工業視覺與機器人：用於缺陷檢測、引導與分揀、AGV 自主導航等，要求環境適應性強、即時性高，並常需整合運動控制。下游包括工業自動化整合商、機器人本體制造商。
• 物聯網與邊緣閘道器：涵蓋智慧零售、智慧農業、可穿戴裝置和邊緣閘道器。要求極低功耗（mW 級）、低成本和微小封裝，通常依賴整合簡單 NPU 的 MCU/SoC 晶片。

8. 受益公司

產業鏈各環節都會因邊緣 AI 滲透率提升而受益，以下按類別列示（不構成任何投資建議）：

• 晶片設計商：
  • 國際：NVIDIA（Jetson 平台）、高通（手機與車載）、英特爾（Movidius/OpenVINO、Mobileye）、AMD（收購賽靈思後 Kria 等）、Broadcom（定製 ASIC）。
  • 國內：華為海思（昇騰/麒麟，全場景覆蓋）、地平線（征程系列，自動駕駛）、寒武紀（思元系列，雲端邊端）、瑞芯微（視覺 SoC）、星宸科技、愛芯元智、億智電子等。自動駕駛域控晶片領域，地平線征程已公開宣佈累計出貨量超 300 萬片（截至 2023 年官方新聞稿），市佔率在中國市場位於第一梯隊。
• IP 與 EDA 廠商：ARM、Synopsys、Cadence、Imagination、芯原股份等通過收取 IP 授權費和設計服務費受益。
• 代工與封測：台積電、三星、中芯國際、日月光、長電科技等因邊緣晶片的出貨量增長而獲得穩固的訂單。
• 下游解決方案與終端：擁有垂直場景資料和系統整合能力的廠商，如海康威視、大華、德賽西威、均勝電子等，通過搭載高效邊緣 AI 晶片提升方案價值。Apple、特斯拉等終端巨頭通過自研晶片直接實現體驗閉環。

9. 市場規模

據多家分析機構綜合資料，全球邊緣 AI 晶片市場處於高速增長期。

• 市場規模與增長：參考 MarketsandMarkets、Grand View Research 及 Yole Intelligence 在 2023-2024 年報告的資料（各機構口徑有所不同，涵蓋晶片、模組或板卡），2022 年全球邊緣 AI 處理器市場規模估計在 25-40 億美元 之間。預計到 2028 年，該規模將達到 80-120 億美元，年複合增長率（CAGR）普遍預測在 18%-25%，為半導體領域少有的高增長賽道。其中，汽車 ADAS/AD 晶片和智慧手機 NPU 佔據較大份額。
• 出貨量分佈：IoT/嵌入式視覺晶片因單價低，出貨量最大；汽車晶片因單價高，營收佔比快速提升。根據 Counterpoint 等機構 2023 年對手機 AP-SoC 市場的追蹤，整合 NPU 的 SoC 已接近 100% 滲透率，表明端側 AI 已成為移動晶片標配。
• 驅動因素：生成式 AI 逐漸向邊緣側遷移（如端側 LLM）、大型模型輕量化技術（量化、蒸餾、剪枝）的成熟，以及 5G/6G 對邊緣計算的即時性要求，將持續擴大市場容量。

10. 玩家對比

以下選取 2024 年時間點，三類代表性邊緣 AI 晶片平台的核心引數對比（資料來源自各廠商官網及公開技術白皮書）：

平台	晶片/模組	工藝	算力 (INT8)	典型功耗	能效 (TOPS/W)	記憶體型別/頻寬	生態/架構	典型場景
NVIDIA Jetson AGX Orin	模組級 (含 CPU/GPU/記憶體)	8nm (Samsung)	275 TOPS	15-60W	~4-6 (視負載)	LPDDR5, 204.8 GB/s	CUDA, TensorRT, Isaac	機器人, AMR, 高階智駕原型
高通 Snapdragon Ride (SA8650)	SoC	4nm (TSMC)	約 100+ TOPS (NPU)	約 15-25W	~5-7	LPDDR5	Snapdragon Ride SDK	車載智駕域控
地平線征程 6P (J6P)	SoC	7nm (未明公開製程，據公開報道)	560 TOPS (INT8)	未公開 (據推測<35W)	未公開	LPDDR5	天工開物工具鏈	高階城市 NOA、全場景智駕
Google Edge TPU (Coral)	協處理器/模組	28nm (TSMC)	4 TOPS (INT8)	約 2W	~2	無外部 DRAM (片上)	TensorFlow Lite	嵌入式視覺、USB 加速棒
華為麒麟 9000S (NPU)	SoC (手機)	7nm (SMIC)	約 30+ TOPS (估計)	手機 TDP <10W	未公開 (高)	LPDDR5	HiAI Foundation	手機影像、語音
Intel Myriad X / Movidius (已停產新系，移植至 Meteor Lake NPU)	NPU IP	Intel 4 (現)	約 10 TOPS (平台)	低	~5-8	系統共享	OpenVINO	PC、筆記本 AI 增強

說明：

• 算力資料來自各公司官方釋出會或技術文件（2023-2024）。部分國內廠商“TOPS”為峰值算力，實際持續算力受限於記憶體層級，差異可達 30%-50%。
• 能效比因測試條件不同不宜直接橫向對比，尤其是在模組級與晶片級之間。Jetson 模組包含元件多，裸片能效比會更高，此處按模組標定。
• “未公開”表示截至撰稿時廠商尚未提供確定口徑的規格引數，財報及技術文件中未見明確數字。

11. 風險

• 技術迭代風險：AI 演算法進化迅速（如 Transformer 對 CNN 的部分替代、端側大語言模型），如果晶片架構過於專用化且不支援新運算元，可能快速被淘汰。可重構和通用 GPU 路線在此項上相對佔優。
• 供應鏈與地緣政治風險：先進製程代工集中在臺積電、三星等少數廠商，地緣衝突可能導致斷供或許可證變化。國產晶片設計公司若受限於先進製程，效能天花板將承壓。
• 價格競爭與毛利率壓力：邊緣晶片市場碎片化且對成本高度敏感，尤其在消費 IoT 和低端安防領域，容易陷入價格戰，導致研發投入難以回收。擁有垂直整合能力或強大軟體生態的廠商更具抗壓性。
• 軟體生態與開發者粘性：在汽車和機器人等高價值場景，開發者習慣（如 CUDA）構成強大壁壘。一個硬體引數優秀但工具鏈不完善的晶片，可能因客戶遷移成本過高而推廣困難。
• 隱私與合規風險：邊緣端處理更多資料意味著潛在隱私洩露更高，各國對資料本地化、演算法備案和 AI 倫理的監管趨嚴，可能增加晶片附加安全 IP 及認證成本。
• 公開資料未見：行業缺乏統一的第三方能效測試基準（如 MLPerf Tiny 正在推廣中），使得不同晶片間的比較充滿噪音，可能導致客戶決策延遲或誤判。

12. 誤讀糾偏

1. 誤讀：“邊緣 AI 晶片算力低，技術門檻就不高。” 糾偏：恰恰相反，在幾瓦功耗下做出有效 TOPS 的難度遠超堆算力。它需要從微架構、物理設計、編譯器、演算法量化全棧協同最佳化，涉及數模混合、先進封裝等尖端工程，極度考驗團隊跨學科能力。

2. 誤讀：“未來所有 AI 任務都應放在邊緣端。” 糾偏：這是典型的“雲端-邊-端”平衡問題。邊緣適合低延遲、隱私敏感、需離線執行的輕量推論；雲端端仍然是大型模型訓練、複雜資料分析和跨區域排程的必要存在。邊緣 AI 晶片的理想戰場是做好最適合自己的那部分即時推論。

3. 誤讀：“INT8 量化一定會嚴重損害模型精度。” 糾偏：現代量化技術（QAT、PTQ）已經能在主流視覺、語音任務上把精度損失控制在 0.5% 以內，而算力與能效提升卻可達 4 倍以上。量化是邊緣部署的標準實踐，不是被迫妥協。最新研究如 GPTQ、AWQ 等更是將大語言模型壓縮至 4-bit 並仍保持合理性能。

4. 誤讀：“硬體 TOPS 決定一切，越高越好。” 糾偏：能效、記憶體頻寬、編譯器對映效率與實際負載下的持續算力才是決定性因素。許多晶片峰值 TOPS 漂亮，但一跑真實網路就可能因資料供應不上而空轉，有效算力大打折扣。關注 MLPerf 等標準化的端到端延遲和吞吐率測試更為務實。

13. 最新事件

（本節資訊截至 2024 年 10 月可查詢的公開資料）

• NVIDIA 釋出 Jetson Orin Nano 與更新（2023-2024）：推出更具價效比的模組，進一步降低邊緣 AI 開發門檻。同時宣佈 Isaac ROS 和 Omniverse 生態擴充套件，推動機器人端側 AI。
• 高通驍龍 X Elite 平台（2024 年 6 月釋出）：整合 Hexagon NPU，算力達 45 TOPS (INT8)，專為 Windows on Arm PC 側 AI 加速，支援執行數千億引數的大型模型端側推論。
• Apple M4 晶片（2024 年 5 月釋出）：新一代 NPU 達 38 TOPS (INT8)，強化 iPad Pro 等裝置的 AI 能力，顯示消費級邊緣 AI 持續競賽。
• 地平線征程 6 系列釋出（2023-2024）：推出覆蓋低至高階的全系列車載智慧晶片 J6B/J6L/J6E/J6P，J6P 官方算力 560 TOPS，旨在滿足城市 NOA 和高階智慧駕駛需求。2024 年宣佈與多家主機廠達成合作，預計 2025 年量產。
• 特斯拉 HW 4.0 / FSD 晶片（持續迭代）：未釋出新代，但 HW 4.0 已在量產車型搭載，繼續鞏固其垂直自研專用 ASIC 路線。公開資料未見明確下一代晶片引數。
• 端側大語言模型進展：2024 年，Google Gemini Nano、Meta Llama 等相繼展示在手機側執行大型模型。聯發科天璣 9300+ 和高通驍龍 8 Gen 3 均強調對 LLM 的端側支援，能效成為競爭熱點。
• 行業標準化動態：MLCommons 推進 MLPerf Tiny 基準用於衡量微控制器級 AI 效能；ETS 等標準化組織開始探討邊緣 AI 能效認證規則，力圖緩解指標氾濫。

14. 追蹤指標

若要持續追蹤邊緣 AI 晶片產業景氣度與競爭格局，可重點關注下列先行與同步指標：

1. 主要廠商出貨量與營收：NVIDIA（汽車/機器人營收，季度財報 Omniverse/機器人項）、高通（手機/汽車 IoT 營收）、Intel（IOTG/AI 部門）、國內地平線/寒武紀等公開揭露的出貨量或營收。口徑：各公司季度財報及招股書。
2. ADAS/AD 域控滲透率：中國乘用車 L2+/L3 級別前裝搭載率，及域控制器晶片供應商份額（來源：高工智慧汽車、佐思汽研、蓋世汽車研究院）。重點關注採用國產晶片的方案比例。
3. 智慧安防晶片匯入週期：頭部安防廠商（如海康、大華）採用的 AI SoC 型號迭代，反映新晶片商用進度。
4. 新興端側 AI 標杆：PC 端 AI 滲透率（IDC 預計 2024 年 AI PC 佔比）、具備 NPU 的智慧手機佔比（Counterpoint 月度報告）。Apple、三星、小米等旗艦新機型 NPU 算力提升幅度。
5. 半導體工藝與封裝產能利用率：台積電 5nm/7nm 及成熟製程的產能狀況、先進封裝 CoWoS 排單，反映高階邊緣晶片供給鬆緊。
6. 模型壓縮與編譯器開源專案活躍度：Apache TVM、MLIR、ONNX Runtime 等社群更新和產業採納情況，可間接反映軟硬體協同的成熟度。
7. 行業標準與法規動態：各國資料主權和 AI 法規（如歐盟 AI Act）、晶片出口管制政策，直接決定市場可觸及度和合規成本。

15. 信源

• 廠商官方資料：NVIDIA Jetson 系列技術手冊、高通 Snapdragon 產品規格書、Intel 產品變更通知 (PCN)、地平線征程系列釋出稿、華為海思昇騰社群文件、特斯拉 Autonomy Day 公開材料。
• 行業研究報告：
  • MarketsandMarkets《Edge AI Hardware Market – Global Forecast to 2028》
  • Grand View Research《Edge AI Market Size & Share Report, 2023-2030》
  • Yole Intelligence《Status of the Edge AI Processor Market 2024》
  • Counterpoint Research 季度手機 AP/SoC 追蹤報告
  • 高工智慧汽車研究院（中國智駕域控市場）
• 學術與標準化：
  • 經典論文：Google TPU (ISCA 2017)、Eyeriss v1/v2 (ISCA 2016 / JSSC)、MIT 有關存內計算綜述。
  • MLCommons (MLPerf) 公開推論結果資料庫。
• 技術媒體：AnandTech、Semiconductor Engineering、EETimes、雷鋒網、極術社群，追蹤晶片架構與設計前沿。
• 財務揭露：相關上市公司季度及年度財報（SEC/港交所/上交所官網）。

免責宣告：本文所有資料均來自公開渠道，時間截至相應釋出節點；未標註來源的具體數字或分析為行業共識性推斷，僅供參考，不構成任何投資建議。具體晶片規格請以廠商最新技術文件為準。