應用層 開放閱讀

AIPC

AI PC

概念 ID
ai-pc
更新時間
2026-05-29
來源數量
待補

AIPC

3 秒看懂

AI PC 是整合專用神經網路處理單元(NPU)、能夠本地執行大語言模型(LLM)或生成式 AI 任務、同時具備混合 AI 協同能力的新一代個人電腦。它不只是“裝了一個 AI 應用”,而是從處理器、記憶體、作業系統到散熱架構的體系級重構,目標是把延遲敏感、隱私敏感、成本敏感的推論工作保留在終端,並與雲端端大型模型動態聯動。

核心公式型記憶
AI PC ≈ 通用計算(CPU+GPU)+ 高效推論引擎(NPU)+ 統一大容量記憶體 ≥ 16 GB + 端側模型工具鏈

當前典型估算(基於 2023‑2024 產業動態,具體引數未統一標準):

  • 端側推論可執行 7B~13B 引數量的 INT4 量化模型,token 生成速率約 10‑30 tokens/s 級別
  • NPU 算力需求 ≥ 10 TOPS(INT8),面向長上下文多模態場景趨近 40 TOPS 以上
  • 新增成本約 10‑20%(同配置無 NPU 平台對比),但隨規模化收窄

一句話:AI PC 的本質是把雲端端 AI 能力“下放”並內嵌為個人計算的基礎設施,讓端側成為第一推論入口。

3 分鐘產業解釋

為什麼會誕生 AI PC?

  • 延遲與頻寬:即時助理、程式碼補全、會議轉錄需毫秒級響應,全雲端端受制於網路抖動與伺服器排隊
  • 隱私與合規:企業、醫療、政務資料上傳雲端端面臨法規風險,本地推論可最小化資料外洩
  • 成本與規模:生成式 AI 每日數十億次推論若全跑在雲端端,將導致推論例項需求激增,單位成本遠超終端電費
  • 個性化與離線:端側模型可學習使用者習慣的長期記憶,離線可用性也是剛需

產業形態
AI PC 不是單一產品,而是“晶片 + 作業系統 + 模型 + 應用”的跨層協議。

  • 晶片:x86 陣營(Intel Core Ultra 整合 NPU,AMD Ryzen AI 引擎),Arm 陣營(高通 Snapdragon X Elite 及 Apple M 系列)均在 SoC 中融合 NPU
  • OS 層:微軟 Copilot+ PC 定義最低 40 TOPS NPU,繫結 Windows 11 AI 堆疊(DirectML、ONNX Runtime、NPU 排程)
  • 模型生態:高通推出 AI Hub,Intel 推 OpenVINO,均提供預量化、預調優的開源模型(Llama、Stable Diffusion、Whisper 等),旨在降低 ISV 適配成本
  • 終端品牌:聯想、惠普、戴爾、華碩、華為等預裝帶有本地推論能力的智慧助手與系統級服務

判斷視窗
2024 年中起,頭部機型搭載 Intel Meteor Lake(NPU ≈ 11 TOPS)或高通 Snapdragon X Elite(NPU 宣稱 45 TOPS)陸續出貨。滲透率仍處於早期,大部分應用尚在“可用”到“好用”過渡期,但產業鏈分析架構已沿“NPU IP → 代工/封裝 → 記憶體 → PCB/散熱 → 模型工具 → 應用”展開。

15 分鐘專家深入

混合 AI 架構的端雲端切分邏輯
AI PC 並非“自給自足”。其本質是混合 AI

  • 小、快、隱私型任務(分詞、意圖識別、簡單問答、本地搜尋)完全在端側
  • 重計算、多模態複雜生成、知識截止後資訊需雲端側大型模型協助
  • 分界點由“執行時可排程的模型路由器”根據任務複雜度、網路質量、電池狀態、使用者設定動態選擇

硬體瓶頸與平衡點

  • 記憶體頻寬是端側大型模型的首要限制。以 7B INT4 模型為例,模型引數約佔 3.5 GB,推論時 KV 快取隨上下文長度增長,長上下文 128K 可能額外消耗數 GB 頻寬。LPDDR5x‑8533 理論頻寬約 68 GB/s,若頻寬利用率為 70‑80%,在 batch=1 下 token 生成速度可能落在 15‑30 tokens/s。更高頻寬(如未來引入的 LPDDR6,或Apple Ultra 的統一記憶體 800 GB/s 級)將直接推升可用引數量級。
  • NPU 架構專注矩陣乘加與卷積,能效比遠超 GPU 的 CUDA 核。典型 Micro NPU 採用脈動陣列或張量核,面積效率高,可長時間無散熱降頻執行。然而,對於某些動態圖結構、自定義運算元、稀疏啟用等,仍可能回退到 GPU 或 CPU,這要求底層的異構排程極其精密。

模型適配與“瘦身”技術
端側模型不能簡單把雲端端百億引數模型下載。需經歷:

  1. 量化:FP16 → INT4/INT8,甚至混合精度(注意力層留較高精度),精度損失通過量化感知訓練(QAT)或 GPTQ/AWQ 等後訓練量化控制
  2. 剪枝與蒸餾:結構剪枝去掉冗餘注意力頭、FFN 維度;教師-學生蒸餾讓 7B 模型模仿 70B 輸出分佈
  3. 分塊與投機解碼:推測解碼(draft model 在端側、驗證在雲端端或更大型模型)可加速 2‑3 倍而無質量損失
  4. Offloading:部分層或 KV 快取利用 NVMe SSD 換出,但延遲驟增,僅適合低互動場景

安全與認證體系
AI PC 將承載個人知識庫、生物特徵、行為指紋。故晶片級信任根(如 Intel TPM/TDX、ARM CCA)、記憶體加密、安全 NPU 執行域成為賣點。微軟要求 Copilot+ PC 具備 Pluton 安全處理器或等效硬體以隔離憑據。

技術原理

NPU 微觀機制
NPU(Neural Processing Unit)通常為多級 MAC(乘加)陣列。以典型架構示意:

 [控制單元] → [張量核 (128×128 MAC)] → [累加器] → [啟用函式硬體] 
                ↕                  ↕
         [片內 SRAM 快取]   [專用 DMA 引擎]

         [系統記憶體介面 (AXI/CHI)]
  • 陣列單元並行執行大量 INT8 點積,一週期完成數千次運算
  • 專用 DMA 負責權重/特徵圖預取,減少快取缺失
  • 量化引擎在輸入/輸出邊界做定點-浮點轉換,外部仍為 FP32/FP16 介面
  • 部分 NPU 支援非同步指令流、獨立於 CPU 執行,OS 需通過驅動提交命令佇列

大型模型推論流水線在 AI PC 上的對映
以 Transformer 解碼一個 token 為例:

  1. 嵌入查詢 → CPU 標量操作(頻寬低,開銷小)
  2. QKV 投影 → NPU 矩陣乘法
  3. 注意力計算(softmax(QK^T/√d)V)→ 主要是矩陣乘+規約,部分可由 NPU 加速,但動態 softmax 需浮點精度,常回退至 GPU 或 CPU 高階向量擴充套件(AVX)
  4. FFN(兩層全連線+啟用) → NPU 峰值效能場景,能效最高
  5. 輸出投影 → NPU
    總時延 = 計算 + 訪存。模型全在 NPU 上跑時,記憶體頻寬佔主導,故有大容量最後一級快取(SLC)的系統可獲得更穩定的生成速度。

混合 AI 排程模型
OS 級智慧代理(如 Windows Copilot Runtime)維護“模型清單”,為每個已註冊模型標註硬體親和度、預期延遲、能耗、適用任務。應用發出 Prompt,排程器可先本地執行小型意圖分類模型(<100M 引數),若置信度低則拉起端側中等模型,再不夠則配雲端端大型模型。這一“級聯推論”可在使用者無感下完成。

電源與熱設計
AI PC 在純 NPU 推論時功耗可控制在 5‑10 W(系統級),遠低於同負載 GPU 推論。但若 GPU 與 NPU 同時工作(如 NPU 跑語言模型,GPU 跑影像生成),瞬時散熱需重新設計。各品牌普遍採用雙風扇+大面積均熱板,BIOS 實現動態功率共享(如 CPU+GPU+NPU 共享 PL1/PL2 限制)。

技術演進史

前 AI PC 時代(~2022)

  • 2017‑2020:手機 SoC 率先引入 NPU(華為麒麟 970、Apple A11),桌面端僅靠 GPU 通用計算(CUDA/Metal)
  • 2020:Apple M1 整合 16 核 Neural Engine(≈11 TOPS),統一記憶體架構展現端側推論雛形,但生態封閉
  • 2023:AMD Ryzen 7040 系列內嵌“Ryzen AI”引擎(基於 Xilinx IP,約 10‑12 TOPS),x86 首次擁有獨立 NPU,但軟體支援滯後

概念形成期(2023)

  • ChatGPT 引爆對大型模型的端側需求,業界認清 GPU 獨木難支
  • Intel 釋出 Meteor Lake(2023 末),整合 NPU(≈11 TOPS),採用低功耗島,主打“AI PC”標籤
  • 高通釋出 Snapdragon X Elite(2023 末),NPU 設計目標 45 TOPS,Arm 架構+高速 LPDDR5x 瞄準全能型 AI PC
  • 微軟 Build 2024 提出 Copilot+ PC 規範,NPU ≥ 40 TOPS,記憶體 ≥ 16 GB,儲存 ≥ 256 GB,重塑 OEM 設計規範

早期發展期(2024‑2025)

  • OEM 產品大規模出貨,但 Killer App 尚未出現,多為系統增強(即時字幕、影片特效、AI 搜尋)
  • 端側模型競爭加劇:Meta Llama 3、微軟 Phi‑3、Mistral、通義千問等均釋出 1B‑7B 版本,量化工具鏈成熟
  • 供應鏈滲透:ABF 載板、散熱模組、LPDDR5x 顆粒需求提升;終端廠商繫結自家模型、應用商店抽成模式萌發

技術路線對比(量化表)

注:以下為產業典型值估算,基於各廠商 2024 年公開白皮書與第三方測試,具體型號有差異,標記 [估算]。

指標Intel Core Ultra (Meteor Lake)AMD Ryzen 8040 (Hawk Point)高通 Snapdragon X EliteApple M3 (對比參考)
架構x86 混合(P/E/LPE 核 + NPU)x86 混合(Zen4/Zen4c + XDNA NPU)Arm v8.7 定製 Oryon 核 + Hexagon NPUArm (Apple 定製) + Neural Engine
NPU 製程與 IPIntel NPU 3([估算] N6)Xilinx 基礎, [估算] N4/N5Hexagon NPU,[估算] N4Neural Engine (與 CPU 同製程)
NPU 峰值算力~11 TOPS (INT8)~16 TOPS (INT8)~45 TOPS (INT8)~18 TOPS (M3, M3 Pro, M3 Max)
記憶體支援LPDDR5/x-7467 最大 64 GBDDR5/LPDDR5x,最大 64 GBLPDDR5x-8533,最大 64 GB統一記憶體 LPDDR5,最大 128 GB (Max)
記憶體理論頻寬~119 GB/s (LPDDR5x‑7467)取決於配置,典型 90‑120 GB/s~136 GB/s (8ch x 16bit)100 (M3) – 400 GB/s (M3 Max)
AI 軟體棧OpenVINO, DirectML, ONNX RTIPU/ROCm 早期,ONNX RT 路徑AI Hub (模型庫), DirectML, TensorFlow LiteCore ML, ANE 私有 API
能效 (典型推論功耗)NPU 2‑3W,系統 10‑15WNPU 2‑4W,系統 12‑18WNPU 3‑5W,系統優異(傳聞 <10W 輕載)NPU <2W,系統 6‑12W
安全隔離Intel TME, Boot Guard, Pluton readyAMD PSP,Pluton 可選TrustZone, [估算] Pluton 相容方案Secure Enclave
代表裝置量產時間2023 Q42024 Q12024 年中2023 Q4

要點解讀

  • 算力絕對值高通領先,但 x86 保留龐大相容生態;Apple 憑藉記憶體頻寬和封閉調優在部分創作場景領先
  • “NPU TOPS” 為 INT8 量化效能;實際推論 BERT、LLaMA 有效吞吐嚴重依賴記憶體和軟體運算元適配
  • 微軟 Copilot+ PC 標準(≥40 TOPS)直接將 Intel/AMD 當前產品排除在該認證外(需下一代 Lunar Lake/Strix Point),造成產品分層

上下游

上游核心環節

  1. IP 與設計服務
    • NPU 微架構 IP:公司自研(Intel/Qualcomm/Apple/AMD)為主,第三方 IP(如 Ceva, Cadence Tensilica, Arm Ethos)有潛在機會但當前主流平台均自研 [供應鏈估算]
    • EDA 與模擬:NPU 驗證需新工具鏈,Cadence、Synopsys 提供 AI 加速器驗證方案
  2. 半導體制造與封裝
    • 先進製程:SoC 主體多在 N4/N3(台積電)/Intel 4,NPU 與 CPU/GPU 異構整合需 Chiplet 或統一 Die
    • 先進封裝:CoWoS、EMIB 等用於連線大算力 NPU 與高頻寬記憶體,但 AI PC 初期多采用傳統 2.5D 或有機基板,未來可能引入 UCIe 介面的 NPU 小晶片
  3. 記憶體與儲存
    • 高頻寬 LPDDR5x 顆粒依賴三星、SK 海力士、美光;速率從 6400 飆至 9600 Mbps(瞄準 2025),對低功耗自重新整理、溫度管理有新要求
    • 大容量 SSD 用於模型持久化,PCIe 4.0/5.0 速率已足,但需最佳化讀取佇列深度
  4. 散熱、PCB、機殼
    • 均熱板、超薄熱管、石墨散熱膜需求升級,因 NPU 雖高效但仍需擠出額外 2‑5 W 熱量

中游:ODM/OEM 與系統整合

  • 頭部 ODM(廣達、仁寶、和碩、緯創)根據 NPU 功率曲線重新布板挖槽
  • OS 映象定製:NPU 驅動、電源管理、模型預載入與恢復策略深度整合
  • 整機品牌(聯想、惠普、戴爾、華碩、華為、微軟 Surface)通過預裝應用與“AI 鍵”等硬體互動鎖定入口

下游:應用生態與行業方案

  • 基礎系統應用:即時字幕、畫面增強、會議摘要、內容搜尋
  • 辦公/創意:本地 Copilot(Office 整合)、原生代碼生成助手(GitHub Copilot)、本地影像編輯(Adobe Sensei 外掛)
  • 行業專用:醫療影像初步篩檢、法律文書脫敏分析、教育自適應學習——均可在無網路滿足合規

關鍵指標

1. NPU 有效算力與能效 (TOPS/Watt)
需區分:峰值 TOPS 與模型實際吞吐。關鍵看 MLPerf Mobile/Client 推論基準(影像分類、目標檢測、語言模型)的延遲與能耗。

2. 端側模型最大引數量與上下文長度
可用記憶體容量與頻寬決定。業界參考公式(估算):可行模型大小 ≈ (可用記憶體 – 系統預留) / 1.2(考慮量化與後設資料)。如可用 12 GB,可部署 7B INT4 模型,仍餘空間給 KV 快取。

3. 首 Token 延遲與生成速率
使用者體驗關鍵:首 token 延遲 <500 ms,生成速率 >15 tokens/s 視為“流暢”。需結合提示壓縮、預填充策略最佳化。

4. 掉電/休眠恢復時間
移動 PC 強調即時線上。NPU 狀態儲存與模型載入需以亞秒計,決定“即開即用”體驗。

5. 跨模型相容與開發易用性
模型格式覆蓋率(ONNX, TensorFlow Lite, OpenVINO IR),以及 NPU 程式設計架構抽象程度。開發者寧願犧牲 5‑10% 效能也不願寫彙編級運算元。

6. 安全認證級
關鍵:記憶體加密、信任執行環境 (TEE) 認證級別。金融、醫療應用要求 EAL4+ 或更高。

供需與市場資料

以下資料來源於第三方機構估算與產業鏈調研口徑(Canalys、IDC、Counterpoint 等 2024‑2025 預測),因概念早期,變化較快。

  • 出貨量預測:Canalys 預計 2024 年 AI PC(具備 NPU 的筆記本與桌上型電腦)出貨約 4800 萬臺,佔整體 PC 市場的 18‑22%;2025 年可達 1 億臺以上,滲透率超 40% [行業報告口徑]。高通、AMD、Intel 均計劃 2025 年全面中高階版面配置。
  • 核心矽價值量提升:搭載 NPU 的 SoC 平均售價(ASP)比同代無 NPU 型號高 $30‑$80(基於 i5/i7 對比 Ultra 系列零售價差 [估算]),為半導體廠商帶來混合 ASP 提升。
  • DRAM 需求:每臺 AI PC 記憶體配置從主流的 8‑16 GB 上移至 16‑32 GB,推動 PC DRAM 位元需求增長。美光財報會曾指出 AI PC 將加速單機容量爬升 [廠商財報引用]。
  • 供需狀態:2024 上半年,高通 X Elite 平台供應緊張,4nm 產能有限;x86 平台相對充裕。記憶體方面,LPDDR5x 高頻率料件供應平穩,但 8533+ 速率顆粒有篩選溢價。
  • 長期價格趨勢:NPU 帶來的額外 BOM 成本隨著製程成熟和主晶片整合度提高,預計 2026 年後降為 ≤10% 增量,並逐漸成為 SoC 標配,不再有“非 AI”選項。

代表公司與資本對映

晶片平台主導者

  • 英特爾(INTC):Core Ultra 先行者,通過 OpenVINO 繫結開發者;下一代 Lunar Lake(2024 末)預計 NPU 達 45 TOPS,直指 Copilot+。資本市場關注其能否挽回份額。
  • 高通(QCOM):Snapdragon X Elite 以低功耗、高 NPU 算力進軍 PC,搭載微軟 Copilot+ 獨家首發,直接衝擊 x86 大本營。後續看生態相容性(x86 模擬效率)與價格下沉。
  • AMD(AMD):Zen5 架構 Strix Point(2024)NPU 升級至 45‑50 TOPS,且採用 RDNA 3.5 GPU,或形成全能 AI 平台;但 AI 軟體棧成熟度仍是短板。
  • Apple(AAPL):不參與“AI PC”宣發,但 M 系列晶片已是標杆。WWDC 2024 推出 Apple Intelligence,體現端側私有雲端運算融合,封閉生態令硬體價值內化,對外部供應鏈影響有限。

系統生態與品牌

  • 微軟(MSFT):通過 Copilot+ PC 認證和 Windows AI 工具鏈掌握定義權,合作伙伴必須配合。同時推廣 Azure 混合推論,是長期樞紐。
  • 聯想集團(0992.HK):PC 出貨全球第一,率先全面轉型 AI PC,內嵌個人大型模型嵌入 “聯想小天”,意圖從硬體商轉向智慧代理服務商。
  • 惠普(HPQ)、戴爾(DELL):積極跟進,成立獨立 AI 部門或收購軟體公司(如 HP 收購 Poly),但路線更多為整合商。
  • 華為:鯤鵬/昇騰端側能力為基石,盤古大型模型 + HarmonyOS 跨裝置協同,可能形成差異化生態,但在全球消費市場受制。

上游核心零部件與工具

  • 記憶體:美光、三星、SK 海力士 —— 受益單機容量/速度雙升
  • 熱管理:雙鴻、酷冷至尊、AVC —— 熱管/VC 需求提升
  • 模型最佳化工具:Hugging Face 模型庫、Qualcomm AI Hub、Intel OpenVINO 團隊,雖未上市但已建置生態壁壘
  • AI 安全:潛在將傳統安全軟體升級為本地 AI 安全代理,CrowdStrike、SentinelOne 等已釋出概念

產業觀察口徑

階段判斷:目前 AI PC 處於“概念驅動 + 初期滲透”期,產業驗證重點在微軟認證、爆款應用、滲透率斜率與供應鏈營收兌現。

觀察維度

  1. 核心部件升級鏈:大容量記憶體、高速 PCB/CCL、散熱模組、先進封裝會隨單機 BOM 提升而改變供需結構;是否兌現取決於出貨量、ASP 與良率。
  2. 晶片平台切換:若 Arm 架構 PC 滲透率從現 <15% 向 25‑30% 提升(高通、NVIDIA 聯手聯發科等),則 Arm 生態鏈的代工、標準和軟體適配會獲得更多產業關注。
  3. 品牌渠道與使用者入口:AI 助手將重構作業系統入口與資料流量分配。能夠佔據“個人知識庫”終端且 DAU 粘性高的廠商,可能衍生訂閱、廣告或企業服務模式。
  4. 應用與模型工具:端側 AI 將催生模型排程、私域知識圖譜、低程式碼智慧代理搭建平台等中介軟體,商業化彈性取決於生態成熟度和客戶付費意願。
  5. 風險因素:需要區分“AI 就緒 PC”(僅晶片支援)與“真正好用的 AI PC”(軟硬協同、應用豐富);滲透率轉化可能不及預期,Windows on Arm 相容性也會影響相關平台的增長節奏。

常見誤讀糾偏

誤讀 1:“AI PC = 電腦裡裝了 ChatGPT/文心一言客戶端”
正解:這不是 AI PC。AI PC 的本質是底層硬體具備獨立執行大型模型的能力,且作業系統和應用呼叫這些能力完成混合推論。僅有雲端端 APP 的是普通 PC。AI PC 強調 NPU 本地推論,可離線執行摘要生成、程式碼補全、智慧搜尋等,極大地減少資料離開裝置。

誤讀 2:“AI PC 的效能由 NPU TOPS 數字直接決定”
正解:TOPS 只是二維卷積/矩陣乘的峰值算力,實際端側大型模型推論頻寬受限,記憶體頻寬、量化支援、運算元覆蓋、軟體棧成熟度同樣關鍵。一塊理論 45 TOPS 的 NPU,若軟體只能跑遠低於峰值的分層模擬,實際生成速度可能不如 10 TOPS 但最佳化完善的方案。

誤讀 3:“AI PC 會迅速淘汰普通 PC”
正解:企業換機潮受預算週期、相容性、安全策略制約。大量辦公場景仍以 Web 與輕端為主,暫時不需要本地 AI。預計 AI PC 滲透率將呈“S 型曲線”,早期集中在創作者、高管、開發者。完全替代非 AI PC 可能跨越 3‑5 年以上。

誤讀 4:“AI PC 只是端側推論,雲端端不重要了”
正解:恰恰相反,混合 AI 模式讓雲端端價值被重新定義——雲端端大型模型負責最重訓練、知識更新、跨裝置同步與複雜規劃,而且使用者越多,雲端端後端推論規模仍然巨大。AI PC 反而會拉動雲端端 API 呼叫,因為端側模型會頻繁向雲端端“求助”。

學習路徑

基礎概念入門(1 周)

  • 瞭解 CPU、GPU、NPU 的區別和各自擅長運算
  • 閱讀混合 AI 架構的優勢(高通白皮書《混合 AI 是 AI 的未來》[公開資源])
  • 上手體驗:找一臺帶 NPU 的筆記本(如 Intel Ultra 或 Mac M 系列),執行 Llama.cpp 或 LM Studio 載入 7B 模型,實測生成速度

模型壓縮與推論(3 周)

  • 學習量化原理(對稱/非對稱、逐通道/逐層)、GPTQ/AWQ
  • 學習 ONNX Runtime、OpenVINO、TensorFlow Lite 架構,實踐將一個 Llama‑2‑7B 轉為 INT4 並部署到 NPU
  • 掌握投機解碼、KV 快取管理、連續批處理概念

異構計算與系統排程(2 周)

  • 瞭解 Windows DirectML,Linux DRM‑NPU 驅動模型
  • 學習模型路由器實現:置信度閾值、任務特徵提取、動態 Offloading
  • 研讀微軟 Copilot Runtime 或開放專案(如 DML-based 排程)文件

產業追蹤(持續)

  • 追蹤每季 Intel/AMD/高通釋出的新平台 NPU 架構白皮書
  • 關注 MLCommons 客戶端推論結果
  • 閱讀 Canalys/IDC AI PC 出貨報告
  • 分析開發者論壇(GitHub Discussions)關於 NPU 運算元缺失、精度異常的討論,最真實反映生態成熟度

一句話總結

AI PC 是把端側推論能力變成 PC 的基礎屬性,它不單是硬體的增量,更是計算範式從“本地算力+雲端端大腦”混合協同的載體,將在未來三年內重塑個人計算的入口、生態與商業模式。

延伸閱讀與來源

  • Canalys, “AI-capable PC shipment forecast 2024‑2028” [行業報告]
  • Intel, “Intel Core Ultra processors with Intel AI Boost” 技術白皮書
  • Qualcomm, “Snapdragon X Elite On-Device AI Engine” 官方規格
  • Microsoft, “Introducing Copilot+ PCs” (May 2024)
  • AMD, “Ryzen AI technology overview” 開發者指南
  • MLCommons, MLPerf Client benchmark results v1.0/v2.0
  • Hugging Face, “Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA”
  • arXiv:2306.02232 (AWQ), arXiv:2210.17323 (GPTQ) — 端側量化關鍵論文
  • 《混合 AI 是 AI 的未來》, 高通白皮書, 2023
  • 各公司季度財報電話會議紀要(Intel 2024Q1, AMD 2024Q1, Qualcomm 2024Q2)

注:本文涉及的具體算力、功率、價格數字均基於 2024 年中期公開的產品級資訊與供應鏈估算,實際引數可能因型號、韌體版本、散熱設計而異。“TOPS”均為 INT8 精度無稀疏峰值;端側實際負載效能請以實測基準為準。本文僅作產業鏈知識梳理,不構成任何投資建議、交易建議或採購建議。

source: 公開揭露與公開資料整理 本頁僅用於產業鏈學習、資訊檢索和研究輔助;不構成投資建議,不預測漲跌,不提供買賣、部位或目標價建議。
完整概念頁 複盤 13 節結構 公司投研頁 沿產業鏈找到受益公司 投資課 把概念轉成可跟蹤模型