Small Model Migration（小模型遷移）
摘要
隨著人工智慧從雲端端資料中心向數十億終端裝置下沉，小模型遷移已成為打通 AI 價值閉環“最後一公里”的核心繫統工程。本報告系統梳理了將億級引數以下、經深度壓縮最佳化的模型從研發環境可靠、高效地部署到手機、IoT 模組、工業控制器、車載晶片等異構硬體上所涉及的完整技術棧、產業驅動力、主流遷移工具鏈和最佳實踐。報告首次提出“五層協同垂直棧”模型，自下而上覆蓋目標硬體平台、硬體抽象層、編譯器與圖最佳化層、推論執行時與驅動適配層以及模型壓縮與演算法協同層。在此基礎上，分析了量化感知訓練、運算元自動調優、記憶體規劃與執行排程等關鍵效能槓桿，對比了 TVM、ONNX Runtime、TensorFlow Lite Micro、ExecuTorch 等主流架構的設計哲學，並給出了面向影像、語音和大語言模型小型化場景的端到端遷移方法。最後，報告剖析了碎片化硬體生態、黑盒運算元除錯、精度-功耗-即時性三角權衡等現實瓶頸，展望了 MLIR 統一中間表示、自動化硬體感知搜尋和 AI 編譯即服務等未來方向。全文共約 11000 字，旨在為邊緣 AI 工程團隊、晶片架構師和產品決策者提供一幅從戰略到執行的完整地圖。
一、引言：AI 價值閉環的最後一道坎
人工智慧的產業敘事正在經歷一次根本性位移：從“煉大型模型”走向“用小模型”。過去三年，千億引數的大語言模型佔據了輿論中心，但在真實物理世界中持續創造營收的，往往是那些經過極致裁剪、在特定場景中幾毫秒就能完成推論的小模型。這些模型通常引數規模在數億到數十億之間，模型檔案僅數兆到數百兆，卻能支撐工業缺陷檢測、喚醒詞識別、即時語義分割、端側助手等大規模部署。然而，將一個在雲端端 GPU 叢集上訓練出來的準確率高、功能強大的小模型，真正送進一顆只有 256KB SRAM、128MHz 主頻的 Cortex-M 微控制器，或在手機 SoC 的異構計算單元（CPU/GPU/DSP/NPU）上同時滿足功耗和即時性約束，仍舊是當前 AI 工程化中門檻最高、風險最大的環節。這就是小模型遷移所要解決的核心問題。
據德勤預測，到 2025 年將有超過 70% 的企業級推論任務在邊緣側完成。ABI Research 資料表明，2023 年全球邊緣 AI 晶片出貨量已超 15 億片，並將在 2028 年達到 40 億片。然而，晶片能力的爆發式增長與模型部署效率之間並不存在自動紐帶。恰恰相反，硬體多樣性的膨脹使遷移工程趨於複雜化：同一份 ONNX 模型在三種不同 GPU 驅動版本下可能產生三種不同精度；一次看似無害的圖最佳化可能觸發隱式廣播操作耗盡記憶體頻寬。沒有高質量的小模型遷移能力，再先進的演算法也只能停留在演示幻燈片裡，無法形成規模化商業閉環。因此，小模型遷移已不再是輔助性的運維工作，而是與模型訓練、資料工程並列的 AI 研發核心支柱。
二、核心定義與概念邊界
小模型遷移在今天的技術語境中，遠非“複製模型檔案 + 安裝推論庫”那麼簡單。它是指將已完成訓練或微調的模型，經過結構分析、計算圖重構、數值精度轉換、運算元實現對映、記憶體與排程策略制定、硬體指令集適配等一系列工程步驟，最終在目標邊緣裝置上滿足功能正確、延遲、吞吐、功耗、記憶體佔用和穩定性等多維約束的系統化過程。
狹義的小模型遷移聚焦於模型從浮點表示向定點（INT8、INT4）甚至二值化的壓縮對映，以及將高層次深度學習運算元翻譯為底層硬體原生指令（如 NEON、Hexagon HVX、Cadence Xtensa）的過程。廣義上，它還包括面向特定硬體的重訓練（量化感知訓練、稀疏結構搜尋）、推論執行時環境的定製化裁剪（linker 指令碼定製、運算元註冊裁剪）、硬體在環的效能乒乓調優，以及與業務邏輯、感測器流水線、模型熱更新機制結合的全生命週期管理。
2020 年代中期以來，小模型的內涵顯著擴充套件。一方面，CNN、RNN 等傳統任務模型仍在大量 MCU 和 DSP 上執行；另一方面，以 Phi-3、Gemma-2B/7B、Llama-3-8B、Qwen2-0.5B 等為代表的“小語言模型”和麵向視覺的輕量 Transformer 正快速向邊緣滲透。這帶來了全新挑戰：注意力機制中的 kv-cache 管理需要精細的記憶體分配策略；自迴歸解碼的序列依賴對延遲極度敏感；動態生成的長度導致系統資源佔用難以預判。因此，當前的小模型遷移已經升級為“高能力密度模型在極度受限硬體上的專業化部署”，其戰略重要性甚至超過訓練本身——因為模型訓練可以集中解決，而部署則必須在成千上萬種硬體組合中反覆進行。
三、產業驅動力與市場背景
小模型遷移的爆發式增長受到三大剛性約束的聯合驅動。第一是成本約束。雲端端推論的 GPU 算力和跨地域頻寬費用隨請求量線性甚至超線性增長，對於即時影片分析、持續語音互動、工業預測性維護等高頻長尾場景，將推論下沉至終端或邊緣閘道器，可直接削減 80% 以上的總擁有成本，並減少對資料中心擴容的依賴。第二是延遲約束。自動駕駛的緊急制動、精密運動控制的中斷響應、AR/VR 的非同步時間扭曲等場景要求毫秒級甚至微秒級確定性延遲，任何往返雲端端的網路抖動都不可接受，物理定律決定了推論必須緊貼感測器和作動器。第三是隱私與合規約束。醫療影像、金融憑據、智慧家居語音等資料一旦離開裝置，即面臨 GDPR、HIPAA、《個人資訊保護法》等強監管風險，本地化推論成為合規剛需。
從市場競爭態勢看，小模型遷移已形成多極博弈格局。晶片側，高通利用 Hexagon NPU 和 AI Engine 建置了從訓練到部署的端到端工具鏈；輝達通過 Jetson 系列 + TensorRT 深度繫結 CUDA 生態；恩智浦、意法半導體針對 MCU 推出 eIQ 和 STM32Cube.AI；國內的地平線、晶晨、瑞芯微則分別圍繞自動駕駛和智慧屏提供專用工具包。雲端平台側，AWS IoT Greengrass、Azure IoT Edge、Google Edge TPU 均集成了分割槽部署和容器化推論能力。獨立工具廠商同樣活躍：OctoML 基於 Apache TVM 的 SaaS 最佳化服務，Deci 的自動化神經架構搜尋，Edge Impulse 的無程式碼嵌入式 ML 平台，都大幅降低了遷移門檻。全球 TinyML 基金會成員數量年增超 50%，ONNX 格式模型的公共倉庫下載次數已破千萬次。整個產業已經進入標準、工具鏈和開發者心智的白熱化爭奪階段。
四、技術全景：五層協同的垂直棧模型
小模型遷移並非單一技術的單點突破，而是一個“模型能力密度”與“硬體資源密度”精確匹配的多層協同系統工程。為系統刻畫這一複雜過程，本研究提出“五層協同垂直棧”模型，自底向上依次是：目標硬體平台、硬體抽象層與驅動、編譯器與圖最佳化層、推論執行時與執行器、模型壓縮與演算法協同層。每一層都承擔著不可替代的核心職責，任何一層的短板都將導致端到端效率的嚴重退化；同時，層與層之間通過明確定義的中間表示（IR）和介面進行上下行資訊傳遞，形成一個可解耦、可組合、可迭代的最佳化閉環。
水平方向上，該垂直棧還需要與模型訓練平台、資料標註與評估系統、CI/CD 工程流水線進行對接，實現“訓練—壓縮—編譯—部署—監控”的全生命週期自動化。垂直最佳化與水平協同的交織，共同構成了小模型遷移的系統工程全貌。以下將分層詳述每一層的核心技術與關鍵設計考量。
五、第一層：目標硬體平台
目標硬體平台是整個遷移工作的物理基礎，也是所有最佳化的終極約束。邊緣 AI 硬體涵蓋一條異常寬廣的譜系：從僅有數十 KB 記憶體、基於 ARM Cortex-M0+/M4 的 MCU，到擁有數十 TOPS NPU 的旗艦手機 SoC，再到整合了 GPU 和深度學習加速器（DLA）的車規級晶片。每類平台在計算範式、記憶體子系統和能耗特性上存在本質差異。
以典型的 ARM Cortex-M 系列 MCU 為例，其運算核心為單發射順序標量流水線，僅支援整數和單精度浮點 SIMD（部分支援 MVE 向量擴充套件），片上 SRAM 常不足 512KB，無外部 DDR。遷移至此的首要矛盾是模型體積與工作記憶體不能超過可用 SRAM，且需將全部權重量化為 8 位整數或更低位寬。DSP 平台（如 Qualcomm Hexagon、Cadence Tensilica）通常具備多路 SIMD VLIW 指令，擅長高度規則的張量計算，但靈活度受限，需要使用廠商特定編譯器或內部函式庫進行手動調優。手機 GPU（Mali、Adreno、IMG）在浮點吞吐量和並行度上優勢明顯，但受功耗牆制約，必須在能效比架構下做出取捨。NPU 和 FPGA 則代表了兩個極端：前者以專用乘法累加器陣列實現極致能效，但對運算元覆蓋有限，遷移常需回退到 CPU/GPU 混合執行；後者通過可程式設計邏輯實現任意運算元，但開發週期長且稀缺人才。
遷移前，工程團隊必須繪製詳盡的硬體資源畫像：計算單元數量與峰值吞吐量、各級儲存容量與頻寬、指令集架構擴充套件、外設 DMA 能力等。只有深刻理解每一代硬體的微架構瓶頸（如矩陣乘法因記憶體對齊導致的 bank conflict），才能在後續層次中做出有針對性的決策。
六、第二層：硬體抽象層與驅動
硬體抽象層（HAL）扮演著“多方言翻譯器”的角色，其核心使命是將上層圖最佳化和執行時架構與底層硬體具體的指令集、記憶體管理方式及排程機制解耦。對於 Android 平台，NNAPI（神經網路 API）是 Google 推動的標準 HAL，支援將計算任務分發到 CPU、GPU、DSP、NPU 等多硬體後端，並提供快取管理、批次處理等標準介面。對於通用 Linux 邊緣裝置，OpenCL 和 Vulkan Compute 提供了面向 GPU 和平行計算裝置的底層排程能力；Apple 生態中，Metal Performance Shaders（MPS）和 BNNS 則提供了深度最佳化的計算核心。
在 MCU/DSP 世界中，硬體抽象更多體現為晶片廠商提供的 BSP 和運算元庫，如 CMSIS-NN（ARM Cortex-M 上的高效定點核心）、STM32Cube.AI 的執行時庫、以及 Cadence 的 Nature DSP 庫。CMSIS-NN 通過手寫彙編和內部函式充分挖掘 Cortex-M 的 SIMD 和 MLA 指令，能以極少的指令週期完成卷積、全連線等核心運算，是嵌入式推論的標杆抽象之一。
HAL 層的設計面臨“效能透明度”和“通用性”之間的根本張力。過度抽象會遮蔽硬體特性，使上層最佳化器無法充分利用特定加速指令；過度暴露硬體細節又會導致架構碎片化。現代 HAL 趨勢是通過硬體能力模型和 MLC（機器學習編譯）理念，向編譯器暴露足夠的內射（tensorization）原語和排程鉤子，使自動調優成為可能，而不是依靠人工封裝的一個個不透明運算元庫。
七、第三層：編譯器與圖最佳化層
編譯器與圖最佳化層是小模型遷移的效能引擎。該層接收高層次的模型中間表示（如 ONNX、PyTorch FX Graph、TensorFlow Graph），執行一系列與硬體無關和硬體感知的圖級與運算元級最佳化，最終生成針對目標硬體的最佳化程式碼或可執行計劃。
圖級最佳化包括運算元融合（將卷積、批歸一化和 ReLU 合併為一個單一核心，消除中間儲存和 kernel launch 開銷）、常量摺疊、公共子表示式消除、死程式碼清除、版面配置轉換最佳化（從 NCHW 到 NHWC 適應 GPU 張量核心）、以及記憶體規劃（預分配重用 buffer 以減少峰值記憶體佔用）。圖級最佳化能夠輕易帶來 20%~50% 的效能提升，且不改變模型精度。
運算元級最佳化則更為深入。自動調優（Auto-tuning）是該層的核心機制：通過定義一組引數化排程原語（如 tiling 分塊大小、向量化寬度、迴圈展開因子），在目標硬體上實際測量編譯後運算元的執行時間，使用模擬退火、遺傳演算法或機器學習模型搜尋最優排程方案。Apache TVM 的 AutoTVM 和 AutoScheduler 是該領域的標杆，MLIR 生態中的各種 dialect 轉換同樣提供了細粒度的 IR 最佳化能力。此外，Glow、XLA、TensorRT 等編譯器在各自生態內實現了高度自動化的 FP16/INT8 量化插入與標定。
這一層的另一個關鍵產物是“執行時子圖”：對於 NPU 不支援的操作，編譯器必須將模型切分為“加速器執行子圖”和“CPU 回退子圖”，並插入適當的格式轉換節點，實現無縫混合執行。切分策略直接影響資料傳輸開銷和管線停頓，往往需要結合模型結構與硬體拓撲精心設計。
八、第四層：推論執行時與執行器
推論執行時是將編譯最佳化成果投入實際執行的載體，負責記憶體管理、運算元排程、多模型並行、動態形狀處理、錯誤恢復等。在移動和嵌入式場景中，執行時本身必須做到極小尺寸（數百 KB 甚至數十 KB）和高執行效率。
Google 的 TFLite 執行時通過 flatbuffer 模型格式和直譯器模式，在 Android 上獲得了最廣泛的硬體委託支援；TFLite Micro 進一步裁剪出僅需數十 KB 的執行時，可以執行在 Bare-metal 環境中，不使用任何作業系統。PyTorch 推出 ExecuTorch，以“委託”機制為核心，將模型的不同部分委託給最合適的後端（如 XNNPACK、Core ML、Vulkan），並實現了帶有自定義記憶體池的執行時，以滿足低延遲生成式 AI 的需求。ONNX Runtime 移動版則通過“execution provider”抽象實現了後端熱插拔，同時內建 INT8/FP16 量化核心和記憶體最佳化分配器。
執行時的一個常被忽視但極其重要的職責是確定性記憶體管理。在動態解碼的小語言模型中，kv-cache 隨著 token 生成不斷增長，若執行時不能預分配和合理淘汰 cache，極易引發記憶體溢位或幀率抖動。先進的執行時會在圖執行前計算出最大記憶體需求並一次性分配，避免動態分配帶來的碎片和不可預測延遲。此外，電源管理介面（如 Android 的 Performance Hint API 和 Linux 的 DVFS 調節）可以通過執行時向上層應用暴露，實現能效協同。
九、第五層：模型壓縮與演算法協同層
垂直棧的最上層是面向模型本身的壓縮與協同設計，它不僅是“讓模型變小”，更是通過演算法創新從根本上降低模型對硬體能力的需求，實現與下層最佳化的乘積式增效。主要技術包括量化、剪枝、知識蒸餾、低秩分解和神經架構搜尋（NAS）。
量化是將浮點權重和啟用轉換為低精度整數的關鍵路徑。訓練後量化（PTQ）僅需少量校準資料即可完成，適用於多數嵌入式場景；量化感知訓練（QAT）則在訓練過程中模擬量化誤差，可大幅提升低位寬（如 INT4）或敏感模型的精度。跨層均衡、偏置校正、通道位寬自適應分配等高階技術，能在保持模型精度的同時，將推論功耗和延遲再壓縮 2~4 倍。剪枝從結構化稀疏（移除整個通道/濾波器）到非結構化稀疏（逐權重置零），可減少計算和儲存需求，但需要硬體對稀疏張量運算提供原生加速支援。知識蒸餾使用大容量教師模型生成軟標籤指導學生模型訓練，在分類、檢測和小語言模型領域被證明能顯著提升小模型的表徵能力。
面向特定硬體的協同設計更為關鍵。例如，針對倒殘差結構或 MobileNet 系列骨幹，可以定製硬體友好的啟用函式（Hard-Swish 替代 Swish），或者在卷積核尺寸上對齊 SIMD 向量寬度。最新的硬體感知 NAS 將推論延遲、記憶體大小、功耗作為反饋訊號直接嵌入搜尋迴圈，使演算法與編譯鏈實現自動化聯合最佳化。可以說，沒有演算法層的深度參與，再精密的編譯器和資料排程也只能獲得線性增量收益。
十、典型遷移工具鏈與生態系統對比
當前主流的遷移工具鏈在“自動化程度—覆蓋硬體廣度—極致效能”三維空間中各有取捨，理解其基因差異是選型的關鍵。
TensorFlow Lite / TFLite Micro 依託 Google 生態，擁有最廣泛的手機和 MCU 硬體支援，通過 flatbuffer 和直譯器模式實現簡單的整合體驗，但對非 ARM 架構或專用加速器的定製最佳化需依賴廠商委託。Apache TVM 是開放社群的代表，其模組化的編譯流程支援從高層次的 Relay IR 到多種硬體後端的自動程式碼生成和自動調優，在異構計算和學術研究領域享有盛譽，但學習曲線較陡，穩定性依賴社群維護。ONNX Runtime 定位於跨架構互操作性，將 ONNX 作為互通的樞紐，移動版與 Web 和桌面端統一，生態支援最廣，但極致的硬體專用最佳化通常不及 TVM 的自調優路徑。ExecuTorch 是 Meta 推出的新一代解決方案，以 delegate 為中心設計，將 PyTorch 生態無縫延伸到邊緣，原生支援 XNNPACK、Vulkan、Core ML、QNN 等多後端，對大型語言模型邊緣推論特別最佳化，正處於快速迭代中。OpenVINO 在 Intel 平台上全鏈路最佳化，通過外掛架構擴充套件到 ARM 和 GPU。此外，還有國內廠商如華為 MindSpore Lite、百度 Paddle Lite 提供全棧國產化選項。
在 MCU 極端受限環境，Edge Impulse、SensiML 等平台將資料採集、訓練、量化和韌體生成整合為一條流水線，極大地降低了嵌入式 AI 的開發門檻。在選擇工具鏈時，團隊應綜合考量目標硬體代際、模型複雜度、研發週期、長期維護成本和商業授權，避免過度依賴某一封閉生態。
十一、端到端遷移方法論與最佳實踐
小模型遷移不是單個英雄主義環節，而應遵循一套經過驗證的階段性方法論，以降低風險、提高可復現性。
階段一：資源基線化與分析。 鎖定目標硬體的詳細規格，建立峰值計算力、記憶體頻寬、儲存容量預算表。使用硬體分析工具（如 ARM Streamline、Snapdragon Profiler）獲取真實可用資源，同時定義延遲、吞吐、功耗、精度和記憶體用量的量化邊界。
階段二：模型分析與非破壞性最佳化。 在訓練架構內對模型進行結構分析，識別冗餘運算元、動態形狀、控制流等高風險結構。應用與硬體無關的圖最佳化，如常量摺疊、批歸一化與卷積的合併，使用 ONNX 或 TorchScript 匯出標準格式。
階段三：精度轉換與修復。 實施量化流程，優先 PTQ，若精度不達標再升級為 QAT。在校準資料選擇上，確保覆蓋目標域的長尾和邊界條件；使用誤差熱圖逐層分析量化誤差來源，通過跨層均衡、異常值裁剪等手段修復。
階段四：編譯、調優與混合執行。 將模型送入編譯器，開啟自動調優，確定圖切分方案。對於 NPU 不支援的自定義運算元，編寫高效能 CPU/GPU 核心作為回退。必須進行單元級精度對查，驗證每一層的輸出誤差均在既定閾值內。
階段五：系統整合與壓力測試。 將推論執行時嵌入目標應用的軟體棧，處理多執行緒併發、感測器流水線、網路中斷等現實因素。通過硬體在環測試持續監測幀率、記憶體佔用、溫度趨勢，尤其關注長時間執行的漂移問題。
階段六：持續監控與閉環迭代。 部署後的模型不應是靜態的。通過遙測收集裝置側的精度衰減、資料漂移和異常耗時，結合雲端端重訓練和 OTA 更新，形成資料閉環，不斷遷移新的模型版本。
十二、效能評估與多維權衡指標體系
評估小模型遷移的成功與否，不能僅看單一精度或延遲指標，而需建立一個多維權重體系，兼顧工程和技術管理。
精度指標需區分任務型別：分類關注 Top-1/Top-5 準確率和 F1 分數；檢測關注 mAP；語義分割關注 mIoU；生成式模型除困惑度外，還需使用人工評估和任務特定的下游指標。量化帶來的精度損失通常允許在 0.5%~1.5% 絕對值以內。
延遲與吞吐：單次推論延遲（pr_latency）和連續推論吞吐（throughput）必須分離測量，因為流水線並行和批次處理的最佳化策略完全不同。即時場景應關注P99延遲而非平均延遲，防止尾部延導致系統超時。
記憶體與儲存：模型持久儲存大小、執行時峰值記憶體（DRAM）、以及中間啟用記憶體必須在同一基線下比較。對 MCU，幾乎所有記憶體分析都圍繞 SRAM 展開；對 Linux 裝置，還需統計虛擬記憶體與遺留碎片。
功耗與能效：使用板級功率計記錄單次推論耗能（mJ/Inference），或利用 SoC 內建功耗模型監測 CPU/GPU/NPU 各域功耗。能效比（TOPS/W）和效能功耗比（FPS/W）是移動和 IoT 場景的核心 KPI。
穩定性和魯棒性：需在極端溫度、電壓波動、多工搶佔下進行迴歸測試，確保模型不發生精度雪崩或崩潰。
這些指標構成一個帕累托前沿，工程團隊的使命不是尋找某項指標的絕對最優，而是在給定約束下找到滿足所有邊界的可行解。
十三、行業應用場景與典型案例
小模型遷移技術已深入眾多垂直行業。消費電子與智慧家居中，基於 Cortex-M33 的關鍵詞識別（KWS）和基於 NPU 的人臉解鎖，每天在數十億裝置上執行，TFLite Micro 或專用 DSP 韌體是核心遷移方式。汽車與自動駕駛中，基於地平線征程或 NVIDIA Orin 的模型遷移實現了前視感知、環視融合和泊車檢測，需要同時滿足功能安全和即時性，工具鏈必須提供安全的 INT8 量化驗證和確定性執行。工業物聯網利用振動感測器的異常檢測模型部署在 STM32 上，執行數月僅依賴紐扣電池，遷移時著重解決 1D-CNN 在固定點下的噪聲敏感性。醫療健康中，心電訊號分析模型遷移到可穿戴裝置，涉及個人資料隱私，本地推論加聯邦學習架構是解決方案。零售與智慧城市中，智慧攝像頭內建的行人檢測、商品識別模型通過 ONNX Runtime+NPU 實現低功耗執行，有效降低頻寬成本。
更具前瞻性的案例來自小語言模型的下沉。例如，將 Gemma-2B 通過 INT4 量化和敏捷的 KV-cache 管理遷移到新一代手機 SoC 上執行，實現離線即時翻譯和智慧回覆；將 Llama-3-8B 壓縮部署到邊緣伺服器，支撐企業內部知識庫問答，資料不離境。這些案例表明，小模型遷移正推動生成式 AI 從公有雲端走向本地化。
十四、主要挑戰與瓶頸分析
儘管工具鏈不斷成熟，小模型遷移仍面臨深層次挑戰。硬體碎片化是首要矛盾：即使遵循同一 ISA，不同代際的微架構差異（如快取行大小、分支預測器行為、記憶體排序規則）也能導致最佳化策略失效。廠商私有 NPU 編譯器常以“黑盒”形式提供，內部因授權限制無法探查，給精度除錯和混合執行最佳化帶來極大困難。
精度與效能的不可預測損失是另一焦點。量化過程中，某些通道的異常值可能導致區域性精度坍塌，需要逐層人工修復；圖形編譯器過於激進的融合或常數重排可能引入數值上不可察覺的累積誤差，在端到端任務中被放大。動態行為控制是第三重挑戰：自迴歸模型、控制流 loop 使得靜態記憶體分配圖不適用，執行時必須支援動態記憶體管理，同時保證即時性和低碎片。此外，安全與更新成為新維度：模型檔案可能成為攻擊載體，執行時需要簽名驗證和記憶體加密；持續迭代的模型 OTA 更新，需保證新舊執行時相容，避免裝置變磚。
組織與技能壁壘同樣不容忽視。小模型遷移要求工程師同時具備深度學習、編譯器、嵌入式系統和晶片架構的綜合知識，這類“全棧型”人才極為稀缺。跨團隊協作不暢常常導致演算法團隊認為部署是“扔過牆”的簡單工作，而系統團隊則抱怨模型“無法執行”。
十五、未來趨勢與戰略建議
面向 2025~2030 年，小模型遷移將呈現六大趨勢。其一，MLIR 統一中間表示將加速不同架構和硬體之間的互操作性，形成“一次量化，多級編譯”的開放生態。其二，自動化硬體感知搜尋將使模型壓縮和編譯最佳化進一步融合，自動生成針對特定硬體的最優模型-編譯器聯合方案。其三，生成式 AI 的邊緣化將催生專門的 KV-cache 壓縮、推測性解碼和節能排程技術，讓更大引數模型在更小功耗預算下執行。其四，AI 編譯即服務（Compilation as a Service）將出現，雲端端 CI/CD 管道根據上傳模型和硬體描述自動完成全流程最佳化並返回韌體，消除環境搭建成本。其五，安全可信執行環境（TEE）與模型推論的深度結合，將實現隱私計算與本地智慧的天然融合。其六，開源社群與商業產品共生，Apache TVM、ONNX Runtime 等專案的健康發展將保證技術民主化，同時商業公司提供的高附加值和保障服務將加速產業落地。
對於企業決策者，建議立即行動：建立專業的小模型移植與基準測試團隊，制定統一的模型匯出規範和精度驗收標準；在晶片選型時優先考慮開放編譯棧和良好文件支援的平台，減少黑盒依賴；投資於內部工具鏈的建設或與開源社群緊密協作，形成可複用的遷移基礎設施。小模型遷移不再是後顧之憂，而是 AI 產品競爭的前沿壁壘。深度掌握這一系統工程的團隊，將在物理世界的智慧浪潮中贏得決定性優勢。