模型深度

3 秒看懂

模型深度（Model Depth）指將單體超大型模型拆解為多個模組，分散式部署在終端裝置、邊緣節點、雲端端資料中心上協同完成推論計算，形成“鏈-雲端”協同的深度計算範式。其核心邏輯是“不同層級的計算任務，在最適合的算力層級上完成”。

使用者感知到的體驗是：手機上的智慧助手響應更快、自動駕駛汽車能在斷網時依然做出緊急避讓、工廠的質檢攝像頭無需把每一幀畫面都傳回雲端端——這些背後，是模型深度技術在排程算力、分配任務、壓縮通訊。

3 分鐘產業解釋

當大型模型引數量突破千億甚至萬億級別，單個裝置根本無法容納，傳統“一切上雲端”的方案也面臨延遲過高、頻寬成本飆升、隱私合規趨嚴三重壓力。模型深度技術解決的正是在“終端—邊緣—雲端端”三級計算體系之間，把一個大型模型切成若干段，讓每一段跑在最合理的硬體上。

產業邏輯：大型模型時代，算力供給從“集中式”走向“分散式協同”。終端負責低延遲感知與隱私脫敏（如人臉關鍵點提取而非原始影像上傳），邊緣負責區域性聚合與即時決策（如產線缺陷初篩），雲端端負責全域性推論與複雜長尾任務（如跨區域交通排程最佳化）。整條鏈路的效能瓶頸不在單一節點的算力，而在節點間的通訊頻寬、延遲抖動和排程策略。

商業價值：對雲端廠商而言，模型深度意味著可以售賣“端邊雲端一體化”的解決方案而非單純的計算例項；對晶片廠商而言，倒逼其設計從雲端端訓練晶片延伸到邊緣推論晶片、終端NPU的全場景產品線；對應用方而言，有望將大型模型推論成本降低30%–60%（來源：輝達2023年GTC公開演講中引述的行業估算，具體數值因場景差異較大），同時滿足資料不出本地的合規要求。

與相近概念的區分：模型深度常與“分散式推論”“聯邦學習”“邊緣計算”混用。關鍵區別在於——分散式推論側重同一層級多卡並行；聯邦學習側重資料不出本地、模型聚合；邊緣計算側重將計算下沉。模型深度則強調跨層級的模型按結構切分與流水線協同，是上述技術理念在超大型模型場景下的融合升級。

技術原理

分層解除安裝與流水線並行

將一個Transformer架構的大型模型按層（Layer）或按模組（Attention、FFN等）切分，前若干層部署在終端，中間層部署在邊緣伺服器，後端複雜層部署在雲端端。推論時，資料依次流經三級節點，形成一條計算流水線。

以一個96層的GPT風格模型為例：第0–11層在終端執行（利用手機NPU），第12–47層在邊緣伺服器（利用邊緣AI加速卡），第48–95層在雲端端GPU叢集完成。終端只將第11層的輸出特徵（而非原始資料）傳給邊緣，邊緣再將第47層輸出傳給雲端端。這種設計使得終端側資料不發生原始外洩，同時將傳輸資料量從“原始輸入”壓縮為“中間層特徵”，理論上可減少90%以上的上行頻寬消耗（具體壓縮率取決於中間層維度設計，來源：MLSys 2022會議中多篇分散式推論論文的公開實驗結果區間）。

模型分割與自適應壓縮

不是所有層都適合切分。注意力層涉及全域性依賴，切分後跨節點通訊開銷較大；前饋網路層（FFN）相對獨立，切分更自然。產業實踐中通常採用“混合切分策略”：在注意力層保持較小跨節點通訊，在FFN層做大粒度解除安裝，並配合量化（INT8/INT4）、剪枝、知識蒸餾等手段，為不同硬體定製輕量子模型。

自動化搜尋最優切分方案是一個關鍵技術方向。學術界與產業界探索用神經網路架構搜尋（NAS）或強化學習，在“精度損失—通訊量—延遲”三維空間中找到帕累托最優解。Google在2023年發表的論文中揭露，針對PaLM模型的切分搜尋可在數千個候選中自動收斂到近似最優方案（來源：arXiv預印本，2023年），但該技術尚未形成標準化工具鏈。

協同排程與執行時系統

切分方案確定後，執行時系統需要在毫秒級完成“這條推論請求現在該在哪兒算”的決策。排程演算法需綜合考慮：當前各節點的計算負載、網路延遲與抖動、任務即時性要求、能耗約束。

主流技術路徑包括：基於規則的啟發式排程（工程化成熟，靈活性有限）、基於代價模型的動態規劃（需要精確建模，建模本身是難點）、基於學習的自適應排程（泛化能力待驗證）。產業實踐中，華為昇思MindSpore的分散式推論架構採用了“靜態切分圖+動態排程策略”的混合方案；輝達Triton推論伺服器則通過模型併發執行與動態批處理最佳化跨節點吞吐。

通訊原語與非同步機制

跨節點通訊是模型深度的核心工程瓶頸。以傳輸4K影片的中間層特徵為例，若特徵維度為4096，每秒30幀，則頻寬需求約為4096 × 4位元組（FP32）× 30 ≈ 480 MB/s，對邊緣到雲端的鏈路形成持續壓力。最佳化手段包括：使用RDMA（遠端直接記憶體訪問）繞過核心協議棧降低延遲；採用梯度壓縮/稀疏化技術減少通訊量；設計非同步推論流水線，在等待遠端結果時不阻塞本地計算。

值得關注的是，2023年以來，基於RDMA over Converged Ethernet（RoCE）的高速網路方案開始在部分雲端廠商的分散式推論叢集中部署，據公開技術部落格揭露，可將其節點間通訊延遲降至微秒級（具體數值因網路拓撲差異較大，未形成行業統一基準）。

關鍵引數

評估模型深度方案優劣，需綜合以下維度：

引數類別	關鍵指標	說明	資料現狀
推論效能	端到端延遲（P50/P95/P99）	從請求發起到結果返回的完整時間	行業缺乏統一基準，各廠商自報資料口徑不一
通訊效率	跨節點資料傳輸量（MB/request）	直接影響頻寬成本和延遲	取決於模型切分策略，公開文獻中典型壓縮比為原始資料的5%–20%
精度保持	分散式推論與單機推論的精度差異	通常以困惑度（PPL）或下游任務指標衡量	理想切分方案下精度損失可控制在1%以內（來源：MLSys 2023若干論文）
資源利用率	各節點GPU/NPU利用率	反映排程系統的負載均衡能力	公開資料未見行業均值
可擴充套件性	支援的最大型模型規模與節點數量	分散式系統的擴充套件上限	輝達宣稱其系統可支援萬億引數模型（2023 GTC），實際部署案例有限
可靠性	節點故障恢復時間	單節點宕機對整體推論的影響	公開資料未見系統化揭露

此外，總擁有成本（TCO） 是產業決策的核心考量：模型深度是否真的比“升級單臺伺服器”更經濟？這取決於模型規模、推論負載、網路成本三者的動態關係，目前缺乏第三方權威測算。輝達在2023年公開材料中給出了部分場景的TCO對比案例，但其假設條件（自研NVLink互聯、GPU高利用率）不一定適用於通用場景。

技術路線

當前產業界在模型深度方向存在三條主要技術路線，它們在切分粒度、排程策略、生態開放性上有明顯分野。

路線一：晶片—互聯—架構全棧垂直整合

代表：輝達（GPU + NVLink/NVSwitch + Triton/TensorRT）、華為（昇騰 + HCCS互聯 + CANN/MindSpore）。該路線的優勢是硬體—通訊—軟體高度協同最佳化，在極致效能場景（超大型模型、低延遲）中優勢明顯。代價是技術棧封閉或半封閉，客戶被深度繫結。輝達2023年釋出的GH200超級晶片將CPU與GPU通過NVLink-C2C互聯，片間頻寬達900 GB/s，本質上是將模型深度中的“跨節點通訊”最佳化提前到晶片級設計。

路線二：開放架構+多雲端適配

代表：PyTorch（分散式推論API）+ 通用雲端基礎設施（AWS、Azure、阿里雲端等）。該路線強調架構層的通用性，模型切分與排程策略由開發者自行定義，底層硬體可以是各類GPU/NPU。優勢是靈活、不被單一供應商繫結；劣勢是效能最佳化需要大量人工調參，難以達到垂直整合方案的極致效率。Meta在2023年開源的Llama 2推論程式碼中展示了基於PyTorch FSDP的分散式推論參考實現，可供行業參考。

路線三：模型即服務（MaaS）封裝

代表：OpenAI（GPT-4 API）、百度（文心大型模型API）、阿里雲端（通義千問API）。該路線將模型深度的底層複雜性完全封裝在API背後，使用者無需關心模型如何切分、排程、通訊，只需呼叫介面。這是商業化落地最快的方式，但使用者喪失了對推論延遲、資料流向、成本結構的透明度與控制力。

三條路線並非互斥。產業實踐中，大型企業可能自建路線一或路線二；中小企業更多采用路線三。未來趨勢是MaaS層向下相容多芯多雲端，垂直整合方案向上提供標準化API，路線邊界逐漸模糊。

上游

模型深度產業鏈上游的核心供給包括算力晶片與高速互連兩大類。

算力晶片

晶片是模型深度的物理底座，按部署位置分為三個層級：

• 雲端端AI晶片：用於執行大型模型後端複雜層推論。主要供應商為輝達（A100/H100，2023年佔據全球資料中心AI晶片出貨量約80%–90%的份額，來源：IDC 2023年估算報告）、AMD（MI300X系列）、英特爾（Gaudi系列）。國內供應商包括華為昇騰910B（2023年量產，公開效能指標對標A100）、寒武紀思元系列、壁仞科技BR100系列。2024年以來，受出口管制影響，國產雲端端AI晶片的採購需求快速上升，但產能爬坡與軟體生態適配仍是瓶頸，公開資料未見國產晶片在模型深度場景下的大規模商用評測。

• 邊緣AI晶片：用於邊緣伺服器或閘道器裝置，執行模型中間層推論。要求兼顧算力與功耗（典型TDP 10–75W）。主要供應商包括輝達Jetson Orin系列、高通Cloud AI系列、華為昇騰310/710系列、寒武紀邊緣MLU系列、地平線征程系列。據IDC 2023年邊緣AI晶片市場報告，輝達與華為合計佔據中國市場約50%的份額（具體份額因季度波動）。

• 終端NPU：嵌入手機、汽車、攝像頭等終端裝置，執行模型前端淺層推論。主要供應商為高通（驍龍移動平台AI Engine）、聯發科（天璣APU）、Apple（A/M系列Neural Engine）、華為（麒麟NPU）。2023年，全球智慧手機NPU滲透率已接近100%（中高階機型標配），單晶片AI算力從2019年的1–5 TOPS提升至2023年的20–50 TOPS（來源：各廠商產品公開引數）。

高速互連

跨節點通訊依賴高速網路裝置與互連技術，是模型深度的關鍵使能技術。

• 晶片間互連：輝達NVLink/NVSwitch（H100單GPU支援900 GB/s的NVLink頻寬）、華為HCCS（昇騰叢集互連）、AMD Infinity Fabric。這些技術決定了同一節點內多卡通訊的上限。

• 節點間網路：資料中心內節點間互連主要採用InfiniBand（輝達Mellanox產品線）或高速乙太網路（RoCE）。光模組是網路物理層核心器件，速率從100G向400G/800G演進。中際旭創、光迅科技、新易盛等國內廠商在400G/800G光模組市場佔據全球重要份額（據LightCounting 2023年報告，中際旭創在2022年全球光模組市場份額約10%，排名前列）。

• 邊緣—雲端長距網路：依賴運營商5G/專線網路。5G網路的理論時延可低至1ms（URLLC場景），但實際商用網路中邊緣至雲端的端到端延遲通常在10–50ms量級，是模型深度在低延遲場景（如自動駕駛）中的關鍵約束。

下游

模型深度的下游應用場景正在快速分化，從“能用”走向“好用”。

自動駕駛與智慧座艙

這是對模型深度技術要求最苛刻的場景。車輛需要在毫秒級完成感知—決策—控制的閉環，雲端端大型模型無法保證即時性，終端晶片算力又無法承載完整模型。典型的模型深度方案：車載晶片（輝達Orin/Thor、高通Snapdragon Ride、地平線征程）執行感知模型前端特徵提取與緊急避險決策；路側邊緣伺服器負責區域性交通態勢聚合；雲端端負責高精地圖更新、全域性路徑規劃與罕見場景（Corner Case）訓練。特斯拉在2023年AI Day公開了其Dojo超算與車載FSD晶片的協同架構思路；百度Apollo在2023年公開資料中揭露了“車路雲端”三級協同方案在示範區的落地進展。

智慧製造與工業質檢

產線視覺質檢是模型深度的典型應用：端側攝像頭執行輕量檢測模型做即時初篩（“這件產品大機率有缺陷”），邊緣伺服器執行中等規模模型做二次確認（“缺陷型別是劃痕還是氣泡”），雲端端大型模型處理複雜疑難樣本並持續更新模型。據中國信通院2023年釋出的工業智慧白皮書引述，部分電子製造企業應用此方案後將質檢誤報率降低20%–40%，雲端端算力成本降低30%以上（具體企業名稱和精確資料未公開揭露）。

智慧醫療

終端可穿戴裝置採集心電、血氧等訊號並執行輕量異常檢測模型；邊緣閘道器在院內或社群匯聚多患者資料做初步診斷輔助；雲端端大型模型提供複雜病例的鑑別診斷與治療方案建議。該場景對資料隱私要求極高，模型深度與聯邦學習、可信執行環境（TEE）技術結合緊密。2023年，國家衛健委釋出的智慧醫療相關政策檔案中鼓勵探索“雲端邊端協同”的AI輔助診斷模式，但大規模商用仍需解決醫療器械認證、資料確權等法規問題。

智慧城市與安防

城市級影片監控網路中，每路攝像頭端側完成人/車/物基礎檢測與特徵編碼；邊緣節點（通常部署在派出所或區域機房）完成多路影片匯聚、軌跡關聯；雲端端完成跨區域搜尋、行為分析與預測。海康威視、大華股份等安防龍頭在2022–2023年財報中均提及“雲端邊融合”“物信融合”等戰略方向，其前端攝像頭已普遍內建NPU模組，可在本地執行深度學習模型。

消費電子與智慧助手

手機語音助手、PC端AI助手是模型深度最貼近大眾的應用。Apple在2023年WWDC上展示了裝置端大語言模型的初步能力；高通在2023年驍龍峰會上演示了在手機上執行百億引數模型（通過INT4量化與終端NPU加速），未聯網狀態下可完成文本摘要、圖片生成等推論。這一方向被認為將驅動2024–2025年終端AI晶片需求的顯著增長（來源：Counterpoint 2023年預測報告，具體增速預測見下文市場規模部分）。

受益公司

以下梳理基於公開產業鏈資訊，僅客觀呈現各公司在模型深度技術棧中的角色與公開進展，不構成任何形式的評價或建議。

層級	公司	核心角色	關鍵進展（截至2024年Q1）
晶片	輝達	雲端端+邊緣GPU、NVLink互聯	H200 GPU 2024年Q2量產；GH200超級晶片已向部分客戶交付
晶片	華為	昇騰AI晶片全棧	昇騰910B量產；2023年華為全聯接大會揭露昇騰已在多個城市建成AI計算中心
晶片	高通	終端NPU	驍龍8 Gen 3 AI Engine支援百億引數模型端側推論（2023年釋出）
晶片	寒武紀	雲端端+邊緣AI晶片	思元590系列在部分雲端廠商上架（2023年公開資訊）
互連	中際旭創	高速光模組	800G光模組已向北美雲端廠商批量出貨（2023年財報揭露）
架構	百度	飛槳+文心大型模型	飛槳分散式推論API已支援模型並行（PaddlePaddle 2023年公開文件）
架構	華為	MindSpore+CANN	MindSpore 2.2版本強化分散式推論能力（2023年開源社群更新）
雲端服務	阿里雲端	PAI平台+通義千問	2023年雲端棲大會公開彈性模型推論服務，支援多級部署
雲端服務	微軟	Azure AI+OpenAI	Azure AI Studio支援使用者自定義分散式推論流水線（2023年Ignite大會）
雲端服務	AWS	SageMaker+Bedrock	2023年re:Invent釋出模型推論多級部署新功能
應用	特斯拉	車端FSD+雲端端Dojo	2023年AI Day闡述車雲端協同訓練推論架構
應用	海康威視	安防端邊雲端融合	2023年半年度報告提及AI開放平台支援邊緣部署
應用	商湯科技	SenseCore大裝置	2023年中期報告揭露大裝置支援端邊雲端協同推論

上述資訊均來自各公司財報、產品釋出、公開技術部落格及行業會議，部分進展的具體技術引數和商業資料以公司最新揭露為準。

市場規模

模型深度直接拉動AI晶片、高速互連、分散式推論軟體三類市場，並間接推動雲端服務和邊緣基礎設施增長。

• 全球AI晶片市場：據Gartner 2023年報告（2023年Q4釋出），2023年全球AI晶片市場（含雲端端、邊緣、終端）規模約為540億美元，預計到2027年將增長至約1200億美元，年複合增長率約22%。其中，邊緣與終端AI晶片增速高於雲端端，2023–2027年複合增速預計在25%–30%。

• 中國AI晶片市場：據IDC中國2023年測算，2023年中國AI晶片市場規模約120億美元（約合人民幣850億元），其中雲端端約60億美元、邊緣約25億美元、終端約35億美元。國產晶片在雲端端市場佔比約10%–15%（受出口管制影響，2023年後該比例有望提升，但精確資料公開資料未見）。

• 高速光模組市場：據LightCounting 2023年報告，2023年全球光模組市場規模約120億美元，其中800G及以上速率光模組約10億美元，預計2027年整體市場達200億美元，高速光模組佔比快速提升，核心驅動力是AI資料中心互連需求。

• 邊緣AI基礎設施市場：據Frost & Sullivan 2023年預測，2023年全球邊緣AI伺服器與閘道器市場約80億美元，2027年預計達200億美元。中國市場因“東數西算”與工業智慧化政策推動，增速預計高於全球均值（公開資料未見精確區域增速對比）。

• 模型推論服務（MaaS）市場：這是模型深度的直接變現層。據Fortune Business Insights 2023年估算，全球AI推論即服務市場2023年約200億美元，2030年將達1000億美元以上，年複合增速約25%–30%。需要指出，該資料口徑寬泛，包含傳統AI推論，並不專指大型模型分散式推論，實際可歸屬於模型深度的細分市場尚未有權威第三方測算。

對中國市場的綜合判斷：2023年，與模型深度直接相關的晶片、網路硬體、推論平台市場合計約人民幣1200–1500億元（綜合IDC、中國信通院公開資料估算，口徑包含雲端端/邊緣/終端AI晶片、高速光模組/交換器、AI推論雲端服務費用）。預計2026年可達3000–4000億元。增長取決於國產AI晶片產能釋放、5G-A/6G網路商用節奏、以及端側大型模型應用的滲透速度三個核心變數。

玩家對比

將模型深度產業鏈上的主要競爭者按其戰略模式分為四類，橫向對比其優劣勢。

維度	輝達	華為	Google	百度
戰略定位	硬體+互聯全棧	晶片-架構-雲端全棧	雲端端TPU+MaaS	晶片-架構-雲端+MaaS
雲端端晶片	H100/H200/Blackwell	昇騰910B	TPU v5	崑崙芯3（2023年釋出）
邊緣晶片	Jetson Orin系列	昇騰310/710	無自有產品（合作高通等）	無自有產品
終端NPU	無手機端（自動駕駛Orin/Thor）	麒麟內建NPU	Tensor晶片內建（Pixel手機）	無（2023年收購訊息未落實）
互連技術	NVLink/NVSwitch/InfiniBand	HCCS/自研交換器	資料中心網路（Jupiter架構）	依賴通用網路裝置
深度學習架構	CUDA生態（開放）	MindSpore（開源）	TensorFlow/JAX（開源）	飛槳PaddlePaddle（開源）
MaaS服務	DGX Cloud（起步較晚）	ModelArts（中國市場）	Vertex AI+Gemini	文心大型模型+百度智慧雲端
核心優勢	GPU算力領先，互聯生態閉環	端邊雲端全場景覆蓋，政策優勢	雲端端算力規模大，大型模型能力強	中文場景應用豐富，開發者生態國內領先
主要短板	終端/邊緣版面配置弱於雲端端；受出口管制影響對華供應	軟體生態全球化不足；先進製程受限	端側/邊緣缺少自研硬體	晶片自研起步晚；雲端端份額不及頭部雲端廠商
中國市場營收/份額估算（2023）	雲端端AI晶片約80%–90%份額*	國產雲端端AI晶片約50%–70%份額*	雲端服務不易單獨拆分	雲端AI服務國內市場份額約10%–15%（來源：IDC 2023）

*注：中國雲端端AI晶片市場份額資料中，輝達佔比因出口管制存在統計口徑差異，華為國產晶片佔比指“國產替代”市場中的份額。上述資料來源於IDC 2023年半年度追蹤報告及公開市場估算，具體精確值以IDC付費報告為準。

除上述四家全棧玩家外，微軟/OpenAI組合以強大的大型模型能力+Azure雲端服務向下遊滲透，但在晶片和架構層依賴輝達和PyTorch，是“模型深度”能力不完整但商業化最成功的玩家。AWS與阿里雲端定位類似，走“自研晶片+開源架構+開放生態”路徑，靈活性高但全棧協同深度不如輝達與華為。創業公司層面，寒武紀/壁仞科技在晶片端、第四範式在AI平台端各自尋求在細分環節的突破，公開資料未見其在模型深度全棧能力上的版面配置。

風險

技術風險

通訊瓶頸難解：模型深度對頻寬和延遲敏感。在自動駕駛、遠端手術等超低延遲場景，邊緣到雲端的通訊延遲即便在最優條件下也受物理距離約束（光速限制）。5G理論延遲1ms，但實際端到端延遲受基站、核心網、網際網路交換等多跳影響，公網中10–50ms是常態（來源：中國信通院2023年5G網路質量監測報告）。這對需要毫秒級響應的場景構成硬約束。

除錯與可觀測性困境：當模型被切成十幾段跑在不同廠商的硬體上，問題定位變得極其困難。到底是終端特徵提取出錯，還是邊緣的中間層計算溢位，還是雲端端模型本身hallucination？目前沒有統一的跨層級追蹤工具鏈，各廠商日誌格式、介面標準不一，運維成本被嚴重低估。

標準化缺位：模型切分格式、跨節點通訊協議、效能基準測試均無行業統一標準。這導致A廠商的終端模型無法跑在B廠商的邊緣伺服器上，客戶面臨多供應商繫結風險，生態碎片化制約規模效應。

商業風險

TCO優勢未經驗證：模型深度是否比“買更高算力的伺服器集中部署”更省錢，缺乏獨立第三方的大規模實測。輝達等廠商的最佳化案例基於自有硬體和網路，推廣至混合廠商的現實環境後，通訊開銷、調優成本可能遠超預期。

商業模式仍在驗證：模型深度帶來的價值（低延遲、隱私合規、離線可用）目前主要在特定場景有剛性需求（車、醫療、軍工），在更廣泛的企業市場，客戶是否願意為“端邊雲端協同”支付溢價，仍需時間檢驗。2023年以來，部分雲端廠商推出“邊緣+雲端端”推論套餐，但公開資料未見大規模付費採納的資料揭露。

出口管制與供應鏈風險：高階GPU對中國市場的供應受限（2023年10月美國商務部進一步收緊出口規則），直接衝擊依賴輝達晶片建置的模型深度系統的可持續性。國產替代存在效能差距（公開基準測試中，2023年國產GPU在單卡算力上接近A100，但大規模叢集互聯效率差距顯著，軟體生態遷移成本高），短期內將制約中國市場的部署規模。

倫理與法律風險

責任歸屬模糊：當模型深度系統在終端、邊緣、雲端端三級協同下做出錯誤判斷並導致損害——例如，自動駕駛事故發生在“雲端端模型建議變道但邊緣執行模組未及時響應”的情況下——責任在整車廠、邊緣裝置商還是雲端服務商，法律層面尚無明確界定。2023年國內外均出現了相關法律討論，但尚無成文法或指導性判例。

隱私攻擊面擴大：模型深度雖然減少了原始資料上傳，但中間層特徵仍包含可被逆向工程還原的資訊。研究表明，利用模型反演攻擊可從中間層特徵中重建部分原始輸入（來源：IEEE S&P 2022、Usenix Security 2023公開論文）。在金融、醫療等高度敏感場景，這構成實質性隱私風險，需要聯邦學習、差分隱私、可信執行環境等技術疊加防護。

誤讀糾偏

誤讀一：“模型深度等於邊緣計算”

糾正：邊緣計算泛指將計算下沉到網路邊緣，模型深度特指大型模型按結構跨層級的分散式協同。邊緣計算可以在終端完成整個小模型的推論，這與模型深度的“流水線切分”邏輯不同。模型深度必須包含跨層級的模型分割與通訊排程。

誤讀二：“切得越細越好”

糾正：過度切分會引入過多通訊節點，反而增加延遲和出錯機率。最優切分點取決於模型結構、通訊頻寬、各節點算力的匹配關係。產業實踐中，切分為3–5段的方案（端-邊-雲端各1–2段）最為常見，極少見到超過10段的商用部署（來源：公開技術部落格與產品文件的不完全統計，學術研究中存在更細粒度的實驗）。

誤讀三：“模型深度可以完全替代雲端端推論”

糾正：模型深度是雲端邊端的協同，雲端端仍然承擔最複雜層和大型模型版本更新的關鍵角色。它不是“去雲端端化”，而是“雲端端能力向下延伸”。在某些弱網或離線場景，邊緣或終端可以降級執行簡化模型，但這被視為兜底策略而非常態。

誤讀四：“有了模型深度，終端硬體要求就低了”

糾正：恰好相反。模型深度要求終端至少能執行大型模型的前若干層，這對終端NPU的算力、記憶體提出了比傳統“終端跑小模型”更高的要求。2023年，高通、聯發科、Apple釋出的新一代移動晶片均大幅強化了AI算力和記憶體頻寬，正是為端側大型模型推論做準備。

誤讀五：“國產AI晶片足以支撐模型深度”

糾正：國產AI晶片在單卡算力上進步顯著，但在大規模叢集互連效率（卡間通訊頻寬與延遲）、軟體生態完備度（架構適配、運算元庫覆蓋）方面，與輝達仍有顯著差距。模型深度對互連效率尤其敏感，國產方案在中小規模部署中可用，但在千卡/萬卡級超大型模型場景下的驗證公開資料幾乎空白。

最新事件

• 2024年2月：輝達釋出2024財年Q4財報，資料中心營收年增率增長超400%，明確將分散式推論列為未來增長引擎之一。同步宣佈了 Blackwell架構GPU，進一步升級NVLink互連。
• 2024年1月：工信部等九部門聯合印發《原材料工業數字化轉型工作方案（2024—2026年）》，多次提及“雲端邊端協同”，為模型深度在工業場景的落地提供了政策訊號。
• 2023年12月：華為在全聯接大會2023後續活動上揭露，昇騰AI已在超過20個城市建成或正在建設AI計算中心，支援大型模型的分散式訓練和推論，部分節點已支援端邊雲端協同推論測試。
• 2023年11月：微軟Ignite大會發布Azure AI Studio的分散式推論編排新功能，支援使用者通過視覺化介面定義模型在Azure雲端與Azure Stack Edge裝置間的切分與部署策略。
• 2023年10月：美國商務部工業與安全域性（BIS）更新出口管制規則，進一步限制高階GPU對華出口，直接影響了中國市場模型深度方案中雲端端晶片的供應鏈。國內AI晶片廠商（華為、寒武紀、壁仞等）當月均出現訂單諮詢量驟增。
• 2023年9月：高通驍龍8 Gen 3釋出，支援在終端側執行100億引數的大語言模型（量化後），宣佈與小米、OPPO等廠商合作將端側大型模型落地至2024年旗艦手機。
• 2023年8月：Google在Cloud Next大會上宣佈，Vertex AI平台已支援跨Google Cloud Region和GKE邊緣節點的分散式推論部署（公開Beta版）。
• 2023年Q3–Q4：國內多家頭部券商（中信、中金等）釋出AIGC與AI算力行業深度研究報告，集中梳理了“模型深度/端邊雲端協同”產業鏈，將其定性為大型模型落地的關鍵技術路徑之一。相關研究報告可在各券商研究平台查閱。

追蹤指標

技術指標

• 輝達、華為、AMD等廠商新一代AI晶片的視訊記憶體/記憶體頻寬與片間互連頻寬（反映物理層對模型深度的支撐上限）
• MLPerf Inference基準測試中分散式推論賽道的新增提交與成績（反映行業效能競賽動態）
• ArXiv、MLSys、OSDI等學術會議中模型分散式推論/協同排程相關論文數量與方向趨勢

產業指標

• IDC/Gartner的季度AI晶片出貨量資料，重點關注邊緣和終端AI晶片增速與雲端端晶片增速的差值（差值擴大說明端邊需求快於雲端端）
• 頭部雲端廠商（阿里雲端、華為雲端、AWS、Azure）的“邊緣推論”“分散式推論”相關產品釋出頻率和定價變化
• 中國AI晶片國產化率追蹤（行業估算資料，以中國信通院、IDC季度報告為準）

政策與資本指標

• 美國對華AI晶片出口管制政策的最新動向（BIS公告、工業安全域性實體清單更新）
• 中國“東數西算”工程資料中心建設進度與上架率（國家發改委、國家資料局定期公佈）
• 中國大型模型備案清單中明確提及“端邊雲端協同”或“分散式部署”的模型數量（網信辦公告）

應用落地指標

• 搭載端側大型模型（≥10億引數）的智慧手機出貨量（以Counterpoint、IDC季度手機追蹤報告為準）
• 自動駕駛L3/L4路測里程中“車路雲端協同”模式佔比（交通運輸部、地方政府公示資訊）
• 主要安防/工業AI公司財報中“邊緣”“雲端邊協同”相關營收增速（海康威視、大華股份、商湯等）

---

信源

• 輝達：2023年GTC、2024年Q4財報電話會議材料；NVIDIA DGX Cloud、GH200產品技術白皮書（來源：nvidia.com）
• 華為：華為全聯接大會2023公開演講；昇騰AI開源社群技術文件（來源：hiascend.com）；華為2023年報（來源：huawei.com）
• Google：Cloud Next 2023大會材料；Vertex AI產品文件；GoogleAI部落格（來源：cloud.google.com、ai.googleblog.com）
• 微軟：Ignite 2023大會材料；Azure AI Studio產品文件（來源：azure.microsoft.com）
• 高通：驍龍8 Gen 3產品釋出資料（來源：qualcomm.com）
• 百度：飛槳開源社群技術文件（來源：paddlepaddle.org）；2023百度世界大會公開資料
• IDC：全球及中國AI晶片市場追蹤報告（2023年Q4）；中國公有雲端服務市場追蹤（2023年H2）（來源：idc.com，具體數字以付費報告為準）
• Gartner：全球AI晶片市場預測（2023年Q4釋出）（來源：gartner.com）
• LightCounting：全球光模組市場報告（2023年版）（來源：lightcounting.com）
• Counterpoint：全球智慧手機出貨量及AI晶片預測（2023年）（來源：counterpointresearch.com）
• Fortune Business Insights：AI推論即服務市場預測（2023年）（來源：fortunebusinessinsights.com）
• Frost & Sullivan：全球邊緣AI基礎設施市場預測（2023年）（來源：frostchina.com）
• 中國信通院：《工業智慧白皮書》（2023年）；5G網路質量監測報告（2023年）；《人工智慧發展報告》（2023年）（來源：caict.ac.cn）
• MLSys、IEEE S&P、Usenix Security等學術會議公開論文（來源：arxiv.org、各會議官網）
• 國家發改委、工信部、國家衛健委、網信辦等政府部門公開政策檔案（來源：各部門官網）
• 海康威視（2023年半年報）、商湯科技（2023年中期報告）、寒武紀（2023年半年報）、中際旭創（2023年年報）等上市公司公開揭露資訊（來源：各公司公告）

重要提示：本文所有涉及市場份額、公司營收、出貨量、技術性能對比的資料，均基於公開發布的資訊來源，已標註時間與口徑。因技術發展迅速且企業揭露標準不一，資料可能存在滯後或統計口徑差異。部分行業預測資料來自第三方研究機構，其假設條件和方法論將影響預測結果，請自行判斷參考價值。本文不構成任何形式的投資建議、買賣建議或技術選型建議。在對特定公司、產品或技術方案進行評估時，建議查閱最新的一手資訊。