模型深度
3 秒看懂
模型深度(Model Depth)指将单体超大模型拆解为多个模块,分布式部署在终端设备、边缘节点、云端数据中心上协同完成推理计算,形成“链-云”协同的深度计算范式。其核心逻辑是“不同层级的计算任务,在最适合的算力层级上完成”。
用户感知到的体验是:手机上的智能助手响应更快、自动驾驶汽车能在断网时依然做出紧急避让、工厂的质检摄像头无需把每一帧画面都传回云端——这些背后,是模型深度技术在调度算力、分配任务、压缩通信。
3 分钟产业解释
当大模型参数量突破千亿甚至万亿级别,单个设备根本无法容纳,传统“一切上云”的方案也面临延迟过高、带宽成本飙升、隐私合规趋严三重压力。模型深度技术解决的正是在“终端—边缘—云端”三级计算体系之间,把一个大模型切成若干段,让每一段跑在最合理的硬件上。
产业逻辑:大模型时代,算力供给从“集中式”走向“分布式协同”。终端负责低延迟感知与隐私脱敏(如人脸关键点提取而非原始图像上传),边缘负责局部聚合与实时决策(如产线缺陷初筛),云端负责全局推理与复杂长尾任务(如跨区域交通调度优化)。整条链路的性能瓶颈不在单一节点的算力,而在节点间的通信带宽、延迟抖动和调度策略。
商业价值:对云厂商而言,模型深度意味着可以售卖“端边云一体化”的解决方案而非单纯的计算实例;对芯片厂商而言,倒逼其设计从云端训练芯片延伸到边缘推理芯片、终端NPU的全场景产品线;对应用方而言,有望将大模型推理成本降低30%–60%(来源:英伟达2023年GTC公开演讲中引述的行业估算,具体数值因场景差异较大),同时满足数据不出本地的合规要求。
与相近概念的区分:模型深度常与“分布式推理”“联邦学习”“边缘计算”混用。关键区别在于——分布式推理侧重同一层级多卡并行;联邦学习侧重数据不出本地、模型聚合;边缘计算侧重将计算下沉。模型深度则强调跨层级的模型按结构切分与流水线协同,是上述技术理念在超大模型场景下的融合升级。
技术原理
分层卸载与流水线并行
将一个Transformer架构的大模型按层(Layer)或按模块(Attention、FFN等)切分,前若干层部署在终端,中间层部署在边缘服务器,后端复杂层部署在云端。推理时,数据依次流经三级节点,形成一条计算流水线。
以一个96层的GPT风格模型为例:第0–11层在终端执行(利用手机NPU),第12–47层在边缘服务器(利用边缘AI加速卡),第48–95层在云端GPU集群完成。终端只将第11层的输出特征(而非原始数据)传给边缘,边缘再将第47层输出传给云端。这种设计使得终端侧数据不发生原始外泄,同时将传输数据量从“原始输入”压缩为“中间层特征”,理论上可减少90%以上的上行带宽消耗(具体压缩率取决于中间层维度设计,来源:MLSys 2022会议中多篇分布式推理论文的公开实验结果区间)。
模型分割与自适应压缩
不是所有层都适合切分。注意力层涉及全局依赖,切分后跨节点通信开销较大;前馈网络层(FFN)相对独立,切分更自然。产业实践中通常采用“混合切分策略”:在注意力层保持较小跨节点通信,在FFN层做大粒度卸载,并配合量化(INT8/INT4)、剪枝、知识蒸馏等手段,为不同硬件定制轻量子模型。
自动化搜索最优切分方案是一个关键技术方向。学术界与产业界探索用神经网络架构搜索(NAS)或强化学习,在“精度损失—通信量—延迟”三维空间中找到帕累托最优解。谷歌在2023年发表的论文中披露,针对PaLM模型的切分搜索可在数千个候选中自动收敛到近似最优方案(来源:arXiv预印本,2023年),但该技术尚未形成标准化工具链。
协同调度与运行时系统
切分方案确定后,运行时系统需要在毫秒级完成“这条推理请求现在该在哪儿算”的决策。调度算法需综合考虑:当前各节点的计算负载、网络延迟与抖动、任务实时性要求、能耗约束。
主流技术路径包括:基于规则的启发式调度(工程化成熟,灵活性有限)、基于代价模型的动态规划(需要精确建模,建模本身是难点)、基于学习的自适应调度(泛化能力待验证)。产业实践中,华为昇思MindSpore的分布式推理框架采用了“静态切分图+动态调度策略”的混合方案;英伟达Triton推理服务器则通过模型并发执行与动态批处理优化跨节点吞吐。
通信原语与异步机制
跨节点通信是模型深度的核心工程瓶颈。以传输4K视频的中间层特征为例,若特征维度为4096,每秒30帧,则带宽需求约为4096 × 4字节(FP32)× 30 ≈ 480 MB/s,对边缘到云的链路形成持续压力。优化手段包括:使用RDMA(远程直接内存访问)绕过内核协议栈降低延迟;采用梯度压缩/稀疏化技术减少通信量;设计异步推理流水线,在等待远程结果时不阻塞本地计算。
值得关注的是,2023年以来,基于RDMA over Converged Ethernet(RoCE)的高速网络方案开始在部分云厂商的分布式推理集群中部署,据公开技术博客披露,可将其节点间通信延迟降至微秒级(具体数值因网络拓扑差异较大,未形成行业统一基准)。
关键参数
评估模型深度方案优劣,需综合以下维度:
| 参数类别 | 关键指标 | 说明 | 数据现状 |
|---|---|---|---|
| 推理性能 | 端到端延迟(P50/P95/P99) | 从请求发起到结果返回的完整时间 | 行业缺乏统一基准,各厂商自报数据口径不一 |
| 通信效率 | 跨节点数据传输量(MB/request) | 直接影响带宽成本和延迟 | 取决于模型切分策略,公开文献中典型压缩比为原始数据的5%–20% |
| 精度保持 | 分布式推理与单机推理的精度差异 | 通常以困惑度(PPL)或下游任务指标衡量 | 理想切分方案下精度损失可控制在1%以内(来源:MLSys 2023若干论文) |
| 资源利用率 | 各节点GPU/NPU利用率 | 反映调度系统的负载均衡能力 | 公开资料未见行业均值 |
| 可扩展性 | 支持的最大模型规模与节点数量 | 分布式系统的扩展上限 | 英伟达宣称其系统可支持万亿参数模型(2023 GTC),实际部署案例有限 |
| 可靠性 | 节点故障恢复时间 | 单节点宕机对整体推理的影响 | 公开资料未见系统化披露 |
此外,总拥有成本(TCO) 是产业决策的核心考量:模型深度是否真的比“升级单台服务器”更经济?这取决于模型规模、推理负载、网络成本三者的动态关系,目前缺乏第三方权威测算。英伟达在2023年公开材料中给出了部分场景的TCO对比案例,但其假设条件(自研NVLink互联、GPU高利用率)不一定适用于通用场景。
技术路线
当前产业界在模型深度方向存在三条主要技术路线,它们在切分粒度、调度策略、生态开放性上有明显分野。
路线一:芯片—互联—框架全栈垂直整合
代表:英伟达(GPU + NVLink/NVSwitch + Triton/TensorRT)、华为(昇腾 + HCCS互联 + CANN/MindSpore)。该路线的优势是硬件—通信—软件高度协同优化,在极致性能场景(超大模型、低延迟)中优势明显。代价是技术栈封闭或半封闭,客户被深度绑定。英伟达2023年发布的GH200超级芯片将CPU与GPU通过NVLink-C2C互联,片间带宽达900 GB/s,本质上是将模型深度中的“跨节点通信”优化提前到芯片级设计。
路线二:开放框架+多云适配
代表:PyTorch(分布式推理API)+ 通用云基础设施(AWS、Azure、阿里云等)。该路线强调框架层的通用性,模型切分与调度策略由开发者自行定义,底层硬件可以是各类GPU/NPU。优势是灵活、不被单一供应商绑定;劣势是性能优化需要大量人工调参,难以达到垂直整合方案的极致效率。Meta在2023年开源的Llama 2推理代码中展示了基于PyTorch FSDP的分布式推理参考实现,可供行业参考。
路线三:模型即服务(MaaS)封装
代表:OpenAI(GPT-4 API)、百度(文心大模型API)、阿里云(通义千问API)。该路线将模型深度的底层复杂性完全封装在API背后,用户无需关心模型如何切分、调度、通信,只需调用接口。这是商业化落地最快的方式,但用户丧失了对推理延迟、数据流向、成本结构的透明度与控制力。
三条路线并非互斥。产业实践中,大型企业可能自建路线一或路线二;中小企业更多采用路线三。未来趋势是MaaS层向下兼容多芯多云,垂直整合方案向上提供标准化API,路线边界逐渐模糊。
上游
模型深度产业链上游的核心供给包括算力芯片与高速互连两大类。
算力芯片
芯片是模型深度的物理底座,按部署位置分为三个层级:
-
云端AI芯片:用于执行大模型后端复杂层推理。主要供应商为英伟达(A100/H100,2023年占据全球数据中心AI芯片出货量约80%–90%的份额,来源:IDC 2023年估算报告)、AMD(MI300X系列)、英特尔(Gaudi系列)。国内供应商包括华为昇腾910B(2023年量产,公开性能指标对标A100)、寒武纪思元系列、壁仞科技BR100系列。2024年以来,受出口管制影响,国产云端AI芯片的采购需求快速上升,但产能爬坡与软件生态适配仍是瓶颈,公开数据未见国产芯片在模型深度场景下的大规模商用评测。
-
边缘AI芯片:用于边缘服务器或网关设备,执行模型中间层推理。要求兼顾算力与功耗(典型TDP 10–75W)。主要供应商包括英伟达Jetson Orin系列、高通Cloud AI系列、华为昇腾310/710系列、寒武纪边缘MLU系列、地平线征程系列。据IDC 2023年边缘AI芯片市场报告,英伟达与华为合计占据中国市场约50%的份额(具体份额因季度波动)。
-
终端NPU:嵌入手机、汽车、摄像头等终端设备,执行模型前端浅层推理。主要供应商为高通(骁龙移动平台AI Engine)、联发科(天玑APU)、苹果(A/M系列Neural Engine)、华为(麒麟NPU)。2023年,全球智能手机NPU渗透率已接近100%(中高端机型标配),单芯片AI算力从2019年的1–5 TOPS提升至2023年的20–50 TOPS(来源:各厂商产品公开参数)。
高速互连
跨节点通信依赖高速网络设备与互连技术,是模型深度的关键使能技术。
-
芯片间互连:英伟达NVLink/NVSwitch(H100单GPU支持900 GB/s的NVLink带宽)、华为HCCS(昇腾集群互连)、AMD Infinity Fabric。这些技术决定了同一节点内多卡通信的上限。
-
节点间网络:数据中心内节点间互连主要采用InfiniBand(英伟达Mellanox产品线)或高速以太网(RoCE)。光模块是网络物理层核心器件,速率从100G向400G/800G演进。中际旭创、光迅科技、新易盛等国内厂商在400G/800G光模块市场占据全球重要份额(据LightCounting 2023年报告,中际旭创在2022年全球光模块市场份额约10%,排名前列)。
-
边缘—云长距网络:依赖运营商5G/专线网络。5G网络的理论时延可低至1ms(URLLC场景),但实际商用网络中边缘至云的端到端延迟通常在10–50ms量级,是模型深度在低延迟场景(如自动驾驶)中的关键约束。
下游
模型深度的下游应用场景正在快速分化,从“能用”走向“好用”。
自动驾驶与智能座舱
这是对模型深度技术要求最苛刻的场景。车辆需要在毫秒级完成感知—决策—控制的闭环,云端大模型无法保证实时性,终端芯片算力又无法承载完整模型。典型的模型深度方案:车载芯片(英伟达Orin/Thor、高通Snapdragon Ride、地平线征程)执行感知模型前端特征提取与紧急避险决策;路侧边缘服务器负责局部交通态势聚合;云端负责高精地图更新、全局路径规划与罕见场景(Corner Case)训练。特斯拉在2023年AI Day公开了其Dojo超算与车载FSD芯片的协同架构思路;百度Apollo在2023年公开资料中披露了“车路云”三级协同方案在示范区的落地进展。
智能制造与工业质检
产线视觉质检是模型深度的典型应用:端侧摄像头运行轻量检测模型做实时初筛(“这件产品大概率有缺陷”),边缘服务器运行中等规模模型做二次确认(“缺陷类型是划痕还是气泡”),云端大模型处理复杂疑难样本并持续更新模型。据中国信通院2023年发布的工业智能白皮书引述,部分电子制造企业应用此方案后将质检误报率降低20%–40%,云端算力成本降低30%以上(具体企业名称和精确数据未公开披露)。
智慧医疗
终端可穿戴设备采集心电、血氧等信号并运行轻量异常检测模型;边缘网关在院内或社区汇聚多患者数据做初步诊断辅助;云端大模型提供复杂病例的鉴别诊断与治疗方案建议。该场景对数据隐私要求极高,模型深度与联邦学习、可信执行环境(TEE)技术结合紧密。2023年,国家卫健委发布的智慧医疗相关政策文件中鼓励探索“云边端协同”的AI辅助诊断模式,但大规模商用仍需解决医疗器械认证、数据确权等法规问题。
智慧城市与安防
城市级视频监控网络中,每路摄像头端侧完成人/车/物基础检测与特征编码;边缘节点(通常部署在派出所或区域机房)完成多路视频汇聚、轨迹关联;云端完成跨区域搜索、行为分析与预测。海康威视、大华股份等安防龙头在2022–2023年财报中均提及“云边融合”“物信融合”等战略方向,其前端摄像头已普遍内置NPU模块,可在本地运行深度学习模型。
消费电子与智能助手
手机语音助手、PC端AI助手是模型深度最贴近大众的应用。苹果在2023年WWDC上展示了设备端大语言模型的初步能力;高通在2023年骁龙峰会上演示了在手机上运行百亿参数模型(通过INT4量化与终端NPU加速),未联网状态下可完成文本摘要、图片生成等推理。这一方向被认为将驱动2024–2025年终端AI芯片需求的显著增长(来源:Counterpoint 2023年预测报告,具体增速预测见下文市场规模部分)。
受益公司
以下梳理基于公开产业链信息,仅客观呈现各公司在模型深度技术栈中的角色与公开进展,不构成任何形式的评价或建议。
| 层级 | 公司 | 核心角色 | 关键进展(截至2024年Q1) |
|---|---|---|---|
| 芯片 | 英伟达 | 云端+边缘GPU、NVLink互联 | H200 GPU 2024年Q2量产;GH200超级芯片已向部分客户交付 |
| 芯片 | 华为 | 昇腾AI芯片全栈 | 昇腾910B量产;2023年华为全联接大会披露昇腾已在多个城市建成AI计算中心 |
| 芯片 | 高通 | 终端NPU | 骁龙8 Gen 3 AI Engine支持百亿参数模型端侧推理(2023年发布) |
| 芯片 | 寒武纪 | 云端+边缘AI芯片 | 思元590系列在部分云厂商上架(2023年公开信息) |
| 互连 | 中际旭创 | 高速光模块 | 800G光模块已向北美云厂商批量出货(2023年财报披露) |
| 框架 | 百度 | 飞桨+文心大模型 | 飞桨分布式推理API已支持模型并行(PaddlePaddle 2023年公开文档) |
| 框架 | 华为 | MindSpore+CANN | MindSpore 2.2版本强化分布式推理能力(2023年开源社区更新) |
| 云服务 | 阿里云 | PAI平台+通义千问 | 2023年云栖大会公开弹性模型推理服务,支持多级部署 |
| 云服务 | 微软 | Azure AI+OpenAI | Azure AI Studio支持用户自定义分布式推理流水线(2023年Ignite大会) |
| 云服务 | AWS | SageMaker+Bedrock | 2023年re:Invent发布模型推理多级部署新功能 |
| 应用 | 特斯拉 | 车端FSD+云端Dojo | 2023年AI Day阐述车云协同训练推理架构 |
| 应用 | 海康威视 | 安防端边云融合 | 2023年半年度报告提及AI开放平台支持边缘部署 |
| 应用 | 商汤科技 | SenseCore大装置 | 2023年中期报告披露大装置支持端边云协同推理 |
上述信息均来自各公司财报、产品发布、公开技术博客及行业会议,部分进展的具体技术参数和商业数据以公司最新披露为准。
市场规模
模型深度直接拉动AI芯片、高速互连、分布式推理软件三类市场,并间接推动云服务和边缘基础设施增长。
-
全球AI芯片市场:据Gartner 2023年报告(2023年Q4发布),2023年全球AI芯片市场(含云端、边缘、终端)规模约为540亿美元,预计到2027年将增长至约1200亿美元,年复合增长率约22%。其中,边缘与终端AI芯片增速高于云端,2023–2027年复合增速预计在25%–30%。
-
中国AI芯片市场:据IDC中国2023年测算,2023年中国AI芯片市场规模约120亿美元(约合人民币850亿元),其中云端约60亿美元、边缘约25亿美元、终端约35亿美元。国产芯片在云端市场占比约10%–15%(受出口管制影响,2023年后该比例有望提升,但精确数据公开资料未见)。
-
高速光模块市场:据LightCounting 2023年报告,2023年全球光模块市场规模约120亿美元,其中800G及以上速率光模块约10亿美元,预计2027年整体市场达200亿美元,高速光模块占比快速提升,核心驱动力是AI数据中心互连需求。
-
边缘AI基础设施市场:据Frost & Sullivan 2023年预测,2023年全球边缘AI服务器与网关市场约80亿美元,2027年预计达200亿美元。中国市场因“东数西算”与工业智能化政策推动,增速预计高于全球均值(公开资料未见精确区域增速对比)。
-
模型推理服务(MaaS)市场:这是模型深度的直接变现层。据Fortune Business Insights 2023年估算,全球AI推理即服务市场2023年约200亿美元,2030年将达1000亿美元以上,年复合增速约25%–30%。需要指出,该数据口径宽泛,包含传统AI推理,并不专指大模型分布式推理,实际可归属于模型深度的细分市场尚未有权威第三方测算。
对中国市场的综合判断:2023年,与模型深度直接相关的芯片、网络硬件、推理平台市场合计约人民币1200–1500亿元(综合IDC、中国信通院公开数据估算,口径包含云端/边缘/终端AI芯片、高速光模块/交换机、AI推理云服务费用)。预计2026年可达3000–4000亿元。增长取决于国产AI芯片产能释放、5G-A/6G网络商用节奏、以及端侧大模型应用的渗透速度三个核心变量。
玩家对比
将模型深度产业链上的主要竞争者按其战略模式分为四类,横向对比其优劣势。
| 维度 | 英伟达 | 华为 | 谷歌 | 百度 |
|---|---|---|---|---|
| 战略定位 | 硬件+互联全栈 | 芯片-框架-云全栈 | 云端TPU+MaaS | 芯片-框架-云+MaaS |
| 云端芯片 | H100/H200/Blackwell | 昇腾910B | TPU v5 | 昆仑芯3(2023年发布) |
| 边缘芯片 | Jetson Orin系列 | 昇腾310/710 | 无自有产品(合作高通等) | 无自有产品 |
| 终端NPU | 无手机端(自动驾驶Orin/Thor) | 麒麟内置NPU | Tensor芯片内置(Pixel手机) | 无(2023年收购消息未落实) |
| 互连技术 | NVLink/NVSwitch/InfiniBand | HCCS/自研交换机 | 数据中心网络(Jupiter架构) | 依赖通用网络设备 |
| 深度学习框架 | CUDA生态(开放) | MindSpore(开源) | TensorFlow/JAX(开源) | 飞桨PaddlePaddle(开源) |
| MaaS服务 | DGX Cloud(起步较晚) | ModelArts(中国市场) | Vertex AI+Gemini | 文心大模型+百度智能云 |
| 核心优势 | GPU算力领先,互联生态闭环 | 端边云全场景覆盖,政策优势 | 云端算力规模大,大模型能力强 | 中文场景应用丰富,开发者生态国内领先 |
| 主要短板 | 终端/边缘布局弱于云端;受出口管制影响对华供应 | 软件生态全球化不足;先进制程受限 | 端侧/边缘缺少自研硬件 | 芯片自研起步晚;云端份额不及头部云厂商 |
| 中国市场收入/份额估算(2023) | 云端AI芯片约80%–90%份额* | 国产云端AI芯片约50%–70%份额* | 云服务不易单独拆分 | 云AI服务国内市场份额约10%–15%(来源:IDC 2023) |
*注:中国云端AI芯片市场份额数据中,英伟达占比因出口管制存在统计口径差异,华为国产芯片占比指“国产替代”市场中的份额。上述数据来源于IDC 2023年半年度跟踪报告及公开市场估算,具体精确值以IDC付费报告为准。
除上述四家全栈玩家外,微软/OpenAI组合以强大的大模型能力+Azure云服务向下游渗透,但在芯片和框架层依赖英伟达和PyTorch,是“模型深度”能力不完整但商业化最成功的玩家。AWS与阿里云定位类似,走“自研芯片+开源框架+开放生态”路径,灵活性高但全栈协同深度不如英伟达与华为。创业公司层面,寒武纪/壁仞科技在芯片端、第四范式在AI平台端各自寻求在细分环节的突破,公开资料未见其在模型深度全栈能力上的布局。
风险
技术风险
通信瓶颈难解:模型深度对带宽和延迟敏感。在自动驾驶、远程手术等超低延迟场景,边缘到云的通信延迟即便在最优条件下也受物理距离约束(光速限制)。5G理论延迟1ms,但实际端到端延迟受基站、核心网、互联网交换等多跳影响,公网中10–50ms是常态(来源:中国信通院2023年5G网络质量监测报告)。这对需要毫秒级响应的场景构成硬约束。
调试与可观测性困境:当模型被切成十几段跑在不同厂商的硬件上,问题定位变得极其困难。到底是终端特征提取出错,还是边缘的中间层计算溢出,还是云端模型本身hallucination?目前没有统一的跨层级追踪工具链,各厂商日志格式、接口标准不一,运维成本被严重低估。
标准化缺位:模型切分格式、跨节点通信协议、性能基准测试均无行业统一标准。这导致A厂商的终端模型无法跑在B厂商的边缘服务器上,客户面临多供应商绑定风险,生态碎片化制约规模效应。
商业风险
TCO优势未经验证:模型深度是否比“买更高算力的服务器集中部署”更省钱,缺乏独立第三方的大规模实测。英伟达等厂商的优化案例基于自有硬件和网络,推广至混合厂商的现实环境后,通信开销、调优成本可能远超预期。
商业模式仍在验证:模型深度带来的价值(低延迟、隐私合规、离线可用)目前主要在特定场景有刚性需求(车、医疗、军工),在更广泛的企业市场,客户是否愿意为“端边云协同”支付溢价,仍需时间检验。2023年以来,部分云厂商推出“边缘+云端”推理套餐,但公开资料未见大规模付费采纳的数据披露。
出口管制与供应链风险:高端GPU对中国市场的供应受限(2023年10月美国商务部进一步收紧出口规则),直接冲击依赖英伟达芯片构建的模型深度系统的可持续性。国产替代存在性能差距(公开基准测试中,2023年国产GPU在单卡算力上接近A100,但大规模集群互联效率差距显著,软件生态迁移成本高),短期内将制约中国市场的部署规模。
伦理与法律风险
责任归属模糊:当模型深度系统在终端、边缘、云端三级协同下做出错误判断并导致损害——例如,自动驾驶事故发生在“云端模型建议变道但边缘执行模块未及时响应”的情况下——责任在整车厂、边缘设备商还是云服务商,法律层面尚无明确界定。2023年国内外均出现了相关法律讨论,但尚无成文法或指导性判例。
隐私攻击面扩大:模型深度虽然减少了原始数据上传,但中间层特征仍包含可被逆向工程还原的信息。研究表明,利用模型反演攻击可从中间层特征中重建部分原始输入(来源:IEEE S&P 2022、Usenix Security 2023公开论文)。在金融、医疗等高度敏感场景,这构成实质性隐私风险,需要联邦学习、差分隐私、可信执行环境等技术叠加防护。
误读纠偏
误读一:“模型深度等于边缘计算”
纠正:边缘计算泛指将计算下沉到网络边缘,模型深度特指大模型按结构跨层级的分布式协同。边缘计算可以在终端完成整个小模型的推理,这与模型深度的“流水线切分”逻辑不同。模型深度必须包含跨层级的模型分割与通信调度。
误读二:“切得越细越好”
纠正:过度切分会引入过多通信节点,反而增加延迟和出错概率。最优切分点取决于模型结构、通信带宽、各节点算力的匹配关系。产业实践中,切分为3–5段的方案(端-边-云各1–2段)最为常见,极少见到超过10段的商用部署(来源:公开技术博客与产品文档的不完全统计,学术研究中存在更细粒度的实验)。
误读三:“模型深度可以完全替代云端推理”
纠正:模型深度是云边端的协同,云端仍然承担最复杂层和大模型版本更新的关键角色。它不是“去云端化”,而是“云端能力向下延伸”。在某些弱网或离线场景,边缘或终端可以降级运行简化模型,但这被视为兜底策略而非常态。
误读四:“有了模型深度,终端硬件要求就低了”
纠正:恰好相反。模型深度要求终端至少能运行大模型的前若干层,这对终端NPU的算力、内存提出了比传统“终端跑小模型”更高的要求。2023年,高通、联发科、苹果发布的新一代移动芯片均大幅强化了AI算力和内存带宽,正是为端侧大模型推理做准备。
误读五:“国产AI芯片足以支撑模型深度”
纠正:国产AI芯片在单卡算力上进步显著,但在大规模集群互连效率(卡间通信带宽与延迟)、软件生态完备度(框架适配、算子库覆盖)方面,与英伟达仍有显著差距。模型深度对互连效率尤其敏感,国产方案在中小规模部署中可用,但在千卡/万卡级超大模型场景下的验证公开资料几乎空白。
最新事件
- 2024年2月:英伟达发布2024财年Q4财报,数据中心收入同比增长超400%,明确将分布式推理列为未来增长引擎之一。同步宣布了 Blackwell架构GPU,进一步升级NVLink互连。
- 2024年1月:工信部等九部门联合印发《原材料工业数字化转型工作方案(2024—2026年)》,多次提及“云边端协同”,为模型深度在工业场景的落地提供了政策信号。
- 2023年12月:华为在全联接大会2023后续活动上披露,昇腾AI已在超过20个城市建成或正在建设AI计算中心,支持大模型的分布式训练和推理,部分节点已支持端边云协同推理测试。
- 2023年11月:微软Ignite大会发布Azure AI Studio的分布式推理编排新功能,支持用户通过可视化界面定义模型在Azure云与Azure Stack Edge设备间的切分与部署策略。
- 2023年10月:美国商务部工业与安全局(BIS)更新出口管制规则,进一步限制高端GPU对华出口,直接影响了中国市场模型深度方案中云端芯片的供应链。国内AI芯片厂商(华为、寒武纪、壁仞等)当月均出现订单咨询量骤增。
- 2023年9月:高通骁龙8 Gen 3发布,支持在终端侧运行100亿参数的大语言模型(量化后),宣布与小米、OPPO等厂商合作将端侧大模型落地至2024年旗舰手机。
- 2023年8月:谷歌在Cloud Next大会上宣布,Vertex AI平台已支持跨Google Cloud Region和GKE边缘节点的分布式推理部署(公开Beta版)。
- 2023年Q3–Q4:国内多家头部券商(中信、中金等)发布AIGC与AI算力行业深度研报,集中梳理了“模型深度/端边云协同”产业链,将其定性为大模型落地的关键技术路径之一。相关研究报告可在各券商研究平台查阅。
跟踪指标
技术指标
- 英伟达、华为、AMD等厂商新一代AI芯片的显存/内存带宽与片间互连带宽(反映物理层对模型深度的支撑上限)
- MLPerf Inference基准测试中分布式推理赛道的新增提交与成绩(反映行业性能竞赛动态)
- ArXiv、MLSys、OSDI等学术会议中模型分布式推理/协同调度相关论文数量与方向趋势
产业指标
- IDC/Gartner的季度AI芯片出货量数据,重点关注边缘和终端AI芯片增速与云端芯片增速的差值(差值扩大说明端边需求快于云端)
- 头部云厂商(阿里云、华为云、AWS、Azure)的“边缘推理”“分布式推理”相关产品发布频率和定价变化
- 中国AI芯片国产化率跟踪(行业估算数据,以中国信通院、IDC季度报告为准)
政策与资本指标
- 美国对华AI芯片出口管制政策的最新动向(BIS公告、工业安全局实体清单更新)
- 中国“东数西算”工程数据中心建设进度与上架率(国家发改委、国家数据局定期公布)
- 中国大模型备案清单中明确提及“端边云协同”或“分布式部署”的模型数量(网信办公告)
应用落地指标
- 搭载端侧大模型(≥10亿参数)的智能手机出货量(以Counterpoint、IDC季度手机追踪报告为准)
- 自动驾驶L3/L4路测里程中“车路云协同”模式占比(交通运输部、地方政府公示信息)
- 主要安防/工业AI公司财报中“边缘”“云边协同”相关收入增速(海康威视、大华股份、商汤等)
信源
- 英伟达:2023年GTC、2024年Q4财报电话会议材料;NVIDIA DGX Cloud、GH200产品技术白皮书(来源:nvidia.com)
- 华为:华为全联接大会2023公开演讲;昇腾AI开源社区技术文档(来源:hiascend.com);华为2023年报(来源:huawei.com)
- 谷歌:Cloud Next 2023大会材料;Vertex AI产品文档;谷歌AI博客(来源:cloud.google.com、ai.googleblog.com)
- 微软:Ignite 2023大会材料;Azure AI Studio产品文档(来源:azure.microsoft.com)
- 高通:骁龙8 Gen 3产品发布资料(来源:qualcomm.com)
- 百度:飞桨开源社区技术文档(来源:paddlepaddle.org);2023百度世界大会公开资料
- IDC:全球及中国AI芯片市场跟踪报告(2023年Q4);中国公有云服务市场跟踪(2023年H2)(来源:idc.com,具体数字以付费报告为准)
- Gartner:全球AI芯片市场预测(2023年Q4发布)(来源:gartner.com)
- LightCounting:全球光模块市场报告(2023年版)(来源:lightcounting.com)
- Counterpoint:全球智能手机出货量及AI芯片预测(2023年)(来源:counterpointresearch.com)
- Fortune Business Insights:AI推理即服务市场预测(2023年)(来源:fortunebusinessinsights.com)
- Frost & Sullivan:全球边缘AI基础设施市场预测(2023年)(来源:frostchina.com)
- 中国信通院:《工业智能白皮书》(2023年);5G网络质量监测报告(2023年);《人工智能发展报告》(2023年)(来源:caict.ac.cn)
- MLSys、IEEE S&P、Usenix Security等学术会议公开论文(来源:arxiv.org、各会议官网)
- 国家发改委、工信部、国家卫健委、网信办等政府部门公开政策文件(来源:各部门官网)
- 海康威视(2023年半年报)、商汤科技(2023年中期报告)、寒武纪(2023年半年报)、中际旭创(2023年年报)等上市公司公开披露信息(来源:各公司公告)
重要提示:本文所有涉及市场份额、公司收入、出货量、技术性能对比的数据,均基于公开发布的信息来源,已标注时间与口径。因技术发展迅速且企业披露标准不一,数据可能存在滞后或统计口径差异。部分行业预测数据来自第三方研究机构,其假设条件和方法论将影响预测结果,请自行判断参考价值。本文不构成任何形式的投资建议、买卖建议或技术选型建议。在对特定公司、产品或技术方案进行评估时,建议查阅最新的一手信息。