Model Extraction（模型提取）

1 3 秒看懂

模型提取是攻击者通过反复查询模型 API，利用输入-输出对逆向训练一个功能高度近似的替代模型，从而窃取或“克隆”原始模型的商业价值与知识产权。

• 核心逻辑：花少量查询费用，重建一个不准但可用的“山寨模型”，摆脱对原厂商 API 的付费依赖或进行竞品分析。
• 典型场景：黑盒调用云上图像识别、自然语言处理 API，收集预测结果，训练本地复制品。
• 防护难点：攻击者无须接触模型文件，仅依赖正常 API 访问即可实施，传统访问控制难以完全阻断。
• 现状札记：部分安全厂商在 2023 年的技术分享中指出，中小规模部署的 AI 服务对自动化提取攻击的检测能力有限，但缺乏跨厂商的标准化测评基准，具体检测率数字因场景差异极大，公开资料未见统一权威数据。

2 3 分钟产业解释

模型提取处于 AI 服务商业化与网络安全的交叉地带。任何将模型作为服务（MLaaS）输出的企业，理论上都是潜在目标。 运作链条：

1. 攻击方：可以是竞争对手、灰产组织或安全研究者。通过编写脚本，以极低成本对目标 API 发送大量请求，获取预测标签、置信度分数甚至部分梯度信息。
2. 防御方：模型所有者在 API 层部署监控、限速、输出扰动与查询水印，试图发现异常访问模式并在不显著损害正常用户体验的情况下阻断提取。
3. 商业影响：模型训练往往投入数百万至数千万美元，一旦被提取，替代模型可以分流客户、压价竞争，或暴露训练数据特性引发隐私合规风险。
4. 产业定位：被视为 AI 安全产业链中的关键一环，与对抗攻击、数据投毒、模型逆向等共同构成“模型完整性保护”市场。根据多家咨询机构 2023-2024 年发布的 AI 安全市场展望（如 Fortune Business Insights 等），AI 安全整体规模已达数十亿美元，但模型提取防御作为细分赛道尚无独立统计，多数需求融合在云安全或应用安全产品中。

3 技术原理

模型提取攻击的核心理论可归纳为 黑盒优化 与 知识蒸馏 的逆向运用。

3.1 攻击侧原理

• 黑盒查询扩展：攻击者无法获取模型梯度，只能构建候选输入，借助模型输出的软标签（概率向量）或硬标签（类别），以最少查询次数最大化替代模型与原模型的输出一致性。
• 主动学习策略：通过不确定性采样、委员会查询等技术筛选最有“信息量”的样本，可大幅减少所需查询量。一篇 2021 年的 IEEE S&P 论文证明，针对部分云端图像分类器，仅需数万次查询即可使替代模型达到 90% 以上的一致率。
• 侧信道辅助：部分高级攻击利用 API 响应延迟、缓存命中模式、错误信息甚至功耗特征推断模型架构和参数规模。2022 年 Usenix Security 有研究人员演示了通过 FPGA 部署侧信道攻击，反推神经网络层数及激活类型。
• 模型逆向复用：从已部署模型中提取的训练数据特征或序列化文件结构，有时可帮助攻击者恢复模型决策边界，辅助构建替代模型。

3.2 防御侧原理

• 查询监控与限速：基于 IP、会话或 API Key 的调用频率限制，结合行为序列分析识别自动化脚本，是最基础的第一道防线。
• 输出模糊化：通过差分隐私向输出添加可控噪声，或仅返回 Top-K 类别而非完整概率分布，增加攻击者获取高保真信号的难度。
• 水印与指纹：在模型训练阶段嵌入特定输入-输出映射关系，当怀疑存在窃取模型时，可通过输入水印序列观察其输出是否与原始模型一致，用于事后取证。
• 自适应防御：利用强化学习动态调整输出扰动幅度，在查询密度异常升高时增强防御，正常时段维持原始服务质量。

4 关键参数

评估模型提取攻击与防御效率时，常用以下参数表征。所有数值均基于实验室环境或厂商白皮书，实际场景偏差较大。

5 技术路线

业界围绕模型提取的攻防已形成多种技术路线，可依据攻击者对目标模型的访问程度分类。

5.1 攻击技术路线

• 黑盒函数逼近：仅使用输入与硬标签输出，训练神经网络或决策树替代模型。代表：利用随机采样与启发式边界探索。
• 蒸馏型黑盒提取：要求 API 返回软标签（类别概率），攻击者可训练结构相似或更简单的学生模型，直接“蒸馏”目标模型的知识，效率远高于仅用硬标签。
• 生成式查询生成：借助 GAN 或语言模型生成大量贴近训练分布的查询样本，使提取出来的模型更泛化。2023 年的研究“Model Extraction from Large Language Models”展示了通过精心设计的提示词从黑盒大模型中蒸馏指令跟随能力。
• 灰盒结构推测：部分云服务允许用户查看模型架构摘要或序列化文件结构，攻击者据此复原同构模型权重分布，加速替代模型训练。
• 物理侧信道：利用部署在边缘设备上的模型功耗、电磁辐射等模拟泄露信号，反推参数。该路线需物理接近，更针对端侧场景。

5.2 防御技术路线

• 被动防御：部署 API 网关防火墙，执行调用频率限制、异常 IP 封禁等规则。
• 主动干扰：动态注入虚假类别或扰动置信度，引导攻击者训练出偏离真实决策边界的替代模型。
• 博弈论策略：将攻防视为 Stackelberg 博弈，防御方事先优化噪声注入和限速策略，最大化攻击成本，最小化服务质量损失。
• 合规与法律：在 API 使用条款中明确禁止模型提取，并通过版权声明、水印技术提供可追溯证据，虽非纯技术手段，但与技术防御形成闭环。

6 上游

模型提取产业链上游向防御产品和攻击工具提供基础资源与核心组件。

• 算力与基础设施：AWS、Azure、阿里云、华为云等同时扮演双重角色——既是模型托管方（目标），又是防护基础设施提供者。它们提供 API 管理工具、鉴权、日志审计等底层能力，构成第一道防御的“地基”。
• AI 芯片与硬件安全：NVIDIA、Intel、AMD 提供的 GPU/TPU 及其机密计算能力，可在硬件层面保护模型运行时安全，防止侧信道泄露。2023 年，NVIDIA 推出了基于 Hopper 架构的机密计算功能，声称可减少物理攻击面。
• 数据标注与合成数据：攻击方需要高质量未标注数据用于查询，上游数据贩售或合成数据工具可能为大规模自动化提取提供“弹药”。但公开黑产交易规模难以统计。
• 开源模型与代码框架：PyTorch、TensorFlow、ONNX 等开源生态一方面降低了模型搭建门槛，让合法企业加速创新；另一方面也让攻击者更容易理解模型结构，快速复现替代网络。上游框架的开放性间接影响了攻防难易平衡。
• 安全合规标准机构：如 OWASP、ISO、NIST 发布的 AI 安全指南，为上游标准制定和检测基线提供依据。2024 年，OWASP 发布了大语言模型十大安全风险，模型窃取位列其中。

7 下游

下游涵盖利用模型提取攻击情报、取证结果以及防护解决方案的各类需求方。

• 模型知识产权保护与审计：第三方安全公司（如奇安信、Comsec、CrowdStrike）提供渗透测试、攻击模拟服务，帮助模型所有者评估提取风险，输出审计报告以满足监管或商业伙伴的尽职要求。
• 网络安全保险：随着模型资产价值上升，保险公司推出覆盖模型窃取与知识产权损失的险种。百度安全于 2024 年推出“模型盗取险”，将提取攻击纳入承保范围（信息来源：公开新闻报道）。
• 法律与司法取证：当下游发现疑似被窃取的替代模型时，律所与电子取证机构需比对两模型输入输出行为，结合水印证据、API 日志链，在法庭上证明侵权行为。2023 年北京互联网法院审理的商业秘密案中，原告提交了替代模型与原模型在特定测试集上的相似度报告（该案最终以调解结案，判决细节公开资料未见）。
• 模型溯源服务：基于水印或模型指纹技术，为下游提供机器学习模型“血缘”追溯，判断某模型是否源自非法提取。该类服务多由安全初创公司提供，商业模式以按次检测或部署私有化检测工具为主。
• 合规与监管报告：金融机构、医疗企业等受行业监管的甲方，在采购外部 AI 服务时，常要求供应商出具模型抗提取测试报告，推动下游测试工具的需求增长。

8 受益公司

模型提取攻防需求增长，使以下类型的企业迎来业务增量，分析仅陈述客观市场关系，不构成任何投资建议。

• 云服务商：微软（Azure ML IP 保护）、AWS（Amazon Fraud Detector 加 API Gateway 安全）、阿里云（模型安全屋）、华为云（ModelArts 异常查询监测）等，都将模型防护作为增值服务，提升客户粘性。例如，微软 2023 年公开强调其 Azure ML 水印与访问日志集成可实时发现可疑查询模式，吸引对合规敏感的企业客户。
• 综合安全厂商：CrowdStrike、奇安信、深信服等将 AI 模型安全模块纳入产品组合。大型客户在购买端点安全时，顺带获得模型攻击检测能力，有助于提高客单价。不过模型安全模块在整体营收中占比未单独披露（公开资料未见分项数据）。
• AI 安全初创：如瑞莱智慧 RealSafe 攻防平台、Troj.ai、HiddenLayer 等，专注 AI 对抗与模型完整性保护，受益于垂直需求，估值在 2023-2024 年获资本关注。它们通常提供模拟提取攻击的检测工具箱，按次或订阅收费。
• 保险与法律服务商：承保 AI 知识产权风险的保险公司，以及精通 AI 取证的法律团队，在模型窃取纠纷增多背景下，专业服务费用增加。部分国际再保险公司已启动 AI 模型风险建模研究。
• 开源安全工具维护方：如 IBM 的 Adversarial Robustness Toolbox（ART），虽不直接产生收入，但巩固了 IBM 在安全领域的思想领导力，间接推动其咨询和安全产品收益。

9 市场规模

针对“模型提取攻击防御”这一极度细分的市场，尚无第三方权威机构发布独立统计。多数分析将其并入更宽泛的“AI 安全”或“模型安全”范畴。以下数据用以勾勒相关市场的量级，年份与来源均已注明，细分口径以原报告为准。

• AI 安全整体市场：据 Fortune Business Insights 2023 年报告，2022 年全球 AI 安全市场规模约 148 亿美元，预计 2030 年达到近 950 亿美元。该口径包含数据安全、模型安全、对抗攻击防御等多个子集，模型提取仅占极小部分。
• MLaaS 市场相关：模型提取的潜在受害方即 MLaaS 提供商，根据 MarketsandMarkets 2023 年数据，全球机器学习即服务市场 2023 年约 56 亿美元，预计 2028 年达 200 亿美元。此增速意味着暴露在提取风险下的商业模型数量将急剧攀升，间接推高防护需求。
• 专业服务规模：以渗透测试和红队评估计，部分安全咨询公司（如 GLG 访谈摘要，2023 年）提到模型模拟提取测试项目单价在 5 万~30 万美元不等，但项目数量难以获取，总体量推测在数亿美元级。
• 中国细分市场：中国信通院 2023 年发布的《人工智能安全框架》未给出模型提取防御的具体产值，但指出超过 80% 的头部云厂商已部署基础 API 防护，而中小企业方案渗透率不足 30%，预示着长尾市场存在较大增长空间。

需要明确，任何孤立的“模型提取市场规模”数字在目前均属推测，实际商业价值多捆绑于云安全与 AI 治理服务中。

10 玩家对比

下表从防御能力、开放性、目标客群等维度对比主要平台与安全厂商，所有信息均来自公开产品文档、白皮书或新闻稿（截至 2024 年 6 月）。

对比总结：云厂商的优势在于与自家服务无缝集成，安全厂商的优势在于跨平台和攻防研究深度。目前尚无单一方案能覆盖所有场景，用户通常需组合使用 API 网关防护和专用异常检测工具。

11 风险

• 法律界定风险：中国《反不正当竞争法》未明文将模型提取列作不正当竞争，司法实践中多以“商业秘密”主张。2023 年某互联网法院案件的审理过程显示，认定模型构成商业秘密需要原告证明其采取了合理保密措施且具有商业价值。模型架构的公开性、API 可访问性等因素可能削弱保密性认定，导致维权不确定性。
• 治理冲突：过度防御会降低 API 服务质量。例如，将输出概率向量截断为 Top-1，会妨碍合法用户获得模型置信度用于校准分析。服务质量下降可能导致客户流失，形成“安全-体验”悖论。
• 开源模型困境：基于开源预训练模型微调的商用模型，其权重数据保护范围尚存争议。攻击者若同时拥有同一基座模型，提取难度可能大幅降低，而法律上难以界定“微调部分”是否构成独立商业秘密。
• 中小企业资源失衡：实施水印嵌入、查询监控与动态扰动需要额外的研发和维护成本。中小企业受经费和人才限制，更难建立有效防线，可能使优质小微模型成为攻击者的“低位果实”，加剧模型资产分配不公。
• 攻击升级：生成式 AI 的普及可能催生更智能的查询策略。已有研究概念验证利用大语言模型自动规划查询样本，大幅压缩训练替代模型所需的轮数，使低成本、高精度提取成为可能，而防御方案迭代速度有滞后风险。
• 过度依赖算法防御的误区：部分企业认为仅靠技术方案即可高枕无忧，而忽略合约约束、员工保密协议、定期安全审计等管理手段，导致防御在组织层面存在单点盲区。

12 误读纠偏

• 误读 1：“模型提取＝完全复制模型权重”
  模型提取通常无法获得逐层权重，而是构建输入输出行为近似的替代模型。它更像“功能克隆”，而非字节级别的窃取。防御水印正是利用了这种功能复刻的特性，比对行为而非比对参数。
• 误读 2：“只要限制查询速率就能彻底防御”
  攻击者可利用多个分布式账户、代理 IP 进行低速长时间查询，结合生成式模型压缩所需样本量，使限速策略失效。速率限制是必要非充分条件，需结合输出模糊化和异常行为分析。
• 误读 3：“联邦学习天然免疫模型提取”
  联邦学习下，模型梯度在通信中传递，研究表明攻击者可从共享梯度中重建出部分训练数据甚至模型结构（梯度泄露），这本质上是一种变相的提取。联邦学习的安全增益需结合安全聚合与差分隐私，绝非完全免疫。
• 误读 4：“只有高复杂度大模型才会被提取”
  目标的价值决定攻击动机。许多中小企业训练的轻量但高精度的专用模型（如工业缺陷检测），功能独特，容易成为黑产目标，其防护甚至更弱，风险并不低于大模型。
• 误读 5：“模型提取仅与云模型有关”
  端侧部署的模型，通过物理侧信道、固件逆向同样可被提取。汽车智能驾驶模型、手机端人脸识别模型等均有被提取的可能，这在物联网安全研究中已被多次证实。

13 最新事件

• 2023 年 11 月：研究人员在 NeurIPS 2023 展示对商用 LLM API 的功能提取，通过精心设计的提示词和少量反馈，训练出小型对话模型，在特定任务上达到原模型相当的性能。该研究呼吁大模型 API 需增强输出不可逆性（来源：NeurIPS 会议论文摘要）。
• 2024 年 2 月：百度安全宣布推出“模型盗取险”，为因模型提取攻击导致知识产权损失的企业提供赔偿，具体赔付条款及保费公开资料未见，事件引发行业对模型资产保险可行性的讨论。
• 2024 年 4 月：华为云在可信 AI 白皮书中称，其 ModelArts 平台通过服务端异常监测和梯度混淆技术，可阻断 95% 的自动化提取攻击。该数据属厂商内部测试结果，无第三方验证。
• 2024 年 5 月：北京某 AI 初创公司向公安机关报案，称其图像生成模型 API 遭不明团伙大规模提取，用于构建竞品服务，造成 API 调用费用激增和潜在订单损失。案件仍在侦查，具体技术细节未公开。
• 2024 年 6 月：OWASP 更新 LLM 应用安全风险 Top 10 草案，将“模型盗窃”（Model Theft）列为独立风险项，建议采用输出扰动、减少过度共享信息等措施。此举提升了模型提取在全球合规议程中的优先级。

14 跟踪指标

要持续观测模型提取攻防态势，建议关注以下维度的指标，数字需结合具体企业环境采集。

• API 异常查询比例：每百万次调用中，被行为分析规则标记为可疑的比例。行业通用基准公开资料未见，可根据企业历史基线设定动态阈值。
• 查询分布偏离度：随时间推移，输入样本分布与训练集或正常业务的偏离程度。若偏离度高，可能表明攻击者在使用合成数据。
• 替代模型功能一致性：防御方定期模拟攻击，使用“红队”执行提取，并测量替代模型与原模型的 top-1 一致率，以此评估防御衰减速度。
• 模型水印检测阳性率：若企业预埋水印，跟踪在疑似第三方模型中触发水印的比率，以量化模型窃取的扩散范围。
• 防御成本占比：防御措施（含算力、人力、许可证）占 AI 服务总运维成本的比例，可与同行类比。过快攀升可能提示防御方案效率不足。
• 法律事件与监管动态：跟踪国内外涉及模型窃取的诉讼、立法草案（如 EU AI Act 相关条款的细化）以及行业标准发布，作为风险权重的输入。
• 学术攻击成功率：每年顶会（S&P、CCS、USENIX Security、NeurIPS 等）中披露的新攻击方法达到的替代准确率与查询效率，可视为产业风险的先导指标。

15 信源

本页所涉及数据与事件，均来自公开信息或行业普遍引用的研究成果，具体出处梳理如下：

• 学术论文：
  • Tramèr 等，“Stealing Machine Learning Models via Prediction APIs”，USENIX Security 2016。
  • Carlini 等，“Extracting Training Data from Large Language Models”，USENIX Security 2021。
  • Jia 等，“MemGuard: Defending against Black-Box Membership Inference Attacks”，IEEE S&P 2019 及相关后续模型提取研究。
  • 各类 NeurIPS、ICLR 安全会议论文。
• 行业报告与标准：
  • Fortune Business Insights，“Artificial Intelligence Security Market Size”，2023。
  • MarketsandMarkets，“Machine Learning as a Service Market”，2023。
  • OWASP，“OWASP Top 10 for LLM Applications”，2024 draft。
  • 中国信通院，《人工智能安全框架》，2023。
• 厂商白皮书/公告：
  • Microsoft，“Azure Machine Learning security and IP protection”（2023）。
  • 华为云，《可信 AI 白皮书》，2024。
  • IBM，“Adversarial Robustness Toolbox (ART) documentation”。
• 新闻报道与公告：
  • 百度安全“模型盗取险”产品发布新闻，2024。
  • 国内外科技媒体关于 AI 模型窃取案件的报道。
• 法律法规：
  • 中国《生成式人工智能服务管理暂行办法》，2023。
  • 《中华人民共和国反不正当竞争法》及相关司法解释。

免责声明：本文仅为产业知识梳理，不构成任何投资建议或法律合规意见。部分市场数据为间接口径推算，细分领域权威统计缺失，实际决策需独立审慎。