合成数据

1 3 秒看懂

合成数据是由算法生成的“人造数据”，而非从现实世界直接采集。它学习真实数据的统计特征、结构和关系，却能创造出全新的、不包含任何原始个人信息的虚拟样本。其核心价值在于，当真实数据因隐私合规、获取成本高昂或长尾场景稀缺而无法满足AI训练需求时，提供一种可编程、可扩展、且隐私安全的替代方案。

2 3 分钟产业解释

合成数据并非简单的“数据造假”或脱敏处理，而是一项严肃的模型驱动的数据工程。其底层逻辑是：利用生成式模型（如GAN、扩散模型、Transformer）或物理仿真引擎，从真实数据中学习其高维联合概率分布，然后从这个习得的分布中随机采样，生成全新的、统计上同分布的虚拟样本。关键在于，如果生成模型能够足够逼真地复现真实数据的分布，那么这些新样本便能像真实数据一样用于训练下游AI模型，而不会泄露原始个体的隐私信息。

当前，合成数据已深度嵌入多个核心赛道。在自动驾驶领域，基于NVIDIA Omniverse等平台的仿真引擎可生成极端天气、罕见事故等长尾场景，弥补路测数据的不足。在医疗健康领域，合成医学影像和电子健康记录能在不暴露患者隐私的前提下，加速诊断模型和药物发现研究。在金融风控中，合成交易记录用于训练欺诈检测模型，绕开了直接使用客户敏感数据的合规枷锁。进入大模型时代，合成数据的角色更进一步，从“真实数据的替代品”进化为“模型自我进化的养料”。诸如Self-Instruct、Evol-Instruct等范式，利用强大的LLM批量生成高质量的指令微调数据，以“模型教模型”的方式，撬动小模型的复杂推理能力，同时应对互联网高质量文本数据即将耗尽的挑战。产业已形成清晰的垂直分工：上游提供算力与基础算法，中游是合成数据平台与引擎，下游则是千行百业的AI模型训练与测试场景。

3 技术原理

合成数据生成的数学本质，是学习一个从已知真实数据分布 P_{real}(x, y) 到一个生成分布 P_{syn}(x, y) 的映射，并确保两者在统计上尽可能接近，同时满足特定的应用约束（如差分隐私预算）。其核心机制与范式如下：

1. 主流生成范式

• 生成对抗网络：生成器 $G$ 与判别器 $D$ 进行二元极小极大博弈。$G$ 学习将随机噪声 $z$ 映射为逼真样本以欺骗 $D$，而 $D$ 则努力分辨输入来自真实数据还是 $G$。当双方达到纳什均衡时，$G$ 的输出即为合成数据。GAN在图像、视频、时序数据等连续高维数据的生成上表现卓越，但训练不稳定和模式坍塌是其经典挑战。
• 变分自编码器：VAE由编码器和解码器构成。编码器将真实数据 $x$ 映射到隐空间的一个分布 $q(z|x)$ ，解码器则从隐变量 $z$ 重建数据。通过在规整化的隐空间中进行平滑采样并解码，VAE能生成具有良好多样性和连续性的样本，尤其适合表格数据和序列数据的生成。
• 扩散模型：此类模型包含正向和反向两个过程。正向过程逐步向数据添加高斯噪声，直至其变为纯噪声；反向过程则学习从噪声中一步步“去噪”，恢复出清晰的样本。推理时，从纯噪声出发，通过迭代去噪即可生成极高保真度的新样本。在图像、视频、3D、分子结构等对细节要求苛刻的领域，扩散模型已成为主流。
• 大语言模型：利用预训练LLM强大的上下文学习和指令遵循能力，通过精心构造的提示词，可以直接生成高质量的文本、对话、代码和思维链。代表技术如Self-Instruct、Evol-Instruct，可实现训练指令与回复对的批量化、自动化合成，是当前扩展大模型能力的核心手段。

2. 通用合成管道

一个典型的、负责任的合成数据生成流程包含多个步骤，以确保最终产物的质量和合规性。

+----------------+      +-----------------------+      +-------------------+
| 1. 真实数据种子 |----->| 2. 生成模型训练        |----->| 3. 隐私与质量审计  |
| (结构/图像/文本)|      | (GAN/VAE/Diffusion/LLM)|      | (分布相似度, DP)  |
+----------------+      +-----------+-----------+      +--------+----------+
                                     |                           |
                                     v                           v
                              +------+------+          +---------+--------+
                              | 4. 合成数据生成|          | 5. 通过审计的    |
                              | (采样/推理)  |--------> |    合成数据集    |
                              +-------------+          | (可用于下游任务) |
                                                       +------------------+

3. 核心机制拆解

• 分布学习与匹配：模型不仅要学习单个特征的边缘分布，更要捕获特征之间的复杂依赖关系，即联合分布。例如，对一个贷款数据集，模型必须学到“高收入”与“低违约率”的相关性，而非孤立地生成高收入或低违约的人。
• 隐私保护机制嵌入：严格隐私保护的合成（如基于差分隐私的合成）会在训练过程中向梯度或目标函数注入精心校准的噪声，使得任何单个样本对最终模型的影响变得有限且不可区分。这为抵御成员推断攻击和模型逆向攻击提供了可量化的理论保证。
• 可控生成：为满足特定场景（如生成更多罕见病影像），研究人员会引入条件生成机制，通过引导模型按给定属性（如类别标签、文本描述）生成对应样本。

4 关键参数

评估一个合成数据方案，需从效用、隐私、成本和覆盖度等维度综合考量，其中存在难以调和的“不可能三角”。

• 下游任务保留率：这是衡量合成数据实用价值的核心指标。具体计算为：TSTR = (在合成数据上训练的模型在真实测试集上的性能) / (在真实数据上训练的模型在真实测试集上的性能)。业界通常认为，$TSTR > 0.9$ 表明合成数据质量很高。此指标高度依赖于下游任务的选取。
• 隐私预算 \epsilon：这是差分隐私框架下的核心参数，量化了隐私保护的严格程度。\epsilon 值越小，意味着加入的噪声越大，隐私保护越强，但数据效用通常也越差。实践中，对于表格数据合成，\epsilon 取值常在1到10之间进行权衡，没有普适最优解，取决于具体的风险容忍度与应用要求。
• 分布覆盖率：衡量合成数据对真实数据中所有模式，特别是罕见但关键的边缘案例和少数群体的覆盖程度。一个失败的模式是合成数据仅完美复现了主流群体的特征，却忽略或扭曲了尾部信息，这会加剧AI模型对弱势群体的偏见。评估方式包括比较真实与合成数据中各子群的KL散度，或计算合成数据中每个真实样本最近邻的距离分布。
• 合成/真实数据获取成本比：这是一个关键的经济指标。在自动驾驶领域，为生成一个极端交通场景，合成数据的成本可能仅为真实路测与数据采集成本的十分之一[行业估算，未精确披露具体来源和年份]。然而，上游的高质量真实数据种子成本和GPU算力投入构成了主要的固定成本。
• 隐私泄露风险分数：通过实施成员推断攻击、属性推断攻击和模型逆向攻击来量化评估。常用指标包括攻击的ROC曲线下面积，或合成样本到其最近真实邻居的平均距离。一个稳健的合成方案应使这些攻击的成功率接近随机猜测的水平。

5 技术路线

合成数据并非单一技术，而是多种方法的统称，其选择需要与具体场景、数据类型和核心需求对齐。

注：本表为定性相对比较，实际表现在极大程度上取决于具体任务的数据复杂度、模型设计细节及训练投入的计算资源。

6 上游

合成数据产业的源头，是为生成过程提供核心要素的环节。

• 高质量真实数据：这是所有数据驱动生成的“种子集”与“校准源”。其质量决定了合成数据质量的理论上限。来源包括企业内部沉淀的业务数据、专业数据标注商提供的精细化标注数据集，以及合规数据交易市场流通的脱敏数据。在“合成数据喂养下一轮模型，模型再去生成合成数据”的循环中，初始真实数据的覆盖度和无偏性至关重要，否则“垃圾进，垃圾出”的风险将在循环中被指数级放大。
• 算力与基础设施：生成模型（尤其是扩散模型和LLM）的训练与推理，以及物理仿真渲染，对GPU/TPU等异构计算资源有刚性且巨大的需求。这直接拉动了以NVIDIA、AMD为代表的芯片厂商，以及AWS、Azure、GCP等云服务提供商的业务增长。专门为合成数据任务优化的渲染农场和AI推理集群是关键基础设施。
• 基础算法与开源框架：学术界和开源社区是整个产业技术创新的基石。从GAN、VAE、扩散模型的原创论文，到StyleGAN、Stable Diffusion、LLaMA等开源基础模型，再到MIT的Synthetic Data Vault等专用工具包，它们降低了合成数据的技术门槛，并使众多垂直领域公司能在此基础上进行场景适配和微调。

7 下游

合成数据作为新型生产资料，其应用正在渗透进AI开发与部署的全生命周期。

• AI模型训练与增强：这是最直接的下游。合成数据可作为训练集的补充，特别是在真实样本稀缺的长尾场景（如罕见故障检测），或人工标注成本极高的任务（如图像语义分割）中，大幅度提升模型表现与鲁棒性。
• 系统仿真与算法验证：在自动驾驶、具身智能、航天航空、工业制造等领域，合成数据驱动的仿真环境是核心的研发工具。算法可在低成本、零风险的虚拟世界中完成数百万公里的驾驶测试或数万小时的机器人操作训练，并对各种极端工况进行安全验证。
• 隐私安全的数据流通市场：合成数据提供了一种“数据可用而不可见”的合规流通范式。银行、医疗机构可将客户的合成数据出售或共享给第三方进行联合建模、市场分析，从而激活被隐私法规禁锢的数据要素价值，催生出新的数据资产类别和交易模式。
• 模型评估与红队测试：通过有针对性地合成对抗样本、边缘案例或包含特定偏见的样本，可以对模型的鲁棒性、公平性和安全性进行压力测试和“红队”攻击演练，暴露其在真实世界应用中可能出现的脆弱性。

8 受益公司

合成数据价值链上的主要参与者可以分为平台型巨头、垂直领域专精者和开源生态。

• 平台型云厂商：

  • NVIDIA：通过Omniverse Replicator、DRIVE Sim和Isaac Sim，构建了从合成数据生成到仿真验证的完整软硬件栈，是物理仿真路线的事实标准制定者。
  • Google：体系化布局，包括为AI生成内容添加水印的SynthID、在Vertex AI平台集成合成数据能力、以及DeepMind使用合成环境训练具身智能模型。
  • Amazon：在SageMaker Ground Truth中提供合成数据增强功能，并利用合成对话数据提升其语音助手Alexa在罕见和复杂指令下的鲁棒性。
  • Microsoft：其Azure平台和AI服务同样集成了合成数据能力，并在研究层面，例如通过Project Florence等模型，探索文本到图像和视频的生成，可用于合成视觉数据。

• 垂直领域专精厂商：

  • Gretel.ai：构建面向开发者的隐私工程合成数据平台，产品线覆盖表格、文本、时序数据，强调易用性和与现有MLOps流程的集成。
  • Mostly AI：专注结构化数据合成，在金融、保险等受严格监管的行业拥有广泛客户群，以其对表格数据高保真度的合成能力著称。
  • Datagen：聚焦计算机视觉，专门合成高质量、高可控性的3D人脸、人体动作和室内环境数据，服务于AR/VR、安防、运动分析等领域。
  • Parallel Domain：为自动驾驶和无人机研发提供“世界生成”能力，其API允许开发者程序化地生成和操控无限多样的3D虚拟世界和场景。

• 开源生态与模型提供商：提供Stable Diffusion等基础模型的Stability AI，以及Hugging Face、各大高校和开源社区，它们促进了合成数据技术的民主化扩散，使得小型团队也能以较低成本获取先进的生成能力。

9 市场规模

合成数据市场正处于从早期采用阶段向主流应用跨越的快速增长期，尽管量化分析受限于口径不一和商业化早期的透明度限制。

• 需求端驱动力：全球数据隐私法规（如GDPR、中国的《个人信息保护法》）日趋严格，合规成本急剧上升。同时，大模型训练导致的对多样化、高质量数据的需求呈指数级增长，而互联网上可用的高质量真实数据积累速度已显瓶颈，供需缺口巨大。
• 增长估计：多份市场研究报告对合成数据市场给出了高度乐观的预测，普遍认为其年复合增长率将超过30%。例如，Gartner曾预测，到2024年，用于训练AI模型的数据中有60%将是合成数据[Gartner, “Maverick Research: Build a Data-Centric Culture with Synthetic Data”, 2022, 此为趋势预测而非市场规模]，到2030年，合成数据在AI模型训练中的使用量将完全超越真实数据。在市场规模上，不同机构的估算差异较大，有报告认为该市场将在2027-2028年增长至数十亿美元量级[行业研报汇总，如Cognilytica, Grand View Research等，此处为口径汇总，未单列具体来源]。需要指出的是，这些预测的假设和方法论不同，数字应被视为远景指引而非精确度量。
• 市场结构：当前市场高度碎片化。一方面，开源工具包（如SDV）降低了入门门槛，使得部分需求在内部被消化；另一方面，商业平台正在各自的垂直领域建立壁垒，但缺乏公认的行业评估标准和定价体系，买方市场存在严重的信息不对称。

10 玩家对比

将不同类型的玩家进行横向对比，有助于厘清竞争格局和各自的价值主张。

11 风险

投资与采用合成数据技术面临多层次的现实风险。

• “模型自噬”与分布偏移风险：若不加控制地用前一轮模型生成的合成数据来训练下一轮模型，会形成“数据近亲繁殖”。这个过程会持续放大初始数据中的微小偏差，遗忘长尾信息，最终导致分布坍缩和模型性能的不可逆退化。这是合成数据广泛应用后面临的核心技术风险。
• 评估体系与标准缺位：行业至今缺乏一套公认、通用、可量化的合成数据质量标准。用户常依赖定性检查或下游任务的A/B测试，但这不仅成本高、周期长，而且结果难以在不同项目间迁移。这使得劣质合成数据“劣币驱逐良币”成为可能，用户在采购和采用时认知模糊，容易引发生产事故。
• 隐私幻觉风险：许多从业者存在普遍误解，认为只要数据是“生成”的就天然保护隐私。但大量研究表明，不加约束的生成模型极易记忆并复现训练样本，导致严重的数据泄露。当前多数商业产品并无法提供强健的、经过严格审计的差分隐私保证，其宣称的“匿名化”在新型攻击面前可能形同虚设。
• 监管不确定性与合规风险：金融、医疗等强监管行业对合成数据的态度仍处于探索阶段。合成数据能否在监管审计中被等同于真实数据使用，其生成过程如何被有效稽核，尚无明确的法律定论。这可能使先行者面临合规风险。
• 高企的初始成本与专业技能屏障：构建高质量的合成数据管线，尤其是基于物理仿真或大模型的路线的，需要高昂的算力投入和稀缺的复合型人才（同时精通AI和领域知识）。对多数中小企业而言，这构成了难以逾越的门槛。

12 误读纠偏

• 误读 1：“合成数据可以完全取代真实数据。” 事实是：合成数据是真实数据的增强与补充，而非替代。它的知识上限完全由作为“种子”的真实数据所限定。对于探索未知物理规律、发现全新市场趋势或理解前所未有的社会现象等任务，合成数据无法凭空创造知识。在金融模型校准、药物临床试验等关键任务中，真实数据仍然是对模型进行最终验证的黄金标准。
• 误读 2：“只要用生成模型生成的数据就是绝对隐私安全的。” 事实是：这是一个极为危险的误解。标准的GAN、扩散模型或LLM在训练后，完全可能将其见过的罕见训练样本“记”在模型参数里，并在生成时近乎原样复述出来。使用此类合成数据发布，与直接发布部分真实数据无异。只有在生成过程中嵌入了差分隐私等具有理论保证的隐私保护框架，并经过严格的攻击实验审计，才能对隐私保护水平提供可信的量化承诺。当前的多数方案远不能提供此项保证。
• 误读 3：“合成数据是用来造假的，是一种技术不道德的行为。” 事实是：合成数据的目的是解决真实、有益的AI训练需求，其应用场景是数据增强、隐私保护、仿真测试，而非用于制造和传播虚假信息。技术本身是中性的。其伦理边界由应用者界定，而用于训练AI模型的合成数据，本身就是提升AI可靠性和安全性的一种正向工程技术。

13 最新事件

• 合成数据在旗舰大模型训练中走向中心舞台：2024-2025年间，多家顶级AI实验室披露了其最新模型训练中大规模使用合成数据的情况。例如，有报告指出Anthropic的Claude 3系列模型在训练中使用了合成数据进行无害性训练；Meta的Llama 3模型在开发中也探索了合成数据用于提升长文本和代码能力[公开报告披露]。这标志着合成数据从“幕后增强”走向“核心训练组件”。
• DeepMind发布Genie 2，展示交互式世界模型：Google DeepMind在2024年底发布的Genie 2模型，虽然核心是基础世界模型，但其显著展示了从一张图片生成可交互的、多样化3D环境的强大能力。这在本质上为具身智能和通用AI训练提供了一种全新的、可无限扩展的“合成环境数据”生成范式。
• NVIDIA持续加码Omniverse生态：在GTC 2024及后续活动中，NVIDIA宣布了与多家主流汽车制造商和机器人公司的合作，将Omniverse与生成式AI模型结合，用于生成更加逼真、符合物理规律的合成训练数据，特别是用于模拟复杂和危险的多智能体交互场景。
• 欧盟《人工智能法案》生效，对数据治理提出新要求：2024年生效的欧盟AI法案，对高风险AI系统的训练数据治理提出了严格要求。合成数据因有助于实现数据质量、可追溯性、代表性、偏见缓解和隐私保护，被业界视为满足该法案合规性要求的潜在关键工具，但也将面临更严格的生成过程审计。
• 学术前沿持续关注“模型自噬模型障碍”：多个顶级研究机构在NeurIPS、ICML等顶会上发表论文，系统性地研究和量化了在多代合成数据上循环训练导致模型性能崩溃的条件和机制。这些研究正在为安全、可持续地使用合成数据设定边界与指导原则。

14 跟踪指标

为持续追踪合成数据产业的演进，建议关注以下信号和指标：

• 技术与学术指标：

  • 跟踪顶级会议（NeurIPS, ICML, CVPR）中关于生成模型、合成数据评估和模型自噬的最新论文，这是技术前沿的风向标。
  • 关注旗舰模型（如GPT系列、Gemini系列、Claude系列、Llama系列）技术报告中关于合成数据使用方法的披露章节，这是产业应用的最高水平体现。
  • 监控MIT-SDV等主流开源项目的Star数和社区活跃度，反映技术民主化和采纳程度。

• 产业与市场指标：

  • 追踪主要垂直厂商（Gretel, Mostly AI, Datagen等）的融资轮次、金额和估值变化，这是市场资本的直接态度。
  • 关注NVIDIA、Google Cloud、AWS等平台厂商在财报或年度大会上对合成数据相关产品和服务的营收指引与客户案例披露。
  • 监测在金融、医疗、自动驾驶等行业标准或监管文件中，对合成数据使用的表述变化，这是制度化采纳的关键信号。

• 风险与监管指标：

  • 关注全球主要经济体数据保护机构（如EDPB、FTC）发布的关于合成数据与匿名化关系的指导意见或执法案例。
  • 跟踪CVEs或安全社区针对合成数据生成库和服务的漏洞报告，特别是针对模型逆向和成员推断攻击的实际威胁情报。

15 信源

以下资料为构建和理解合成数据概念提供了坚实的基础，读者可借此进行深度研究。

1. 综述书籍：Nikolenko, S. I. (2021). Synthetic Data for Deep Learning. Springer. （全面系统地介绍了合成数据的概念、方法与应用。）
2. 综述论文：Figueira, A., & Vaz, B. (2022). A Survey on Synthetic Data Generation for Deep Learning. WIREs Data Mining and Knowledge Discovery. （回顾了面向深度学习的多种合成数据生成技术。）
3. 基础理论文献：Goodfellow, I., et al. (2014). Generative Adversarial Nets. Advances in Neural Information Processing Systems (NeurIPS). （奠定了生成对抗网络的基础。）
4. 隐私合成关键论文：Abadi, M., et al. (2016). Deep Learning with Differential Privacy. Proceedings of the 2016 ACM SIGSAC Conference on Computer and Communications Security. （提出了将差分隐私融入深度学习训练的DP-SGD框架。）
5. 特定领域生成模型：Xu, L., et al. (2019). Modeling Tabular Data using Conditional GAN. Advances in Neural Information Processing Systems (NeurIPS). （提出了专用于合成表格数据的CTGAN模型。）
6. 业界趋势报告：Gartner. (2022). Maverick Research: Build a Data-Centric Culture with Synthetic Data. （Gartner对合成数据在AI训练中应用比例的战略预测。）
7. 开源工具：Synthetic Data Vault (SDV). Massachusetts Institute of Technology. https://sdv.dev. （MIT开发的一套用于表格、关系型及时序数据合成的开源生态系统。）
8. 大模型合成范式：Wang, Y., et al. (2023). Self-Instruct: Aligning Language Models with Self-Generated Instructions. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (ACL). （展示了利用LLM自身生成指令数据的范式。）