阿东，大模型算法工程师，中科院硕士，大厂面试官。

1. 合成数据的定义与优势

合成数据是通过生成式AI技术或算法模拟生成的、模仿真实世界数据的数据。早在1993年，统计学家Donald Rubin便在论文中提出这一概念。随着ChatGPT等生成式AI的兴起，合成数据因其高效、低成本及可控性成为研究热点。相较于传统数据采集，合成数据具有以下显著优势：

• 成本与效率：无需耗费大量人力物力进行数据采集与标注，生成速度快，成本低。
• 可控性与多样性：可根据需求定制数据难度、规模和类型，覆盖多种场景。
• 隐私与安全性：避免使用真实用户数据，规避隐私泄露风险。
• 泛化性：通过算法生成的数据可减少真实数据的偏差，提升模型在多样化场景中的表现。

挑战：高质量合成数据需确保逻辑一致性、可验证性以及与真实数据的分布相似性，否则可能导致模型性能下降。例如，生成的数据若与真实场景分布不匹配，可能引发模型过拟合或泛化能力不足。

2. 数据荒的危机与合成数据的必要性

根据MIT等机构预测，若按当前速度发展，人类生成的高质量文本数据将在2-8年内耗尽，互联网可用文本数据可能最早于2026年枯竭。具身智能对数据的需求更是呈指数级增长，达到EB（1EB=1024PB）级别。英伟达科学家Jim Fan指出，未来AI模型的训练将高度依赖合成数据，预计可提供万亿级token支持。这一趋势表明，合成数据不仅是应对“数据荒”的应急措施，更是推动AI规模化发展的战略方向。

补充洞见：合成数据的必要性不仅体现在数据量上，还在于其能满足特定任务的定制需求。例如，医疗、法律等高敏感领域对数据隐私要求极高，合成数据通过模拟真实分布生成可控数据，成为理想解决方案。

3. 合成数据生成方法

3.1 技术框架

合成数据生成技术涵盖多种方法，从自引导推理到多智能体系统，以下是关键框架：

• STaR: Bootstrapping Reasoning With Reasoning（NeurIPS 2022）：通过自引导推理生成逻辑推理数据，提升模型逻辑能力。
• Self-Instruct（ACL 2023）：通过模型自生成指令数据，实现高效对齐。
• CAMEL（NeurIPS 2023）：基于多智能体交互生成复杂对话场景数据。
• Self-Play Fine-Tuning（ICML 2024）：通过自我博弈微调生成高质量数据。
• TarGEN（COLM 2024）：针对特定任务生成定制化数据。
• Scaling Synthetic Data Creation with 1,000,000,000 Personas（Arxiv 2024）：通过模拟10亿用户角色生成大规模个性化数据。

Synthetic Data Kit（GitHub）支持从PDF、HTML、YouTube视频等多种格式生成微调数据。其模块化设计包括：
解析器：处理多种文件格式。
生成器：生成QA对和CoT数据。
验证工具：确保生成数据质量。
使用案例：通过CoT增强的LLaMA 3模型在推理任务中性能提升显著（参考）。

• Source2Synth（Arxiv 2024）：基于真实数据源生成合成数据，确保真实性与多样性。
• SynLogic（Arxiv 2024）：生成35种逻辑推理任务数据，涵盖数独、24点游戏等，通过规则生成和验证器确保数据质量。

SynLogic（arXiv:2505.19641, GitHub）是一个专注于逻辑推理数据生成的框架，覆盖35种逻辑推理任务，包括数独、24点游戏、密码破译等。其核心流程如下：
任务选择：从手机谜题和现有评估基准中精选35种逻辑任务，确保任务多样性。
参数识别：为每种任务定义控制难度的参数，如数独的网格大小或数学路径的缺失数字。
逻辑实例生成：通过基于规则的生成器将任务规则转化为代码，确保生成实例符合任务逻辑。例如，数独生成器保证数字在网格中的唯一性。
难度控制：利用强推理模型（如DeepSeek R1）设定难度上限，聊天模型设定下限，确保数据复杂性适中。
提示形式化：将逻辑实例转换为自然语言提示，适配大模型的训练与评估。
验证套件：为每种任务配备专用验证器，自动检查模型输出正确性，用于监督训练和评估数据质量。
补充内容：SynLogic的35种任务涵盖逻辑推理的多个维度，包括演绎推理、归纳推理和空间推理等。验证器基于规则的特性使其特别适合强化学习中的可验证奖励设计。近期社区反馈表明，SynLogic生成的数据在逻辑推理任务中的表现优于传统人工标注数据，尤其在复杂任务如多步推理中。

• RAGSynth（Arxiv 2024）：为检索增强生成（RAG）任务生成多样化数据集，提升检索器鲁棒性和生成器忠实度。

RAGSynth（arXiv:2505.10989, GitHub）专注于为检索增强生成（RAG）任务生成多样化数据集，提升检索器鲁棒性和生成器忠实度。其生成公式为G=(D,Q,C,A,M)，其中：
D：文档集，从多领域收集。
Q：查询集，基于线索生成。
C：线索集，从文档中提取的句子、实体或关系。
A：答案集，与查询对应的答案。
M：映射关系，连接文档、查询、线索和答案。
流程：
数据收集：从多领域文档中提取原始数据。
数据分割：将文档拆分为子文档，形成数据块。
线索提取：提取句子、实体或关系作为线索，构建单跳或多跳查询。
数据构建：生成包含不同逻辑复杂度和线索完整度的查询数据集。
DeepWiki解读（链接）：RAGSynth在多跳查询生成中表现出色，特别是在需要跨文档推理的场景中。其线索提取机制通过知识图谱增强，确保查询与答案之间的逻辑一致性。

3.2 高质量/复杂指令生成

• WizardLM（Arxiv 2023）：通过Evol-Instruct生成高复杂度指令数据，提升模型指令遵循能力。
• CodecLM（NAACL 2024）：通过定制化合成数据对齐模型，优化复杂任务性能。
• Magpie（Arxiv 2024）：通过无监督提示生成对齐数据，降低人工干预需求。

分析：高质量指令生成需平衡复杂性与可验证性，WizardLM的迭代优化方法在复杂推理任务中表现突出，而Magpie的无监督生成适合快速迭代场景。

4. 应用领域

合成数据在以下领域展现出广泛应用：

4.1 数学推理

• MetaMath（ICLR 2024）：通过自引导生成数学问题数据集，提升模型数学能力。
• MathGenie（ACL 2024）：利用问题反向翻译生成数学推理数据。
• SynLogic：生成逻辑推理任务数据，覆盖数独、24点游戏等。

4.2 代码生成

• WizardCoder（ICLR 2024）：通过Evol-Instruct生成高质量代码指令数据。
• Magicoder（ICML 2024）：基于开源指令数据增强代码生成能力。
• SWE-smith：生成50k代码任务实例，适用于软件工程Agent训练。

SWE-smith（GitHub）针对Python代码仓库生成50k任务实例和5k训练轨迹，适用于软件工程领域的Agent训练。

4.3 文本到SQL

• OmniSQL（Arxiv 2024）：生成254万文本到SQL样本，覆盖16583个数据库。

OmniSQL（arXiv:2503.02240, HuggingFace）生成254万文本到SQL样本，覆盖16583个数据库。其Prompt设计和CoT解决方案优化了SQL查询的复杂性。

• Awesome-Text2GQL：生成Text-to-GraphQL语料，适用于图数据库。

4.4 模型对齐

• Constitutional AI（Arxiv 2022）：通过AI反馈实现模型无害化对齐。
• SALMON（ICLR 2024）：利用可指导奖励模型进行自对齐。

4.5 奖励建模

• West-of-N（Arxiv 2024）：生成合成偏好数据，优化奖励模型。

4.6 长上下文处理

• Make Your LLM Fully Utilize the Context（Arxiv 2024）：通过合成数据增强长上下文处理能力。

4.7 弱到强模型提升

• Impossible Distillation（NAACL 2024）：从低质量模型中提炼高质量数据。

4.8 智能体与工具使用

• Toolformer（NeurIPS 2023）：生成工具使用数据，增强模型工具调用能力。
• Voyager（Arxiv 2023）：生成开放式智能体任务数据。

4.9 视觉与语言

• Visual Instruction Tuning（NeurIPS 2023）：生成视觉语言指令数据。
• MiniGPT-4（ICLR 2024）：增强多模态理解能力。

4.10 事实性增强

• MiniCheck（Arxiv 2024）：生成事实检查数据，优化模型准确性。
• MedReason：生成医疗推理数据，提升事实性CoT解释。

4.11 知识图谱与RAG

• GE-Chat：知识图谱增强的RAG框架

GE-Chat（arXiv:2505.10143）结合知识图谱、链式思维（CoT）和自然语言推理（NLI）进行证据挖掘。其核心在于：
构建知识图谱，提取文档中的实体和关系。
通过CoT生成逻辑推理路径。
使用n跳子图搜索和NLI验证生成内容的准确性。
分析：GE-Chat在需要高可解释性的场景（如医疗、法律）中表现突出，但其复杂性可能增加计算成本。

• KAQG：知识图增强的问题生成

KAQG（arXiv:2505.07618, GitHub）利用知识图谱生成难度可控的问题，支持选择题、多项选择题和填空题。其难度量化机制通过知识图谱的路径深度和节点复杂度实现。

• MedReason：医疗推理数据生成

MedReason（arXiv:2504.00993, GitHub）专注于医疗领域，通过知识图谱生成推理路径，指导大模型生成事实性CoT解释。其流程包括：
从医疗数据集提取问答对。
将问答中的实体映射到医疗知识图谱。
剪枝无关路径，生成结构化推理支架。
局限性：MedReason假设推理路径直接决定答案，实际应用中需验证模型是否真正依赖这些路径。

5. 数据集与工具

5.1 代表性数据集

• Synthetic-Text-To-SQL（HuggingFace 2024）：为SQL查询任务生成合成数据。
• Open Artificial Knowledge（ICML Workshop 2024）：开源多领域知识数据集。
• Code Alpaca（GitHub 2023）：代码生成指令数据集。
• SynthPAI（NeurIPS D&B 2024）：个人属性推理数据集，注重隐私保护。

5.2 实用工具

• **DataDreamer（ACL 2024）：支持合成数据生成与可重复性工作流。
• Distilabel（GitHub 2024）：AI反馈框架，支持数据集验证。
• Synthetic Data Kit：支持多格式数据生成。
• Easy Dataset：用户友好的微调数据集生成工具。

Easy Dataset（GitHub）是一个用户友好的工具，专为大模型微调数据集生成设计，提供直观界面支持多种文件格式（如PDF、DOCX）的上传与处理。其流程包括：
智能分割内容，生成问题-答案对。
支持领域特定数据集生成，适用于垂直行业微调。
提供标注与验证功能，优化数据集质量。
社区反馈：Easy Dataset因其简单易用和高效性受到好评，尤其适合中小型团队快速构建领域数据集。然而，其对大文件的处理能力仍受限于AI上下文窗口，可能导致生成重复问题。

• Project Loong：多智能体系统生成多领域推理数据。

Project Loong（GitHub）通过多智能体系统和验证器生成合成数据，覆盖8个领域（如数学、物理、金融），包含3551个问题。其验证器通过代码执行和CoT推理确保答案正确性。

6. 数据集构建的挑战与解决方案

针对数据集构建的常见问题，以下是解决方案：

1. 人工效率低：采用Easy Dataset或Synthetic Data Kit，自动化生成QA对。
2. 大文件生成效果差：使用RAGSynth或OmniSQL的分块处理机制，逐块生成数据。
3. 上下文限制与重复问题：通过SynLogic的难度控制和验证套件优化分批生成。
4. 批量管理与验证：Easy Dataset和Project Loong提供标注与验证功能。
5. 领域标签构建：利用KAQG或MedReason的知识图谱方法生成领域标签。
6. CoT推理数据集构造：参考MedReason或Synthetic Data Kit的CoT模块。
7. 数据集格式转换：使用Synthetic Data Kit支持多种格式转换。

7. 合成数据生成示例

以下是一个Python脚本，用于生成数学推理QA对，包含链式思考（CoT）：

import random
import json

def generate_math_qa(num_samples, difficulty="medium"):
    """生成带CoT推理的数学QA对"""
    qa_pairs = []
    operators = ["+", "-", "*", "/"]
    
    for _ in range(num_samples):
        if difficulty == "easy":
            num1, num2 = random.randint(1, 10), random.randint(1, 10)
        elif difficulty == "medium":
            num1, num2 = random.randint(10, 100), random.randint(10, 100)
        else:
            num1, num2 = random.randint(100, 1000), random.randint(100, 1000)
        
        op = random.choice(operators)
        question = f"请计算：{num1} {op} {num2} = ?"
        
        if op == "+":
            answer = num1 + num2
            cot = f"计算 {num1} + {num2}：将两数相加，{num1} + {num2} = {answer}。"
        elif op == "-":
            answer = num1 - num2
            cot = f"计算 {num1} - {num2}：从 {num1} 减去 {num2}，{num1} - {num2} = {answer}。"
        elif op == "*":
            answer = num1 * num2
            cot = f"计算 {num1} * {num2}：将两数相乘，{num1} * {num2} = {answer}。"
        else:
            answer = num1 / num2 if num2 != 0 else "undefined"
            cot = f"计算 {num1} / {num2}：将 {num1} 除以 {num2}，{num1} / {num2} = {answer}。"
        
        qa_pairs.append({
            "question": question,
            "answer": str(answer),
            "chain_of_thought": cot
        })
    
    return qa_pairs

def save_qa_pairs(qa_pairs, filename="math_qa.json"):
    with open(filename, "w", encoding="utf-8") as f:
        json.dump(qa_pairs, f, indent=2, ensure_ascii=False)

if __name__ == "__main__":
    qa_data = generate_math_qa(10, difficulty="medium")
    save_qa_pairs(qa_data)

运行说明：

• 生成10个中等难度数学QA对，包含CoT推理路径，输出为JSON格式。
• 可调整num_samples和difficulty参数控制数据规模和难度。

8. 结论与展望

合成数据作为应对“数据荒”的核心技术，不仅缓解了数据稀缺问题，还为大模型微调和具身智能训练提供了高效、可控的解决方案。通过SynLogic、RAGSynth、WizardLM等框架，以及DataDreamer、Easy Dataset等工具，开发者能够生成多样化、高质量的数据集，满足数学推理、代码生成、文本到SQL等多领域需求。然而，合成数据仍需解决一致性、可验证性和领域适配性等挑战。未来，随着生成算法、多智能体系统和验证机制的进步，合成数据将在AI训练中扮演更核心角色，推动大模型向更高性能和更广应用迈进。

参考资源：

• Awesome-LLM-Synthetic-Data-Generation
• SynLogic, GitHub
• RAGSynth, GitHub
• Synthetic Data Kit
• Easy Dataset
• Project Loong
• https://github.com/wasiahmad/Awesome-LLM-Synthetic-Data
• 阿东玩AI

{
  "target":"简单认识我",
  "selfInfo":{
       "genInfo":"大厂面试官，中科院硕，从事数据闭环业务、RAG、Agent等，承担技术+平台的偏综合性角色。善于调研、总结和规划，善于统筹和协同，喜欢技术，喜欢阅读新技术和产品的文章与论文",
       "contactInfo":"abc061200x, v-adding disabled",
       "slogan":"简单、高效、做正确的事",
       "extInfo":"喜欢看电影、喜欢旅游、户外徒步、阅读和学习，不抽烟、不喝酒，无不良嗜好"
  } 
}