LLM 合成数据生成完整指南

大型语言模型(LLM) 是强大的工具，不仅可以生成类似人类的文本，还可以创建高质量的合成数据。这种能力正在改变我们进行 AI 开发的方式，特别是在现实世界数据稀缺、昂贵或隐私敏感的情况下。在本综合指南中，我们将探索 LLM 驱动的合成数据生成，深入探讨其方法、应用和最佳实践。

image-20240812092339558

使用 LLM 进行合成数据生成简介

综合数据 使用 LLM 生成数据涉及利用这些先进的 AI 模型来创建模拟真实世界数据的人工数据集。这种方法有几个优点：

1. 成本效益：生成合成数据通常比收集和注释真实世界数据更便宜。
2. 隐私保护：可以创建合成数据而不暴露敏感信息。
3. 可扩展性：LLM 可以快速生成大量不同的数据。
4. 定制：数据可以根据特定用例或场景进行定制。

合成数据训练可以分为以下四个步骤

image-20240812092304705

1 合成数据的生成

常见的合成数据生成实践可以大致分为提示工程和多步骤生成。

提示工程：LLMs的指令遵循能力使其在生成数据时具有很好的可控性。有效的提示通常包含三个关键元素：任务规范、生成条件和上下文演示，然后用模板将其包裹成自然指令。

多步骤生成：通过逐步生成数据来增强其多样性和真实性，具体方法根据不同任务和场景进行调整

2 合成数据的整理

数据整理：确保生成的数据在逻辑和内容上的一致性和连贯性。生成的数据必须在逻辑和语法上连贯。然而，LLMs固有的幻觉问题和知识分布的长尾效应可能会引入显著的噪声，表现为事实错误、标签错误或无关内容。

3 合成数据的评估

数据评估：使用多种评价指标来评估数据质量，如准确性、多样性和相关性。多样性反映了生成数据的变化，包括文本长度、主题或写作风格的差异。这对于生成模拟真实世界数据的样本至关重要，从而防止模型训练或评估过程中的过拟合和偏差。

论文题目：On LLMs-Driven Synthetic Data Generation, Curation, and Evaluation: A Survey

论文链接：https://arxiv.org/pdf/2406.15126

让我们大概了解使用 LLM 生成合成数据的基本过程：

from transformers import AutoTokenizer, AutoModelForCausalLM
# Load a pre-trained LLM
model_name = "gpt2-large"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)
# Define a prompt for synthetic data generation
prompt = "Generate a customer review for a smartphone:"
# Generate synthetic data
input_ids = tokenizer.encode(prompt, return_tensors="pt")
output = model.generate(input_ids, max_length=100, num_return_sequences=1)
# Decode and print the generated text
synthetic_review = tokenizer.decode(output[0], skip_special_tokens=True)
print(synthetic_review)

这个简单的例子展示了如何使用 LLM 生成合成客户评论。然而，LLM 驱动的合成数据生成的真正威力在于更复杂的技术和应用。

image-20240812092705811

2. 合成数据生成的高级技术

2.1 及时工程

即时工程 对于指导 LLM 生成高质量、相关的合成数据至关重要。通过精心设计提示，我们可以控制生成数据的各个方面，例如样式、内容和格式。

更复杂的提示示例：

prompt = """
Generate a detailed customer review for a smartphone with the following characteristics:
- Brand: {brand}
- Model: {model}
- Key features: {features}
- Rating: {rating}/5 stars
The review should be between 50-100 words and include both positive and negative aspects.
Review:
"""
brands = ["Apple", "Samsung", "Google", "OnePlus"]
models = ["iPhone 13 Pro", "Galaxy S21", "Pixel 6", "9 Pro"]
features = ["5G, OLED display, Triple camera", "120Hz refresh rate, 8K video", "AI-powered camera, 5G", "Fast charging, 120Hz display"]
ratings = [4, 3, 5, 4]
# Generate multiple reviews
for brand, model, feature, rating in zip(brands, models, features, ratings):
    filled_prompt = prompt.format(brand=brand, model=model, features=feature, rating=rating)
    input_ids = tokenizer.encode(filled_prompt, return_tensors="pt")
    output = model.generate(input_ids, max_length=200, num_return_sequences=1)
    synthetic_review = tokenizer.decode(output[0], skip_special_tokens=True)
print(f"Review for {brand} {model}:\n{synthetic_review}\n")

这种方法可以生成更加可控、更加多样化的合成数据，以适应特定的场景或产品类型。

2.2 小样本学习

少量学习涉及向 LLM 提供所需输出格式和样式的几个示例。此技术可以显著提高生成数据的质量和一致性。

few_shot_prompt = """
Generate a customer support conversation between an agent (A) and a customer (C) about a product issue. Follow this format:
C: Hello, I'm having trouble with my new headphones. The right earbud isn't working.
A: I'm sorry to hear that. Can you tell me which model of headphones you have?
C: It's the SoundMax Pro 3000.
A: Thank you. Have you tried resetting the headphones by placing them in the charging case for 10 seconds?
C: Yes, I tried that, but it didn't help.
A: I see. Let's try a firmware update. Can you please go to our website and download the latest firmware?
Now generate a new conversation about a different product issue:
C: Hi, I just received my new smartwatch, but it won't turn on.
"""
# Generate the conversation
input_ids = tokenizer.encode(few_shot_prompt, return_tensors="pt")
output = model.generate(input_ids, max_length=500, num_return_sequences=1)
synthetic_conversation = tokenizer.decode(output[0], skip_special_tokens=True)
print(synthetic_conversation)

这种方法有助于 LLM 了解所需的对话结构和风格，从而实现更真实的综合客户支持互动。

2.3 条件生成

条件生成允许我们控制生成数据的特定属性。当我们需要创建具有某些受控特征的多样化数据集时，这尤其有用。

from transformers import GPT2LMHeadModel, GPT2Tokenizer
import torch
model = GPT2LMHeadModel.from_pretrained("gpt2-medium")
tokenizer = GPT2Tokenizer.from_pretrained("gpt2-medium")
def generate_conditional_text(prompt, condition, max_length=100):
    input_ids = tokenizer.encode(prompt, return_tensors="pt")
    attention_mask = torch.ones(input_ids.shape, dtype=torch.long, device=input_ids.device)
    # Encode the condition
    condition_ids = tokenizer.encode(condition, add_special_tokens=False, return_tensors="pt")
    # Concatenate condition with input_ids
    input_ids = torch.cat([condition_ids, input_ids], dim=-1)
    attention_mask = torch.cat([torch.ones(condition_ids.shape, dtype=torch.long, device=condition_ids.device), attention_mask], dim=-1)
    output = model.generate(input_ids, attention_mask=attention_mask, max_length=max_length, num_return_sequences=1, no_repeat_ngram_size=2, do_sample=True, top_k=50, top_p=0.95, temperature=0.7)
    return tokenizer.decode(output[0], skip_special_tokens=True)
# Generate product descriptions with different conditions
conditions = ["Luxury", "Budget-friendly", "Eco-friendly", "High-tech"]
prompt = "Describe a backpack:"
for condition in conditions:
	description = generate_conditional_text(prompt, condition)
print(f"{condition} backpack description:\n{description}\n")

这种技术使我们能够生成多样化的合成数据，同时保持对特定属性的控制，确保生成的数据集涵盖广泛的场景或产品类型。

LLM 生成的合成数据的应用

训练数据增强

LLM 生成的合成数据最强大的应用之一是增强现有的训练数据集。这在现实世界数据有限或获取成本高昂的情况下尤其有用。

import pandas as pd
from sklearn.model_selection import train_test_split
from transformers import pipeline
# Load a small real-world dataset
real_data = pd.read_csv("small_product_reviews.csv")
# Split the data
train_data, test_data = train_test_split(real_data, test_size=0.2, random_state=42)
# Initialize the text generation pipeline
generator = pipeline("text-generation", model="gpt2-medium")
def augment_dataset(data, num_synthetic_samples):
    synthetic_data = []
    for _, row in data.iterrows():
        prompt = f"Generate a product review similar to: {row['review']}\nNew review:"
        synthetic_review = generator(prompt, max_length=100, num_return_sequences=1)[0]['generated_text']
        synthetic_data.append({'review': synthetic_review,'sentiment': row['sentiment'] # Assuming the sentiment is preserved})
        if len(synthetic_data) >= num_synthetic_samples:
            break
    return pd.DataFrame(synthetic_data)
# Generate synthetic data
synthetic_train_data = augment_dataset(train_data, num_synthetic_samples=len(train_data))
# Combine real and synthetic data
augmented_train_data = pd.concat([train_data, synthetic_train_data], ignore_index=True)
print(f"Original training data size: {len(train_data)}")
print(f"Augmented training data size: {len(augmented_train_data)}")

这种方法可以显著增加训练数据集的大小和多样性，从而有可能提高机器学习模型的性能和稳健性。

挑战和最佳实践

虽然 LLM 驱动的合成数据生成提供了许多好处，但也带来了挑战：

1. 质量控制：确保生成的数据质量高且与您的用例相关。实施严格的验证流程。
2. 减少偏见：LLM 可以继承并放大其训练数据中存在的偏差。请注意这一点并实施偏差检测和缓解策略。
3. 多元化：确保您的合成数据集多样化且能够代表真实世界场景。
4. 持续一致：保持生成的数据的一致性，尤其是在创建大型数据集时。
5. 关于 SCIREQ：要注意道德问题，尤其是在生成模仿敏感或个人信息的合成数据时。

LLM 驱动的合成数据生成的最佳实践：

1. 迭代细化：根据输出的质量不断改进您的提示和生成技术。
2. 混合方法：将 LLM 生成的数据与真实世界数据相结合以获得最佳结果。
3. 验证：实施强有力的验证流程，以确保生成数据的质量和相关性。
4. 配套文档：维护合成数据生成过程的清晰文档，以确保透明度和可重复性。
5. 道德准则：制定并遵守合成数据生成和使用的道德准则。

结论

LLM 驱动的合成数据生成是一种强大的技术，它正在改变我们以数据为中心的 AI 开发方式。通过利用高级语言模型的功能，我们可以创建多样化、高质量的数据集，推动各个领域的创新。随着技术的不断发展，它有望在 AI 研究和应用程序开发中释放新的可能性，同时解决与数据稀缺和隐私相关的关键挑战。

随着我们不断前进，以平衡的视角看待合成数据生成至关重要，充分利用其优势，同时注意其局限性和道德影响。通过谨慎实施和不断改进，LLM 驱动的合成数据生成有可能加速 AI 进步并开辟机器学习和数据科学的新领域。