Stable Diffusion 微调实战：自定义风格图像生成

本文详解如何通过微调Stable Diffusion模型实现特定风格图像生成，流程分为数据准备、模型训练、推理验证三部分。

1. 数据准备

核心原则：高质量、风格统一的训练集（建议20-50张图像）。

• 图像要求：
  • 统一主题（如“水墨画”“赛博朋克”）
  • 分辨率≥512×512
  • 格式：JPEG/PNG
• 预处理脚本（Python示例）：

  from PIL import Image
  import os
  
  def resize_images(input_dir, output_dir, size=512):
      os.makedirs(output_dir, exist_ok=True)
      for img_name in os.listdir(input_dir):
          img_path = os.path.join(input_dir, img_name)
          img = Image.open(img_path).resize((size, size))
          img.save(os.path.join(output_dir, img_name))
  

2. 模型微调训练

使用LoRA（Low-Rank Adaptation）技术高效微调，数学原理：
$$
\Delta W = BA, \quad \text{其中} \quad B \in \mathbb{R}^{d \times r}, A \in \mathbb{R}^{r \times k}, \quad r \ll d
$$
参数更新量$\Delta W$通过低秩分解实现，大幅减少计算量。

训练步骤：

1. 安装依赖：

   pip install diffusers transformers accelerate peft
   

2. 训练代码（关键部分）：

   from diffusers import StableDiffusionPipeline
   from peft import LoraConfig, get_peft_model
   
   # 加载基础模型
   pipe = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
   model = pipe.unet
   
   # 注入LoRA适配器
   lora_config = LoraConfig(r=8, lora_alpha=32, target_modules=["to_k", "to_v"])
   model = get_peft_model(model, lora_config)
   
   # 配置训练参数（简化版）
   optimizer = torch.optim.AdamW(model.parameters(), lr=1e-4)
   for epoch in range(100):
       loss = train_step(model, batch)  # 自定义训练步
       optimizer.step()
   

3. 参数说明：
   • r：秩（秩越小参数量越少，推荐4-16）
   • target_modules：注意力层的关键模块

3. 推理生成

加载微调后的模型生成风格化图像：

# 合并LoRA权重到基础模型
pipe.unet = model.merge_and_unload()

# 生成图像（提示词需包含风格标识符，如"<watercolor-style>"）
prompt = "A castle in <watercolor-style>"
image = pipe(prompt, num_inference_steps=50).images[0]
image.save("output.png")

效果优化技巧：

• 在提示词中加入风格标识符（如<your-style>）
• 调整guidance_scale（7-15之间控制风格强度）
• 使用negative_prompt排除干扰元素

常见问题

1. 过拟合：
   • 症状：生成图像与训练数据过度相似
   • 解决：增加数据多样性，降低训练轮次
2. 风格迁移不足：
   • 提高guidance_scale，或增大LoRA的r值
3. 显存不足：
   • 启用梯度检查点：pipe.enable_xformers_memory_efficient_attention()
   • 使用fp16精度训练

注：完整代码需扩展数据加载、损失计算等模块，建议参考Hugging Face PEFT官方示例。