AIGC 图像 LoRA 微调：自定义角色模型训练与生成效果调优

LoRA（Low-Rank Adaptation）是一种轻量级微调技术，通过低秩矩阵分解降低训练参数量，适用于扩散模型（如 Stable Diffusion）的定制化训练。以下为关键技术流程：

一、LoRA 核心原理

1. 参数更新机制
   原始权重矩阵 $W \in \mathbb{R}^{d \times k}$ 的更新被分解为：
   $$ \Delta W = BA \quad \text{其中} \quad B \in \mathbb{R}^{d \times r}, \ A \in \mathbb{R}^{r \times k} $$
   秩 $r \ll \min(d,k)$，显著减少训练参数量（通常 $r=4$ 或 $8$）。

2. 推理融合
   微调后模型输出为：
   $$ h = (W_0 + \Delta W)x = W_0x + BAx $$
   仅需存储 $B$ 和 $A$ 矩阵（~3-50 MB），无需修改原始模型权重。

二、自定义角色模型训练流程

1. 数据准备

• 图像要求
  • 角色统一：同一角色多角度/表情图片（建议 20-50 张）
  • 分辨率：$512 \times 512$ 或 $768 \times 768$
  • 标注格式：文本描述 = 角色名 + 细节（如 "sks alice in red dress, garden background"）
• 数据增强
  使用裁剪、旋转提升泛化性，避免过拟合。

2. 模型训练

from diffusers import StableDiffusionPipeline
import torch

# 加载预训练模型
model_id = "runwayml/stable-diffusion-v1-5"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)

# 注入LoRA层并冻结基础权重
pipe.unet.load_attn_procs("lora_weights.safetensors")  # 加载LoRA适配器
pipe.freeze()  # 冻结原始UNet参数

# 训练配置
optimizer = torch.optim.AdamW(pipe.unet.parameters(), lr=1e-4)
for epoch in range(100):
    loss = train_step(batch_images, batch_prompts)
    optimizer.step()

3. 关键超参数

三、生成效果调优技巧

1. 提示词工程

• 强化角色特征
  (sks alice:1.2) 增加权重系数，强制模型聚焦自定义角色
• 负面提示词
  ugly, deformed, blurry 抑制低质量生成
• 风格控制
  oil painting, studio lighting 添加艺术风格描述

2. 参数优化

• CFG Scale（Classifier-Free Guidance）
  值域 $7-12$，过高导致生硬，过低失去细节
• 采样器选择
  DPM++ 2M Karras 平衡速度与质量
• 种子控制
  固定种子值便于结果对比

3. 混合LoRA

# 动态融合多个LoRA（如角色+画风）
pipe.load_lora_weights(["character_lora.safetensors", "style_lora.safetensors"])
pipe.set_adapters(["character", "style"], adapter_weights=[0.8, 0.5])  # 权重调整

四、常见问题解决

注：实际效果依赖数据质量与提示词设计。建议使用 Kohya_ss 等工具简化训练流程，并通过A/B测试对比参数组合。