ControlNet 核心原理

ControlNet 通过注入额外条件（如边缘图、深度图、人体姿态等）控制 Stable Diffusion 的生成过程。其核心是训练一个可复用的网络模块，将条件信息与原始模型权重结合，实现高精度图像控制。

准备工作

1. 安装 Stable Diffusion：推荐使用 WebUI 版本（如 Automatic1111），支持插件扩展。
2. 下载 ControlNet 模型：从官方仓库获取预训练模型（如 control_v11p_sd15_canny.pth 对应边缘检测）。
3. 准备条件图：根据目标风格生成对应的控制图（如用 Canny 提取线稿，或 OpenPose 捕捉人体骨架）。

复刻摄影风格步骤

1. 分析目标风格特征

• 光线方向：硬光/柔光，高光与阴影分布
• 构图比例：居中、三分法或对称构图
• 色彩基调：冷色调（如青橙对比）或暖色调（如复古胶片）

2. 生成控制条件图

• 边缘控制（Canny）：保留主体轮廓，适用于结构明确的场景

  import cv2
  edges = cv2.Canny(image, 100, 200)  # 调整阈值控制细节
  

• 深度控制（Depth）：复刻景深效果，强调前景虚化
• 色彩控制（HED）：保留软边缘，适合人像皮肤质感

3. 参数配置示例

• 提示词：明确风格关键词（如 "Kodak Portra 400, soft shadows, 35mm film grain"）
• ControlNet 权重：0.6-0.8 平衡控制强度与生成自由度
• 采样器：DPM++ 2M Karras 或 Euler a 兼顾质量与速度

进阶技巧

多条件联合控制
同时加载边缘图与深度图，分别设置不同权重。例如：

• 边缘权重 0.7 固定构图
• 深度权重 0.4 控制虚实层次

风格微调
使用 LoRA 适配器注入特定摄影师风格（如 "Gregory Crewdson style"），需配合低强度 ControlNet（0.3-0.5）。

失败案例修正

• 过度锐化：降低 Canny 阈值或切换至 HED 边缘
• 色彩偏差：在提示词中添加 "color grading" 或使用 Palette 控制模型

参数参考表格