3分钟上手IOPaint：本地SD/SDXL模型部署全攻略

【免费下载链接】IOPaint 项目地址: https://gitcode.com/GitHub_Trending/io/IOPaint

你是否遇到过AI绘画工具无法加载本地模型的困扰？是否想将自己收藏的Stable Diffusion checkpoint文件应用到图像修复中？本文将带你从零开始，通过3个简单步骤完成本地模型集成，解锁IOPaint的高级自定义能力。

为什么需要自定义模型？

IOPaint作为开源图像修复工具，默认支持多种在线模型(README.md#features)，但专业用户往往需要加载私有模型或定制化 checkpoint。例如：

• 企业内部训练的产品图像修复模型
• 动漫风格专用的SD微调模型(assets/manga.png)
• 历史照片修复的专用checkpoint(assets/old_photo.jpg)

左：原始老照片 | 右：IOPaint+本地模型修复效果

准备工作

在开始前，请确保你的环境满足以下条件：

1. 已安装IOPaint最新版(README.md#quick-start)
2. 本地模型文件（.ckpt或.safetensors格式）
3. 至少8GB显存（推荐12GB以上）

模型文件存放建议路径：

IOPaint/
└── models/
    ├── sd/
    │   ├── my-anime-model.ckpt
    └── sdxl/
        ├── realistic-portrait.safetensors

步骤1：模型文件验证

并非所有SD模型都支持直接加载，需要确认：

• 文件名格式正确（不含中文和特殊字符）
• 模型包含inpainting能力（文件名含"inpainting"关键词）
• 文件大小正常（SD模型通常≥2GB，SDXL≥6GB）

可通过以下命令检查文件完整性：

iopaint check-model --model-path /path/to/your/model.ckpt

步骤2：启动参数配置

修改启动命令，添加本地模型参数：

# 基础SD模型加载
iopaint start --model=sd --sd-model-path=/path/to/model.ckpt --device=cuda

# SDXL模型加载
iopaint start --model=sdxl --sdxl-model-path=/path/to/sdxl.safetensors --device=cuda

# 高级参数示例（禁用NSFW检查+CPU文本编码器）
iopaint start --model=sd \
  --sd-model-path=./models/my-model.ckpt \
  --disable-nsfw \
  --sd-cpu-textencoder \
  --device=cuda

核心参数说明： | 参数 | 作用 | |------|------| | --model=sd | 指定使用Stable Diffusion框架 | | --sd-model-path | 本地模型文件绝对路径 | | --disable-nsfw | 禁用内容安全检查（适合艺术创作） | | --sd-cpu-textencoder | 文本编码器在CPU运行（节省显存） |

模型加载逻辑在iopaint/model/sd.py中实现，关键代码片段：

self.model = StableDiffusionInpaintPipeline.from_single_file(
    self.model_id_or_path,
    torch_dtype=torch_dtype,
    original_config_file=get_config_files()['v1'],
    **model_kwargs,
)

步骤3：Web界面配置

启动成功后，访问http://localhost:8080，在侧边栏切换到"扩散模型"选项卡：

配置推荐参数：

• 采样步数：20-30步（平衡速度与质量）
• 引导尺度：7.5-9（数值越高越贴合提示词）
• 蒙版模糊：2-4px（避免修复边缘生硬）

常见问题解决

模型加载失败

1. 显存不足：添加--low-mem参数(iopaint/model/utils.py)
2. 配置错误：检查是否使用对应版本配置文件

   # SD1.5配置
   original_config_file=get_config_files()['v1']
   # SD2.x配置
   original_config_file=get_config_files()['v2']
   

修复效果不理想

• 尝试不同的Inpaint模型(README.md#models)
• 调整蒙版羽化值(web_app/src/components/SidePanel/index.tsx)
• 使用插件辅助选区(plugins/interactive_seg.py)

使用本地SD模型移除图像中不需要的物体

高级应用场景

批量处理工作流

结合命令行模式实现批量修复：

iopaint run --model=sd \
  --sd-model-path=./models/product-inpaint.ckpt \
  --image=./input_images \
  --mask=./masks \
  --output=./results

模型切换技巧

创建启动脚本快速切换不同模型：

# anime-model.sh
iopaint start --model=sd \
  --sd-model-path=./models/anime-v3.ckpt \
  --enable-interactive-seg

总结与展望

通过本文介绍的方法，你已经掌握了IOPaint加载本地SD/SDXL模型的核心技巧。这一能力将帮助你：

1. 保护知识产权（无需上传私有模型）
2. 提升修复效率（使用针对性优化模型）
3. 拓展应用场景（从通用修复到专业领域）

未来IOPaint将支持更多模型格式和一键模型转换功能，敬请关注插件开发文档和模型管理源码获取最新动态。

提示：所有模型文件应符合开源协议，商业使用前请确认许可条款。

【免费下载链接】IOPaint 项目地址: https://gitcode.com/GitHub_Trending/io/IOPaint