记录:原始的sdxl模型是使用原始sdxl代码训练得到的,并且civitai、comfyui、webui等工具用的也是这个模型,这个模型在comfyui中可以同时拉出model/clip/vae。

在这里插入图片描述

而我想用diffuser库来训练一个sdxl的lora,因此需要模型转换以下;转换的脚本在diffuser库中的scripts/convert_original_stable_diffusion_to_diffusers.py,运行代码如下:

python scripts/convert_original_stable_diffusion_to_diffusers.py --checkpoint_path my/models/xxx_civitai_sdxl.safetensors --original_config_file my/sd_xl_base.yaml --dump_path ./tmp/ --from_safetensors --to_safetensors
注意:sd_xl_base.yaml 是来自原始sdxl仓库的模型配置https://github.com/Stability-AI/generative-models/blob/main/configs/inference/sd_xl_base.yaml,最终生成的模型会转换成diffuser格式的模型,把文本编码、unet、vae全部拆出来,如图所示:
在这里插入图片描述

Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐