FitDiT简介

今天文章主题介绍一款虚拟试穿模型:FitDiT。这是一款为了解决现有虚拟试穿方法在多种场景下生成高保真度和鲁棒的试穿图像,以及在纹理感知保持和尺寸感知适配上存在不足的最新虚拟试穿大模型。研发团队提出了一种名为FitDiT的新型服装感知增强技术,用于使用扩散变换器(DiT)进行高保真虚拟试穿,该技术在高分辨率特征上分配了更多的参数和注意力。

  • • 首先,为了进一步提升纹理感知保持能力,FitDiT引入了一种服装纹理提取器,它结合了服装先验演化来微调服装特征,有助于更好地捕捉条纹、图案和文字等丰富细节。此外,还通过定制频率距离损失引入频域学习,以增强服装的高频细节。

  • • 然后,为了解决尺寸感知适配问题,FitDiT采用了一种扩张松弛掩码策略,该策略能够适应服装的正确长度,防止在跨类别试穿时生成填充整个掩码区域的服装。

凭借上述几点的架构设计,FitDiT在定性和定量评估中均超越了现有方法的所有基线方法。在生成贴合度好、具有逼真和复杂细节的服装方面表现出色,同时在DiT结构精简后,单张1024x768图像的推理时间达到了4.57秒,优于现有方法

  • 项目主页

  • huggingface:https://huggingface.co/BoyuanJiang/FitDiT

  • Github:https://github.com/BoyuanJiang/FitDiT

FitDiT模型ComfyUI体验

当前社区已有ComfyUI插件FitDiT-ComfyUI支持,可以通过ComfyUI-Manager 搜索 FitDiT[official] 来安装FitDiT。模型文末网盘获取!

  • FitDiT-ComfyU插件:https://github.com/BoyuanJiang/FitDiT-ComfyUI

  • BoyuanJiang/FitDiT:需要下载FitDiT模型并将其放置在ComfyUI/models/FitDiT_models目录下。地址:https://huggingface.co/BoyuanJiang/FitDiT/tree/main

  • CLIP模型:然后还需将clip-vit-large-patch14CLIP-ViT-bigG-14 放置在 ComfyUI/models/clip 目录下。clip-vit-large-patch14 地址:https://huggingface.co/openai/clip-vit-large-patch14 。 CLIP-ViT-bigG-14地址:https://huggingface.co/laion/CLIP-ViT-bigG-14-laion2B-39B-b160k

  • • 另外可以通过CMD命令快速下载:

pip install -U huggingface_hub   python download_model.py --dir /path/to/ComfyUI/
  • • 也可以在线体验

Flux文生图&混元视频工作流

最新LIBLIBAI平台已支持Flux文生图混元视频ComfyUI工作流在线体验:

F.1-绮梦流光-水湄凝香:https://www.liblib.art/modelinfo/134c6dd95aef48e98a22b24e003e026b

文生图-Flux文生图(PuLID|LORA|Joy|SUPIR)工作流:https://www.liblib.art/modelinfo/782aacd70f604da39e83368c696a02a8?versionUuid=9c5eceb01fb94d4d93d60fe2c0bd7468

文生视频-腾迅混元最强开源视频(LORA)工作流:https://www.liblib.art/modelinfo/35ee21d5f6a94204abb767ad194ab9cd?versionUuid=be674032ffa14e5597a08922556f4da0

FitDiT模型ComfyUI工作流体验

FitDiT模型ComfyUI工作流已上传LIBLIBAI平台可体验:https://www.liblib.art/modelinfo/9843f5f3a8bb46198770acdb315e28aa?versionUuid=49699508c0994180a5da43f63c563812

注意

• 如果显存资源不足,可以将with_offloadwith_aggressive_offload设置为True。设置with_offloadTrue时,显存适中,推理时间适中;设置with_aggressive_offloadTrue时,显存最低,推理时间最长。

01.裙子

02.衣服

03.裤子

模型下载👇:

### 关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

零基础AI绘画学习资源介绍

👉stable diffusion新手0基础入门PDF👈

(全套教程文末领取哈)
在这里插入图片描述

👉AI绘画必备工具👈

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉AI绘画基础+速成+进阶使用教程👈

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉12000+AI关键词大合集👈

在这里插入图片描述

这份完整版的AI绘画全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
Logo

火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。

更多推荐