补充一下,如果你的xformers.info里面fa2一直没办法启用,那你可以试一下安装python的依赖库flash_attn

如果不懂安装xformers的可以看我前面的文章

关于comfyui安装xformers,以及torch,torchaduio,torchvision的匹配问题(超详细)(上)-CSDN博客

关于comfyui安装xformers,以及torch,torchaduio,torchvision的匹配问题(超详细)(下)-CSDN博客

这个依赖库没法直接pip install(虽然作者说可以,但是我安装一堆问题),得直接编译github源码,但是有作者以及其他人编译的wheel文件,我们就直接拿去使用就行,这个是作者的源码界面,版本的话尝试一下就行

Releases · Dao-AILab/flash-attentionhttps://github.com/Dao-AILab/flash-attention/releases

文件名字已经教过怎么看了,根据自己适配下载就行,只不过这个作者都是编译linux系统的,所以这里推荐另外一个大佬kingbri1,编译了很多windows版本的

Releases · kingbri1/flash-attentionhttps://github.com/kingbri1/flash-attention/releases

按需要下载即可,如果最新版本安装之后不匹配,那就下载前面的版本,一般你不匹配的话,安装好会在命令行直接给你提示,说需要xxx版本,我们在重新回去下载对应版本的wheel即可

会有类似的提示,在你运行xformers.info的时候

下载对应的版本就行,这里我就使用2.8.2

下载完直接

pip install flash_attn-......whl (你下载的位置)

搞定,一般安装好了匹配的flash_attn依赖库,fa2就会变成available状态,然后再尝试用comfyui生图测试加速

Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐