基于昇腾玩转全能图像编辑模型Qwen-Image-Edit
Qwen-Image-Edit不仅⽀持low-level的视觉外观编辑(如元素的添加、删除、修改等,要求图片其他区域完全不变),也支持 high-level 的视觉语义编辑(如 IP 创作、物体旋转、风格迁移等,允许整体像素变化但保持语义一致)。8月19日,通义千问团队推出了Qwen-Image-Edit,Qwen-Image的图像编辑版本。该模型基于20B的Qwen-Image模型进⼀步训练,将
8月19日,通义千问团队推出了Qwen-Image-Edit,Qwen-Image的图像编辑版本。该模型基于20B的Qwen-Image模型进⼀步训练,将Qwen-Image的独特的文本渲染能力延展至图像编辑领域,实现了对图片中文字的精准编辑。此外,Qwen-Image-Edit将输⼊图像同时输⼊到Qwen2.5-VL(实现视觉语义控制)和VAE Encoder(实现视觉外观控制),从而兼具语义与外观的双重编辑能⼒。
昇腾支持该模型开箱部署推理,目前适配模型已上线魔乐社区,欢迎下载体验!
魔乐社区链接:https://usercenter.modelers.cn/register?client_id=658a392ad997cd15f2612a60&scope=openid%20profile%20email%20phone%20address%20username%20id_token&redirect_uri=https%3A%2F%2Fmodelers.cn%2F%3Futm_source%3Dactivity_HUAWEI_912%26utm_source%3Dactivity_HUAWEI_912%26utm_medium%3Dregister&response_mode=query&state=8b580d81971849e39916580308ba02e1&lang=zh
01 模型介绍
Qwen-Image-Edit的亮点包括:
• 语义与外观双重编辑: Qwen-Image-Edit不仅⽀持low-level的视觉外观编辑(如元素的添加、删除、修改等,要求图片其他区域完全不变),也支持 high-level 的视觉语义编辑(如 IP 创作、物体旋转、风格迁移等,允许整体像素变化但保持语义一致)。
• 精准⽂字编辑: Qwen-Image-Edit 支持中英文双语文字编辑,可在保留原有字体、字号、风格的前提下,直接对图片中的文字进行增、删、改等操作。
• 强⼤的基准性能: 在多个公开基准测试中的评估表明,Qwen-Image-Edit 在图像编辑任务上具备SOTA性能,是一个强大的图像编辑基础模型。
千问团队以Qwen的吉祥物卡皮巴拉为例,展示了该模型的强大的语义编辑能力,轻松地进行了原创IP的多样化创作。
准备运行环境
表 1 版本配套表
|
配套 |
版本 |
|
Python |
3.10 or 3.11 |
|
torch |
2.1.0 |
1. 获取CANN&MindIE安装包&环境准备
设备支持
Atlas 800I/800T A2(8*64G)推理设备:支持的卡数最小为1
Atlas 800I/800T A2(8*64G)
https://www.hiascend.com/developer/download/community/result?module=pt+ie+cann&product=4&model=32
环境准备指导
https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/80RC2alpha002/softwareinst/instg/instg_0001.html
2. CANN安装
# 增加软件包可执行权限,{version}表示软件版本号,{arch}表示CPU架构,{soc}表示昇腾AI处理器的版本。chmod +x ./Ascend-cann-toolkit_{version}_linux-{arch}.runchmod +x ./Ascend-cann-kernels-{soc}_{version}_linux.run# 校验软件包安装文件的一致性和完整性./Ascend-cann-toolkit_{version}_linux-{arch}.run --check./Ascend-cann-kernels-{soc}_{version}_linux.run --check# 安装./Ascend-cann-toolkit_{version}_linux-{arch}.run --install./Ascend-cann-kernels-{soc}_{version}_linux.run --install# 设置环境变量source /usr/local/Ascend/ascend-toolkit/set_env.sh
3. MindIE安装
# 增加软件包可执行权限,{version}表示软件版本号,{arch}表示CPU架构。chmod +x ./Ascend-mindie_${version}_linux-${arch}.run./Ascend-mindie_${version}_linux-${arch}.run --check# 方式一:默认路径安装./Ascend-mindie_${version}_linux-${arch}.run --install# 设置环境变量cd /usr/local/Ascend/mindie && source set_env.sh# 方式二:指定路径安装./Ascend-mindie_${version}_linux-${arch}.run --install-path=${AieInstallPath}# 设置环境变量cd${AieInstallPath}/mindie && source set_env.sh
4. Torch_npu安装
下载 pytorch_v{pytorchversion}_py{pythonversion}.tar.gz
tar -xzvf pytorch_v{pytorchversion}_py{pythonversion}.tar.gz# 解压后,会有whl包pip install torch_npu-{pytorchversion}.xxxx.{arch}.whl
火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。
更多推荐
所有评论(0)