论文标题

SleeperMark: Towards Robust Watermark against Fine-Tuning Text-to-image Diffusion Models
SleeperMark：面向微调文本到图像扩散模型的鲁棒水印

论文链接

SleeperMark: Towards Robust Watermark against Fine-Tuning Text-to-image Diffusion Models论文下载

论文作者

Zilan Wang, Junfeng Guo, Jiacheng Zhu, Yiming Li, Heng Huang, Muhao Chen, Zhengzhong Tu

内容简介

本文提出了SleeperMark，一个新颖的框架，旨在为文本到图像（T2I）扩散模型嵌入鲁棒的水印，以保护知识产权。随着T2I模型在风格定制和个性化生成等下游应用中的广泛使用，保护这些模型的知识产权变得尤为重要。然而，现有的水印方法在模型微调后往往失效。SleeperMark通过引导模型将水印信息与学习的语义概念分离，使其在微调新任务时仍能保留水印。实验结果表明，SleeperMark在多种扩散模型中表现出色，能够抵御微调和各种攻击，同时对模型的生成能力影响最小。

分点关键点

1. SleeperMark框架

   • SleeperMark通过将水印信息与模型学习的语义概念分离，确保在微调过程中水印的保留。该框架利用预训练的图像水印机制，在常规提示中附加触发信号时，将多比特消息嵌入生成的图像中。

2. 鲁棒性与有效性

   • 实验表明，SleeperMark在多种扩散模型（如Stable Diffusion和DeepFloyd-IF）中表现出色，能够有效抵御下游微调和攻击，且对生成能力的影响极小。

3. 水印验证机制

   • 在验证阶段，模型所有者可以通过查询可疑模型生成的图像，使用水印提取器解码消息，并通过统计测试验证模型的所有权。这一过程确保了水印的有效性和鲁棒性。

4. 适应性与兼容性

   • SleeperMark经过少量调整后，能够兼容像素空间扩散模型和潜在扩散模型，展示了其广泛的适用性和灵活性。

论文代码

代码链接：https://github.com/taco-group/SleeperMark

中文关键词

1. 文本到图像扩散模型
2. 水印
3. 知识产权保护
4. 微调
5. 鲁棒性
6. 统计测试

CVPR论文合集：

CVPR论文合集

希望这些论文能帮到你！如果觉得有用，记得点赞关注哦~ 后续还会更新更多论文合集！！