完整标题：All-in-one Weather-degraded Image Restoration via Adaptive Degradation-aware Self-prompting Model

作者：Yuanbo Wen, Tao Gao, Ziqi Li, Jing Zhang, Kaihao Zhang, Ting Chen

机构：Yuanbo Wen, Ziqi Li and Ting Chen are with the School of Information Engineering, Chang’an University, Xi’an, China. 

            lzq@chd.edu.cn; tchenchd@126.com} Tao Gao is with the School of Data Science and Artificial Intelligence, Chang’an University, Xi’an, China. 

来源期刊：IEEE TMM（IEEE Transactions on Multimedia）

发表时间：2025年

一、研究动机

1.研究目标   

        现有的天气退化图像恢复方法多为任务专用型，难以适应多种天气条件，且缺乏对退化类型的感知能力。提出一种全场景（all-in-one） 的图像恢复模型，能够处理多种天气退化（如雨、雾、雪、雨夹雪、雨滴、低光照等），并提升恢复图像的自然度和质量。

2.过去方法

• 任务专用型：如RESCAN、DehazeFormer等，一个模型只能处理一种退化。

  • 任务对齐型：如Uformer、Restormer，使用同一模型但不同参数。

  • 全场景型：如TransWeather、AIRFormer，但缺乏对退化类型的细粒度感知。

        

3.本文方法

• 提出自适应退化感知自提示模型（ADSM）其中包含

  • 潜在提示生成器（LPGs）：从CLIP模型中提取退化类型、退化属性、图像描述三种提示。

  • 小波导向噪声估计网络（WNE-Net）：提升频率感知能力，加速推理。

4.优势以及创新点

        创新点1： 提出三种潜在提示（类型、属性、描述）来引导图像恢复过程。

        创新点2： 将提示嵌入扩散模型的时间嵌入和交叉注意力机制中。

        创新点3：提出WNE-Net，结合小波变换与自注意力机制，提升频率感知与计算效率。

二、算法主要思想

        第一阶段：输入一张受天气退化的图像（如雨、雾、雪等）。将该图像输入到潜在提示生成器（LPGs） 中。生成三种提示：

        1.退化类型提示（Pt）：像一个“天气分类器”，判断图像中存在的退化类型（如“雨”、“雪”、“雾”）。

        2.退化属性提示（Pp）：像一个“严重度评估器”，描述该退化的属性（如“大雨”、“薄雾”、“密集雪花”）。

        3. 图像描述提示（Pc）：像一个“内容理解器”，解读图像本应的语义内容（如“一辆车在街道上行驶”）。最后输出这三个提示向量构成了对输入图像的全面诊断报告。        

        第二阶段：利用第一阶段的结果，引导扩散模型精准地重建清晰图像。

1. 将 Pt 和 Pp 拼接并concat，形成统一的退化感知提示 Pd。得到Pc 和 Pd。

2. 引导扩散模型的逆过程（去噪）：

   • 扩散模型从一个随机噪声开始，逐步去噪，最终生成清晰图像。在此过程中，WNE-Net 负责在每一步预测噪声。

   • 关键机制

     • Pd（退化感知提示）的注入：被集成到时间步嵌入中。这使得模型在每一步去噪时都“知道”它需要消除的是哪种退化及其属性，从而进行有针对性的修复。

     • Pc（图像描述提示）的注入：通过交叉注意力机制融入WNE-Net的解码器部分。这确保了重建的图像内容与提示描述的语义一致，从而保持内容的真实性和细节。

3. WNE-Net的高效与精准噪声估计：

   本文的 WNE-Net 引入了小波变换：

   • 增强频率感知：显式地分离高频（细节、纹理）和低频（结构、轮廓）信息，使模型能更好地恢复图像细节并感知噪声。

   • 降低计算成本：通过小波分解降低特征图分辨率，使自注意力等操作在计算上变得可行。

              

三、实验结果

1.数据集
           AWIR120K：自建数据集，包含8种天气退化，共119,146对图像。

           Rain200H、RESIDE-6K、Raindrop-A、Snow100K-L、LOL、RS100K-L、Test1、RainDS-syn

 2.评价指标

        PSNR（峰值信噪比）： 测量图像重建质量。

        SSIM（结构相似性指数）： 评估重建图像与原始图像的结构相似性。

        LPIPS（学习感知图像补丁相似性）： 评估感知相似度。

        NIQE（自然图像质量评估）： 定量评估图像的自然性，值越低表示图像感知质量越好。

 3.定量实验

        在8个任务上均取得最优或次优性能。在所有任务中均优于现有方法，平均PSNR提升约0.35 dB，NIQE显著降低。

四.定性试验

        本文方法在去雨、去雾、去雪、去雨滴等任务中均能更好地保留细节和颜色真实性。尤其在混合天气（如雨夹雪、雨雾）中表现突出。

五.消融实验

        移除LPGs导致PSNR下降3.93 dB。移除WNE-Net中的WSRB或WFSB分别导致PSNR下降1.13 dB和1.38 dB。

六、结论

        提出了一种自适应退化感知自提示模型（ADSM），通过三种潜在提示引导图像恢复过程。

        设计了小波导向噪声估计网络（WNE-Net），提升频率感知能力并加速推理。

        在多个数据集上的实验表明，该方法在任务专用和全场景设置下均优于现有方法。

        局限性：依赖提示生成质量，推理时间较长。

        未来工作：进一步提升推理速度，构建更全面的数据集，探索更多潜在特征