URetinex-Net：Retinex-Based Deep Unfolding Network for Low-Light Image Enhancement

前言

这是一篇发表在CVPR2022的一篇暗图增强的论文。

URetinex-Net借鉴了Retinex模型，该模型基于人眼对亮度感知的理论，旨在分离图像中的色彩和光照信息。该项目提出了一种深度展开网络，能够更精确地估计图像的亮度分布，从而在提升图像亮度的同时保留原有的色彩信息和细节。

Abstract—摘要

基于 Retinex 模型的方法通过精心设计的先验知识进行分层处理，在弱光图像增强任务中展现出良好效果。然而，常用的手工设计先验和基于优化的解决方案存在适应性不足和效率低下的问题。为解决这些问题，本文提出一种基于 Retinex 的深度展开网络（URetinex-Net），将优化问题展开为可学习网络，实现弱光图像到反射率层和光照层的分解。通过将分解问题构建为隐式先验正则化模型，本文精心设计了三个基于学习的模块，分别负责数据依赖的初始化、高效展开优化和用户指定的光照增强。特别地，所提出的展开优化模块引入两个网络以数据驱动方式自适应拟合隐式先验，能够在最终分解结果中实现噪声抑制和细节保留。在真实弱光图像上的大量实验从定性和定量角度验证了该方法相较于现有先进方法的有效性和优越性。

精读

• 过去方法以及不足： Retinex模型在低光图像增强中有效，但缺乏适应性和效率。
• 解决方案： 提出了URetinex-Net，这是一种基于Retinex的深度展开网络。将优化问题展开成一个可学习的网络，将低光图像分解为反射层和照明层。
• 方法设计：
  • 数据依赖初始化：一个模块负责根据数据进行初始化。
  • 高效展开优化：引入两个网络，以数据驱动方式自适应地拟合隐式先验，实现噪声抑制和细节保留。
  • 用户指定的照明增强：一个模块负责用户指定的照明增强。
• 实验结果： 在真实世界的低光图像上进行的大量实验，从定性和定量上证明了所提方法相对于最先进方法的有效性和优越性。

1. Introduction—引言

在光线不足环境下拍摄的图像通常存在对比度低、可见度差的问题，这给人类视觉观察和目标检测 [21,23,35] 等众多高层视觉任务带来挑战。为揭示弱光图像中隐藏的细节并避免后续视觉任务性能下降，研究人员在弱光图像的对比度增强、纹理恢复和噪声去除方面付出了大量努力。特别是针对弱光图像增强（LLIE）任务，已提出多种方法，包括直方图均衡化 [29]、非锐化掩模算法 [7]、基于 Retinex 的方法 [12,27]、多曝光融合 [5] 以及基于深度学习的方法 [11,34]。

由于 Retinex 理论能够很好地模拟人类视觉的色彩感知过程，基于 Retinex 理论的 LLIE 方法受到广泛关注。Retinex 理论指出，图像可分解为两个分量，即反射率和光照。数学上，观测图像 $I$ 可表示为：

$$I=R\cdot L(1)$$

其中 $R$ 表示反射率，$L$ 表示光照，$\cdot$ 表示逐元素乘法。在早期基于 Retinex 的方法 [16,17] 中，首先估计光照，然后将反射率作为最终增强结果。尽管该类方法能从输入图像中大量恢复细节，但往往会导致图像呈现不自然和过曝光的视觉效果。此后，研究人员提出了一系列具有良好可解释性的基于模型的方法来解决式 (1) 中的病态分解问题，这些方法将各种手工设计的先验作为正则化项引入模型 [12,13,22,27,30]。随后，通过伽马校正对光照进行提亮处理，以还原弱光图像。设计能够拟合数据的显式先验是保证模型性能的关键，但基于模型的方法难以在多种场景下具备足够的适应性。此外，大多数基于模型的方法采用传统迭代优化方案，单次图像调整的计算成本较高，这阻碍了它们在实时应用中的发展。

由于基于模型的方法存在这些局限性，研究人员利用深度网络 [3,11,15,25,34,42] 以数据驱动方式恢复弱光图像。在这些基于学习的方法中，基于 Retinex 的方法 [34,39,41] 利用深度网络估计反射率和光照，并对光照进行提亮处理。然而，这些方法大多在分解后对反射率执行去噪操作，导致细节丢失。此外，基于学习的方法缺乏可解释性和灵活性，这给分析所设计网络的潜在局限性带来困难。

为此，本文提出一种基于 Retinex 的深度展开网络（URetinex-Net），用于在 RGB 色彩空间中还原弱光图像。为融合基于模型和基于学习方法的优势，本文将基于 Retinex 的分解问题构建为隐式先验正则化模型，其中鲁棒的正则化项由可学习网络推断得出，而非采用手工设计的先验。具体而言，通过交替半二次分裂算法将所构建模型的能量函数拆分为四个单变量子问题，该优化问题可通过迭代最小化四个子问题求解。然后，将该优化方案展开为深度网络。对于与先验项相关的子问题，引入两个网络自适应拟合隐式先验；对于与保真项相关的其他子问题，则通过相应的闭式解求解。在展开优化过程中，分解得到的反射率和光照逐步消除退化（见图 1）。同时，所构建的模型避免了设计显式先验项。此外，考虑到初始化对优化的重要影响，本文提出一种初始化模块以促进优化过程。最后，设计光照调整模块，根据用户指定的亮度水平灵活提亮光照图。

总之，本文的贡献主要体现在三个方面：

• 基于传统基于模型的方法，提出一种用于 LLIE 的新型深度展开网络（URetinex-Net），该网络包含三个功能明确的模块，分别对应初始化、优化和光照调整，继承了基于模型方法的灵活性和可解释性。
• 所提出的 URetinex-Net 中的优化模块将优化过程展开为深度网络，利用基于学习方法强大的建模能力自适应拟合数据依赖的先验。
• 在真实数据集上进行了大量实验，验证了 URetinex-Net 的高效性和优越性，该方法能够在最终增强结果中实现噪声抑制和细节保留。

精读

• Retinex方法的局限性
  • 早期方法通过估计照明和增强反射，但容易导致不自然和过度曝光。
  • 基于模型的方法虽然具有良好可解释性，但缺乏适应性，迭代优化方案成本高，不适合实时应用。
• 本文提出解决方案
  • 提出了基于Retinex的深度展开网络——URetinex-Net。
    -方法设计
  • 将Retinex分解问题公式化为隐式先验正则化模型，用可学习网络代替手工设计的先验。
  • 使用交替半二次分裂算法将能量函数分解为四个子问题，通过迭代最小化解决优化问题。
  • 优化方案展开为深度网络，两个网络自适应拟合隐式先验，其他子问题通过闭式解法解决。
    -URetinex-Net的优势
  • 分解的反射和照明逐步消除退化，避免显式先验设计。
  • 提出初始化模块优化起始条件。
  • 设计照明调整模块，根据用户指定光照水平灵活增强照明。
    

图1.分解导致每个展开阶段，分解的组件逐步消除降解。为了获得更好的视觉效果，对分解后的照明层进行了伽马校正。

2. Related Work—相关工作

2.1 基于Retinex的LLIE方法

基于模型的方法：经典 Retinex 理论对人类视觉系统（HVS）进行建模，该理论认为观测到的颜色取决于物体本身的固有分量和照射在物体上的外部非均匀光源。因此，图像可如式 (1) 所示分解为反射率和光照。

研究人员在变分框架下提出了多种 Retinex 分解模型 [9,18,27]。通过调整估计的光照，实现弱光目标图像的恢复。此后，一些基于模型的方法在最大后验概率（MAP）框架下构建能量函数 [12,13,22,30]。Guo 等人 [12] 提出一种结构感知正则化模型，基于初始光照图优化光照图。为建模噪声引起的退化，Li 等人 [22] 在目标函数中进一步引入噪声项，以在增强细节的同时去除噪声。Hao 等人 [13] 采用高斯总变差作为正则化项构建分解模型。总体而言，传统基于模型的方法大多依赖精心设计的手工先验或特定的统计模型。然而，这些先验在应用于多种场景时受到模型容量的限制。

基于深度学习的方法：在过去十年中，基于深度学习的方法为 LLIE 问题提供了有前景的解决方案 [20]。受 Retinex 理论启发，Wei 等人 [34] 提出一种端到端可训练网络 Retinex-Net，该网络包含分解模块和光照调整模块。为在 Retinex-Net 中实现去噪操作，将 BM3D [6] 用作反射率的后处理层，这意味着 Retinex-Net 无法处理极弱光图像中的强噪声。借鉴 [34] 的思路，KinD [41] 采用可训练去噪模块进行反射率恢复。此外，在光照调整模块中设计了一种可学习映射函数，通过该函数可在用户指定的亮度水平下灵活恢复图像。最近，受 Retinex 理论与最大熵结合的启发，Zhang 等人 [39] 提出一种自监督框架，利用直方图均衡化算子对反射率施加约束。

尽管这些方法在 LLIE 任务中表现出显著性能，但它们缺乏可解释性，这将阻碍其在 LLIE 领域的进一步发展。此外，基于反射率描述物体固有分量且在不同光照环境下应保持一致的理论，大多数基于 Retinex 的深度学习方法在分解后恢复反射率，这会导致细节丢失 [22]。

精读

• 基于模型的方法(高度可解释且灵活)
  • 经典Retinex理论：模拟人类视觉系统，将图像分解为反射和照明两个部分。
  • Retinex分解模型：在变分框架下提出，通过调整估计的照明恢复低光图像。
  • 核心定义：显式先验设计是在优化模型中，通过人工经验和领域知识，直接设定可量化的正则化项（数学表达式），来约束目标变量（如反射率 R、光照 L）的特性。
  • 不足：传统的基于模型的方法依赖手工设计的先验或统计模型，在不同场景中应用时受限于模型能力。
• 基于深度学习的方法(数据驱动，能学习复杂映射，推理速度快，计算效率高。)
  • Retinex-Net：
    • Wei等人提出了包含分解模块和照明调整模块的端到端可训练网络Retinex-Net。
    • 使用BM3D作为反射的后处理层，但不能处理极低光图像中的严重噪声。
  • KinD：采用可训练的去噪模块恢复反射，并在照明调整模块中设计了可学习的映射函数。
  • 自监督框架：Zhang等人结合Retinex理论和最大熵，提出了使用直方图均衡操作约束反射的自监督框架。
  • 方法局限性：
    1.这些方法虽然性能优异，但缺乏可解释性，限制了其在LLIE中的发展。
    2.深度学习方法缺乏可解释性，本质是因为它靠数据驱动的隐式学习替代了人工定义的显式规则。
    3.大多数基于Retinex的深度学习方法在分解后恢复反射，导致细节丢失。

2.2. 深度展开法

基于模型的 LLIE 方法具有高度的可解释性和灵活性，而基于学习的 LLIE 方法在以数据驱动方式学习复杂映射方面具有优势。此外，深度神经网络在推理过程中速度较快，计算效率极高。深度展开算法融合了基于模型和基于学习方法的优势，在过去十年中受到广泛关注。

Gregor 和 Lecun [10] 首次设计了一种时间展开算法，用于求解稀疏编码优化中的迭代收缩阈值算法，使得所提出的算法能够在较少迭代次数内取得具有竞争力的性能。受该优化方案的启发，深度展开算法在超分辨率 [33,36]、图像去噪 [4,38]、杂波抑制 [31] 和去雨 [8] 等众多重要图像处理问题中产生了重大影响。

最近，Liu 等人 [24] 提出一种无监督展开框架，用于光照估计和噪声去除，但该方法忽略了反射率和光照之间的相互关联。本文方法与之存在两个主要区别：（1）本文旨在在统一框架中同时估计输入图像的反射率和光照；（2）本文网络可通过用户指定的比例灵活增强光照。

精读

• 展开算法：

  • 核心思路：结合前两种方法的优势，把传统优化的 “显式步骤” 展开成网络结构，同时用数据学习 “约束的参数”（隐式先验），既保留可解释性，又有适应性。
    （深度展开算法直接把 “1 次迭代的步骤 A+B+C” 做成 1 个 “网络模块”，迭代 N 次就堆叠 N 个模块，形成深度网络。）

  • Gregor和Lecun首次设计时间展开算法，提升稀疏编码优化性能。

  • 保留可解释性，不做 “黑箱”传统深度学习靠数据学映射，没人能说清 “某层在干嘛”；但深度展开的每一层都对应传统优化的一步操作（比如 “计算梯度”“调整阈值”“更新参数”）

  • 数据驱动优化，更灵活传统迭代的参数（比如步长、正则化系数）是人工设定的，换个问题可能就失效；而深度展开把这些参数变成 “可学习的网络参数”，通过数据训练自动调整

  • 工作流程：
    1.先把传统 Retinex 分解的优化步骤（如交替更新 R、L）拆分成 “网络模块”；
    2.传统方法中人工设定的约束参数（如正则项权重），变成网络的可学习参数；
    3.通过数据训练优化这些参数，让约束更适配数据规律，同时每一层模块都对应明确的优化步骤。

    详情：URetinex-Net（论文提出的方法）：把分解的优化问题拆成 “初始化→迭代更新 P/Q/L/R→光照调整” 三个模块，其中 L 和 R 的约束由网络G(L)、G(R )学习（隐式先验），P 和 Q 的更新用传统闭式解（显式步骤），既知道 “每一步在做什么”，又能自适应数据。

  • 深度展开算法在超分辨率、图像去噪、杂波抑制、雨滴去除等领域有重要影响。

• 本文的方法不同之处在于：同时估计反射和照明，且可以根据用户定义的比例灵活增强照明。

3. The Proposed Unfolding Network—提出的展开网络

3.1 问题描述

Retinex 模型核心问题是 “病态性”（一个输入对应无数组可能的 R 和 L），不同分解方法的核心差异的是 “如何约束 R 和 L 的合理性”。
经典基于 Retinex 的模型假设图像可通过式 (1) 分解为反射率和光照，并且在 MAP 框架下开发了各种手工设计的先验来解决这一病态分解问题。因此，可通过最小化以下正则化能量函数获得反射率和光照：

$$\underset{R,L}{\min }\Vert I-R\cdot L{\Vert }_F^2+\alpha \Phi (R)+\beta \Psi (L)$$

其中 $\Vert \cdot {\Vert }_F$ 表示弗罗贝尼乌斯范数，$\Vert I-R\cdot L{\Vert }_F^2$ 是由式 (1) 推导得出的保真项，$\Phi (R)$ 和 $\Psi (L)$ 分别是施加于 $R$ 和 $L$ 的正则化项，$\alpha$ 和 $\beta$ 是权衡参数。

通常，为便于优化，将保真项和正则化项分开处理，因此引入两个辅助变量 $P$ 和 $Q$ 分别逼近 $R$ 和 $L$。相应地，得到以下最小化问题：

$$\begin{array}{ll}{\min }_{P,Q,R,L}& \Vert I-P\cdot Q{\Vert }_F^2+\alpha \Phi (R)+\beta \Psi (L)\\ \text{s.t.}& P=R,Q=L.\end{array}$$

为处理等式约束，引入两个二次惩罚项，问题重写为：

$$\begin{array}{rl}\underset{P,Q,R,L}{\min }& \Vert I-P\cdot Q{\Vert }_F^2+\alpha \Phi (R)+\beta \Psi (L)\\ & +\gamma \Vert P-R{\Vert }_F^2+\lambda \Vert Q-L{\Vert }_F^2,\end{array}$$

其中 $\gamma$ 和 $\lambda$ 是惩罚参数。

为求解式 (4) 中的问题，在固定其他变量的情况下交替更新一个变量。因此，将该问题划分为四个单变量子问题，可通过以下交替方案优化：

$$\begin{array}{rl}{P}_k& =\underset{P}{\mathrm{argmin}}\Vert I-P\cdot Q_{k-1}{\Vert }_F^2+\gamma \Vert P-R_{k-1}{\Vert }_F^2,\\ R_k& =\underset{R}{\mathrm{argmin}}\alpha \Phi (R)+\gamma \Vert P_k-R{\Vert }_F^2,\\ Q_k& =\underset{Q}{\mathrm{argmin}}\Vert I-P_k\cdot Q{\Vert }_F^2+\lambda \Vert Q-L_{k-1}{\Vert }_F^2,\\ L_k& =\underset{L}{\mathrm{argmin}}\beta \Psi (L)+\lambda \Vert Q_k-L{\Vert }_F^2,\end{array}$$

其中 $k$ 表示迭代索引。

精读

• 前面公式（1）表示了经典的Retinex模型假设图像可以通过方程分解为反射率和照度。

• 因此，可以通过最小化以下正则化函数来获得反射率和照度：

  $$\underset{R,L}{\min }\Vert I-R\cdot L{\Vert }_F^2+\alpha \Phi (R)+\beta \Psi (L)$$

• 为了便于优化，将保真项和正则化项分开处理，因此引入了两个辅助变量 $P$ 和 $Q$，分别逼近 $R$ 和 $L$。因此，这导致了以下最小化问题：

  $$\begin{array}{ll}{\min }_{P,Q,R,L}& \Vert I-P\cdot Q{\Vert }_F^2+\alpha \Phi (R)+\beta \Psi (L)\\ \text{s.t.}& P=R,Q=L.\end{array}$$

• 为了处理等式约束，引入两个二次惩罚项，并将问题重写：

  $$\begin{array}{rl}\underset{P,Q,R,L}{\min }& \Vert I-P\cdot Q{\Vert }_F^2+\alpha \Phi (R)+\beta \Psi (L)\\ & +\gamma \Vert P-R{\Vert }_F^2+\lambda \Vert Q-L{\Vert }_F^2,\end{array}$$

• 为了解决方程中的问题 (4)，通过交替更新一个变量的值与其他变量的值。将问题分解为四个单变量子问题，使用以下交替方案优化。

  $$\begin{array}{rl}{P}_k& =\underset{P}{\mathrm{argmin}}\Vert I-P\cdot Q_{k-1}{\Vert }_F^2+\gamma \Vert P-R_{k-1}{\Vert }_F^2,\\ R_k& =\underset{R}{\mathrm{argmin}}\alpha \Phi (R)+\gamma \Vert P_k-R{\Vert }_F^2,\\ Q_k& =\underset{Q}{\mathrm{argmin}}\Vert I-P_k\cdot Q{\Vert }_F^2+\lambda \Vert Q-L_{k-1}{\Vert }_F^2,\\ L_k& =\underset{L}{\mathrm{argmin}}\beta \Psi (L)+\lambda \Vert Q_k-L{\Vert }_F^2,\end{array}$$

3.2 URetinex-Net框架

由于难以设计特定的正则化项 $\Phi (R)$ 和 $\Psi (L)$，本文利用深度网络自适应拟合 $R$ 和 $L$ 的物理先验。因此，基于上述优化方案，将更新步骤映射到深度展开网络架构中，提出一种用于 LLIE 的新型框架。如图 2 所示，所提出的 URetinex-Net 包含三个模块，即初始化模块、展开优化模块和光照调整模块。

3.2.1 初始化模块

初始化在优化过程中起着重要作用。在交替方向乘子法（ADMM）[1] 等传统优化方案中，广泛使用随机初始化或全零初始化。考虑到可靠的初始化有助于提升性能，本文希望获得具有更丰富信息的初始光照和反射率，而非随机值或全零值。

直观上，为保留 $I$ 的整体结构，初始光照 $L_0$ 可通过寻找三个颜色通道的最大值初始化 [12]，初始反射率 $R_0$ 可相应地通过 $R_0=\frac{I}{L_0}$ 推导得出，其中 $\frac{\cdot }{\cdot }$ 表示逐元素除法。然而，这种刚性初始化方式会导致颜色失真。如图 3 (b) 所示，三个通道（如 {R,G,B}\{R, G, B\}{R,G,B}）的强度统计特性发生了变化。

因此，为揭示粗略细节但避免产生失真，本文提出一种名为 $\mathcal{D}$ 的数据依赖初始化模块，该模块采用全卷积（Conv）网络自适应地同时学习 $R_0$ 和 $L_0$。初始化模块由三个 Conv+LeakyReLU 层组成，随后是一个卷积层和一个 ReLU 层。所有卷积层的核大小均设置为 3×3。为初始化弱光图像的两个分量，设计损失函数如下：

min⁡R0,L0∥I−R0⋅L0∥1+μ∥L0−max⁡c∈{R,G,B}I(c)∥F2,\min_{R_0, L_0} \|I - R_0 \cdot L_0\|_1 + \mu\left\|L_0 - \max_{c \in \{R, G, B\}} I^{(c)}\right\|_F^2,R0​,L0​min​∥I−R0​⋅L0​∥1​+μ ​L0​−c∈{R,G,B}max​I(c) ​F2​,

其中 $\Vert \cdot {\Vert }_1$ 表示 $l_1$ 范数，$\mu$ 是超参数，c∈{R,G,B}c \in \{R, G, B\}c∈{R,G,B} 表示 RGB 通道。第一项是重建损失，第二项旨在促使初始光照保留 $I$ 的整体结构。

此外，由于缺乏真实反射率，利用正常光图像生成清晰的反射率，该反射率应与弱光图像的反射率相近。因此，在后续的展开优化模块中，将正常光图像的反射率用作参考。基于初始化模块的网络架构，进一步对正常光图像的光照施加结构感知平滑约束 [34]，分解正常光图像的损失函数如下：

min⁡R^,L^∥I^−R^⋅L^∥1+μ^(∥L^−max⁡c∈{R,G,B}I^(c)∥F2+∥e−ϵ∇I^⋅∇L^∥1)\min_{\hat{R}, \hat{L}} \|\hat{I} - \hat{R} \cdot \hat{L}\|_1 + \hat{\mu}\left(\left\|\hat{L} - \max_{c \in \{R, G, B\}} \hat{I}^{(c)}\right\|_F^2 + \left\|e^{-\epsilon \nabla \hat{I}} \cdot \nabla \hat{L}\right\|_1\right)R^,L^min​∥I^−R^⋅L^∥1​+μ^​( ​L^−c∈{R,G,B}max​I^(c) ​F2​+ ​e−ϵ∇I^⋅∇L^ ​1​)

其中 $\hat{I}$、$\hat{R}$ 和 $\hat{L}$ 分别表示正常光图像、$\hat{I}$ 的反射率和 $\hat{I}$ 的光照，$ϵ$ 和 $\hat{\mu }$ 是超参数，$\nabla (\cdot )$ 表示梯度运算。在第三项中，光照图的总变差通过图像的梯度加权，使得光照能够以结构感知的方式进行空间平滑。

精读

• 初始化的重要性

  • 随机或全零初始化常用，但可靠的初始化更有利于性能。

• 传统初始化方法

  • 使用三个颜色通道的最大值初始化 $L_0$，得到 $R_0=I/L_0$。
  • 这种方法易导致颜色失真。

• 数据依赖的初始化模块
  
  图2.我们建议的URetinex-Net的图示。(A)URetinex-Net的总体框架；(B)URetinex-Net中每个阶段的详细信息；( C )每个阶段应用的GR的具体网络结构。特别是，用于LLie问题的URetinex-Net包括三个可学习模块。通过将目标微光图像传递给初始化模块，生成初始反射率和照度。之后，展开优化模块对反射率和照明层进行迭代优化。最后，照度调整模块根据用户定义的比率输出增强的普通光版本。

  • 提出一个使用全卷积网络的初始化模块 $\mathcal{D}$，自适应学习 $R_0$ 和 $L_0$。
  • 初始化模块由三个 Conv+LeakyReLU 层组成，后面是卷积层和 ReLU 层。
  • 整个卷积层的内核大小设置为 $3\times 3$。

• 损失函数设计：

  • 第一项是重建损失，第二项是结构保留损失，鼓励初始化照明保留图像整体结构。

• 正常光图像参考：

  • 使用正常光图像生成清晰反射作为参考。
  • 对正常光图像的照明施加结构感知平滑约束。

3.2.2 展开优化模块

展开优化模块旨在通过 T 次迭代求解四个单变量子问题，以更新相应变量。通过将更新步骤映射到深度神经网络架构中，推理过程被展开为 T 个阶段，每个阶段对应一次迭代，其中 $P$、$Q$、$L$ 和 $R$ 以交替方式更新。下面依次介绍所提出模块中的更新规则。

P 和 Q 的更新规则：显然，式 (5) 中的 $P$ 子问题是经典的最小二乘问题，通过对式 (5) 关于 $P$ 求导并令导数为 0，可得到其闭式解。因此，给定初始反射率和 $P$ 子问题的闭式解，关于 $P$ 的更新公式如下：

$$\begin{array}{rl}{P}_k& ={\mathcal{F}}_{\mathcal{P}}\left(I,R_{k-1},Q_{k-1},\gamma \right)\\ & =\{\begin{array}{ll}{R}_0& k=1,\\ \frac{\gamma R_{k-1}+I\cdot Q_{k-1}}{Q_{k-1}\cdot Q_{k-1}+\gamma 1},& \text{其他情况},\end{array}\end{array}$$

其中 $1$ 表示全 1 矩阵。

类似地，可通过求解式 (7) 中的 $Q$ 子问题更新 $Q$。由于在 RGB 空间中恢复弱光图像，三个通道的反射率层共享相同的光照层，因此假设光照为灰度图。因此，式 (7) 重写为：

Qk=arg⁡min⁡Q∑c∈{R,G,B}∥I(c)−Pk(c)⋅Q∥F2+λ∥Q−Lk−1∥F2,Q_k = \underset{Q}{\arg\min} \sum_{c \in \{R, G, B\}} \left\|I^{(c)} - P_k^{(c)} \cdot Q\right\|_F^2 + \lambda\left\|Q - L_{k-1}\right\|_F^2,Qk​=Qargmin​c∈{R,G,B}∑​ ​I(c)−Pk(c)​⋅Q ​F2​+λ∥Q−Lk−1​∥F2​,

其闭式解易于求解。考虑到初始光照，$Q$ 的更新公式如下：

Qk=FQ(I,Lk−1,Pk,λ)={L0k=1,λLk−1+∑c∈{R,G,B}I(c)⋅Pk(c)∑c∈{R,G,B}Pk(c)⋅Pk(c)+λ1,其他情况.\begin{aligned} Q_k & = \mathcal{F}_{\mathcal{Q}}\left(I, L_{k-1}, P_k, \lambda\right) \\ & = \begin{cases} L_0 & k=1, \\ \frac{\lambda L_{k-1} + \sum_{c \in \{R, G, B\}} I^{(c)} \cdot P_k^{(c)}}{\sum_{c \in \{R, G, B\}} P_k^{(c)} \cdot P_k^{(c)} + \lambda \mathbb{1}}, & \text{其他情况}. \end{cases} \end{aligned}Qk​​=FQ​(I,Lk−1​,Pk​,λ)=⎩ ⎨ ⎧​L0​∑c∈{R,G,B}​Pk(c)​⋅Pk(c)​+λ1λLk−1​+∑c∈{R,G,B}​I(c)⋅Pk(c)​​,​k=1,其他情况.​​

L 和 R 的更新规则：对于式 (8) 和式 (6) 中的 $L$ 子问题和 $R$ 子问题，本文未引入手工设计的先验来手动设计特定的损失函数，而是采用基于学习的方法从真实数据中探索隐式先验。换句话说，引入两个分别表示为 ${\mathcal{G}}_L$ 和 ${\mathcal{G}}_R$ 的网络，分别用于 $L$ 和 $R$ 的更新。

具体而言，用于拟合 $L$ 的物理先验的网络表示为：

$$L_k={\mathcal{G}}_{\mathcal{L}}\left(Q_k;{\theta }_L\right),(14)$$

其中 $Q_k$ 用作 ${\mathcal{G}}_L$ 的输入，${\theta }_L$ 表示可学习参数。本文采用一个简单的全卷积网络，该网络包含五个 Conv 层，随后是 ReLU 激活函数，用于学习 $L$ 的隐式先验，从而能够从训练数据中学习先验，同时避免设计复杂的正则化项。

然后，以类似方式将退化的 $P_k$ 通过可学习去噪网络 ${\mathcal{G}}_R$，可得到更清晰的反射率。然而，反射率中出现的失真程度与光照层的亮度高度相关，较暗区域伴随更严重的退化。因此，将 $Q_k$ 与 $P_k$ 融合作为 ${\mathcal{G}}_R$ 的输入，以指导反射率恢复。因此，用于执行 $R$ 更新的网络表示为：

$$R_k={\mathcal{G}}_{\mathcal{R}}\left(P_k,Q_k;{\theta }_R\right),(15)$$

其中 ${\theta }_R$ 表示 ${\mathcal{G}}_R$ 中的可学习参数。为融合 $P_k$ 和 $Q_k$ 以更新 $R_k$，采用挤压激励（SE）[14] 块。${\mathcal{G}}_R$ 的细节如图 2 © 所示。

展开优化模块以端到端方式训练，其中 ${\mathcal{G}}_R$ 和 ${\mathcal{G}}_L$ 的参数和网络架构在不同阶段共享。由初始化模块生成的正常光反射率 $\hat{R}$ 用作展开网络优化过程中的参考。关于损失函数，采用反射率和光照的损失函数之和，包括每个阶段 $P_k$ 和 $R_k$ 之间的均方误差（MSE）损失、$\hat{R}$ 和最终恢复的反射率 $R_T$ 之间的 MSE 损失、结构相似性损失和感知损失、每个阶段 $Q_k$ 和 $L_k$ 之间的 MSE 损失以及每个阶段 $L_k$ 的总变差损失。展开优化模块的损失函数如下：

$$\begin{array}{rl}\underset{R_T,L_T}{\min }& \sum _{k=1}^T\left({\gamma }_k{\Vert P_k-R_k\Vert }_F^2+{\lambda }_k{\Vert Q_k-L_k\Vert }_F^2\right)\\ & +\beta {\Vert \nabla L_T\Vert }_1+\alpha \left({\Vert \varphi (\hat{R})-\varphi (R_T)\Vert }_1+{\Vert \hat{R}-R_T\Vert }_F^2+\left(1-SSIM(\hat{R},R_T)\right)\right),\end{array}$$

其中 $T$ 表示阶段总数，$\varphi (\cdot )$ 表示通过 VGG19 网络在 ImageNet 上预训练的高层特征提取器，$SSIM(\cdot )$ 表示结构相似性损失，${\gamma }_k$、${\lambda }_k$、$\alpha$ 和 $\beta$ 分别是权衡参数。

显然，即使在深度神经网络架构中，所提出的展开优化模块也具有良好的可解释性，其中 ${\mathcal{F}}_P$、${\mathcal{F}}_Q$、${\mathcal{G}}_L$ 和 ${\mathcal{G}}_R$ 均具有明确的含义。此外，该模块避免了显式正则化设计，并以深度学习方式自适应恢复光照和反射率。

精读

• 更新P和Q的规则

  • 模块目标：展开优化模块通过迭代解决四个单变量子问题，在T次迭代中更新变量。

  • 迭代映射：更新步骤映射到深度神经网络架构，推理被展开为T个阶段，每个阶段更新 $P$、$Q$、$L$ 和 $R$。

  • P的更新规则：P子问题是经典最小二乘问题，通过求导得到闭式解，更新公式基于初始反射。

    $$\begin{array}{rl}{P}_k& ={\mathcal{F}}_{\mathcal{P}}\left(I,R_{k-1},Q_{k-1},\gamma \right)\\ & =\{\begin{array}{ll}{R}_0& k=1,\\ \frac{\gamma R_{k-1}+I\cdot Q_{k-1}}{Q_{k-1}\cdot Q_{k-1}+\gamma 1},& \text{其他情况},\end{array}\end{array}$$

  • Q的更新规则：Q的更新可以通过求解方程中的Q子问题来完成，由于RGB通道共享同一灰度照明层，更新公式基于初始照明。

    Qk=FQ(I,Lk−1,Pk,λ)={L0k=1,λLk−1+∑c∈{R,G,B}I(c)⋅Pk(c)∑c∈{R,G,B}Pk(c)⋅Pk(c)+λ1,其他情况.\begin{aligned} Q_k & = \mathcal{F}_{\mathcal{Q}}\left(I, L_{k-1}, P_k, \lambda\right) \\ & = \begin{cases} L_0 & k=1, \\ \frac{\lambda L_{k-1} + \sum_{c \in \{R, G, B\}} I^{(c)} \cdot P_k^{(c)}}{\sum_{c \in \{R, G, B\}} P_k^{(c)} \cdot P_k^{(c)} + \lambda \mathbb{1}}, & \text{其他情况}. \end{cases} \end{aligned}Qk​​=FQ​(I,Lk−1​,Pk​,λ)=⎩ ⎨ ⎧​L0​∑c∈{R,G,B}​Pk(c)​⋅Pk(c)​+λ1λLk−1​+∑c∈{R,G,B}​I(c)⋅Pk(c)​​,​k=1,其他情况.​​

• 更新L和R的规则

  • 对于L和R子问题，不再手工设计先验，而是采用基于学习的方法探索隐式先验。引入两个网络 ${\mathcal{G}}_L$ 和 ${\mathcal{G}}_R$ 分别更新 $L$ 和 $R$。

    $$L_k={\mathcal{G}}_{\mathcal{L}}\left(Q_k;{\theta }_L\right),R_k={\mathcal{G}}_{\mathcal{R}}\left(P_k,Q_k;{\theta }_R\right)$$

  • 更新R的网络：用 ${\mathcal{G}}_R$ 表示，输入为 $P_k$ 和 $Q_k$，${\theta }_R$ 为可学习参数。使用压缩和激励（SE）块融合 $P_k$ 和 $Q_k$ 以更新 $R_k$。

• 展开优化模块的损失函数如下：包含每个阶段的MSE损失、结构相似性损失和感知损失。总损失函数为多个损失项的加权和。

  $$\begin{array}{rl}\underset{R_T,L_T}{\min }& \sum _{k=1}^T\left({\gamma }_k{\Vert P_k-R_k\Vert }_F^2+{\lambda }_k{\Vert Q_k-L_k\Vert }_F^2\right)\\ & +\beta {\Vert \nabla L_T\Vert }_1+\alpha \left({\Vert \varphi (\hat{R})-\varphi (R_T)\Vert }_1+{\Vert \hat{R}-R_T\Vert }_F^2+\left(1-SSIM(\hat{R},R_T)\right)\right),\end{array}$$

3.2.3照度调整模块

在实际应用中，图像增强不存在真实的亮度水平基准，灵活调整光照对于满足不同实际需求至关重要。对于 LLIE 任务，伽马校正被广泛用于提亮光照图 [9,22,30]，即 $\tilde{L}=L^{\frac{1}{\gamma }}$，其中 $\tilde{L}$ 表示调整后的光照图，可变因子 $\gamma$ 经验性地设置为 1/2.2。然而，如 [41] 所指出的，与伽马校正相比，以学习方式进行光照调整更符合实际情况。为此，本文提出一种光照调整模块，该模块将弱光光照 $L$ 和用户指定的增强比例 $\omega$ 作为输入，表示为：

$$\tilde{L}=\mathcal{A}\left(L,\omega ;{\theta }_A\right),(17)$$

其中 ${\theta }_A$ 表示 $\mathcal{A}$ 的可学习参数。注意，$\omega >1$ 表示提亮情况。

由于光照图的分布是非均匀的，将 $\omega$ 扩展为与 $L$ 大小相同的图。因此，通过将 $\omega$ 和 $L$ 的拼接结果输入 $\mathcal{A}$，可得到调整后的光照 $\tilde{L}$。考虑到计算效率，采用与初始化模块相同的轻量级网络架构。为保持一致性并平滑调整光照，该模块中的卷积核大小扩大至 5×5。

光照调整模块的损失函数如下：

$$\underset{\tilde{L}}{\min }{\Vert \nabla \tilde{L}-\nabla L\Vert }_1+\Vert R\cdot \tilde{L}-\hat{I}{\Vert }_F^2+(1-SSIM(R\cdot \tilde{L},\hat{I})),$$

其中 ${\Vert \nabla \tilde{L}-\nabla L\Vert }_1$ 旨在促使优化后的光照图 $\tilde{L}$ 与 $L$ 保持一致性，另外两项均为重建损失，以保证学习 $\tilde{L}$ 的保真约束。在训练过程中，$\omega$ 的值由 $\frac{mean(\hat{L})}{mean(L)}$ 定义。而在推理过程中，增强比例 $\omega$ 由用户指定。

尽管 KinD [41] 也开发了灵活的光照调整网络，但它依赖于正常光图像的分解光照图，这可能会破坏输入 $L$ 的局部结构。相反，所提出的模块旨在与弱光光照保持结构一致性。此外，损失函数中的后两项融合了反射率分量，旨在约束优化后的光照能够自然地重建正常光图像。

精读

• 照明调整的必要性：没有图像增强的真实光照水平，需要灵活调整以适应不同需求。

• 现有方法：伽马校正：通过公式 $\tilde{L}=L^{\frac{1}{\gamma }}$ 来调整照明。

• 学习方式的照明调整：

  • 本文提出一个照明调整模块，以低光照照明 $L$ 和用户指定的增强比率 $\omega$ 作为输入，表示为 $\tilde{L}=\mathcal{A}\left(L,\omega ;{\theta }_A\right)$。
  • 使用轻量级卷积网络，卷积核大小为 $5\times 5$。

• 损失函数：

  • 包含梯度一致性损失、重构损失和结构相似性损失，以确保调整后的照明图保持与原图的一致性并能重建正常光照图像。

    $$\underset{\tilde{L}}{\min }{\Vert \nabla \tilde{L}-\nabla L\Vert }_1+\Vert R\cdot \tilde{L}-\hat{I}{\Vert }_F^2+(1-SSIM(R\cdot \tilde{L},\hat{I}))$$

• 优点：不依赖正常光照图像的分解照明图，保持低光照照明的一致性。能够灵活调整照明并保持结构一致性。

4. Experiments—实验

4.1. Implementation Details and Data sets—实验细节和数据集

为评估所提出方法的性能，在 LOL 数据集 [34] 上训练和测试模型，该数据集包含 500 对弱光 / 正常光图像对，这些图像是在真实世界中以不同曝光时间拍摄的。采用 [41] 中的训练数据设置。为进行更具说服力的比较，将模型扩展到 SICE 数据集 [2]，该数据集包含 589 个具有多级别曝光的自然场景，从中随机选择 108 对低曝光 / 正常曝光图像对。此外，采用 MEF 数据集 [19] 进行视觉比较，以验证所提出方法的效率。

URetinex-Net 按模块分别训练，批量大小设置为 4。考虑到效率，采用小补丁大小（48×48）训练展开模块。通过消融实验发现，$T=3$ 已能取得良好结果，因此在后续实验中经验性地将 $T$ 设置为 3。每个模块采用 Adam 优化器训练，学习率为 0.0001，在 30K 次迭代后衰减 10 倍。经验性地将 $\mu$、$\hat{\mu }$、$\alpha$、$\beta$ 和 $ϵ$ 分别设置为 0.1、0.1、1、20 和 10。根据 [36]，惩罚参数 $\lambda$ 和 $\gamma$ 需要迭代增加以实现稳定收敛。在此，初始将 $\lambda$ 和 $\gamma$ 分别设置为 0.5 和 0.1，在每个阶段均增加 0.05。所有实验均在 PyTorch [28] 框架下的 NVIDIA Tesla V100 GPU 上进行。

精读

• 数据集：
  • LOL数据集
  • SICE数据集
  • MEF数据集
• 实验设置：
  • batch size：4
  • patch size：48×48
  • 优化器：ADAM
  • 学习率：0.0001，在30K迭代后衰减10%
  • 超参数设置：$\mu$、$\hat{\mu }$、$\alpha$、$\beta$ 和 $ϵ$ 分别设置为0.1、0.1、1、20和10

4.2. Comparison with the state-of-the-art—与SOTA对比

将所提出方法与五种传统基于 Retinex 的方法进行定性和定量比较，包括 NPE [32]、SRIE [9]、LIME [12]、RRM [22] 和 LR3M [30]。此外，为验证模型从数据中学习隐式先验的效率，与现有先进（SOTA）基于学习的方法进行比较，包括 Retinex-Net [34]、KinD [41]、Zero-DCE [11]、RUAS [24]、AGLLNet [26] 和 KinD++[40]。Retinex-Net、KinD、KinD++ 和 RUAS 已在 LOL 数据集上训练，因此利用它们提供的模型进行评估。否则，对于 Zero-DCE，利用 LOL 训练数据集中的裁剪图像重新组织训练数据，并按照其默认设置通过扩展数据集对其进行微调。为衡量颜色、结构和高层特征相似性的差异，采用 MAE、PSNR、SSIM 和 LPIPS [37] 作为评估指标。PSNR 和 SSIM 值越高，图像质量越好；相反，MAE 和 LPIPS 值越低，图像质量越好。

LOL 数据集上的定量结果如表 1 所示。显然，所提出方法在大多数指标上优于其他方法，但在 MAE 上略逊于 KinD 和 KinD++。在 PSNR、SSIM 和 LPIPS 方面，所提出方法的性能远优于所有其他方法，这表明所提出方法的有效性。视觉比较结果见补充材料。

为验证所提出的 URetinex-Net 的泛化性能，在未进行再训练或微调的情况下在 SICE 数据集上进一步评估。结果如表 1 和图 4 所示。与其他方法相比，URetinex-Net 对未见过的场景具有更好的泛化能力。从图 4 可以观察到，一些模型（如 NPE、SRIE、LIME、Retinex-Net 和 Zero-DCE）在增强后引入甚至放大了噪声，因此在提亮暗区域时遭受严重的噪声失真和颜色退化。RRM 在其目标函数中引入了噪声项和精心设计的正则化项，但未能保留小细节。KinD++ 能够去除噪声，但由于过锐化导致图像呈现不自然的视觉效果（见图 4 (e) 中花朵后面的墙壁）。RUAS 由于在其框架中忽略了反射率，导致过曝光（见图 4 (f) 中的叶子）。AGLLNet 是一种基于多分支 CNN 的架构，未采用基于 Retinex 的设置，而显然所提出的模型在所有指标上均优于它，这表明所提出的基于 Retinex 的展开策略的有效性。

此外，在 MEF 数据集上进行了广泛的视觉比较。在图 5 中报告了性能和速度方面排名前五的方法。尽管传统基于模型的方法在某种程度上能够恢复弱光图像，但它们在迭代优化过程中耗时较长。相比之下，所提出方法在推理过程中节省了更多时间。此外，作为一种基于学习的 LLIE 方法，Zero-DCE 具有较快的处理速度，但在噪声抑制方面的能力有限，难以达到令人满意的效果。KinD++ 和 RUAS 以后处理方式去除噪声，这可能会带来细节丢失、模糊甚至更差的图像质量等其他问题。与所有这些方法相比，所提出的模型能够在充分还原弱光图像的同时，实现噪声抑制和细节保留。这表明，与精心设计的手工先验相比，所提出的展开模块能够施加更鲁棒的隐式先验。特别是，所提出的模型在细节恢复方面表现出独特优势，这体现了所提出的展开优化的优越性。更多比较结果和分析见补充材料。

精读

• 本文和五种传统的基于Retinex的方法（NPE、SRIE、LIME、RRM和LR3M）进行对比。
  
  结论：显然，我们的方法在大多数指标上都取得了比其他方法更好的结果，表明了该方法的有效性。
• 本文还与基于SOTA的学习方法RetinexNet、Kind、Zero-DCE、RUAS、AGLLNet和Kind++进行了比较。

结论：与其他方法相比，URetinex-net对未知场景具有更好的泛化能力。

• 本文还在MEF数据集上进行了广泛的可视化比较。
  
  结论：我们的方法在迭代优化过程节省了更多的推理时间。

4.3. Ablation Study—消融实验

消融实验结果如表 2 所示。首先，通过与刚性初始化方式（如 L0=max⁡c∈{R,G,B}I^(c)L_0 = \max_{c \in \{R, G, B\}} \hat{I}^{(c)}L0​=maxc∈{R,G,B}​I^(c)）比较，分析所提出的初始化模块的有效性。然后，为研究融合光照层以指导反射率的正则化项学习的有效性，从网络 ${\mathcal{G}}_R$ 的输入中移除 $Q_k$，而其余设置与 URetinex-Net 相同。为说明所提出的展开优化模块的有效性，进一步简单地将 ${\mathcal{G}}_R$ 和 ${\mathcal{G}}_L$ 的网络堆叠 T 次，并舍弃展开优化，保持与 URetinex-Net 相同的网络容量。最后，研究不同阶段数 $T$ 下 URetinex-Net 的性能。表 2 中的第五行显示了作为基准的默认设置。第一行表明，移除所提出的初始化模块会导致性能显著下降。这是因为刚性初始化可能会破坏输入图像三个通道的强度统计特性，进而影响展开模块的学习能力。第二行表明，舍弃展开优化模块后性能下降，这进一步证明了所提出的展开优化模块的重要性。第三行观察到，移除光照层的指导后性能退化。展开阶段选择的结果如表 2 的最后四行所示。显然，没有展开机制的模型（即 $T=1$）在 PSNR、SSIM 和 LPIPS 方面表现最差。通过图 6 中的视觉比较可以轻易观察到，$T=1$ 时增强结果仍存在细节保留不佳和颜色失真的问题，而通过展开优化可获得更清晰的结果。基于图像质量和推理时间的权衡，选择 $T=3$ 作为默认设置。

精读
（PSNR↑：峰值信噪比、SSIM↑：结构相似性、LPIPS↓：感知相似度、Time↓：推理时间）

• 为了说明展开优化模块的有效性，进一步简单地将 ${\mathcal{G}}_R$ 和 ${\mathcal{G}}_L$ 的网络堆叠 T 次并丢弃展开优化，保持与 URetinex-Net 相同的网络容量。最后，研究了 URetinex-Net 在选择不同的阶段 $T$ 下的性能。

5. Conclusion—结论

在本文中，我们提出了一种用于真实世界低光照图像增强的URetinex-Net。基于传统模型方法的优化过程，我们首先将Retinex分解问题公式化为隐式先验正则化模型，然后将优化中的更新步骤展开到深度神经网络中。通过利用基于学习的方法，估计的反射率和照明可以自适应地符合数据依赖的先验。大量实验结果验证了所提出的URetinex-Net能够高效地增强低光照图像，同时成功地抑制噪声并保留细节。

精读

• 提出URetinex-Net用于低光图像增强。
• 将Retinex分解问题公式化为隐式先验正则化模型。
• 优化步骤展开为深度神经网络。
• 估计的反射和照明自适应调整。
• 实验结果证明高效增强图像，抑制噪声并保留细节。