DDIM（Denoising Diffusion Implicit Models）公式推导

1. 回顾DDPM的目标

在DDPM中，前向过程（扩散过程）是一个马尔可夫链：

$$q(x_{1:T}|x_0)=\prod _{t=1}^{T}q(x_t|x_{t-1}),q(x_t|x_{t-1})=\mathcal{N}(x_t;\sqrt{1-{\beta }_t}{x}_{t-1},{\beta }_t\mathbf{I})$$

其中 ${\beta }_t$ 是噪声调度。

通过重参数化技巧，可直接从 $x_0$ 采样 $x_t$：

$$x_t=\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ,ϵ\sim \mathcal{N}(0,\mathbf{I})$$

其中 ${\alpha }_t=1-{\beta }_t$，${\bar{\alpha }}_t={\prod }_{i=1}^t{\alpha }_i$。

逆向过程定义为：

$$p_{\theta }(x_{t-1}|x_t)=\mathcal{N}(x_{t-1};{\mu }_{\theta }(x_t,t),{\sigma }_t^2\mathbf{I})$$

$${\mu }_{\theta }(x_t,t)=\frac{1}{\sqrt{{\alpha }_t}}\left(x_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}{ϵ}_{\theta }(x_t,t)\right)$$

方差 ${\sigma }_t$ 的选择

在DDPM中，${\sigma }_t$ 通常有两种选择：

选项1：${\sigma }_t^2={\beta }_t$
这是前向过程方差的选择，计算简单。

选项2：${\sigma }_t^2={\tilde{\beta }}_t=\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}{\beta }_t$
这是根据变分下界推导出的最优选择，DDPM论文中主要采用这种。
采样过程
将 ${\mu }_{\theta }$ 表达式代入，得到完整的 $x_{t-1}$ 计算公式：
$$x_{t-1}=\frac{1}{\sqrt{{\alpha }_t}}\left(x_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}{ϵ}_{\theta }(x_t,t)\right)+{\sigma }_t\cdot ϵ$$

这边也给出物理意义解释，这个采样过程的直观理解是：

去噪方向：${\mu }_{\theta }(x_t,t)$ 给出了从 $x_t$ 到 $x_{t-1}$ 的主要方向
随机性：${\sigma }_t\cdot ϵ$ 添加了必要的随机性，确保生成的多样性
逐步细化：通过重复这个过程（从 $t=T$ 到 $t=0$），噪声图像逐渐被去噪成清晰图像

2. DDIM的建模：定义新的生成过程

DDIM放弃马尔可夫性假设，定义新的生成过程：

$$p_{\theta }(x_{t-1}|x_t,x_0)=\mathcal{N}(x_{t-1};{\mu }_{\theta }(x_t,x_0,t),{\sigma }_t^2\mathbf{I})$$

其中显式引入 $x_0$，实际采样时用预测值 ${\hat{x}}_0$ 替代。

3. 关键洞察：保持边缘分布一致

确保边缘分布与DDPM一致：

$$q(x_t|x_0)=\mathcal{N}(x_t;\sqrt{{\bar{\alpha }}_t}{x}_0,(1-{\bar{\alpha }}_t)\mathbf{I})$$

4. 推导DDIM的采样规则

步骤1：表示 $x_t$ 和 $x_{t-1}$

$$x_t=\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}{ϵ}_t$$

$$x_{t-1}=\sqrt{{\bar{\alpha }}_{t-1}}{x}_0+\sqrt{1-{\bar{\alpha }}_{t-1}}{ϵ}_{t-1}$$

步骤2：预测 $x_0$

$${\hat{x}}_0=\frac{x_t-\sqrt{1-{\bar{\alpha }}_t}{ϵ}_{\theta }^{(t)}(x_t)}{\sqrt{{\bar{\alpha }}_t}}$$

步骤3：构造 $x_{t-1}$

$$x_{t-1}=\sqrt{{\bar{\alpha }}_{t-1}}{\hat{x}}_0+\sqrt{1-{\bar{\alpha }}_{t-1}-{\sigma }_t^2}\cdot {ϵ}_{\theta }^{(t)}(x_t)+{\sigma }_tϵ$$

步骤4：验证边缘分布

当 ${ϵ}_{\theta }^{(t)}(x_t)={ϵ}_t$ 时：

$$x_{t-1}=\sqrt{{\bar{\alpha }}_{t-1}}{x}_0+\sqrt{1-{\bar{\alpha }}_{t-1}-{\sigma }_t^2}\cdot {ϵ}_t+{\sigma }_tϵ$$

均值为 $\sqrt{{\bar{\alpha }}_{t-1}}{x}_0$，方差为 $1-{\bar{\alpha }}_{t-1}$，与期望分布一致。

5. 最终公式与解释

DDIM采样公式

$$x_{t-1}=\sqrt{{\bar{\alpha }}_{t-1}}\left(\frac{x_t-\sqrt{1-{\bar{\alpha }}_t}{ϵ}_{\theta }^{(t)}(x_t)}{\sqrt{{\bar{\alpha }}_t}}\right)+\sqrt{1-{\bar{\alpha }}_{t-1}-{\sigma }_t^2}\cdot {ϵ}_{\theta }^{(t)}(x_t)+{\sigma }_tϵ$$

${\sigma }_t$ 的选择

1. ${\sigma }_t=0$ (确定性采样)：
   $$x_{t-1}=\sqrt{{\bar{\alpha }}_{t-1}}\left(\frac{x_t-\sqrt{1-{\bar{\alpha }}_t}{ϵ}_{\theta }^{(t)}(x_t)}{\sqrt{{\bar{\alpha }}_t}}\right)+\sqrt{1-{\bar{\alpha }}_{t-1}}\cdot {ϵ}_{\theta }^{(t)}(x_t)$$

2. ${\sigma }_t=\sqrt{\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}}\sqrt{1-\frac{{\bar{\alpha }}_t}{{\bar{\alpha }}_{t-1}}}$ (DDPM特例)

总结

关键点	说明
目标	构建非马尔可夫生成过程加速采样
约束	保持边缘分布 $q(x_t|x_0)$ 与DDPM一致
方法	设计采样规则 $x_{t-1}=f(x_t,{\hat{x}}_0,{ϵ}_{\theta })$
结果	统一框架支持确定性/随机采样，大幅加速生成