DMs[5] Analytic-DPM

$$$$

• 填年前（12.20左右）的坑（把截图里的公式给敲完，顺便熟悉一下之前的内容）

• 摆了一整个寒假，唯一战果是一些拥有版权的封面图，比如上图：拍摄于东京新国立美术馆。

DDPM对应了diffusion SDE的maximum likelihood SDE solver，并且最优方差由Analytic-DPM来解析地给出。 maximum likelihood SDE solver: 某种一阶近似，而一阶近似其实存在无数种

回顾 DDIM

$$\begin{array}{}\text{(1)}& \begin{array}{rl}q({\mathbf{x}}_{1:N}\mid {\mathbf{x}}_0)& =q({\mathbf{x}}_N\mid {\mathbf{x}}_0)\prod _{n=2}^{N}q({\mathbf{x}}_{n-1}\mid {\mathbf{x}}_n,{\mathbf{x}}_0)\\ q({\mathbf{x}}_N\mid {\mathbf{x}}_0)& =\mathcal{N}({\mathbf{x}}_N\mid \sqrt{{\overline{\alpha }}_N}{\mathbf{x}}_0,{\overline{\beta }}_{N}I)\\ q({\mathbf{x}}_{n-1}\mid {\mathbf{x}}_n,{\mathbf{x}}_0)& =\mathcal{N}({\mathbf{x}}_{n-1}\mid {\tilde{\mu }}_n({\mathbf{x}}_n,{\mathbf{x}}_0),{\lambda }_n^{2}I)\\ {\tilde{\mu }}_n({\mathbf{x}}_n,{\mathbf{x}}_0)& =\sqrt{{\overline{\alpha }}_{n-1}}{\mathbf{x}}_0+\sqrt{{\overline{\beta }}_{n-1}-{\lambda }_n^2}\cdot \frac{{\mathbf{x}}_n-\sqrt{{\overline{\alpha }}_n}{\mathbf{x}}_0}{\sqrt{{\overline{\beta }}_n}}\end{array}\end{array}$$

从（1）中可以看出，DDIM 并没有显式定义前向过程，而是在保证 $q({\mathbf{x}}_n\mid {\mathbf{x}}_0)$ 与 DDPM 中一样的情况下，定义了逆向过程 $q({\mathbf{x}}_{n-1}\mid {\mathbf{x}}_n,{\mathbf{x}}_0)$ （事实上，这个值在 DDPM 的推导中也要用到，作为逆向过程的 baseline）。在这个框架下，DDIM 和 DDPM 分别是 ${\lambda }_n$ 取 0 和 $\frac{{\overline{\beta }}_{n-1}}{{\overline{\beta }}_n}{\beta }_n$ 的特例。

因为其中有条件项 ${\mathbf{x}}_0$，所以上面的都还只是前向过程，该过程的逆向过程（也就是只给定 ${\mathbf{x}}_n$ 的生成过程）一般定义为马尔可夫过程：

$$\begin{array}{}\text{(2)}& \begin{array}{r}p({\mathbf{x}}_{0:N})=p({\mathbf{x}}_N)\prod _{n=1}^{N}p({\mathbf{x}}_{n-1}\mid {\mathbf{x}}_n),p({\mathbf{x}}_{n-1}\mid {\mathbf{x}}_n)=\mathcal{N}({\mathbf{x}}_{n-1}\mid {\mu }_n({\mathbf{x}}_n),{\sigma }_n^2\mathbf{I}),\end{array}\end{array}$$

其中，令 ${\mu }_n({\mathbf{x}}_n)$ 具有和 ${\tilde{\mu }}_n({\mathbf{x}}_n,{\mathbf{x}}_0)$ 相同的形式，只需要通过 score function 首先预测出 ${\mathbf{x}}_0$。

而对于逆向过程的 ${\sigma }_n$，DDIM 取 ${\lambda }_n$，而 DDPM 取 ${\beta }_n,{\tilde{\beta }}_n$。都是人为设计的。

均值方差的解析解

$$\begin{array}{}\text{(3)}& \begin{array}{r}\underset{\{{\mu }_n,{\sigma }_n^2{\}}_{n=1}^N}{min}{L}_{\text{vb}}⟺\underset{\{{\mu }_n,{\sigma }_n^2{\}}_{n=1}^N}{min}{D}_{\text{KL}}(q({\mathbf{x}}_{0:N})\parallel p({\mathbf{x}}_{0:N})).\end{array}\end{array}$$

作者证明了这个优化目标的解析解：

$$\begin{array}{}\text{(4)}& \begin{array}{rl}{\mu }_n^{\ast }({\mathbf{x}}_n)& ={\tilde{\mu }}_n({\mathbf{x}}_n,\frac{1}{\sqrt{{\alpha }_n}}({\mathbf{x}}_n+{\overline{\beta }}_n{\mathrm{\nabla }}_{{\mathbf{x}}_n}\log q_n({\mathbf{x}}_n))),\end{array}\end{array}$$$$\begin{array}{}\text{(5)}& \begin{array}{rl}{\sigma }_n^{\ast 2}& ={\lambda }_n^2+{(\sqrt{\frac{{\beta }_n}{{\alpha }_n}}-\sqrt{{\beta }_{n-1}}-{\lambda }_n^2)}^2(1-{\overline{\beta }}_n{\mathbb{E}}_{q_n({\mathbf{x}}_n)}\frac{\parallel {\mathrm{\nabla }}_{{\mathbf{x}}_n}\log q_n({\mathbf{x}}_n){\parallel }^2}{d}).\end{array}\end{array}$$

均值和原来的一样（也就是沿用 $q({\mathbf{x}}_{n-1}\mid {\mathbf{x}}_n,{\mathbf{x}}_0)$ 是对的），但方差却有着不同的形式。

怎么求

${\lambda }_n,{\beta }_n,{\alpha }_n$ 这些其实都是定死的，${\mathrm{\nabla }}_{{\mathbf{x}}_n}\log q_n({\mathbf{x}}_n)$ 可以通过模型训练结果 $s_n(x_n)$ 来估计，所以需要解决的只有 ${\mathbb{E}}_{q_n(x_n)}$。用一个 Monte Carlo 采样近似一下即可：

$$\begin{array}{}\text{(6)}& {\mathrm{\Gamma }}_n=\frac{1}{M}\sum _{m=1}^M\frac{{\Vert s_n({\mathbf{x}}_{n,m})\Vert }_2^2}{d},{\mathbf{x}}_{n,m}\stackrel{iid}{\sim }{q}_n({\mathbf{x}}_n)\end{array}$$

写成表达式就长这样：

$$\begin{array}{}\text{(7)}& {\hat{\sigma }}_n^2={\lambda }_n^2+{(\sqrt{\frac{{\overline{\beta }}_n}{{\alpha }_n}}-\sqrt{{\overline{\beta }}_{n-1}-{\lambda }_n^2})}^2(1-{\overline{\beta }}_n{\mathrm{\Gamma }}_n)\end{array}$$

实验证明，M 取 10、100 也能获得不错的效果。

上下界

$$\begin{array}{}\text{(8)}& \begin{array}{r}|{\sigma }_n^{\ast 2}-{\hat{\sigma }}_n^2|=\underset{\text{Coefficient}}{\underbrace{{(\sqrt{\frac{{\beta }_n}{{\alpha }_n}}-\sqrt{{\beta }_{n-1}}-{\lambda }_n^2)}^2}}\underset{\text{Approximation error}}{\underbrace{{\overline{\beta }}_n|{\mathrm{\Gamma }}_n-{\mathbb{E}}_{q_n({\mathbf{x}}_n)}\frac{\parallel {\mathrm{\nabla }}_{{\mathbf{x}}_n}\log q_n({\mathbf{x}}_n){\parallel }^2}{d}|}}.\end{array}\end{array}$$

方差的估计值和最优值的 bias （？）如上。注意到 approximation error 其实是固定的，而较短的去躁路径会导致系数项很大。为此，作者推导出了最优方差理论解的上下界，来对估计值进行裁切（上下界可以较为准确地计算，这样在实际计算方差时，可以直接算上下界），详见原论文。

路径最优化

对于 DDIM 中 $1={\tau }_1<\cdots <{\tau }_K=N$ ，共 $K$ 个时间步的跳步，其均值、方差的最优解解析式如下：

$$\begin{array}{}\text{(9)}& \begin{array}{rl}& {\mu }_{{\tau }_k-1|{\tau }_k}^{\ast }({\mathbf{x}}_{{\tau }_k})={\tilde{\mu }}_{{\tau }_k-1|{\tau }_k}({\mathbf{x}}_{{\tau }_k},\frac{1}{\sqrt{{\alpha }_{{\tau }_k}}}({\mathbf{x}}_{{\tau }_k}+{\overline{\beta }}_{{\tau }_k}{\mathrm{\nabla }}_{{\mathbf{x}}_{{\tau }_k}}\log q({\mathbf{x}}_{{\tau }_k})))\\ & {\sigma }_{{\tau }_k-1|{\tau }_k}^{\ast 2}={\lambda }_{{\tau }_k-1|{\tau }_k}^2+{(\sqrt{\frac{{\beta }_{{\tau }_k}}{{\alpha }_{{\tau }_k}}}-\sqrt{{\beta }_{{\tau }_k-1}}-{\lambda }_{{\tau }_k-1|{\tau }_k}^2)}^2(1-{\overline{\beta }}_{{\tau }_k}{\mathbb{E}}_{q({\mathbf{x}}_{{\tau }_k})}\frac{\parallel {\mathrm{\nabla }}_{{\mathbf{x}}_{{\tau }_k}}\log q({\mathbf{x}}_{{\tau }_k}){\parallel }^2}{d}).\end{array}\end{array}$$

相较于之前的算法，这里对于固定的 $\{{\tau }_i\}$ 可以写出解析解，那么我们就可以进一步求解最优的 $\{{\tau }_i\}$：

$$\begin{array}{}\text{(10)}& \underset{{\tau }_1,\dots ,{\tau }_K}{min}{D}_{\text{KL}}(q(x_0,x_{{\tau }_1},\dots ,x_{{\tau }_K})\parallel p^{\ast }(x_0,x_{{\tau }_1},\dots ,x_{{\tau }_K}))=\frac{d}{2}\sum _{k=2}^{K}J({\tau }_{k-1},{\tau }_k)+c.\end{array}$$

其中，$J({\tau }_{k-1},{\tau }_k)=\log ({\sigma }_{{\tau }_{k-1}\mid {\tau }_k}^{\ast 2}/{\lambda }_{{\tau }_{k-1}\mid {\tau }_k}^2)$ ，注意以下几点：

• c 是一个和路径选择无关的常量
• 可以通过MC来估计${\sigma }^{\ast }$，从而使得 $J({\tau }_{k-1}\mid {\tau }_k)$ 可计算

因此，这个问题就是一个计算 $1\to N$ 的最短路径的 DP 问题。

DPM-Solver

基本是跟着这篇文章读论文的，这里就不复述了。Take away message：将原本的微分方程，在一系列近似的基础上写成确定解的形式，从而摆脱了步长对误差的影响。如图中蓝线所示，步长会放大 $\mathrm{d}{\mathbf{x}}_t/\mathrm{d}t$ 的误差，而改用 DPM-Solver 之后，误差可以看作是确定解基础上的偏移，与步长无关。

Figure 1: 12.24 组会总结的 DPM-Solver 的重点