论文解读《Plug-and-Play Priors for Model Based Reconstruction》

这篇论文主要概述了model-baesd的方法在解决图像恢复的逆问题的很好的效果，降噪问题其实就是前向模型的H是一个恒等算子，将state-of-the-art的降噪算法(先验模型)和相对应的逆问题的求解方法结合是一个困难但是具体前景的工作。  作者提出了一个灵活的框架能够允许性能强大的图像系统的前向模型（forword models ）去匹配j和结合降噪模型和先验模型（denoising model or prior model），以实现图像恢复。

传统的模型涉及两个部分，一个模型是噪声的估计系统，另一个模型是待重构图像模型（比如先验模型），然后通过最小化一个成本函数来计算重构，该函数平衡了这两个模型的拟合。

降噪问题在图像的反演过程中最简单的，因为他的前向模型是一个恒等算子，为新的先验模型的产生创造了肥沃的环境。model-based 逆问题主要关注的是精确的建模大尺度的复杂的前向模型，很少有融合先进的先验模型、降噪方法啊。

-- 因此，基于模型的反演研究往往滞后于先进的先验建模

-- BM3D-based 方法的图像先验模型并不能够直接应用于一般的反演问题

虽然之前也有集合先进的先验模型进入图像的反演问题，但是他们常常是高度定制化的，

当前并没有为一般的model-based图像反演问题，匹配降噪模型作为先验。

---

方法： 应用ADMM技术，分离变量以实现将MAP估计问题解耦为先验和前模型问题，一个是前向模型一个是先验问题。一个模块对应着降噪算法只依靠于先验，第二个模块对应着应用l2正则化的反演问题只依靠于前向模型。

MAP计算函数去解决反演问题

带求量$\hat{x}$的MAP估计：

$\hat{x}=$argmin-log$p(y|x)$-log$p(x)$

$\hat{x}=$argmin$l(y;x)+s(x)$

MAP估计$l(y;x)=\frac{1}{2\sigma_{n}^{2}}||y-x||_{2}^{2}+\frac{M}{2}log(2\pi\sigma_{n}^{2})$

对应着降噪任务，旨在被设计去移除方差为$\sigma_{n}^{2}$的加性高斯白噪声(AWGN)

所以可以再表示为：

$H(y;\sigma_{n}^{2})=\frac{1}{2\sigma_{n}^{2}}||y-x||_{2}^{2}+s(x)$     (3)

常常加上增加的正则化参数去控制先验模型在重建上的相对影响：

$\hat{x} = $argmin$l(y;x)+\beta s(x)$

变量分离 and ADMM

首先分离变量x为两个新的变量x 和 v, 则MAP问题被重新写为：

$(\hat{x},\hat{v}) = $argmin$_{x,v}{l(y;x)+ \beta s(v)}$    令x=v

使用增广拉格朗如函数(augmented Lagrangian)和ADMM技术去解决这个问题：

$L_{\lambda}(x,v,u) = l(y;x)+ \beta s(v) + \frac{\lambda}{2}||x-v+u||_{2}^{2} - \frac{\lambda}{2}||u||_{2}^{2}$

其中u 是一个缩放的对偶变量(dual variable)，$\lambda$是一个惩罚变量。

$\hat{x} = $ argmin$_{x}L_{\lambda}(x,\hat{v},u)$

$\hat{v} = $argmin$_{v}L_{\lambda}(\hat{x},v,u)$

$u = u + (\hat{x}-\hat{v})$

其中$\lambda$ 对最后的结果没有影响，只是控制ADMM算法的收敛率

如果，$\hat{x} =\hat{v}-u$ 和 $\hat{v}=\hat{x}+u$ ：

step1 $\rightarrow$ $\hat{x} = $argmin$_{x}{ l(y;x) + \frac{\lambda}{2}||x\text{}-\hat{x}||_{2}^{2}}$

step2  $\rightarrow$  $\hat{v}=$argmin$_{v}\frac{\lambda}{2}||\hat{v}\text{}-\text{}v||_{2}^{2}+\lambda s(v)$   (11)

step3  $\rightarrow$    $u = u + (\hat{x}-\hat{v})$

第一步取决于前向模型的选择；第二步取决于先验的选择，能够被集成作为一个降噪操作，如上面的公式。

为了强调ADMM更新的模块结构，定义一个算子$F(y,\tilde{x};\lambda)$:

$F(y,\tilde{x};\lambda)=$argmin$_{x}{ l(y;x)+\frac{\lambda}{2}||x\text{}-\text{}\tilde{x}||_{2}^{2}}$

上面的公式返回了 给定值y，求得的x的MAP估计值，使用二次正则化值$\tilde{x}$，是一个二次正则化最小二乘问题。

我们称作$F(y,\tilde{x};\lambda)$为简化的重构操作，根据重构操作$F(y,\tilde{x};\lambda)$和降噪操作$H(y;\sigma_{n}^{2})$，我们能够重写ADMM迭代：

$\hat{x} \leftarrow  F(y,\tilde{x};\lambda)$

$\hat{v} \leftarrow H(y;\frac{\beta}{\lambda}) $ 根据公式3和公式11

$u = u + (\hat{x}-\hat{v})$

这样写后，形成了两个独立的模块，重建操作和降噪算法操作，先验模型的改变只涉及一个模块$H(y;\sigma_{n}^{2})$，所以可以混合和匹配不同的降噪先验模型和有益的前向模型。

重要的点，这两个模块都可以不那么精确，都可以使用近似的操作来取代，这些算子不能使各自的成本函数最小化，而是使其值充分降低。这个对于将使算法在实际中发挥作用和加速都极为有益。

通过变量分离技术，作为一个机制去产生灵活的架构，期望简单的匹配先验模型和前向模型。

ADMM能够确保收敛，通过数值实验，我们发现用去噪算法代替H，即使不显式对应于凸函数s甚至严格的优化问题，也能得到稳定的结果。（这个就为使用判别学习方法得到先验模型创造了条件，先验正则化隐式的包含在参数模型中）

整体算法：

其中第一步，在HQS算法中，使用的是快速傅里叶变换（FFT）进行求解；

思考：

这部分可以尝试使用CNN-based残差学习的判别学习方法对先验进行建模，使用降噪先验取代$\hat{v} \leftarrow H(y;\frac{\beta}{\lambda}) $；

这部分也可以尝试嵌入一个GAN-based 拟合的多分布，兴许可以产生比CNN-based 的单一判别学习方法更好的效果；