paper 89:视频图像去模糊常用处理方法

随着“平安城市”的广泛建设，各大城市已经建有大量的视频监控系统，虽然监控系统己经广泛地存在于银行、商场、车站和交通路口等公共场所，但是在公安工作中，由于设备或者其他条件的限制，案情发生后的图像回放都存在图像不清晰，数据不完整的问题，无法为案件的及时侦破提供有效线索。经常出现嫌疑人面部特征不清晰，难以辨认，嫌疑车辆车牌模糊无法辨认等问题。这给公安部门破案、法院的取证都带来了极大的麻烦。随着平安城市的推广、各地各类监控系统建设的进一步推进，此类问题会越来越突出。

一．模糊图像产生的原因

1.  系统自身因素
    （1）镜头聚焦不当、摄像机故障等。
    （2）传输太远、视频线老化
    （3）光学镜头的极限分辨率和摄像机不匹配导致的模糊;
    （4）相机分辨率低，欠采样成像。
2.　自然环境
    （1）摄像机罩或镜头受脏污、受遮挡等。
    （2）大雾，沙尘、雨雪等环境影响等。
3.  人为环境
    （1）环境电磁干扰;
    （2）视频压缩算法、传输带宽导致的模糊。
    （3）运动目标高速运动导致的运动模糊等;

二.　模糊图像常用的处理方法

对于模糊图像处理技术，国内大学和科研机构在多年以前就在研究这些理论和应用，相关文献也发布了不少，已经取得了一些很好的应用。当前有很多软件已经有了相当成熟的一套模糊图像恢复方法，在美国FBI及其他执法机构中已有多年实际应用，其恢复出的图像可以直接当作法庭证据使用，可见模糊图像处理技术已经取得了相当的实际应用。

从技术方面来向，模糊图像处理方法主要分为三大类，分别是图像增强、图像复原和超分辨率重构。

2.1  图像增强

增强图象中的有用信息，它可以是一个失真的过程，其目的是要改善图像的视觉效果，针对给定图像的应用场合，有目的地强调图像的整体或局部特性，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像判读和识别效果，满足某些特殊分析的需要。

图像增强技术根据增强处理过程所在的空间不同，可分为基于空域的算法和基于频域的算法两大类。

前者把图像看成一种二维信号，对其进行基于二维傅里叶变换的信号增强。采用低通滤波（即只让低频信号通过）法，可去掉图中的噪声；采用高通滤波法，则可增强边缘等高频信号，使模糊的图片变得清晰。具有代表性的空间域算法有局部求平均值法和中值滤波（取局部邻域中的中间像素值）法等，它们可用于去除或减弱噪声。

基于空域的算法分为点运算算法和邻域去噪算法。点运算算法即灰度级校正、灰度变换和直方图修正等，目的或使图像成像均匀，或扩大图像动态范围，扩展对比度。邻域增强算法分为图像平滑和锐化两种。平滑一般用于消除图像噪声，但是也容易引起边缘的模糊。常用算法有均值滤波、中值滤波。锐化的目的在于突出物体的边缘轮廓，便于目标识别。常用算法有梯度法、算子、高通滤波、掩模匹配法、统计差值法等。

2.1.1  图像增强的几个方面及方法

1.对比度变换:线性变换、非线性变换

2.空间滤波：图像卷积运算、平滑、锐化

3.彩色变换：单波段彩色变换、多波段彩色运算、HIS

4.多光谱变换：K-L变换、K-T变换

5.图像运算：插值运算、比值运算

2.1.2  图像增强的应用概况

图像增强的方法分为空域法和频域法两种，空域法是对图像中的像素点进行操作，用公式描述如下：

g(x,y)=f(x,y)*h(x,y)

其中是f(x,y)原图像；h(x,y)为空间转换函数；g(x,y)表示进行处理后的图像。

频域法是间接的处理方法，是先在图像的频域中对图像的变换值进行操作，然后变回空域。例如,先对图像进行傅里叶变化到频域，再对图像的频谱进行某种滤波修正，最后将修正后的图像进行傅里叶反变化到空域，以此增强图像。

很多传统图像算法都可以减轻图像的模糊程度， 比如图像滤波、几何变换、对比度拉伸、直方图均衡、空间域锐化、亮度均匀化、形态学、颜色处理等。单个来讲，这些算法比较成熟，相对简单。但是对于一个具体的模糊图像，往往需要上面的一种或者多种算法组合，配合不同的参数才能达到理想的效果。

这些算法和参数的组合进一步发展为具体的增强算法，比如“图像去雾”算法（可参考何恺明经典去雾算法）、“图像去噪”算法、“图像锐化”算法、“图像暗细节增强”算法等。

2.2  图像复原

2.2.1  图像复原概述

在图像的获取、传输以及保存过程中，由于各种因素，如大气的湍流效应、摄像设备中光学系统的衍射、传感器特性的非线性、光学系统的像差、成像设备与物体之间的相对运动、感光胶卷的非线性及胶片颗粒噪声以及电视摄像扫描的非线性等所引起的几何失真，都难免会造成图像的畸变和失真。通常，称由于这些因素引起的质量下降为图像退化。

早期的图像复原是利用光学的方法对失真的观测图像进行校正，而数字图像复原技术最早则是从对天文观测图像的后期处理中逐步发展起来的。其中一个成功例子是NASA的喷气推进实验室在1964年用计算机处理有关月球的照片。照片是在空间飞行器上用电视摄像机拍摄的，图像的复原包括消除干扰和噪声，校正几何失真和对比度损失以及反卷积。另一个典型的例子是对肯尼迪遇刺事件现场照片的处理。由于事发突然，照片是在相机移动过程中拍摄的，图像复原的主要目的就是消除移动造成的失真。

早期的复原方法有：非邻域滤波法，最近邻域滤波法以及效果较好的维纳滤波和最小二乘滤波等。目前国内外图像复原技术的研究和应用主要集中于诸如空间探索、天文观测、物质研究、遥感遥测、军事科学、生物科学、医学影象、交通监控、刑事侦察等领域。如生物方面，主要是用于生物活体细胞内部组织的三维再现和重构，通过复原荧光显微镜所采集的细胞内部逐层切片图，来重现细胞内部构成；医学方面，如对肿瘤周围组织进行显微观察，以获取肿瘤安全切缘与癌肿原发部位之间关系的定量数据；天文方面，如采用迭代盲反卷积进行气动光学效应图像复原研究等。

2.2.2  图像退化模型

图像复原问题的有效性关键之一取决于描述图像退化过程模型的精确性。要建立图像的退化模型，则首先必须了解、分析图像退化的机理并用数学模型表现出来。在实际的图像处理过程中，图像均需以数字离散函数表示，所以必须将退化模型离散化。

2.2.3  几种较经典的复原方法介绍

图像复原算法有线性和非线性两类。线性算法通过对图像进行逆滤波来实现反卷积，这类方法方便快捷，无需循环或迭代，直接可以得到反卷积结果，然而，它有一些局限性，比如无法保证图像的非负性。而非线性方法通过连续的迭代过程不断提高复原质量，直到满足预先设定的终止条件，结果往往令人满意。但是迭代程序导致计算量很大，图像复原时耗较长，有时甚至需要几个小时。所以实际应用中还需要对两种处理方法综合考虑，进行选择。

1）维纳滤波法

维纳滤波法是由Wiener首先提出的，应用于一维信号处理，取得了很好的效果。之后，维纳滤波法被用于二维信号处理，也取得了不错的效果，尤其在图像复原领域，由于维纳滤波计算量小，复原效果好，从而得到了广泛的应用和发展。

2）正则滤波法

另一个容易实现线性复原的方法称为约束的最小二乘方滤波，在IPT中称为正则滤波，并且通过函数deconvreg来实现。

3）Lucy-Richardson算法

L-R算法是一种迭代非线性复原算法，它是从最大似然公式印出来的，图像用泊松分布加以模型化的。当迭代收敛时模型的最大似然函数就可以得到一个令人满意的方程。

4）盲去卷积

在图像复原过程中，最困难的问题之一是，如何获得PSF的恰当估计。那些不以PSF为基础的图像复原方法统称为盲区卷积。它以MLE为基础的，即一种用被随机噪声所干扰的量进行估计的最优化策略。工具箱通过函数deconvblind来执行盲区卷积。

2.2.4  图像复原与图像增强

图像复原与图像增强技术一样，也是一种改善图像质量的技术。图像复原是根据图像退化的先验知识建立一个退化模型，以此模型为基础，采用各种逆退化处理方法进行恢复，改善图像质量。

图像复原和图像增强是有区别的，二者的目的都是为了改善图像的质量。但图像增强不考虑图像是如何退化的，只有通过试探各种技术来增强图像的视觉效果，而图像复原就完全不同，需知道图像退化过程的先验知识，据此找出一种相应的逆过程方法，从而得到复原的图像。图像复原主要取决于对图像退化过程的先验知识所掌握的精确程度。

对由于离焦、运动、大气湍流等原因引起的图像模糊，图像复原的方法效果较好，常用的算法包括维纳滤波算法、小波算法、基于训练的方法等。在知道退化模型的情况下，相对图像增强来说，图像复原可以取得更好的效果。

2.3 图像超分辨率重构

现有的监控系统主要目标为宏观场景的监视，一个摄像机，覆盖很大的一个范围，导致画面中目标太小，人眼很难直接辨认。这类由于欠采样导致的模糊占很大比例，对于由欠采样导致的模糊需要使用超分辨率重构的方法。

超分辨率复原是通过信号处理的方法，在提高图像的分辨率的同时改善采集图像质量。其核心思想是通过对成像系统截止频率之外的信号高频成分估计来提高图像的分辨率。超分辨率复原技术最初只对单幅图像进行处理，这种方法由于可利用的信息只有单幅图像，图像复原效果有着固有的局限。序列图像的超分辨率复原技术旨在采用信号处理方法通过对序列低分辨率退化图像的处理来获得一幅或者多幅高分辨率复原图像。由于序列图像复原可利用帧间的额外信息，比单幅复原效果更好，是当前的研究热点。

序列图像的超分辨率复原主要分为频域法和空域法两大类，频域方法的优点是:理论简单,运算复杂度低，缺点是:只局限于全局平移运动和线性空间不变降质模型,包含空域先验知识的能理有限。

空域方法所采用的观测模型涉及全局和局部运动、空间可变模糊点扩散函数、非理想亚采样等,而且具有很强的包含空域先验约束的能力。常用的空域法有非均匀插值法、迭代反投影方法(IBP)、凸集投影法(POCS)、最大后验估计法(MAP)、最大似然估计法(ML)、滤波器法等，其中，MAP和POCS法研究较多，发展空间很大。

三：模糊图像处理的关键和不足

虽然很多模糊图像的处理方法在实际应用中取得了很好的效果，但是当前仍然有一些因素制约着模糊图像处理的进一步发展，主要如下：

1、 算法的高度针对性;

绝大部分的模糊图像处理算法只适用于特定图像，而算法本身无法智能决定某个算法模块的开启还是关闭。举例来说，对于有雾的图像，“去雾算法”可以取得很好的处理效果，但是作用于正常图像，反而导致图像效果下降，“去雾算法”模块的打开或者关闭需要人工介入。

2、 算法参数复杂性;

模糊图像处理里面所有的算法都会包含大量的参数，这些参数的选择需要和实际的图像表现相结合，直接决定最终的处理效果。目前算法还没有办法智能选择这些最优参数。

3、 算法流程的经验性;

由于实际图像很复杂，需要处理多种情况，这就需要一个算法处理流程，对于一个具体的模糊视频，采用什么样的处理流程很难做到自动选择，需要人工选择一个合适的方法，只能靠人的经验。

四：实践和总结

由于环境、线路、镜头、摄像机等影响，监控系统建成运营一段时间后，都会出现一部分的视频模糊不清的问题。前面提到了针对模糊图像的各种处理算法，虽然这些算法都取得了一些较好的处理效果，但是再好的算法都是一种后期的补救措施。如果能及时发现监控系统中图像的各种问题，并及时维修，必然会起到事半功倍的效果。

利用先进的视频诊断技术，开发出适用于各种需求场景的视频质量诊断系统。它能够对视频图像出现的模糊、噪声、亮度异常和视频丢失等低质视频以及常见摄像机故障问题进行诊断，有效预防因硬件问题导致的图像质量低下所带来的损失。从几路视频到几百上千、上万路视频，均可高效的进行检测，自动生成检测报告，提供及时且精准的维护信息，第一时间从根源上解决图像模糊的问题。

总体来说，对于不同种类的模糊问题，要区别对待。对于由镜头离焦、灰尘遮挡、线路老化、摄像机故障等造成的模糊或者图像质量下降，在视频诊断系统的帮助下，一定要及时维修，从源头上解决问题。对于低光照等优先选择日夜两用型高感光度摄像机，对于雨雾、运动和前采样等造成的图像质量下降，可以借助于“视频增强服务器”包含的各种模糊图像处理算法，提升图像质量。

后记

Single-Image Super-Resolution for anime/fan-art using Deep Convolutional Neural Networks.
waifu2x是采用了最新锐的人工智能技术“Deep Convolutional Neural Networks”开发的网络服务。

名字来源于海外的动画粉丝们将喜欢的角色称作“waifu（即‘我老婆’）”。把缩小的锯齿状图传到waifu2x的话，“现在给你的图是某张图缩小一半的图。求缩小前的图哦”，人工智能就会将噪点和锯齿的部分进行补充，生成新的图。于是“扩大时的图”将不存在了，小的图变成了扩大了的图，同时还可以去除噪点。

网址：http://waifu2x.udp.jp/

介绍：http://2chcn.com/html/2015/05/43983.html#641770-tsina-1-82384-32609e50f9d5c155ac9c5f4109e86388

效果举例：