图像处理（12）

图像复原 即利用退化过程的先验知识，去恢复已被退化图像的本来面目。在图像的复原中，需要对噪声进行处理。

图像噪声是指存在于图像数据中的不必要的或多余的干扰信息。 图像中各种妨碍人们对其信息接受的因素即可称为图像噪声 。噪声在理论上可以定义为“不可预测，只能用概率统计方法来认识的随机误差”（图像噪声可以描述成不同的类型，其归类方法就是基于统计方法的）。因此将图像噪声看成是多维随机过程是合适的，因而描述噪声的方法完全可以借用随机过程的描述，即用其概率分布函数和概率密度分布函数。通俗的说就是噪声让图像不清楚。 参考文章：https://baike.baidu.com/item/图像噪声/4116468?fr=aladdin

图像获取过程中 图像传感器CCD和CMOS采集图像过程中受传感器材料属性、工作环境、电子元器件和电路结构等影响，会引入各种噪声。

图像信号传输过程中 传输介质和记录设备等的不完善，数字图像在其传输记录过程中往往会受到多种噪声的污染。

噪声按照不同的分类标准可以有不同的分类形式：

在空间域和频域中，由于高斯噪声在数学上的易处理性（高斯函数，高斯函数的傅里叶变换仍然是高斯函数，见相关博文），这种噪声(也称为正态噪声)模型经常被用在实践中，事实上，这种易处理性非常方便。 高斯函数：

样本图： 噪声下的样本图： 噪声的直方图（统计直方图）： 可以看到，噪声的直方图中图形像高斯正态函数的分布。 说明：噪声对原图像的影响是随机的，直方图呈现的分布形式是基于统计的结果。直方图表示了（归一化后）灰度值的概率密度分布，因此可以使用直方图来表示灰度值的概率密度。 统计直方图：

关于高斯滤波（模糊）的方法和过程在前面的文章中写过：

图像处理（7）–高斯模糊原理

高斯函数具有五个重要的性质，这些性质使得它在早期图像处理中特别有用．这些性质表明，高斯平滑滤波器无论在空间域还是在频率域都是十分有效的低通滤波器，且在实际图像处理中得到了工程人员的有效使用．高斯函数具有五个十分重要的性质，它们是：

瑞利分布： 均值和方差： 瑞利分布百度百科：https://baike.baidu.com/item/瑞利分布/10284554?fr=aladdin

样本图： 噪声下的样本图： 噪声的直方图（统计直方图）：

伽马函数： 或者： Γ函数详解： https://blog.csdn.net/lanchunhui/article/details/50535735 伽马函数百度百科：https://baike.baidu.com/item/伽玛函数/3540177?fromtitle=伽马函数&fromid=11217190&fr=aladdin 伽马噪声百度百科：https://baike.baidu.com/item/Erlang噪声/22026470?fr=aladdin 伽马噪声直方图：

概率密度函数： 累计分布函数： 期望值(均值)： 方差： 相关博文：https://blog.csdn.net/ningyaliuhebei/article/details/46409941

一个连续随机变量X在区间[a,b]上具有均匀分布，记作

当它的概率密度函数满足： 它的分布函数如下所示： 相应的期望和方差： 均匀分布百度百科：https://baike.baidu.com/item/均匀分布/954451?fr=aladdin

椒盐噪声也称为脉冲噪声，是图像中经常见到的一种噪声，它是一种随机出现的白点或者黑点，可能是亮的区域有黑色像素或是在暗的区域有白色像素（或是两者皆有）。盐和胡椒噪声的成因可能是影像讯号受到突如其来的强烈干扰而产生、类比数位转换器或位元传输错误等。例如失效的感应器导致像素值为最小值，饱和的感应器导致像素值为最大值。

一般使用非线性滤波器处理椒盐噪声：

空间域滤波 空域滤波是在原图像上直接进行数据运算，对像素的灰度值进行处理。常见的空间域图像去噪算法有邻域平均法、中值滤波、低通滤波等。

变换域滤波 图像变换域去噪方法是对图像进行某种变换，将图像从空间域转换到变换域，再对变换域中的变换系数进行处理，再进行反变换将图像从变换域转换到空间域来达到去除图像嗓声的目的。将图像从空间域转换到变换域的变换方法很多，如傅立叶变换、沃尔什-哈达玛变换、余弦变换、K-L变换以及小波变换等。而傅立叶变换和小波变换则是常见的用于图像去噪的变换方法。

偏微分方程 偏微分方程是近年来兴起的一种图像处理方法，主要针对低层图像处理并取得了很好的效果。偏微分方程具有各向异性的特点，应用在图像去噪中，可以在去除噪声的同时，很好的保持边缘。偏微分方程的应用主要可以分为两类:一种是基本的迭代格式，通过随时间变化的更新，使得图像向所要得到的效果逐渐逼近，这种算法的代表为Perona和Malik的方程[27]，以及对其改进后的后续工作。该方法在确定扩散系数时有很大的选择空间，在前向扩散的同时具有后向扩散的功能，所以，具有平滑图像和将边缘尖锐化的能力。偏微分方程在低噪声密度的图像处理中取得了较好的效果，但是在处理高噪声密度图像时去噪效果不好，而且处理时间明显高出许多。

变分法 另一种利用数学进行图像去噪方法是基于变分法的思想，确定图像的能量函数，通过对能量函数的最小化工作，使得图像达到平滑状态，现在得到广泛应用的全变分TV模型就是这一类。这类方法的关键是找到合适的能量方程，保证演化的稳定性，获得理想的结果。-形 态学噪声滤除器 将开与闭结合可用来滤除噪声，首先对有噪声图像进行开运算，可选择结构要素矩阵比噪声尺寸大，因而开运算的结果是将背景噪声去除；再对前一步得到的图像进行闭运算，将图像上的噪声去掉。据此可知，此方法适用的图像类型是图像中的对象尺寸都比较大，且没有微小细节，对这类图像除噪效果会较好。 参考博文：https://blog.csdn.net/Arcsinsin/article/details/12260373

根据图像的特征建立起相应的概率密度函数。在对数字图像进行处理的过程中，一般需要以概率密度函数作为根本的依据来对噪声的统计特性进行表述，建立起对应的数据模型。

关于空间域下的滤波器在我的 图像处理（10）–空间滤波 一文中有详细的介绍。这个很重要。

小波萎缩法是目前研究最为广泛的方法，小波萎缩法又分成如下两类：第1类是阈值萎缩，由于阈值萎缩主要基于如下事实，即比较大的小波系数一般都是以实际信号为主，而比较小的系数则很大程度是噪声。因此可通过设定合适的阈值，首先将小于闽值的系数置零，而保留大于闭值的小波系数；然后经过阈值函数映射得到估计系数；最后对估计系数进行逆变换，就可以实现去噪和重建；而另外一种萎缩方法则不同，它是通过判断系数被噪声污染的程度，并为这种程度引入各种度量方法(例如概率和隶属度等)，进而确定萎缩的比例，所以这种萎缩方法又被称为比例萎缩。阈值萎缩方法中的两个基本要素是阈值和阈值函数。

阈值的选择： 阈值的确定在阈值萎缩中是最关键的。目前使用的阈值可以分成全局阈值和局部适应阈值两类。其中，全局阈值对各层所有的小波系数或同一层内的小波系数都是统一的；而局部适应阈值是根据当前系数周围的局部情况来确定阈值。目前提出的全局阈值主要有以下几种：

（1），Donoho和Johastone统一阈值（简称DJ阈值）：

其中σ为噪声标准方差，N为信号的尺寸或长度。

（2），基于零均值正态分布的置信区间阈值：

（3），Bayes Shrink阈值和Map Shrink阈值。在小波系数服从广义高斯分布的假设下，Chang等人得出了阈值：

其中，（R为噪声标准方差，RB为广义高斯分布的标准方差值）。

（4），最小最大化阈值：这是Donoho和John Stone在最小最大化意义下得出的阈值与上边的阈值不同，它是依赖于信号的，而且没有显式表达式，在求取时需要预先知道原信号。

（5），理想阈值：理想阈值是在均方差准则下的最优阈值，同最大最小化阈值一样，也没有显式的表达式，并且这个阈值的计算通常也需先知道信号本身。

阈值函数：

Bruce和Gao。提出了一种半软阈值函数：

该方法通过选择合适的阈值T1和12，可以在软阈值方法和硬阈值方法之间达到很好的折中。另外，zhang等人为了对SIJRE误差准则函数进行基于梯度的优化搜索，提出了另外一种阈值函数，这种阈值函数同上边闭值函数所不同的是它拥有更高的导数阶，故其重建图像更为平滑，但该文作者将去噪效果的提高归功于搜索方法，其实，Donoh。和 Johnstone提出的在当前小波系数集合中，搜索最优阈值的方法，对于当前已经是优的了，由此可见，该去噪效果的提高则应归功于阈值函数的选取。

目前，基于PDE的图像处理方法的研究，也是图像去噪的研究热点方向，并且己经取得了一定的理论和实际应用方面的成它的去噪过程为通过建立噪声图像为某非线性PDE的初始条件，然后求解这个PDE，得到在不同时刻的解，即为滤波结果。Perona和Malik提出了基于PDE的非线性扩散滤波方法（以下简称P-M），各向异性的去噪模型根据图像的梯度值决定扩散的速度，使之能兼顾噪声消除和边缘保持两方面的要求。

以P-M模型为代表的这类方法己经在图像增强、图像分割和边缘检测等领域得到了广泛的应用，取得了很好的效果。

P-M是一种非线性的各向异性方法，目的是为了克服线性滤波方法存在的模糊边缘和边缘位置移动的缺点。基本思想是:图像特征强的地方减少扩散系数，图像特征弱的地方增强扩散系数。方程如下：

其中u(x，y，t)是随时间变化的图像，是梯度的模，扩散系数函数用于控制扩散速度。理想的扩散系数应当使各向异性扩散在灰度变化平缓的区域快速进行，而在灰度变化急剧的位置（即图像特征处）低速扩散乃至不扩散函数，所以，i应具有如下性质：

基于以上的两个性质，P-M提出了如下扩散系数函数：

其中k为边缘阈值，用来判断边缘区域和平坦区域。引入通量函数，主要是为了阐明阈值k在扩散操作中的作用，其函数定义如下：

尽管P-M方程在抑制噪声与保留图像重要特征方面取得了一定的效果，但却表现出病态且不稳定。Catt等人对该方程进行了改进，他们先用高斯核同图像作卷积，然后取其梯度模作图像边缘信息的估计。文献提出用优化的对称指数滤波器对图像作光滑，然后取其梯度模作图像边缘信息的估计。这两种估计方法的基本思想是降低噪声的干扰，更加真实地提取图像的边缘特征信息，以便利用边缘信息更好地控制P-M方程的扩散行为。

TV方法是由Rudin Osher and Fatemi提出，它基于变分法的思想，确定图像的能量函数，通过对图像能量函数最小化达到平滑去噪的目的。是现在比较流行的图像复原方法。图像的能量函数方程为：

在文献[2]中给出的全变分去噪能量泛函为：

为了使得能量函数最小，其欧拉-拉格朗日方程为：

其中，梯度算子：

正则项：

用来减少平坦区域的退化。将整体左边转换成图像中任意像素点中的局部坐标系后，方程可以分解成边缘方向和边缘正交的两个方向，分解后个方向的系数控制着该方向的扩散强度。扩散方向实际上是一个分线性的各向异性的扩散方程，其扩散算子仅沿图像梯度的正交方向扩散，扩散系数为1/|▽μ|，而朝着梯度方向无扩散。这样可以通过图像的梯度来判断边缘位置，使得边缘扩散系数最小，从而降低对边缘的模糊程度，但是也由于边缘的扩散系数小，噪声得不到很好的抑制，而且当|▽μ|>λ的时候，势能函数是非凸的，使得边缘处处理表现不稳定。所以，如何确定扩散参数的值是一个问题。

参考文章：https://blog.csdn.net/Arcsinsin/article/details/12260373

在空间域上的各种滤波器在OpenCV中均有相应的实现方式，例如： OpenCV（4）–HPF高通滤波器 OpenCV（13）–图片模糊处理（平滑） 等等

图像处理系列笔记： https://blog.csdn.net/qq_33208851/article/details/95335809 关于我的OpenCV文章