彩色图像去雾清晰化研究

遇到雾霾天气时, 成像设备采集的图像色彩度降低, 图像颜色发生偏移或失真, 导致图像中的有用信息变少, 给计算机视觉系统中的判定工作造成不准确的判断, 通过图像去雾[1-3]处理来突出景物的细节信息, 减少成像设备采集的有雾图像和实际景物间的偏差现象, 保证计算机视觉系统工作的正确判断.

图像去雾的算法主要有调节灰度级的图像增强去雾算法和利用光学物理模型的图像复原去雾算法. 图像增强的目的是采用一系列的算法来改善图像的视觉效果, 提高图像的对比度和清晰度. 图像增强去雾处理可以分为空间域增强和频率域增强, 其中空间域增强是直接对有雾图像的像素灰度进行处理; 频率域增强是对图像傅里叶变换后的频谱进行处理, 再经傅里叶逆变换获得去雾结果. 常规的图像增强去雾算法有直方图均衡化算法、小波变换算法、Retinex算法等, 其中全局直方图均衡化去雾算法[4,5]是将有雾图像的灰度直方图经某种变换修正为均匀分布直方图的一种方法, 该算法相对简单且运算时间短, 去雾图像灰度能得到较高的离散程度, 自动增强图像的对比度, 实现图像暗区域的亮度增强, 但由于合并了较多的灰度等级, 容易丢失图像的细节信息. 小波变换算法[6,7]图像增强是把空间域上的图像数据变换到小波域上, 得到多层次的小波系数, 然后多尺度地完成像素级处理, 该算法对图像的本来面貌可以较好地进行保持, 但去雾处理时不能很好地抑制噪声. Retinex理论是基于色彩恒常性的理论模型提出的, Retinex算法[8]图像增强是降低有雾图像中的光照分量的影响, 保留物体自身属性的反射分量, 并在对数域中对其做指数变换, 从而实现有雾图像的细节增强效果. 多尺度Retinex算法能很好地还原图像的边缘细节信息, 得到层次感更清晰的图像, 但图像色彩会出现失真的现象.

本文采用全局直方图均衡化算法、小波变换算法和多尺度Retinex算法分别对彩色图像的RGB三层通道进行图像增强处理, 对其去雾效果做主观和客观分析, 相比较这3种算法, 多尺度Retinex算法对彩色图像有较好的去雾效果.

考虑整幅图像的视觉效果, 对原图像的灰度直方图进行直方图均衡化[9,10]修正, 调整为均匀的直方图分布, 达到增强雾天图像整体对比度的目的.

若原图像存在L个灰度级, 各灰度级包含n个像素点, 图像总的像素点数为N, 则第i个灰度级的像素点占整幅图像总的像素点的概率为:

对于灰度级为离散的数字图像, 原图像直方图累计分布函数为:

经灰度变换函数得到新的灰度值j, 与原图像灰度值i的关系为:

式中, $\left\lceil {} \right\rceil $ 表示按四舍五入取整的符号.

经全局直方图均衡化后, 各灰度级的灰度像素值能够相对地匀称分布, 整体拉伸了原图像灰度值的动态范围, 提高了图像的对比度. 但用灰度变换函数时, 算法中采用了四舍五入取整的办法确定灰度映射关系, 会使原图像中不同的灰度值可能变得相同, 形成伪轮廓, 造成均衡化后图像部分信息的缺失, 局部的特征不够明显.

全局直方图均衡化增强后图像的亮度一般分配在整个灰度级的中值附近, 通过对全局直方图做线性或者非线性拉伸, 得到双面性的结果. 若一些灰度级在整个直方图中占有很高的比例, 均衡化后能够优化大多数的像素对比度, 而归并了像素数占比小的灰度级, 容易丢失图像的细节信息, 故全局直方图均衡化适用于单一景深的图像.

在信号和数字图像处理方面, 小波变换[11,12]是对高频和低频信号利用小波函数及尺度函数进行运算, 通过傅里叶变换将信号分解成不同尺度连续重复的部分, 是一种用于多层次分解的数学工具.

连续小波变换为:

式中, a为尺寸参数, b为平移参数, b与小波的具体形式有关, $f\left( {x,y} \right)$ 是一个二维函数, ${b_x}$ 表示在x轴的平移, ${b_y}$ 表示在y轴的平移, $\varphi \left( {x,y} \right)$ 是二维基本小波函数. 相应的连续小波逆变换为:

式中, ${C_\varphi }$ 是一个有限值, 它意味着 $\varphi \left( t \right)$ 的傅里叶变换是连续可积的.

图像增强前后之间的函数关系有两种: 可以是线性关系, 也可以是非线性关系, 小波变换算法在图像增强中充当的是频域变换的作用, 通过小波分析时频局部化地特性, 能提高图像增强的质量以及算法的时效性.

小波变换的主要优势在于能够多尺度完成像素能量级的处理, 遇到恶劣的雾霾天气时, 基于小波变换的交通图像专用去雾算法能很好地解决交通监控设施受到视觉阻挡的问题. 在RGB三种颜色通道利用直方图均衡化来增强整个图像的对比度, 同时在HSV色彩空间中对V分量进行小波变换的处理, 然后将得到的低频部分和高频部分利用小波逆变换的方法重构出高质量的去雾交通图像.

色彩恒常性[13]是指人眼不会因外界环境的改变而对物体表面色彩的判断发生变化的心理倾向, 对于某个特定的物体, 光照环境的改变会导致物体表面出现不同的反射谱, 但人眼的识别系统能判断出这是由于光线的变化产生的, 人类对特定物体表面色彩的感知是趋于稳定的, 在具体范围内的光线变化, 视觉识别机制会认为物体颜色是保持恒定不变的.

在图像处理领域中, 基于外界环境使得景物表面的颜色光产生变化时, 而人眼识别系统对物体色彩的知觉依然保持相对不变的认知特性, 将图像中的光照分量与背景分量进行分离成为解决图像处理问题的重点. 人眼判断物体的颜色信息是受物体自身的反射属性影响, 而不受外界环境入射光的影响, 视觉识别系统的视网膜接收来自物体表面的反射光线, 将光线信息传递到大脑皮层进而形成一幅景物的感觉. 人类是带着主观印象对物体颜色做出判断, 而图像采集系统并不具备人类视觉机制对物体色彩的主观判断, 故在同一光照条件下, 计算机系统对物体颜色的判定与人眼的知觉特性有所差异. 研究者根据色彩恒常性提出了Retinex理论, 将其广泛应用于图像去雾领域.

Edwin Land提出了Retinex理论[14], 也称作视网膜皮层理论. 成像由入射光和反射物体组成, Retinex理论模型如图1所示.

由外界光照环境形成的入射光被景物接收, 由景物反射性质形成的反射光被观测者接收, 其数学模型为:

式中, $S\left( {x,y} \right)$ 表示原图像, $L\left( {x,y} \right)$ 表示照射分量, $R\left( {x,y} \right)$ 表示反射分量, 照射分量决定了原图像中像素的动态范围, 反射分量决定了物体自身的特定性质, Retinex算法[15,16]的实质是为了降低或者消除入射光的影响, 恢复出由物体内在性质决定的反射分量, 即物体原来的属性. 在图像处理中应用Retinex理论能消除外界光照环境对物体成像的影响, 从而实现原图像细节信息的增强.

Retinex算法流程图一般可表示为图2所示过程.

将式(6)的变量转化在对数域中处理, 是因为对数形式更贴近于人类识别系统的感知特性, 并将乘积运算转化为简单加减运算, 原图像s可表示为:

式中, $s = \log (S)$ , $l = \log (L)$ , $r = \log (R)$ .

采用特定的方法估计图像的照射分量,图像的反射分量r则由原图像s减去照射分量l可得到, 增强的图像是对反射分量r进行反对数运算, 可表示为:

本文多尺度Retinex图像增强算法[17-19]是在不同尺度上完成原图像去雾处理, 通过合理地选取多个尺度参数, 再将得到的结果依据特定的方式叠加起来, 实现图像增强去雾处理.

首先分别按R、G、B颜色通道将原图像分解成三幅相应的灰度图像, 对原图像进行多尺度变换, 得到分别为高中低的多尺度图像, 再通过高斯函数做卷积运算, 对其输出的结果进行3种尺度的加权平均运算, 然后把R、G、B颜色通道的增强图像合成一幅图像, 完成多尺度Retinex算法[20,21]图像增强处理.

多尺度Retinex增强算法公式为:

式中, ${\omega _k}$ 表示与高斯函数有关的权重, 通常k取值为3, i表示颜色通道, 图像中共有N个颜色通道, ${{S}}({{x,y}})$ 表示原图像, ${{F}}({{x,y}})$ 表示高斯函数, ${{R}}({{x,y}})$ 表示多尺度Retinex增强后的输出图像.

基于Retinex理论的图像增强算法能够有效地提升图像的亮度, 实现图像细节信息的增强以及颜色的保真效果, 由于拍摄环境较暗或者光照不足引起的低照度图像成为多尺度Retinex增强算法[22]的主要研究对象, 图像的增强效果和高斯低通滤波器选取的尺度参数有极大的关系. 参数较大能较好地保留图像色彩, 但图像细节信息较少; 参数较小能增加图像细节和对比度, 但图像会出现色彩失真的现象, 所以需要平衡参数对图像增强的影响, 通过大量的试验表明, 在RGB颜色通道上多尺度Retinex增强算法选取高、中、低尺度分别为15、80、200的参数, 可以达到较好的图像增强结果.

多尺度Retinex增强算法的流程图如图3所示.

为评估3种不同去雾算法的去雾效果, 本文采用人眼观察的主观分析和图像去雾质量评价参数的客观分析, 对彩色图像进行图像增强去雾算法的比较. 此次实验在MATLAB R2016b软件平台上进行编程, 硬件参数: CPU为Intel Core i5-4210U, 2.40 GHz; 内存8.00 GB.

本文选取两幅彩色有雾图像, 图像像素大小分别为500×328和485×332, 利用全局直方图均衡化算法、小波变换算法和多尺度Retinex算法进行去雾图像效果的比较, 以人眼为观察角度, 根据人眼的视觉特性判断图像的好坏.

观察图4可知, 图4(b)整体的亮度得到了提高, 农田以及房屋的色彩变得更加明亮, 增强了与周围树木之间的对比度, 但远处景物被过度增强, 丢失了右下角大树的细节信息, 图像的色调出现了明显的失真; 图4(c)较好地保留了原图像的景物特征信息, 图像亮度增加了一些, 但远处树木房屋仍被较大范围薄雾所笼罩; 图4(d)房屋、树木和农田的景物特征凸显出来, 图像色调变得明亮清晰, 没有出现过度增强的现象, 整体图像的观感更加符合人眼的特性.

观察图5可知, 图5(b)人、山和树的整体结构较为清晰, 但草地的色调变得昏暗, 天空区域被过度增强; 图5(c)图像的亮度明显提高, 但大部分区域还是被薄雾覆盖, 去雾效果不是很理想; 图5(d)整体的色调较为明亮, 景物细节也较为清晰, 没有出现过饱和的现象, 图像的对比度明显增强.

本文分别记录3种去雾算法的均值(MID)、均方误差(MSE)、信噪比(SNR)和峰值信噪比(PSNR).

均值反映去雾算法所得图像的亮度, 均值越大, 图像亮度也越大; 均方误差是评价原图像和去雾图像间的误差大小, 其值越小, 两幅图像的误差越小; 信噪比反映图像中所含噪声的多少, 信噪比越大, 图像所含的噪声越小; 峰值信噪比是评价图像质量常用的客观标准, 其计算值越大, 表明彩色图像失真越小, 所得图像的质量就越高.

观察表1和表2可知, 多尺度Retinex算法相比较于全局直方图均衡化和小波变换算法而言, 两幅彩色图像都取得了较大的均值, 表明图像的亮度增强; 都取得了较小的均方误差, 原图像和去雾图像间的方差最小; 都取得了较大的信噪比, 说明图像中所含噪声较小; 也都取得了较大的峰值信噪比, 彩色图像失真度最小, 去雾图像的质量较高.

本文采用图像增强的方法对彩色图像的RGB三层通道分别进行去雾处理, 用到的算法有: 全局直方图均衡化法、小波变换算法和多尺度Retinex算法. 全局直方图均衡化法计算简单, 容易实现, 广泛应用于图像增强去雾处理中. 小波变换算法增强不同频率的图像分量, 实现彩色图像亮度的增强. 多尺度Retinex算法平衡前两者的去雾特性, 对雾霾图像有良好的去雾效果, 突出图像中暗区域的景物信息. 实验结果表明, 多尺度Retinex算法得到的去雾图像对比度增加、细节信息较为清晰、贴合人眼观察图像的特征, 整体的去雾效果较好. 本文主要研究的是单一彩色图像去雾算法, 将彩色图像去雾算法深入应用到动态和视频图像中, 需要进一步地深入研究.