图像增强算法综述①

靳阳阳,韩现伟,周书宁,张世超

(河南大学 物理与电子学院,开封 475001)

在全球信息化大幅发展的时代,对于这个世界的认识越来越依靠于信息的爆炸性传递.大部分人认识世界的主要途径还是眼睛的可视性,人眼所看到的一切都可以化作图像的形式.图像的获取、生成、压缩、存储、变换过程自然会受到各种状况的影响,例如获取图像时会因为天气原因,不同光照条件,图像亮度也有着细微的变化,同样由于仪器设备的质量,参数的设置,人员的操作都会使图像质量在一定程度上的损伤,影响图像的质量.图像增强算法的出现,无疑是对受损的图像做一个“修补”的工作,以此来满足各样的需求.图像增强的目的是为了适应人眼的视觉特性,且易于让机器来进行识别.近些年来,图像增强的发展涉及了很多领域,其中包括了遥感卫星成像领域、医学影像领域、影视摄影等各领域[1].

要想真正地实现图像增强的效果,首先对于整个图像来讲,要提高图像部分和整体的对比度,细节也不能忽略;其次应提高图像的信噪比,抑制噪声的产生,对“降质”的图像处理;然后是对于增强过的图像来讲,避免出现局部增强不适,影响人眼的观看模式.

下面我们将列出几类典型的且应用范围比较广的图像增强算法以及改进的算法.直方图均衡(HE)技术原理是对原图像的灰度直方图从比较集中的某个灰度区间转换为全部灰度区域内的均匀分布[2];由此算法进行转化的局部直方图均衡化[3],符合图像局部特性;Kim等提出的保持亮度的双直方图均衡算法(BBHE)[4],最大亮度双直方图均衡(MMBEBHE)算法有效地保持图像亮度[5];迭代阈值的双直方图均衡算法(IBBHE)[6]用迭代的方法达到增强对比度和亮度保持的效果;彩色图像直方图均衡算法[7],运算复杂度很低,合并图像的视觉效果很好.基于偏微分方程(PDE)的增强方法是把图像作为水平集或高维空间中的曲面,再根据曲线和曲面演化逐步来增强图像的对比度[8];基于全变分模型插值的图像增强方法[9],保留原图像的细节,提高了对比度;基于HE 的偏微分方程增强方法,在梯度域增强对比度基础上[10]提出新梯度变换函数.小波变换中增强本质是图像信号分解为不同频段图像分量[11];小波变换图像多聚集模糊增强方法[12],增强后的图像较为清晰;基于离散余弦变换(DCT)和离散小波变换(DWT)的图像增强方法,提高图像的质量,同时减少计算复杂度和内存使用量[13];基于小波分析和伪彩色处理的图像增强方法[14],在降噪增强的同时进一步提高图像分辨率.基于量子力学偏微分方程的缺陷图像增强的研究[15].基于PDE 的红外图像增强,很好改进了传统对比度增强方法的不足[16];基于PDE 平滑技术是一种新兴的图像增强滤波技术,实质性、开创性的研究在图像增强滤波中引入的尺度空间理论[17].基于LBPV (Local Binary Pattern Variance)的分数阶微分图像增强算法[18],在图像纹理和细节方面处理效果比现有分数阶算法效果更好;自适应分数阶微分理论指纹图像增强算法改进了传统分数阶微分形式,提高了计算精度[19].基于多尺度Retinex 的HSV 彩色快速图像增强算法,在HSV颜色模型中有与Multi-Scale Retinex (MSR)等同的结果,处理时间短[20];基于多尺度Retinex 的数字射线照相增强算法,改善对比度,抑制噪声[21];MSR与颜色恢复(MSRCR)算法增强的图像在复杂的情况下进行识别物体[22];基于变分Retinex 方法的图像增强,良好结合了MSRCR和变分方法的优点,保证图像自然度[23].近年来,基于深度学习的图像处理算法迎来了一个新的时代[24].Hu 等利用超分辨卷积神经网络(SRCNN)方法提高了风云卫星亮温图像的峰值信噪比,结果较传统方法更精细[25];Li 等利用深度学习来增强低光图像,提出利用深度的卷积神经网络进行学习,提高图像质量[26].

1 图像增强算法的介绍

1.1 直方图均衡算法

直方图均衡化算法,简言之就是对图像直方图的每个灰度级来进行统计[3].实现归一化的处理,再对每一灰度值求累积分布的结果,可求得它的灰度映射表,由灰度映射表,可对原始图像中的对应像素来进行修正,生成一个修正后的图像.

1.1.1 传统标准直方图均衡算法

传统直方图均衡算法是通过图像灰度级的映射,在变换函数作用下,呈现出相对均匀分布的输出图像灰度级,增强了图像的对比度.该算法是相对于图1中n=1,均衡函数为fHE的简化模型[27],即:

图1 全局均衡算法的模型

其中,函数fHE代表直方图均衡过程,其大致过程为:已知输入和输出图像为X和Y,总灰度级为L,则存在Xk={X0,X1,···,XL−1},均衡后输出和输入图之间有如下变换关系:

其中,c(Xk)展现的累积概率分布表示函数输入图像灰度级.

如果输入图像看作一个连续随机变量,即L=∞,则输出图像自然是一个随机变量,输出图像灰度级均衡后的概率分布将趋于均匀,则输出图像的亮度均值为:

得到均衡后图像的均值分布与原图像无关,由此可知其不能有效保持原始图像的亮度,由于原图像各灰度级概率密度的差异,简并现象的产生明显变多.

1.1.2 保持亮度的双直方图均衡算法

BBHE 实质是利用两个独立的子图像的直方图等价性[4].两个子图像的直方图等价性是根据输入图像的均值对其进行分解得到,其约束条件是得到均衡化后的子图像在输入均值附近彼此有界作为基于图像均值进行的分割,均衡后图像均值偏离原始图像均值的现象不会出现,达到了亮度保持的目的,其算法流程如下:

1)计算输入图像均值Gmean,根据均值将原始直方图分为左右两个子直方图.

2)分别计算左右两个子直方图的灰度分布概率直方图PL(i)和PR(i),即:

其中,NL和NR分别表示左右两个子直方图的总像素数,L表示图像总灰度级数.

3)计算左右两子直方图的累积分布直方图cd fL(i)和cdfR(i),即:

4)计算左右两个映射表tabL(i)和tabR(i),合并之后得到最终的映射表tab,其中round表示四舍五入取整,即:

对于一些低照度和高亮的图像,均值会处于较低和较高的地方,若此时基于均值进行分割并分别均衡的话,很大程度上会导致一个有大量数据的子直方图在小范围内进行均衡的情况出现,另一个只有少量数据的子直方图却在较宽的范围内均衡.

1.2 小波变换图像增强算法

19世纪80年代Morlet 提出小波变换的概念,数学家Merey 在十几年后提出小波基构造思想,随着Mallat 的加入,两个人共同建立了小波变换算法.通过小波逆变换将同态滤波处理的低频分量和经自应阈值噪、改进模糊增强的高频分量得到增强处理后的红外图像[28].

1.2.1 标准小波变换图像增强

小波理论具有低熵和多分辨率的性质,处理小波系数对降噪有一定作用,噪声主要在高通系数中呈现,对高低通子带均需要增强对比度和去噪处理.标准小波变换图像增强(WT)将图像分解为1 个低通子图像和3 个具有方向性的高通子图像,高通子图像包括水平细节图像、垂直细节图像和对角细节图像[29].小波变换最大的特点是能较好地用频率表示某些特征的局部特征,而且小波变换的尺度可以不同[30].

1.2.2 改进后的小波变换图像增强算法

针对传统方法对图像多聚焦模糊特征进行增强会出现图像不清晰、细节丢失现象,小波变换图像多聚焦模糊特征增强方法,利用背景差分法将目标图像的前景区域提取出来,背景区域亮度会随时间发生变化,进而完成背景区域特征更新;根据全局像素点熵值和预设阈值校正加强模糊特征,突出小波变换图像边界局部纹理细节信息,完成增强变换.基于小波变换域的医学图像增强方法[31],是基于Shearlet 变换改进的Gamma校正,采用改进的伽玛校正对低频进行处理,利用模糊对比函数增强图像细节,增强图像的对比度.

二进小波变换简单的对信号尺度参数实现了离散化,不过仍具备和连续小波变换同样的平移不变特性.利用二进小波变换将指纹图像分解[32],步骤如下:

1)首先将获取的指纹图像进行尺度的分解,这样得到的频率分量为一低三高;

2)对低频分量进行直方图均衡;

3)对3 个高频分量先进行高斯拉普拉斯掩膜锐化,得到锐化后的图像;

4)直方图均衡后的低频分量和处理后的3 个高频分量进行二进小波逆变换重构,得到增强后的图像.

1.3 偏微分方程图像增强算法

1.3.1 标准偏微分方程图像增强

假设Vlo(p)和Vl(p)分别为两幅图像lo和l 的对比度场,若Vlo(p)与Vl(p)在每一点上具有相同的梯度方向,但前者大小均大于后者,则图像应该lo比l 具有更高的对比度,可以将lo看作l 的增强图像.实际上,从图像l 到图像lo的过程就是标准PDE 图像增强实现的过程,可以由以下式子来描述它们的关系:

式中,Vlo(p)为增强后图像的对比度场;k为增强因子,一般情况下k＞1,过大的话会增大噪声.对于式(12),图像l是已知的,其解为:

式中,φ是一个与坐标无关的常数.可看到两幅图像之间的动态范围存在k倍的差距.对于可在计算机屏幕上显示的数字图像,其动态范围为0～255.我们要做到先要对lo(p)的对比度场进行约束,之后开始按照步骤运算,最后才能得到比较准确的数据.

1.3.2 改进的偏微分方程增强方法

为避免增强图像梯度场同时造成噪声的危害加剧,寻找一种比较适合的增强方法.定义原图像的数值梯度函数为∇u,梯度模的最大值为max‖∇u‖,最小值为min‖∇u‖,增强之后的图像梯度为S[10]:

1.4 分数阶微分方程增强算法

近些年,分数阶微积分在多领域都有了突破性进展[34].分数阶微分不仅可以提升图像中的高频分量,还可以以一种非线性形式保留图像中低频分量所带有的性能.常用的分数阶微分定义有G-L、R-L、Caputo 三种定义,其中最常用的是采用非整型分数阶微积分的G-L 定义[35].

1.4.1 图像增强的分数阶微分算子构造

让图像像素邻域中任一像素与对应系数进行乘法运算,得到的结果再进行和运算,得到像素点所在位置的回复,当邻域的大小为m×n,要求的系数会很多.这些系数被排列成一个矩阵,称为滤波器、模板或者掩模[36].

在整数阶微分方程的增强算子中,有一类是拉普拉斯算子,对任一二元连续函数f(x,y)来讲,其拉氏变换可表示为:

由于在图像f(x,y)中,两个相邻像素点之间灰度产生差异的距离最小,因此图像f(x,y)在它的x和y方向上灰度值的变化只能以像素之间的最小距离为单位来进行数值度量和分析,所以f(x,y)的最小等分间隔只能设为:h=1,如果图像中x和y方向的持续区间分别为x∈[x1,x2]和y∈[y1,y2],则最大等分份数分别为nx=[x2−x1]和ny=[y2−y1].

将上式拉普拉斯变换写成离散的表示形式,对x方向和y方向重新定义,得到它的二阶微分表示:

根据以上定义,可以得到:

拉氏算子还要对处理前后的图像完成进一步的叠加,其方式如下:

在雾天图像中应用算子增强图像,边缘轮廓还有纹理部分的效果会很容易看到,不过若是图像像素中某一范围灰度变化不明显,细节可能受到损失.因此,构建图像增强的分数阶微分算子,将整数阶微分扩展到分数阶微分上并且应用于图像增强中[37].

1.4.2 改进的分数阶微分算子增强图像

相比传统的分数阶微分算法的不足,提出新的改进算法,在极端条件处理拍摄的交通图像时,具有良好效果.上文提到的指纹图像增强算法,对传统形式加以改造,在计算精度上有所提升,进而构造了更加高精度的分数阶微分掩模.通过对像素周围的纹理对比从而逐点选择微分阶,明确的选择了具有二阶精度的分数阶微分形式来构造IRH 算子,并对算子结构进行相应的改进,之后利用图像的梯度信息和局部统计信息,结合中心像素对相邻像素的影响,建立自适应分数阶微分的自适应函数,此法保留了指纹纹线和图像纹理细节,对于降噪起到很好的作用.

1.5 Retinex 图像增强算法

Retinex是retina(视网膜)和cortexv(大脑皮层)组成的,Retinex 算法由美国物理学家提出[38].Retinex 理论的基础是人类视觉系统的色彩恒常性,人类视觉感知系统的色知觉存在“先入为主”的特性,即光源条件发生改变,视网膜接收到的彩色信息也会被人们的大脑驳回.Retinex 理论的依据就是是原始图像S(x,y)可以分解为照射图像L(x,y)和反射图像R(x,y),最重要的就是让S(x,y)摆脱L(x,y)的影响,以便得到图像的反射属性.

1.5.1 经典的Retinex 图像增强

对数域进行操作可以把乘法运算变成简单的加法运算,进而出现了多种Retinex 算法.经典的有:单尺度Retinex 算法(SSR)、多尺度Retinex 算法(MSR)和带色彩恢复的多尺度Retinex 算法(MSMCR)等[39].

针对运算速度缓慢的问题,在1986年,Jobson 等[40]将高斯低通滤波与Retinex 结合,改进了Land 提出的中心环绕Retinex 算法(Center/Surround Retinex),提出了单尺度Retinex(SSR)算法.在SSR 算法中,Jobson等创新的使用高斯函数与图像进行卷积的方式来近似实现了入射分量的表达.它的数学表达式如式(20)表示:

其中,Ii(x,y)表示原始图像的第i个通道分量的像素值,i∈(R,G,B) 颜色通道中的一个,G(x,y,c)表示中心环绕函数,∗是一种卷积操作表示,入射分量的表达可以借用Jobson 等的成果,Li(x,y)则可以看做入射图像的第i个通道分量.SSR 的实现过程如式(21) 至式(23)所示:

由于SSR 算法处理要对图像细节对比度和色彩的保留做到很好的发展,而尺度c又相对难做到极好的运用,MSR 算法的出现,在很大程度上解决了这一问题,起到了平衡图像色彩和细节的良好效果.

1.5.2 改进的Retinex 图像增强

Retinex 算法对于图像增强的效果需要经过精确且复杂的计算,最后的结果精确度越高,增强效果将会更好.文献[20]中基于多尺度Retinex 的HSV 彩色快速图像增强算法.在HSV 模型中用多尺度Retinex 进行图像增强,由于颜色转换的非线性,计算起来非常复杂.使用亮度校正的MSR 算法基于HSV 颜色模型和修正的V 频道输出图像的RGB 分量的线性形式减少30–75%的平均处理时间,MSR 算法在Haar 小波变换低频区域应用亮度校正的处理速度有很明显优势,平均加速度接近3 倍.文献[22,23]中介绍了MSRCR 算法.由于传统均值移位算法有不少的不足,改进后,对要增强的图像可以在情况复杂下进行识别物体,增强对比度的同时,光晕现象的产生被消灭,噪声得到抑制,保证图像自然度.基于Retinex 提出一种自适应的图像增强方法,其中包括如下4 个步骤:(1)用引导滤波器估计其照度分量;(2)提取图像的反射分量;(3)对反射分量进行颜色恢复校正;(4)后处理.由于雾霾和照度较低,自然生成的图像质量比较差,而此法不管是在定量还是定性上都突出了更好的优势.此算法最终的结果图像具有清晰的对比度和生动自然的颜色[41].

1.6 基于深度学习的图像增强算法

在当今社会经济科技奋进之时,深度学习的发展可谓是如日中天,特别是在图像增强方面.

1.6.1 卷积神经网络图像增强算法

神经网络(neural networks)最基本的组成结构是神经元(neuron),神经元概念源于生物神经网络[42].卷积神经网络(Convolutional Neural Network,CNN)在传统神经网络基础上,引入了卷积(convolution)和池化(pooling),CNN 的建筑灵感来自于视觉感知[43].CNN是深度学习领域最重要的网络之一,CNN 在计算机视觉和自然语言处理等诸领域都有很大成就.卷积神经网络的特性比较突出,除了可以实现权值共享外,可调的参数相对来说不多,对二维图像这类的,它的平移、倾斜、缩放包括其他形变都拥有着极高的不变性.CNN 相比于一般的神经网络,具有很大优势[44]:(1)局部连接.每个神经元只与少数神经元相连,有效地减少了参数,加快了收敛速度;(2)重量共享.一组连接可做到同时分享相同的权值,进一步降低了所需的参数;(3)降采样降维.池化层利用图像部分相关的依据对图像进行降采样,降低运算数据量,留存有效的信息值.卷积神经网络大致包含4 部分,卷积层、池化层、全连接层以及反卷积层,各自具有不同作用,承担独自的工作.深度越深,网络性能越好;随着深度增加,网络性能逐渐饱和.

1.6.2 基于深度学习图像增强的改进算法

Hu 等基于深度学习方法增强MMSI 亮温图像,设计卷积神经网络重建风云四号卫星MMSI 的亮温图像和风云三号卫星微波成像仪亮温图像[25].在根据SRCNN进行实现映射函数fo=F(g),式中,g为监测的天线温度的图像,可用于复原F(g),使其尽可能接近地面真实高分辨率亮温图像f.映射函数F的完成可以依据学习思想,构建一种卷积神经网络,为了让观测图像数据重新构建为理想的高分辨数据,需要对卷积神经网络进行一系列特征变换,此过程即达成卷积核的卷积操作.相比古老的插值方法而言,SRCNN 方法除了提高图像的峰值信噪比之外,在提高图像细节较古老的方法也有很大的提高.

2 图像增强算法的评价和对比

2.1 各种算法增强效果的分析

通过对论文文献研究比对,以及对于其中的经典算法以及改进的算法,对应用广泛的上述6 大类图像增强算法进行较概括的研究分析.

图2是几种不同算法得到的增强图像.从增强图像的效果来看,HE 增强效果是对图像的动态范围进行拉大实现的,增强效果随动态范围增加而变差.BBHE算法均衡后的图像在增强对比度的同时很好保持原图像的平均亮度.IBBHE 根据各子图像的直方图分别进行独立的均衡化处理,IBBHE 增强效果更好.WT 算法增强图像细节信息,但是增加了噪声.小波变换图像多聚集模糊增强方法,对图像增强后,图像较为清晰,细节没有丢失,效果较好.PDE和TVPDE 算法放大了图像对比度场,增强后图像都有较高对比度[45].自适应分数阶微分可以很好降噪.SSR和MSR 算法去除了图像中照度分量影响,还原景物本身的亮度信息,MSRCR处理后的图像比原图像细节增加了,亮度有所提高,颜色有一定矫正,对颜色的恢复存在失真现象.基于深度学习的图像增强算法通过复杂的神经网络,进行大量的训练,得到的模型同时减少了训练时间,取得了更好的精度.

图2 不同算法得到的增强图像

2.2 算法增强效果的对比

对一幅图像的增强效果来讲,需要对图像对比度和信息熵来进行评价和比较,可以对图像有很好认识.

图像对比度的计算公式:

其中,Ii,j为中心像素点的灰度值,N为图像局部块内像素点的个数.为了计算一幅完整图像的对比度,需要对图像中所有部分块对比度总体的平均值来表示.

图像的信息熵公式如下:

式中,p(k)为灰度级k的概率密度,M为最大的灰度级.表1中为第一幅图通过不同算法得到的图像质量的客观结果评价,评价指标为对比度和信息熵.通过对文献中算法的研究以及本文中对增强算法的分析对比,我们得到表2中对不同算法优缺点的总结.

表1 不同算法得到的图像质量的客观结果评价

表2 不同算法的优缺点

3 增强算法发展趋势及有意义的研究方向

根据上文所介绍的不同图像增强算法及实验分析对比结果,可预见未来的图像增强算法发展将有以下特点:超分辨率、多维化、智能化和超高速.

1)超分辨率,对获得的低分辨率图像进行增强从而得到超高分辨率的图像,重点是对采集分辨率以及显示分辨率做进一步的提升,突破技术壁垒限制,向时空感知超分辨率迈进.

2)多维化,多维数据增强系统在多维系统中进行实时改进图像数据,进行超大核的卷积处理,让图像和图形产生一个高度的结合,对多维图像的增强效果达到一个新的高度.

3)智能化,让机器按照人类的思维和逻辑来进行有效的图像增强,结合计算机视觉和智能发展领域,创新共同服务智能领域的图像增强技术.

4)超高速,在硬件和软件性能提高的基础上,原始图像预处理时间几乎可以忽略不计,图像增强速度达超高速水平,各领域对图像增强技术都有依赖和期待.

水下图像增强在海洋生境制图、改善水下场景的三维重建、水下援救和海洋生物的可视化研究等领域有着广泛的应用.目前水下图像增强对水下图像的色彩失真效应很难完全进行补偿,增强后图像存在一定程度的色彩失真,对色彩失真的研究成为今后水下图像增强的重点方向,目前研究都是对自然水域下的图像进行增强,今后重点可向人工光源的方向迈进.

医学影像中图像增强,对于目前人类疾病的诊断和治疗起到了举足轻重的作用,不过由于医学图像成像的影响因素存在不确定性,复杂程度过高,对获取的图像进行深一步增强,可提高现代医学精确性和效率.

遥感影像中的图像增强,在土地利用变化、全球农情遥感、防范自然灾害、军事侦察和定量遥感等领域中进一步深入应用,可以及时发现自然环境意外情况,为应对险情做好充足的准备,对我国领空区域实施严密的监控,做好充分的战时紧急准备.

刑侦安防方面,比如在雨天、雾天或夜间由于环境的影响,导致监控拍摄的图像分辨率较低,很难观察嫌疑人面部轮廓,对其进行增强,可以很好改善图像质量,从而快速锁定目标.再如双能X 射线对机场行李进行检测,对获得的X 光图像进行图像增强,抑制X 射线存在的泊松噪声和脉冲噪声的影响,对人工识别违禁品过程提供参考,成为航空安全不可或缺的一道防线.

目前我们所熟知的增强图像算法如本文所讲,对目前流行的图像增强做一个技术路线,如图3所示.

图3 增强图像技术路线

4 结束语

图像增强是数字图像处理领域目前流行的方向之一,各种增强算法层出不穷,已经在遥感、医学、气象等领域有了很大的进展.本文讨论的算法对图像质量的增强和对细节的处理都有一定的效果,但在图像恢复中仍存在着细节的不足和色彩的损失,这些方面需要进一步加强.因此,就现阶段来讲,还没有任何一种算法可以使增强图像的各项指标达到最优化,而是只能在一定程度上实现一个平衡状态.不过随着算法的不断改进以及计算机硬件性能的提高,未来的图像增强技术将会在视觉效果、对比度、信噪比、信息熵等方面有更好的进步和更大的突破,对其在众多领域发挥更大的作用打下坚实的基础.