谌琛,李卫军,陈亮,覃鸿,来疆亮
(中国科学院半导体研究所神经网络实验室,北京100083)
仿生学是目前快速发展的热门研究领域.由于人类视觉系统在处理图像信息上近乎完美的特性,目前越来越多的学者研究仿生学在机器视觉和图像处理中的应用.从1970年Robison对猴子视觉神经系统的研究开始,学者们开始对视觉系统的生物特性进行了深入的研究,并基于视觉仿生探索新的图像处理方法[1-2].例如,E.H.Land 等提出了基于Retinex理论的图像增强算法[3-5],訾方等提出了视觉仿生并将其应用在多波段成像导引头的设计中[6]等.这些研究表明,模仿人眼视觉系统的图像处理技术,能够有效地提高图像处理技术的效率.
文献[1-2]模仿人眼视觉系统的亮度自适应特性和视网膜神经元感受野的非经典侧抑制性,提出了一种仿生图像增强算法,并且通过实验论证了该算法的有效性.然而,进一步的研究表明[1]:该算法存在过增强现象,模型中的部分参数没有建立数学模型,因此无法自适应地对不同类型的图像进行有效处理,缺乏实际应用价值.
本文采用与文献[1]相同的算法框架,在文献[1]的工作基础上,对上述方法进行改进和完善,提出了一种自适应的图像增强算法:LDRF(logarithmic and disinhibitory properties of concentric receptive field)算法.LDRF算法首先建立参数对数模型对图像进行自适应全局亮度调整,然后采用三高斯单边滤波对图像进行局部对比度增强,引入Wallis算子对增益因子建立模型,根据李朝议院士对侧抑制特性的研究[7-8],建立不等式模型,确定三高斯模型中部分参数的取值范围和相对关系,并通过大量实验找到具有普适性的参数值,使LDRF算法能够针对不同种类(例如尺寸不同、大小不同)的图像都能自适应地进行图像增强并取得较好的效果,最后通过线性变换恢复图像的彩色信息.
人类视觉系统能够适应很宽的光强度级别.但特殊动态范围的基本点是人的视觉系统不能同时在一个范围内工作(如图1所示),它是通过改变其整个灵敏度来完成这一大的变动的,这就是亮度适应现象[9].对于任何一组给定的条件,视觉系统当前的灵敏度级别称为亮度适应级别,例如,它可能相当于图1中的亮度Ba.图1中短交叉线表示当眼睛适应这一强度级时人眼能感觉到的主观亮度范围.这一范围有一定的限制,在Ba和Bb以下时,所有的刺激都作为不可分辨的黑色来理解[9-10].
图1 光强亮度与主观亮度关系曲线Fig.1 Relation curves of the brightness of the light intensity and subjective brightness
1991年,李朝议院士发现了在经典视网膜神经元感受野的外部还存在一个非抑制区域[7-8],称之为视网膜神经元感受野非经典侧抑制性(disinhibitory properties of concentric receptive field,DRF),DRF的具体结构是:中间区域兴奋、四周区域抑制、边缘区域兴奋(如图2).边缘区域的面积大但总体兴奋强度低,它在传输大面积亮度时起到重要的作用.李朝议院士还提出三高斯模型(如式(1))模拟视网膜神经元感受野非抑制特性的结构.
图2 视网膜神经元感受野非经典侧抑制性结构Fig.2 Disinhibitory properties of the concentric receptive field
式中:A1、A2、A3分别表示中间、四周、边缘区域的兴奋强度,σ1、σ2、σ3分别表示对应的区域半径.基于视网膜神经元感受野非经典侧抑制性的三高斯模型既能很好地增强图像的边缘对比度,又能提高被传统感受野中心/外周拮抗机制所滤除的区域亮度对比和亮度梯度信息[1].
LDRF算法有如下3个步骤:
1)全局亮度增强:采用参数化对数模型,模拟人类视觉系统对于光强的主观感觉特性,对图像进行全局亮度调整,避免过增强现象,提高算法的自适应能力.
2)局部亮度增强:利用视网膜神经元感受野非经典侧抑制性的三高斯模型,在全局亮度增强后的图像上计算当前点的主观感觉亮度,依据当前点亮度和主观感觉亮度间的线性关系增强图像局部细节信息.
3)使用线性恢复算法调整图像的彩色信息.
由于人眼的亮度适应性发生在人眼视觉系统的初期,符合对数模型.因此建立参数对数模型(如式(2)~(5))以达到根据图像自身的整体亮度情况自适应地全局增强图像的亮度.
式中:h(1∶k)表示1~k的灰度级的统计直方图,T为阈值.则取该值带入式(2)~(5)中进行全局亮度增强.
通过参数化对数模型[11]自适应地全局增强图像亮度,以避免图像增强过亮而在后续步骤中失去有用的亮度信息.虽然参数化对数模型能够有效地提高图像较暗区域的亮度,但会压缩亮度的动态范围,导致图像难以显示细节特征.
因为人眼的主观亮度与进入人眼光强对数的关系是局部线性的,所以基于全局亮度增强后的图像,需通过式(6)进行局部对比度增强.如果当前点的亮度高于邻域主观感觉亮度则线性增强该点亮度,反之则线性降低该点的亮度.其中,邻域主观感觉亮度的计算是通过视网膜神经元感受野非经典侧抑制性的三高斯模型实现的(如式(7)).同时,引入Wallis统计差分算子[12],对式(6)中的增益因子进行数学建模(如式(8)~(10)).与领域内像素相比偏差较大的像素点的增益因子越大,即细节的增强幅度越大,以便突出细节信息,而其他地方细节的增强幅度相对减少,从而使全局亮度增强后减弱的细节更加突出,增大了被压缩的局部动态范围.通过式(8)~(10)将增益值控制在 Amin和 Amax之间[8].
式中:I(x,y)是原始图像在(x,y)处的像素值,Ig(x,y)是全局亮度增强后的像素值,m(k)、t(k)、c(k)是根据图像自身的亮度信息确定全局对数调整的程度,通过计算原始图像自身的统计直方图确定参数k的值.即如果k值满足以下法则:式中:IL(x,y)是局部增强后的图像像素值;k(x,y)是增益因子方程,为正值;Ig(x,y)为全局亮度增强后图像的像素值;IV(x,y)为当前点(x,y)处的邻域主观感觉亮度;M是局部亮度增强的窗口大小;GR是非经典侧抑制模型的三高斯模型函数,如式(1)所示;D(x,y)是像素(x,y)处W×W领域的标准方差;Amin、Amax是增益因子模型的最小值和最大值,通过实验证明最小、最大值分别取1和3,可以适用于大部分类型图像的局部增强.
通过建立增益因子模型能够有效地提高局部图像增强的自适应性和自动处理能力,图像中不同区域的增益因子各不相同,使局部信息得到更生动的突显.
图像经过全局亮度增强和局部亮度增强后,再进行颜色恢复.颜色恢复方法如式(11)所示[1].
式中:Ij(x,y)分别对应原始图像的r、g、b三原色分量;Sj(x,y)是增强后彩色图像对应的r、g、b三原色分量.
根据李朝议院士的研究[7-8],视网膜神经元感受野非经典侧抑制的三高斯模型中,中间兴奋区域面积小,但兴奋程度大;边缘区域具有较大的面积,但总面积兴奋程度小.Aπσ2表示半径为σ的面积内的总兴奋度,则对三高斯模型中的参数 A1、A2、A3、σ1、σ2、σ3建立式(12)~(15)所示的数学模型:
通过建立不等式模型确定6个参数的区域范围和相互关系,再通过大量图像实验取得6个参数的值(如表1所示).表1中的值适用于大部分类型的图像,对不同亮度、类型、大小的图像进行亮度增强的过程中不需要人工调整.
表1 三高斯方程的参数值Table 1 Parameter values of the tri-Guassian function
图3为 LDRF算法、MSRCR算法和文献[1](文献[2]的实验结果与文献[1]近似)3种算法的2组实验结果.与原图相比,经过LDRF方法处理后的图像提高了图像的整体亮度,又增强了细节信息.通过人眼判断可知,图3(c)和图3(d)的图像细节较生动.LDRF算法与MSRCR算法的增强结果相比,图3(c)的松树比图3(e)的松树细节更丰富生动,同样的细节现象也出现在人脸部分和衣服区域,图3(d)的人脸细节比图3(f)的人脸细节更多、更明显.同文献[1]的算法相比,LDRF算法避免了由于过增强而导致的失真现象,此现象在图3(h)中尤为明显,图3(h)由于过增强,导致最终的图像有些失真,脸部细节丢失,照片整体感觉犹如旧照片.图3(g)的云区也有过亮失真的现象,图3(c)和图3(e)中云层的细节比图3(g)中云层的细节更丰富.这是因为LDRF方法对增益因子采取建模,局部亮度增强的程度可以根据局部的亮度信息而有所不同,从而使LDRF算法能根据局部细节亮度信息自适应增强局部亮度,增强的效果更丰富生动.
图3 LDRF算法、MSRCR算法、文献[1]的算法对比Fig.3 Comparison experiment of LDRF algorithm,MSRCR,and the algorithm in reference[1]
综上所述,LDRF算法针对不同类型的图像进行增强处理都取得了较好的效果,增强后的图像质量符合人眼的主观视觉效果;同时避免了图像过增强现象,保留了图像原有细节;而且处理过程无需人工调整参数,有效地提高了算法的自适应能力和实用性.
本文方法LDRF算法与文献[1-2]中的仿生图像增强方法相比,由于采用参数对数模型、基于视网膜神经元感受野非经典侧抑制三高斯模型的单边滤波、增益因子模型等建模过程,因而对图像的全局亮度和局部细节都能自适应地增强,同时简化了算法,避免了过增强,具有较生动的图像增强效果.另外,LDRF算法不需要对不同亮度、类型、大小的图像进行人工调整参数,因而提高了仿生图像增强算法的实用性.在大量不同的图像上与MSRCR方法、文献[1]方法的对比实验分析表明,提出的自适应仿生图像增强算法(LDRF)取得了生动的增强效果,有效地提高了算法的自适应性和实用性.进一步的工作将集中在如何将视网膜神经元感受野非经典侧抑制的各向异性引用到LDRF算法中,并探索更快速的仿生图像增强算法.
[1]金小贤,李卫军,陈旭,等.一种基于视觉特性的仿生图像增强算法[J].计算机辅助设计与图形学学报,2010,22(3):534-537.JIN Xiaoxian,LI Weijun,CHEN Xu,et al.An algorithm for biomimetic image enhancement based on human visual property[J].Journal of Computer-Aided Design & Computer Graphics,2010,22(3):534-537.
[2]王红梅,李言俊,张科.生物视觉仿生在计算机视觉中的应用研究[J].计算机应用研究,2009,26(3):1157-1159.WANG Hongmei,LI Yanjun,ZHANG Ke.Application of bio-vision bionics on computer vision[J].Application Research of Computers,2009,26(3):1157-1159.
[3]KOLB H.How the retina works[J].American Scientist,2003,91(1):28.
[4]LAND E H.The retina theory of color vision[J].Scientific American,1997,237(6):108-129.
[5]JOBSON D J,RAHMAN Z,WOODELL G A.Properties and performance of a center/surround retinex[J].IEEE Transactions on Image Processing,1997,6(3):451-462.
[6]ZI Fang,LI Yanjun,ZHAO Dawei,et al.Vision bionics and its application on design of multi-wavehand imaging guidance head[J].Control Technology,2008,27(1):55-56.
[7]LI Chaoyi,ZHOU Yixiong,PEI Xing,et al.Extensive disinhibitory region beyond the classical receptive field of cat retinal ganglion cells[J].Vision Research,1992,32(2):219-228.
[8]LI Chaoyi,PEI Xing,ZHOU Yixiong,et al.Role of the extensive area outside the x-cell receptive field in brightness information transmission[J].Vision Research,1991,31(9):1529-1540.
[9]GONZALEZ R C,WOODS R E.Digital image processing[M].2nd ed.Upper Saddle River,USA:Prentice Hall,2002.
[10]PRATT W K.Digital image processing[M].4th ed.New York,USA:John Wiley& Sons,2009:16-69.
[11]CHEN Chen,LI Weijun,CHEN Liang.An improved biomimetic image processing method[C]//Proceedings of the Third International Conference on Artificial Intelligence and Computational Intelligence.Berlin/Heidelberg:Springer-Verlag,2011:246-254.
[12]WALLIS R H.An approach to the space variant restoration and enhancement of images[C]//Proceedings of Symposium on Current Mathematical Problems in Image Science.Monterey,USA,1976:235-241.