张 辽,赵金宇,曹景太,吴庆林,崔博川
(1.中国科学院 长春光学精密机械与物理研究所,吉林 长春130033;2.中国科学院大学,北京100049)
在实时监控、观测中,为了得到质量良好的图像,必须对采集到的图像进行增强处理。增强处理有两个作用:第一,图像在采集过程中会受到噪声干扰而使图像质量下降[1],增强后,会使噪声变小,图像的质量得到改善;第二,图像增强后会变得更符合计算机的识别和系统应用的要求[2],视觉特性也会得到改善。图像增强算法主要有频率域法和空间域法[3],前者主要变换到频率域处理,后者是对每个像素的灰度值直接处理[4]。
实时性是图像增强非常重要的指标。近年来关于图像去噪,国内外许多学者提出了很多效果较好的算法[5-9],但是大都不满足工程应用的实时性要求。因此,目前的实时性算法大都比较简单,算法效果有待提高[10-11]。主流的增强方法是利用直方图均衡化理论,其核心思想是减少图像的灰度级,来使图像对比度变大。此方法的优点是简单、有效且易于实现。但是,过度增强像素点、放大噪声、图像细节丢失等缺点也限制了它的广泛应用[12]。
本文提出了一种改进的基于局部统计特性的增强算法。在传统的局部增强算法之前,使用超限邻域法对原始图像进行去噪处理:通过设置阈值判断像素点是否为噪声点以及是否需要增强。由算法的仿真可得出,改进算法的抗噪能力得到增强;硬件测试后,实时性能也符合工程应用要求。
基于局部统计的增强算法[13]是基于图像邻域的数字特征的算法,它以局部区域统计特征(方差、均值)为依据,在一定指标下,判断某一区域像素点是否需要进行增强。主要步骤如下:
1)相关数字特征的计算
对数字图像的处理,实质上是对灰度矩阵的处理。假设1 个m×n 像素矩阵,它的所有像素的平均值(全局灰度)是MG,标准差是DG。它们分别度量了图像的强度和对比度。
假设一像素点(x,y),Sxy是以它为中心的确定大小的邻域,(s,t)是邻域内像素点,mSxy表示领域的平均像素灰度值,δSxy表示邻域的标准差。计算公式如下
式中:邻域内(s,t)坐标处的灰度值用rs,t表示,对应灰度值的邻域归一化直方图分量由p(rs,t)表示,它代表了灰度值rs,t在邻域内出现的概率。rs,t和p(rs,t)分别度量了邻域强度和对比度。由公式(1)和(2)可得出,当邻域扩大为整幅图时,MG变为mSxy,DG变为δSxy。
2)增强条件的判断
首先要选择需要增强的是暗区还是亮区,不同的区域会导致参数不同。如增强亮区域则应有:待增强区域均值大于全局均值,即mSxy≥k0MG,k0>1,反之同理。其次,所需增强区域一般具有较低的对比度,故还需进行对比度限制:δSxy≤k2DG,0 <k2<1,表明局部对比度小于全局对比度;此外,为了不对标准差为0 的恒定区域进行增强,对δSxy还应有δSxy≥k1DG,其中k0,k1和k2是系数,都为正,且存在k1<k2。符合以上所有条件的像素点才是增强目标。
3)增强公式
对待增强像素点进行如下处理
式中:f(x,y)是(x,y)点处原有的像素值;g(x,y)是处理后该点的像素值;E 是增强的倍数;k0,k1,k2是相关参数。
4)确定各相关参数的取值。
对某些特定图像比如暗背景图像,此算法具有较好的增强效果。但由于只是简单地将灰度增强了E 倍,导致某些区域对比度不够明显。另外,由于未对噪声进行处理,该算法很容易把噪声点误判为需要增强的像素点,对噪声的灰度进行放大,影响图像质量。抗噪能力差,成为了它被广泛应用的最大限制之一。
邻域均值法是一种基于空间的局部处理算法,即将一个像元为中心的整个邻域的均值赋给输出图像相应的像元,从而达到图像平滑去噪。用公式表达为
邻域均值法算法简单,处理速度快,但是在降低噪声的同时使图像产生模糊,边缘和细节退化,退化程度和邻域半径成正比。
超限邻域法是在邻域均值法的基础上改进得到,它对邻域均值法的模糊作用进行了抑制,同时保留了其算法简单、快速的优点。
如果邻域A(N×N)内某点像素值大于相应邻域像素的均值,且达到了一定水平(阈值T),则判断它是噪声,就用邻域均值替代该点像素值
大量实验证明,阈值T 选择太大会使噪声消除不干净,太小则会降低处理速度以及使图像模糊,一般T 的取值在10~30 范围。实际应用中,由于计算量限制,窗口大小一般选3×3。
在图像采集的过程中,由于外界条件的干扰经常会出现毛刺等噪声,使得某一像素点的值与周围相差较大。在用局部增强算法增强时,有时会把该噪声点错误增强。为了将噪声去除,在判断一个像素点是否需要增强之前,先判断它是否是噪声,如式(5)。算法的流程如图1 所示。
图1 改进算法的流程
设置一个阈值,如果该点像素值与邻域均值的差的绝对值大于阈值T,就判断它是噪声点,进行去噪;不是噪声的像素点,再进行局部统计增强判断,进行增强。
相比原算法,它增加了一个去噪过程,对噪声特别是孤点噪声的抑制效果得到提高。在此基础上,邻域均值不需要额外计算,增加的计算量很小,可满足实时性要求。
本文的仿真实验是用MATLAB R2013a 完成的。仿真所得的实验图如图2 ~图4 所示。
2 原图及其经过不同算法处理后的增强图
图3 加椒盐噪声后原图及其经过不同算法处理后的增强图
图2a 是一根支架上缠绕的钨丝图像,其背景右侧中还存在一根钨丝,但是很暗,要使右侧的钨丝特征显现出来,现用传统算法和改进算法分别进行暗区增强处理。本文选择k0=0.4,k1=0.01,k2=0.4,E=4,邻域大小选择3×3(图2、图3均如此选择参数)。图2b 是使用传统的局部增强算法增强后的图像,可以看到,右侧阴暗部分的细节已经被显示出来,明亮区域也得到了保留,但产生了一些过亮点。图2c 是使用本文改进算法得到的,可以看到效果和传统算法相差不大。
为了校验改进后的去噪性能,在原图的基础上加上噪声,比较不同算法的处理结果,并用峰值信噪比(PSNR)来作为去噪客观标准。结果如表1 示。
图3a 是引入了噪声比例为0.01 的椒盐噪声的钨丝原图。图3b 是传统局部增强算法处理后的图像,可以看到虽然背景钨丝被增强,但是椒盐噪声却充斥整幅图像,说明原算法对椒盐噪声的抵抗力很低。图3c 是经过本文改进算法处理后得到的图像,阈值T=30,可以看到,椒盐噪声得到了较大地抑制。
表1 不同算法处理后的PSNR 值 dB
图4a 是在原图基础上加入了均值为0,方差为0.01 的高斯噪声得到的。图4b 可看出,经过传统算法处理后,背景钨丝几乎被噪声淹没,较难分辨出增强后的背景。选取阈值T=10 后,图4c 的视觉效果比图4b 有所提高,高斯噪声得到了较大的抑制,背景钨丝已经可以分辨出来。
图4 加高斯噪声后原图及其经过不同算法处理后的增强图
可以看出,改进算法较好地解决了原算法抗噪性差的缺点,对比表1 的峰值信噪比可以看出,改进算法在椒盐噪声和高斯噪声的影响下,相比改进前PSNR 值提高了约有3~4 dB。
硬件平台是采用DSP+FPGA 架构实现的,具有较好的灵活性和通用性[14-15]。用相机采集图像后,经过DSP 板卡编程处理,在显示器上显示出图像。板卡是以FPGA Xilinx VIRTEX-4 和DSP C6000 芯片为核心,包含了各种接口、存储器。图5 是板卡的内部逻辑原理图,图6 则是板卡的实物图。
图7a 所示是一个印有白色小树图案的灰色水杯,在白色小树周围还有一些小的白色图案。现要实现把中央区域的白色小树灰度增强,而暗区不动。图像大小为720×576,对中心250×250 大小区域采用本文算法,阈值选取T=20,参数选取k0=1.5,k1=0.01,k2=0.4,E=2,邻域大小选择3×3。局部增强后得到图7b,可以看到,白色小树以及周围白色图案的亮度得到增强,而暗区基本不变化,边界未出现明显轮廓,对噪声的抑制效果也有体现。在实验过程中,图像一秒帧数大于25 帧,满足实时性要求。
图5 板卡的内部原理图
图6 板卡的实物图
图7 实时性硬件验证实验图
为了满足工程应用的要求,针对传统局部增强算法抗噪性差的缺点,提出了一种局部区域增强的改进算法,且复杂度的增加有限。该算法对椒盐噪声、高斯噪声具有较好的抑制效果,同时具有较好的增强效果;局部区域增强后,边界较为平滑,无明显的假轮廓,保证了视觉效果。仿真实验证明,在高斯、椒盐噪声干扰下改进算法的PSNR 值提高约3~4 dB;硬件实验表明,算法在实时应用中具有较好的增强效果,实时处理每帧延时约20 ms,可满足实时图像处理领域中噪声抑制和处理速度的要求。它是一种具有实用意义的图像增强算法。
[1]张达奇,胡剑凌.基于人眼失真敏感度的图像质量评价算法研究[J].电视技术,2014,38(19):28-31.
[2]鲁业频,陈兆龙,李素平.图像质量评价的研究现状与发展[J].电视技术,2014,38(19):23-27.
[3]刘春香,李洪祚.实时图像增强算法研究[J]. 中国光学与应用光学,2009(5):395-401.
[4]张颖颖,张帅,张萍,等. 融合对比度和分布性的图像显著性区域检测[J].光学精密工程,2014(4):1012-1019.
[5]NERCESSIAN S C,PANETTA K A,AGAIAN S S.Non-linear direct multi-scale image enhancement based on the luminance and contrast masking characteristics of the human visual system[J].IEEE Trans.Image Process,2013,22(9):3549-3561.
[6]XIE X,WANG C,ZHANG A,et al. A robust level set method based on local statistical information for noisy image segmentation[J]. Optik-International Journal for Light and Electron Optics,2014,125(9):2199–2204.
[7]YS C.A robust approach to image enhancement based on fuzzy logic[J].IEEE Trans.Image Process,1997(5):14-19.
[8]吴俊,汪源源,陈悦,等. 基于同质区域自动选取的各向异性扩散超声图像去噪[J].光学精密工程,2014(5):1312-1321.
[9]LEE K S,DOH W,PARK K J,et al.Image enhancement based on signal subspace approach[J]. International Conference on Image Processing,1996(8):777-780.
[10]黄梅,吴志勇,梁敏华,等. 暗背景下低灰度图像的实时增强[J].液晶与显示,2011(3):374-378.
[11]魏朝龙,滕少华.基于改进ILAE 算法的图像局部自适应增强研究[J].计算机应用与软件,2011(2):111-113.
[12]陈莹,朱明.多子直方图均衡微光图像增强及FPGA 实现[J].中国光学,2014(2):225-233.
[13]RAFAEL C G,RICHARD E W.数字图像处理[M].北京:电子工业出版社,2001.
[14]赵建,赵凡,曲锋. 彩色图像的FPGA 实时增强系统实现[J].液晶与显示,2014(4):629-636.
[15]王德胜,康令州.基于FPGA 的实时图像采集与预处理[J].电视技术,2011,35(3):32-35.