视频图像快速去雾系统设计

陆士猛

(陆军军官学院，合肥　230031)



视频图像快速去雾系统设计

陆士猛

(陆军军官学院，合肥230031)

摘要：针对雾天视频图像退化严重的现象，使用TMS320DM6437处理器及其外围电路，研制了一种视频图像快速去雾系统；利用大气物理模型建立基于YCrCb空间的去雾模型，通过简单的数学推导和均值滤波算法，并利用查表法提高计算效率，实现视频图像的快速去雾；通过实验论证和结果分析，得出该系统具有自动化程度高，鲁棒性强，实时性好等特点，可以处理各种不良成像条件下的视频图像，对于720×576分辨率的视频图像，处理速率可以达到50帧/s，满足工程应用的要求。

关键词：视频图像；快速去雾；YCrCb空间；均值滤波

图像是人类认知世界的重要途径之一，随着科学技术的不断进步，图像信息已经从最初的黑白图像，模拟图像，可见光图像发展到今天的彩色图像，数字图像，以及多光谱图像[1]。如今，人们已经将视频图像广泛应用在交通监控、军事侦察等领域，比如目标跟踪与识别等。但是，由于不同成像条件下，视频图像采集设备受光线不足、雾霾天气等恶劣因素的影响，成像品质会发生不同程度的退化，这就给利用图像信息进行后续工作带来了一系列困难，而且利用视频信息工作也要求处理平台具有很高的自动化程度和实时性，所以为了获得更好的视频图像品质以及提高其处理效率，研制一种高效的视频图像处理系统[2]不仅具有很强的理论意义，也具有很广泛的应用前景。

目前，随着嵌入式芯片的发展，市场上已经出现了很多不同类型的视频处理芯片，这些芯片不仅具备了很强的运算能力，而且可以灵活进行系统整合，快速进行产品开发。DSP就是一种非常适于进行数字信号处理运算的微型处理器。由德州仪器公司推出TMS320DM6437数字媒体处理器是首批支持达芬奇技术[3]的纯DSP器件，其强大的功能，可支持D1解析度的H.264视频编码，或根据目标应用(如IP 网络监控摄像头)的要求运行完整的音视频与网络功能，而成本则比TI前一代DSP数字媒体处理器下降50%。系统设计也得到大大简化，使在嵌入式设备上进行去雾系统设计成为可能。本文即是在TMS320DM6437处理器的基础上进行的去雾系统研究。

1系统设计

1.1系统设计方案

本文基于TMS320DM6437处理器的视频图像实时增强系统硬件部分主要由视频图像采集模块、数据转换模块、数据处理模块、结果显示模块四部分组成，其结构如图1所示。

图1　系统硬件结构

1.2系统工作原理

基于上述硬件结构设计，本文选择采用FI1206开发平台进行系统的开发研究。该平台能够帮助用户评估及开发TI 达芬奇TM系列DSP处理器，支持一路PAL/NTSC视频输入输出，其开源的原理图、设计代码及应用工程等资源使得系统开发周期和开发难度大大降低。FI1206各部分功能结构如图2所示。

图2　FI1206功能结构

数据采集模块通过CCD摄像机进行数据采集，将采集到的模拟视频信号经过TVP5151转换成BT.656格式，接入DM6437的VPFE，输入到数据处理模块中进行图像处理，经过处理的数字视频数据，通过VPBE的OSD和VENC，经DAC输出至终端监视设备显示出来，以待后续处理[4]。

2基于YCrCb空间的快速去雾算法

从近几年国内外对图像去雾处理的研究来看，图像去雾算法主要基于两个方面：一是基于图像增强的处理方法，一是基于物理模型的复原方法。雾天图像的增强方法主要从空间域和频率域两个方面进行处理，其中空间域技术是以对图像像素的直接处理为基础的，而频率域技术是以修改图像的傅里叶变换为基础的。雾天图像复原是研究雾天图像降质的物理过程，并建立雾天图像退化模型，反演退化过程，补偿退化过程造成的失真，以便获得未经干扰退化的无雾图像或无雾图像的最优估计值，从而改善雾天图像品质。这种方法针对性强，得到的去雾效果自然，一般不会有信息损失。

“Single Image Haze Removal Using Dark Channel Prior”[5]一文在大气物理模型的基础上，提出了暗通道原理，并将其用于图像去雾，取得了非常好的效果，但是该算法在去雾过程中，引入了软抠图算法，影响了算法的执行速度。文献[6]引入了导向滤波代替软抠图，使得算法的运行效率大大提高，但是还不能达到工程应用的要求；禹晶[7]等人在暗通道原理的基础上，利用双边滤波代替软抠图算法，有效恢复了场景的对比度和颜色，但对白色物体以及浓雾图像的恢复效果不理想。文献[8]通过对雾天图像退化物理模型的分析，利用均值滤波估计透射率和全局大气光，在执行速度上得到了很大提高，而且去雾效果保持很好，但理论支撑不足。

基于本文系统设计提出的视频图像快速去雾算法，主要考虑选择在YCrCb色彩空间[9]进行视频图像去雾处理。这是因为一方面目前视频系统中最常用的视频格式就是YCrCb色彩空间，如果能够在YCrCb空间直接处理可以避免色彩空间之间的转换所需的运算，因此能够提高算法的实时性。另一方面与依据人眼视觉特性的数据压缩有关，人眼对低频信号比对高频信号具有更高的敏感度，对明视度的改变也比对色彩的改变要敏感。对于人眼而言，Y分量比Cr和Cb分量重要,正是根据人眼的这一特征，在不使用任何复杂算法的前提下，仅通过适当抛弃Cr和Cb分量就可以达到压缩,这就是部分取样。

基于上述原因，由于目前的视频采集系统采用的是模拟信号系统，它所采集到的视频信号是YCrCb格式，对其直接进行处理，免去了色彩空间转换所需的运算，所以本文核心算法选择直接在YCrCb空间对雾天视频图像进行去雾处理。

2.1YCrCb空间去雾模型的建立

目前通用的大气物理模型[10]为

(1)

式(1)中I是观测到的有雾图像，J是景物反射光强度(也就是待恢复的无雾图像)，A是全局大气光照强度，t是透射率，用来描述光线通过介质透射到成像设备过程中没有被散射的部分。

对于RGB色彩空间而言，图像的像素值是由R、G、B三个通道构成的，而且这三个通道具有相同的属性，结合大气物理模型有：

(2)

经过变换可得：

(3)

其中R1、G1、B1是有雾图像的各通道值，R2、G2、B2是经过去雾处理后的图像的各通道值。

对于YCrCb空间而言，图像的属性主要由Y通道决定，Cr、Cb通道主要是图像的色差，所以在本文中，认为Y通道与RGB通道类似，Cr、Cb通道起辅助作用，根据RGB与YCrCb之间的转换关系[9]有：

(4)

对Y通道直接使用大气物理模型变换公式，可得：

(5)

对Cr、Cb通道，结合与RGB通道的关系和大气物理模型变换公式，可以得出：

(6)

结合上述两个公式可以得出基于YCrCb空间的去雾模型，只要求出YCrCb各通道的值，然后进行合成即可得到去雾后的图像，从上式可以看出只要求出透射率t(x)和大气光强A即可恢复出无雾图像。

2.2透射率的获取

根据大气物理模型容易得到：

(7)

对方程式(7)进行变换，可以得到：

(8)

对Y通道图进行均值滤波，设为Mave(x)，则有：

(9)

其中Sd表示均值滤波窗口的尺寸，结合方程式(7)和式(9)，经过均值滤波后得到的透射率公式如下：

(10)

实际上，根据方程式(1)求得的真实透射率应该为

(11)

由于

所以真实透射率tactual(x)应该大于使用均值滤波得到透射率taverage(x)，为了使taverage(x)更加接近于tactual(x)，必须给taverage(x)添加一个偏移值，即：

(12)

记ω=1-φ，则：

(13)

在实际去雾过程中，ω的取值对图像的去雾效果会产生一定的影响[7]，为了防止去雾后的图像出现整体画面过于偏暗或过于偏亮的情况，这里设置

(14)

其中，δ为可调节的参数且0≤δ≤1/Mave(x)，由于Mave(x)的取值与原图像整体灰度的分布相关，使得ω具有自动调节去雾后图像整体亮度的作用。原图像越暗，Mave(x)值越低，透射率相应增大，这使得去雾后的图像亮度不会过于暗淡，反之亦然。这里需要对ω的上限进行设置，上限设定为0.95，则

(15)

联合方程方程(13)和(15)，可得优化后的透射率为：

(16)

基于此，求出雾图的透射率，该透射率能较为精确地反映图像的透过光强度，并且能够自动地调节图像亮度，具有较强的鲁棒性。对天空区域也有一定的适应能力。考虑到方程式(5)和(6)中分母的取值范围，还需要对透射率的下限进行设置。本文将t(x)的下限设置为0.1[5]，这样既避免了分母为0，也使远景图像含有一点雾气，保留图像的真实感。下面就对大气光强度进行求取。

2.3大气光值的获取

关于大气光值的获取，文献[11]中选取输入图像中亮度最大点的灰度值作为全局大气光A，虽然步骤简单但不合理，何凯明[5]首先选取最亮的0.1%比例的像素，然后选取原输入图像中这些像素具有的最大灰度值作为全局大气光A，这种处理方式更为合理有效，但暗通道的获取过程较为耗时。本文采取以下方式估计全局大气光A。

对Y通道图进行均值滤波后获得Mave(x)，通过求取Mave(x)中的最大值作为大气光强A，即：

利用此方法求得的大气光强A相比于文献[11]具有更高的精度，相比于文献[5]具有更快的速度。

在求得透射率taverage(x)和大气光强A后，利用方程(5)和(6)分别求取YCrCb各通道的值，然后进行合成得到去雾后的图像。

3系统优化

针对YCrCb格式进行基于大气物理模型的去雾算法，是针对一种多变量非线性复杂函数关系式进行浮点运算。DM6437为定点DSP，进行浮点运算的时间远远大于定点运算，为此采用了一种快速有效的查表求解法。

首先建立顺序存储数据块，数据块中存储的是移位处理后的整形数据，接下来查找输入变量在已存变量存储中的自然数序号，最后利用查得的变量自然数序号及事先确定的算法查找这些变量所对应的函数值的存储地址，进而得到计算结果。实现了非线性复杂关系式的快速精确求解，大大提高了算法的运行效率。

4实验论证

本文实验分两部分进行，分别为核心算法验证和系统测试。

4.1核心算法验证

实验1：验证本文系统设计中核心算法的有效性，利用MatlabR2013a在主频2.4GHz，内存2G的台式机上进行了实验，并将本文算法与文献[5]和文献[6]进行了对比分析，测试图像采用大小为720×576，雾天浓度分别为薄雾，中雾和浓雾，实验结果见图3。

图3　结果对比

实验结果分析：

首先比较去雾效果，通过比较分析可以看出，在处理薄雾图像时，文献[5]采用的算法在去雾效果可视性方面比文献[6]和本文算法要好一些，尤其是在细节处理方面显得更加细腻和平滑，在色彩饱和度方面，本文算法要好于文献[6]。文献[6]对天空区域的处理有一些失真。在处理中雾图像时从整体上看，区别不是很大，3种算法都能较好地达到去雾效果，基本上不影响对目标特征的判断。在处理浓雾图像时，本文算法和文献[5]算法去雾效果较为接近，残存的雾气相对文献[6]较多，但是在视觉方面效果要好于文献[6]。

其次比较算法效率，从表1中可以看出文献[5]的算法时间复杂度最高，其次是文献[6]的算法，本文算法的时间复杂度最低，通过对比分析时间比例，可以得出本文算法只是文献[5]算法的1/500左右，是文献[6]算法的1/20左右，所以本文算法的实时性得到了非常高的提升。

表1　不同算法运行时间比较

4.2系统测试

实验2：为了验证本系统的有效性，本文利用现有条件对实时采集到的部分视频图像进行了去雾处理，单帧图像的分辨率为720×576。结果如图4所示。

图4　去雾效果

文中图像左侧是原图，右侧是去雾图。在去雾效果方面，第一行图像属于远景图像，通过去雾处理，可以明显看出图像的对比度得到了很好的提升，建筑物的轮廓清晰可见，景深较远处的图像特征得到加强。第二行图像属于近景图像，经过处理后，图像的色彩更加鲜艳，边缘特征也得到凸显，尤其是商店的广告牌中大的字迹都可辨认出来，去雾效果尤为明显。第三行图像属于交通监控图像，通过对比分析，可以看出，经过去雾处理，交通图像的视觉效果明显改善，场景较远处的车辆轮廓和颜色都可以清晰分辨，立交桥的框架，路灯杆和指路牌也都可以分辨。

在去雾效率方面，结果如表2所示。其中，t1代表系统没有经过任何优化的耗时，t2是经过查表处理后的时间消耗，t3是将算法进行Matlab仿真处理的时间消耗。通过比较可以看出，经过优化的系统处理单帧图像的时间在20 ms以内，而其他两种方式的时间明显增加许多。所以该系统处理720×576的视频流可以达到50帧/s，能够满足工程实现要求。

表2　比较去雾时间消耗　ms

5结论

本文针对雾图视频图像退化严重的现象，根据图像复原的方法，设计了一种基于TMS320DM6437的雾天视频快速处理系统。该系统是在YCrCb色彩空间下，以大气物理模型为基础，利用简单的数学推导和均值滤波算法进行的设计研究。通过实验论证，本系统具有自动化程度高，鲁棒性强，实时性好等特点，能够适应各种不良成像条件下的视频去雾，同时该系统经过不断优化，利用查表法提高算法计算效率，处理720×576的视频速度可以达到50帧/s，达到了工程实用的要求，可以用于工程实践。

参考文献：

[1]冈萨雷斯.数字图像处理[M].2版,阮秋琦,阮宇智,等,译.北京:电子工业出版社,2010.

[2]宋建中.图像处理智能化的发展趋势[J].中国光学,2011,4(5):431-441.

[3]彭启琮.达芬奇技术-数字图像/视频信号处理新平台[M].北京:电子工业出版社.2008.

[4]文武,吴勇,张杰.基于TMS320DM6467的视频采集系统设计[J].电视技术,2011,35(17):39-41.

[5]HE K M,SU J,TANG X O.Sing Image Haze Removal Using Dark Channel Prior[C]//Computer Vision and Pattern Recognition,2009:1956-1963.

[6]HE K M,SUN J,TANG X O.Guided image filtering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(6):1397-1409.

[7]禹晶,李大鹏,廖庆敏.基于物理模型的快速单幅图像去雾方法[J].自动化学报,2011,37(2):143-149.

[8]刘倩,陈茂银,周东华.基于单幅图像的快速去雾算法[C]//25th Chinese Control and Decision Conference,2013:3780-3785.

[9]邵丹,韩家伟.YUV与RGB之间的转换[J].长春大学学报,2004,14(4):51-53.

[10]MCCARTNEY E J.Optics of atmosphere:scattering by molecules and particles[M].New York:John Wiley and Sons,1976.

[11]TAN R T.Visibility in Bad Weather from a Single Image[C]//Computer Vision and Pattern Recognition,in Proc.IEEE Conf.2008:1-8.

[12]郑良缘，王平，高颖慧.基于超像素分割的图像去雾算法[J].重庆理工大学学报(自然科学)，2015(6):100-106.

(责任编辑杨继森)

本文引用格式：陆士猛.视频图像快速去雾系统设计[J].兵器装备工程学报，2016(4):69-73.

Citation format:LU Shi-meng.Fast Defogging System Design About Video Image[J].Journal of Ordnance Equipment Engineering,2016(4):69-73.

Fast Defogging System Design About Video Image

LU Shi-meng

(Army officers Academy, Hefei 230031, China)

Abstract:According to the phenomenon of fog-degraded video image, using TMS320DM6437 processor and peripheral circuits, a video image fast defogging system was designed. The defogging system based on YCrCb space, using atmospheric model, was established, and table lookup method was used to improve the efficiency, through simple mathematical derivation and mean filtering algorithm, the rapidly defog of video image was realized. Through experiments and results analysis, we conclude that the system has a high degree of automation, robust, real-time characteristics, and can handle video images in various imaging conditions, and for 720×576 resolution of video images, its processing rates can be up to 50 frames per second, which meets the requirements of applications.

Key words:video image; fast defogging; YCrCb space; mean filtering

文章编号：1006-0707(2016)04-0069-05

中图分类号：TP391.4

文献标识码：A

doi:10.11809/scbgxb2016.04.018

作者简介：陆士猛(1985—)，男，硕士研究生，主要从事计算机视觉和图像处理研究。

收稿日期：2015-09-28；修回日期：2015-11-01

【光学工程与电子技术】