一种基于TMS320DM6467的快速去雾系统方案

李昂，王敬东，肖剑峰，王佳伟

(南京航空航天大学 自动化学院，江苏 南京 210016)

一种基于TMS320DM6467的快速去雾系统方案

李昂，王敬东，肖剑峰，王佳伟

(南京航空航天大学 自动化学院，江苏 南京 210016)

摘要：针对雾天视频的退化现象使用TMS320DM6467处理器及其外围电路，搭建一套完整的嵌入式处理平台，实现视频流的快速除雾。采用基于YCbCr颜色空间的快速去雾算法,并利用查表法降低算法复杂度，具有较好的去雾效果。该去雾平台利用EDMA技术提高数据搬运能力，通过高速缓存和乒乓缓存技术提高系统处理速度，使得系统处理1080P视频的速度可达到30帧/s，满足处理高清视频的实时要求。

关键词：视频；快速去雾；嵌入式系统；视频处理

Model Scheme for Rapid Defog System Based on TMS320DM6467

LI Ang, WANG Jingdong, XIAO Jianfeng, WANG Jiawei

( College of Automation，Nanjing University of Aeronautics and Astronautics，Nanjing 210016，China)

Abstract:In view of the degeneracy phenomenon of video image in fog days, this paper uses TMS320DM6467 processor and its peripheral circuits to build a set of embedded processing platform which is applied to rapid defogging in video stream. The rapid defogging algorithm based on the YCbCr color space used in this paper has a good defogging effect, and the checking list is used to reduce the computional complexity. It also uses EDMA technology to improve the data handling capacity. The system speed is improved through the cache and ping-pong buffer store technology. The processing 1080P video speed is up to 30 frames per second. This speed meets the real time requirement of high-definition video processing.

Keywords:video; rapid defogging; embedded system; video processing

0引言

视频监控产品已广泛应用在交通运输，安全防卫，工农业生产，军事科技等各个领域，发挥着越来越重要的作用。然而，当前的视频监视系统对天气条件非常敏感，尤其是在能见度较低的雾天条件下，景物图像严重退化，这极大地限制和影响了户外监视系统效用的发挥。因此，雾天视频图像清晰化处理的研究具有重要的科研意义和实用价值[1]。

随着嵌入式芯片的发展，视频处理芯片一方面具备了更强的运算能力，另一方面能进行灵活的系统整合，可以快速地进行产品开发。德州仪器公司(texas instruments，TI)推出了面向新一代数字视频产品的名为达芬奇(DaVinci)的开发平台，其独特的DSP和ARM双核结构不仅能同时满足视频应用在运算能力和控制功能上的要求，而且大大简化了系统设计的复杂性[2]。这使得在嵌入式设备上实现除雾系统成为可能。

雾天视频清晰化与雾天图像清晰化有着很强的联系，可以将数字视频看作是一组图像序列，因此图像清晰化算法可以用于数字视频清晰化。相对于雾天图像来说雾天视频清晰化也有其自身的特点，如要求实时性高。在计算机上，一般的除雾算法使用RGB格式输入，而嵌入式视频处理系统一般输入YCbCr格式视频，文中提出了基于YCbCr格式的快速除雾算法，在亮度通道上采用基于大气模型的快速去雾算法，增强细节，在色度分量上进行对比度拉伸。该方法在取得较好的清晰化效果的同时，具有较快的处理速度。

1系统硬件组成

去雾算法通常需要消耗大量的计算时间和存储空间，对系统的实时性要求较高。为此，选用了TI公司推出的基于Davinci架构的超强数字媒体处理器TMS320DM6467(简称DM6467)为核心处理芯片。

TMS320DM6467是专门为满足商业和消费类市场对高端视频处理需求而设计的，通过DSP+ARM双核高度集成的设计方式实现了比前一代数字多媒体处理器快10倍的性能，同时仍能够保证所需的灵活性。TMS320DM6467数字媒体处理器集成了一个ARM926EJ-S核与600MHz的C64X+DSP核，并且采用了高淸视频/影像协处理器(HD-VICP)、视频数据转换引擎，可以满足视频除雾算法处理的实时性和算法运算量要求。

图1　系统硬件构成

针对高清视频的特点，将视频除雾系统分为三个组成部分：高清视频输入部分、视频处理部分和视频输出部分，构成如图1所示。高清晰度多媒体接口(high definition multimedia interface，HDMI)是一种数字化视频/音频接口技术，是适合影像传输的专用型数字化接口，可同时传送音频和视频信号，最高数据传输速度为5Gbps，满足设计的高清输入要求。YCbCr是DVD、摄像机、数字电视等消费类视频产品中，常用的色彩编码方案，满足输出到高清液晶显示器要求。

视频输入部分通过SII9125芯片对HDMI输入高清有雾视频进行解码，生成YCbCr420格式的数字视频信号，输入到DM6467的VPIF口。VPIF口对数字视频信号进行捕获，捕获的一帧视频数据存入DDR2中，以备后续去雾处理[3]。视频处理部分通过ARM端调用DSP端算法对存储在DDR2中的一帧视频数据进行去雾处理，并将处理结果存入DDR2中。视频输出部分通过ADV7343芯片将除雾后的视频数据流进行编码，生成YCbCr分量格式的视频信号输出到液晶显示设备上，实现除雾后视频的显示。

2YCbCr空间下的快速除雾算法

选择在YCbCr色彩空间进行增强处理的优势主要有两个方面：1) 目前视频监控系统中最常用的视频格式就是YCbCr色彩空间，如果能够在YCbCr空间直接增强处理可以避免色彩空间之间的转换所需的运算，因此能够提高算法的实时性；2) 与依据人眼视觉特性的数据压缩有关，因为人眼对低频信号比对高频信号具有更高的敏感度，对明视度的改变也比对色彩的改变要敏感得多。对于人眼而言，Y分量比Cb和Cr分量重要，正是根据人眼的这一特征，在不使用任何复杂算法的前提下，仅通过适当抛弃Cb和Cr分量就可以达到压缩的目的[4]，这就是部分取样。

2.1大气退化模型

在计算机视觉领域中，广泛使用以下Koschmieder公式[5]来描述大气退化模型：

I(x)=J(x)t(x)+A(1-t(x))

(1)

其中，x是图像中像素点的索引，I(x)、J(x)、A为三维列向量，I(x)表示采集到的图像，J(x)表示无雾场景辐射，A表示大气光，t(x)表示介质透射率，A(1-t(x))称为大气光幕，J(x)t(x)称为直接衰减项。当大气均匀时t(x)=e-βd(x)，β为大气散射系数，d(x)为场景深度。

令大气光幕(atmospheric veil)V(x)=A(1-t(x))，则式(1)可改写为：

(2)

式(2)中I(x)为已知，若能估算出大气光A和大气光幕V(x)，即可以按照上式恢复出无雾图像J(x)。

2.2基于亮度通道的快速去雾法

KaimingHe等提出一种新的先验规律——暗原色先验[6]，利用这个先验规律能够直接评估雾光的透射信息，进而对单幅图像进行去雾处理。暗原色先验理论是先将图像分块，在局部区域中寻找暗原色，得到粗糙的传输图，再使用抠图算法来得到精确的传输图。该算法耗时巨大，显然不能应用于高清视频实时去雾系统。

受文献[6]启发,不再对图像分块，直接对整幅图像求取暗通道。很显然，该方法是文献[6]理论的延伸， 进一步延伸到YCbCr色彩空间中，亮度通道即可视为暗通道，可以作为大气光幕V(x)的估计。此方法既可避免由于分块造成对t(x)估计不精确的问题，也避免了因细化t(x)而带来的繁重运算量，节约了大量的运算时间。

对于大气光的求取，文中采用了文献[7]中的方法，取Y通道最大亮度值来作为大气环境光A的估计，综合已经估计出的大气光幕V(x),根据式(2)即可恢复出无雾亮度通道图。一组实验结果如图2所示，图2(a)为输入雾天图像，图2(b)为亮度通道去雾后的结果。可见视觉效果得到明显提升，但颜色较为昏暗，需进一步对色度通道进行处理图2(c)。

图2　YCbCr色彩空间下的快速去雾算法结果

2.3在色度分量使用线性变换进行色度调整

由于雾会使视频监控系统视频图像中的景物呈现泛白的现象，图像的色差分量偏低，所以需对两个色差分量进行增强处理。考虑到算法的复杂度和处理结果之间的均衡，对Cb和Cr两个色差分量进行线性拉伸处理。

线性拉伸是一种简单有效的色差分量调整方法。根据高斯分布“3e”规则，即对于正态随机变量而言，其值落在区间[m-3e，m+3e]内是允许的。因此对于Cb和Cr两个色差分量，其拉伸后取值范围：

(3)

式中：Cbmin和Cbmax分别为色差分量Cb的最小值和最大值；Crmin和Crmax分别是色差分量Cr的最小值和最大值；Cbmean和Crmean分别为色差分量Cb和Cr的均值；eCb和eCr分别为色差分量Cb和Cr的标准差。经过拉伸后的图像的色差分量的输出为：

(4)

(5)

式中：Cbin、Crin和Cbout、Crout分别是Cb和Cr分量的输入和输出；Rmax为输出设备的动态范围。处理效果如图2(c)所示，图像颜色更加逼真明亮，取得了良好的视觉效果。

3基于达芬奇构架的系统软件设计

3.1除雾系统软件整体设计

TMS320DM6467 在一个芯片上集成了 ARM 核和 DSP 核，利用 Codec Engine 软件框架进行两者之间的交互。ARM 运行在 MontaVistaLinux 操作系统上，负责常用的控制任务及与外设之间的交互。DSP运行在 Bios 操作系统上，相当于一个“黑匣子”，只进行图像数据处理算法，这种双核并行处理模式大大提高了系统处理速度。

系统利用DM6467的强大运算能力，在DSP内核运行快速除雾算法，该算法符合数字媒体(eXpressDSP Digital Media standard，xDM)标准。ARM内核负责系统初始化、视频采集、视频输出、外围器件控制等工作并通过DDR2共享存储器，实现与DSP之间的数据交互。系统软件流程如图3所示， ARM端通过V4L2驱动对VPIF口输入队列的视频流进行采集，并将一帧视频存入输入缓冲区中，然后通过Codec Engine机制调用DSP端除雾算法包对输入缓冲区中数据进行处理，最后将处理后的一帧视频送到输出缓冲区，再通过V4L2驱动将该缓冲区加入到输出队列送显示器显示。

图3　系统软件流程图

3.2查表和移位在快速除雾算法中的应用

针对亮度通道进行基于大气模型的去雾算法，其求解过程是一种多变量非线性复杂函数关系式，需要进行浮点运算。DM6467为定点DSP，进行浮点运算的时间远远大于定点运算，为此采用了一种快速有效的查表求解法。

首先建立顺序存储数据块，数据块中存储的是移位处理后的整型数据,接下来查找输入变量在已存变量存储块中的自然序号，最后利用查得的变量自然数序号及事先确定的算法查找这些变量所对应的函数值的存储地址，进而得到计算结果。实现了非线性复杂关系式的快速精确求解，大大提高了算法运行效率。

3.3高速缓存技术和乒乓缓存技术在系统中的应用

由于除雾系统中有大量数据需要处理，利用DM6467的L1和L2两级高速缓存来配置为Cache高速缓存和内部存储器来提高DSP的利用率和数据处理的实时性，实现运算速度的提高。但Cache空间有限,为了进一步利用内部存储器资源，本系统引入Ping-pong缓存技术[8]，即在CPU处理数据的同时，启动EDMA传输处理数据到内部存储器中，提高内部存储器的利用效率。合理配置和使用L1和L2是能否提高系统速度的关键。DM6467提供了128K的L2空间和64K的L1空间，一方面要使Cache高速缓存尽量的大，以提高数据在Cache中的命中率，减少因数据置换而造成的时间浪费，另一方面要确保内部存储器的大小，保证有足够的存储空间进行乒乓缓存。

乒乓缓存技术在数据接收端建立两个数据缓冲区，当第一组数据进来时，EDMA在数据放入ping缓存区的同时，CPU从pong缓存区取数据进行处理；当ping缓存区放满时发出中断，Ping-pong缓存区进行切换：EDMA将下一组数据重新定向到pong缓存区，而CPU从ping缓存区取数据进行处理。Ping-pong缓存技术提供了EDMA数据传输和CPU数据处理的并行机制，大大地提高了CPU的利用率，其原理如图4所示。

图4　Ping-pong缓存原理图

3.4EDMA3技术在除雾系统中的应用

在视频除雾处理流程中，需要将输入缓冲区的数据复制到输出缓冲区，这需要消耗大量时间和数据空间，为此使用了EDMA (enhanced direct memory access，增强型直接内存存取)技术。EDMA传输是指在没有CPU参与下自动完成不同存储器空间之间的数据搬移，主要应用在需要大批量数据搬移的场合。DM6467 提供了增强型 EDMA控制器 EDMA3，它基于RAM 结构。EDMA3具有128个相互独立的传输通道，每个通道均对应一个可触发传输的同步事件，通道的传输行为由对应的片上参数存储器编程指定，如图5所示。Ping-pong缓存方式下 EDMA通道有两个参数集，一个用于 ping传入/出。另一个用于pong传入/出。当一个通道传输完毕，参数集会重新加载它们以启动下一次传输。

图5　参数RAM设定格式

在除雾系统中，视频分辨率为1920×1080，再结合L2内部存储器容量将Ping-pong缓存区设置为12800B，为多行图像数据的大小。EDMA传输源地址为外部存储器DDR2中图像数据的地址，传输目的地址为申请的内部存储器地址。设置好EDMA3的参数存储器后，图像数据的传递即可在脱离CPU的情况下自动运行，实现与CPU的并行处理，大大提高系统的处理速度。

4实验结果及分析

文中使用的算法去雾效果如图6所示，左侧是原图，右侧是除雾结果图。第一行图像(图像1)描述的是航拍影像除雾的情况，除雾后可以看出植被河流的色彩更加鲜艳，航拍的建筑物也更加清晰，图像对比度明显加强。第二行图像(图像2)描述的道路近景图，除雾后的图像能够分辨出路远方的树木，近处的汽车和道路也更加清晰自然。第三行图像(图像3)描述的是大面积天空和水域的除雾情况，可见边缘较少，除雾后的图像层次更加清晰，能够分辨出岛上的建筑物，除雾效果明显。由图6中对比可以直观地看到处理后的效果有了很大的改善，而且可以看出该算法适用范围较广，对有雾图像都有一定的除雾效果。

图6　实验结果

为了进一步验证去雾效果，使用 Hautiere等人所提出的可见边梯度法[9]对去雾效果进行客观评定。该方法根据由Jourlin和Pinoli所提出的对数图像处理(logarithmic image processing，LIP)模型[10]，采用原有雾图像与去雾图像的新可见边集合数目比(e)、平均梯度比(r)和黑色像素点所占图像大小百分比(σ)3个指标，其中e反映了图像复原算法复原出图像中可见边缘的能力，r反映图像复原算法的对比度增强能力，σ表示复原后过饱和的像素点所占总像素点的比例。对于除雾算法，其目标是尽可能地提高清晰化的程度，并在不丢失视觉信息的同时，增加图像的对比度。因此，e和r值越大，σ值越小，去雾效果越好。

除雾客观评价指标如表1所示。新可见边集合数目明显增加，平均梯度比增加，新增黑色或白色像素占图像像素比接近于0，处理后图像相对于原图有了很好的改善。

表1　图像去雾算法客观评价指标(图像大小1 080P)

比较采用EDMA技术和乒乓缓存技术与不采用该技术的处理图像耗时如表2所示。其中t是采用上述技术，t1是仅采用EDMA技术的耗时，t2是仅采用高速缓存和乒乓缓存技术的耗时，t3是不采用上述两种技术的耗时。

表2　比较使用相关技术耗时(图像大小1 080P)　ms

由表2中数据可知，使用上述技术后单幅1080P图像处理时间仅为28.7ms，而不使用上述技术处理时间明显增加，所以该系统处理1080P视频流速度可以达到30帧/s，符合实时要求。

5结语

提出了一种基于TMS320DM6467的高清视频除雾方案。该系统提出一种YCbCr色彩空间下的快速除雾算法,对各种雾天视频图像具有良好的除雾效果。同时该方案引入了基于高速缓存和乒乓机制的缓存技术，极大地提高了 CPU 的处理效率，使得系统处理1080P视频的速度可达到30帧/秒，满足高清视频的实时处理要求。

参考文献:

[1] Yoon Inhye,Kim Seonyung,Kime Donggyun,et al.Adaptive Defogging with Color Correction in the HSV Color Space for Consumer Surveillance System [J]. IEEE Transon Inform Consumer Electronics,2012,58(1):111-116.

[2] 彭启琮，等. 达芬奇技术-数字图像/视频信号处理新平台[M]. 北京：电子工业出版社，2008.

[3] 文武,吴勇,张杰. 基于TMS320DM6467的视频采集系统设计[J]. 电视技术,2011,35(17): 39-41.

[4] 邵丹，韩家伟. YUV与RGB之间的转换 [J]. 长春：长春大学学报，2004，14(4):51-53.

[5] Schechner Y Y, Narasimhan S G, Nayar S K. Polariza-tion-based vision through haze. Applied Optics, 2003,42(3):511-525.

[6] Kaiming He,Jian Sun,Xiaoou Tang. Single image haze removal using dark channel prior[C]. CVPR,Washington DC:IEEE Computer Society,2009:1956-1963.

[7] Tan R.. Visibility in bad weather from a sigle image[C]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition,Washington:IEEE Computer Society,2008: 2347-2354.

[8] 李武森，迟泽英，陈文建. 高速DSP图像处理系统中的乒乓缓存结构研究[J]. 光电子技术与信息，2005，18(3) : 76-79.

[9] Jourlin M.,Pinoli J. C.,Zeboudj R..Contrast Definition and Contour Detection for Logarithmic Images [J]. Microsc,1989,(156):33-40.

[10] Hautiere N.,Tarel J-P,Aubert D.,et a1. Blind contrast enhancement assessment by gradient ratioing at visible edges[J]. Image Analysis and Stereology Journal ,2008,27(2):87-95.

收稿日期：2014-01-14

中图分类号：TP274

文献标志码：B

文章编号：1671-5276(2015)04-0116-04

作者简介：李昂——