高 策,赵新宇,柳玉晗中国科学院长春光学精密机械与物理研究所,吉林长春 130022
基于GPU加速器的图像实时去雾系统
高策,赵新宇,柳玉晗
中国科学院长春光学精密机械与物理研究所,吉林长春130022
随着成像技术的飞速发展,光学设备使用了越来越多的先进探测器;对影像的清晰展示逐渐成为光学设备的一项重要功能,在雾霾环境下,如何将实时影像进行处理,以更加清晰、更能突出目标特点、更具视觉效果的方式呈现在观测者面前,已经成为制约产业发展的关键核心技术,是光学设备相关从业人员急需解决的课题;本文通过构建实时去雾系统的硬件环境,描述基于GPU加速器的图像实时去雾方法,解决了雾霾环境下光学设备成像不清晰的问题,并通过试验验证了该系统对1080p的SDI图像进行实时去雾处理的效果。从试验结果可以看出该系统去雾效果明显,实时处理能力强,具有较好的应用前景。
GPU加速器;去雾;光学设备,SDI,暗原色先验。
近年来,随着成像技术的飞速发展,光学设备使用了越来越多的先进探测器;除了完成传统测量以外,对影像的清晰展示逐渐成为光学设备的一项重要功能。但由于雾霾的影响,使对气象条件极其依赖的光学设备很难获取清晰的图像,如何将实时影像进行处理,去掉雾霾影响,以更加清晰、更能突出目标特点、更具视觉效果的方式呈现在观测者面前,已经成为制约产业发展的关键核心技术,是光学设备相关从业人员急需解决的课题。
只有综合提高以上技术的整体水平,并将各技术有效的结合在一起,建立整套的图像优化体系,才能从根本上改进光学设备成像的视觉效果,让客户满意,提高光学设备的整体竞争力。基于GPU加速器的图像实时去雾系统就是在这种思想指导下建立起来的。
整个系统的硬件平台由一台图形工作站、一块NVIDIA Tesla K20 GPU 加速器、一块图像采集卡、多块SDI图像输出卡组成。输出卡数量依据实际需输出图像路数确定。工作站与各光纤图像采集卡采用PCI-E总线连接。
图形工作站平台在选用kontron的EATX V2 X9DR3工业图形服务器或同等性能产品作为计算机平台,CPU配置为Intel Xeon E5-2658,10核心64位2.4GHz处理器,板载3个PCIE×8及3个PCIE×16插槽。图形工作站配备多点触控显示器,选用优派TD2420 多点触控显示器。
图像输出卡采用Blackmagic DeckLink Quad(该卡可同时支持四路SDI输出,采用PCI-E×4接口。配有4路 SDI输出接口,可在SD/HD-SDI格式间切换使用。
采用基于NVIDIA Kepler™架构的NVIDIA Tesla K20 GPU 加速器。这款加速器针对并行计算而设计,可提供独有的计算性能。
由以上硬件平台可以看出,硬件平台具有一定的先进性与成熟性,可以保证图像去雾系统的高实时处理能力。
应用软件采用C++语言结合DirectX Compute及TBB进行多核心多线程软件开发,采用OpenCV及自研图像处理算法完成对图像的各类处理。
操作系统:采用Windows7-64bit专业版操作系统。开发环境:Visual Studio 2010+OpenCV2.4.10+TBB+Di rectX11。
软件运用GPU (图形处理器)搭配CPU来加速图像处理,程序的串行部分在CPU上运行,并行部分在GPU上运行完成,组成协同处理环境,大幅提高计算性能,能够实现多路数字图像的实时增强处理。
大气能见度较差的情况,会给成像系统带来相当大的干扰。它不仅会降低图像的对比度,使图像出现颜色失真,而且会使图像模糊不清。这是由于气溶胶的存在,如灰尘、雾沫、烟雾使光偏移了原来的传播路径。气溶胶粒子在成像的过程中,其散射后的成像又会发生多次散射,这样多种散射光叠加在一起成像时,图像就产生了一定程度的模糊,这种模糊图像不仅带来了很差的视觉效果,同时也给图像的分析工作带来了诸多不便。
根据大气散射模型可以建立雾天降质图像的数学模型,通常用如下等式来表示雾天图像的形成机制。
式(1)中,I为成像设备观测到的含雾图像强度,x为像素点对应坐标,J为无雾条件下场景光强度,t为场景光的透射率,即场景反射光在经过介质散射后到达成像设备的比率,A为空中大气光强度。图像去雾的目的就是通过已得的I求出J。
景物距离的增加会导致雾气影响增大,即透射率t是一个变化的参数,暗原色先验规律的发现为动态估算t提供了良好的参考。暗原色先验可描述为:在无雾图像的非天空局部区域里,总存在一些像素点在至少一个颜色通道的值很低,即所谓的暗原色,这些暗原色通常来源于图片中的阴影、颜色鲜艳或亮度较低的区域,其数学表达式为:
式(2)中,Jc为图像J的某个颜色通道值,Ω(x)是以x为中心的一个局部区域,原文中被取为15× 15的方形区域,Jdark为所得的暗原色,其值通常会很低并趋于0,这个规律就叫做暗原色先验。基于GPU加速的图像去雾系统采用暗原色先验去雾算法进行去雾处理,能够提高图像的视觉效果,不考虑图像退化的原因,选择性突出有意义的信息,抑制无效信息,以此改善图像的视觉效果。
采用上述平台与方法分别在城市雾霾环境,海边水雾环境进行试验,采用日立DK-H100相机作为图像采集设备,这是一款3CCD高清广播级SDI相机。图1为在城市环境下去雾效果演示。
图2、图3为海边环境下去雾前后效果比对。
试验验证了该系统对实时图像的去雾处理效果明显,使图像的细节更加清晰,更能突出所要观察目标的特点。
本系统采用了GPU加速器,建立起GPU-CPU协同处理环境,以保证系统的实时处理能力,通过对系统去雾能力的验证,可以看出该系统去雾效果明显,实时处理能力强,可以广泛用于各类监控光学设备的去雾与实时增强处理,具有较好的市场应用前景。
[1]刘春香,郭永飞,李宁,等.基于DSP的嵌入式实时图像增强系统[J].计算机测量与控制,2013,21(2):529-531.
[2]王彬,何昕,魏忠慧.采用单目标图像特征直线的飞机姿态估计[J].计算机测量与控制,2013,21(2):473-476.
[3]张涛,乔彦峰.基于ASPI和SCSI的高速视频存储系统[J].计算机测量与控制,2010,18(6):1380-1382.
[4]刘溪,陈凌峰,周敏,等.基于数字图像处理技术的球压测试压痕自动测量[J].计算机测量与控制,2010,18 (6):1262-1265.
V557+.4
A
1674-6708(2015)152-0152-02