红外数字图像清晰化显示系统设计

张卫国，刘华军，王玉坤

(91550部队92分队，辽宁 大连116023)

1 引言

由于红外成像与可见光相比具有夜视及受雾气影响较小的特点，目前红外成像技术已广泛运用在军事、航天等多个领域，海空背景条件下获得的红外图像对比度低、噪声干扰大，主要原因有三方面:一是红外成像器件［1］的像素数分辨率(常用的320×256和640×480)低引起的清晰度差，如果采用640×480(像素尺寸20μm)红外成像器件，图像的分辨率有所提高;二是红外成像器件的非均匀性引起的图像干扰现象［2］，目前采用的红外图像非均匀干扰校正方法只是针对于特定使用的，对于背景变化较大环境，抑制干扰效果不明显;三是高动态范围红外图像［3］(像素灰度为14位)显示失真问题。14位的红外数字图像直接采用线性移位的色调映射算法按8位灰度值在电脑显示器显示，这种方法无法保留图像区域的细节信息，造成图像失真。由此本文针对以上问题，采用了图像滤波、图像子区域增强及图像超分辨率重构方法等算法，以及一种改进的色调映射算法，设计了红外数字图像清晰化显示系统，并通过实验验证:图像质量明显提高，取得了满意的红外数字视频图像显示效果。

2 系统组成及原理

红外图像清晰化显示系统实时接收红外数字图像，并进行滤波、图像增强、超分辨率重构以及色调映射等处理，送出显示，同时可以通过图像输出卡将数字视频图像变换成模拟视频信号输出。

2．1 硬件平台

该系统由工控机、以SOLIOS数字图像采集卡、VIO图像输出卡、综合图像处理软件等部分构成。工控机和综合图像处理软件用于完成红外图像处理，数字图像采集卡用于采集红外数字图像。图像输出卡用于数字图像与模拟视频的转换，送出模拟视频。系统硬件原理框图如图1所示。

图1 系统硬件原理框图

采用SOLIOS数字图像采集卡方案的优点是可以实现多传感器的数据融合处理，而且DSP的运算程序存储在计算机中，上电后计算机向图像处理板加载运算程序，有利于系统调试与维护，有利于以后升级与扩充。

VIO图像输出卡是PCI－X卡，用于不同制式模拟视频图像的采集转换，数字与模拟图像的转换。模拟的高清(HD)、标清(SD)及其SDI输入/输出，模拟和数字图像输出同步。

2．2 系统软件结构

系统软件基于VC编程，分为图像滤波处理模块、图像增强模块、超分辨率重构模块、色调映射模块等，可以根据图像特征在操作界面上选择滤波器的模型和增强算法模型，软件结构如图2所示。红外数字图像显示控制软件如图3所示。

图2 系统软件结构图

图3 红外数字图像显示控制软件

3 图像的滤波及增强算法

3．1 红外图像去噪与背景抑制

红外热像仪依靠场景的辐射特性成像，其成像器件自身具有不均匀性，虽然在每次使用前，可以通过非均匀校正，进行非均匀的消除和减弱，但是随着时间的推移，外界环境的变化，器件的非均匀性仍会逐渐增强，造成红外图像背景的干扰。器件自身噪声和成像环境干扰也会造成图像的噪声影响等，这些干扰和噪声对图像的观察和分析、处理都是不利因素，需要尽可能的去除。

从图像角度来说，不管是由于什么机理和原因造成的干扰和噪声，反应到图像上，都是一种叠加到图像上的灰度分布，我们统一用下式来表达:

式中，Is为真正的场景图像;In为噪声图像;Ia为非均匀图像，理想的结果时该式中仅包含Is，因此，需要尽可能去除In和Ia分量图像，但由于两者对图像的影响机理不同，所以需要区别对待。

噪声具有随机特性，同时从经验来说，图像中包含的噪声大多数为散粒噪声，这种噪声采用中值滤波［4］、平滑滤波、高斯滤波及拉普拉斯锐化等方式去除。

非均匀图像是由于器件自身特性和受周围环境影响造成的一种干扰，因此，这是一种缓变化数据，从短时间内看，可以认为其灰度分布是不变的，同时由于非均匀性是反应在自身器件上的，因此，不随相机的运动而变化。这些是非均匀图像区别于目标图像的前提，依据此前提，即可进行非均匀图像的去除处理。

这里利用帧间运动检测技术［5］，检测图像中的变动区域，其他区域即可认为是器件自身造成的非均匀区域。

3．2 子区域增强算法［6］

红外图像较多采用直方图均衡化或直方图拉伸处理［7］，使其14位数据转化为8位数据，由于量化位数的减少，带来的一个问题是，图像中小范围的红外灰度波动在转换后会被弱化，甚至导致无法观察到。为了避免这种问题，采用了子区域增强处理，首先在原始的14位灰度图像中，计算梯度分布，这里采用数学形态学方法实现。

设Ie和Id分别为腐蚀和膨胀的图像，求两者的差，得到梯度图像为:

依据整个图像区域的梯度走向，对整幅图像进行子区域分割处理，为了防止图像复杂内容造成的分割区域过于繁杂，在分割后进行区域合并处理，使得整幅图像保持在10个子区域以下。

分割后的各个子区域分别进行直方图均衡或直方图拉伸［8］。

4 超分辨率重构方法［9］

这里采用图像的细节增强运算，其基本原理是通过对图像进行超分辨率的重构［6，10］，强化细节纹理走向，达到细节增强的目的。

根据目标像素点与对应的源图像的位置关系得到源图像中的两组像素点(均包含三个相邻像素)，分别求出其二阶差分值，自动选取一组源像素作为二阶牛顿插值的输入，从而求得目标像素点的灰度值。

已知函数f(x)在等距节点xi上的函数值为f(xi)=fi(i=0，1，…，n)。则称:为一阶差分，而K阶差分表示为:，n 次牛顿插值公式表示为:

式中，h为步长，已知一维函数f(x)的(n+1)个等距节点上的值，即可求出f(x)的任意一点的值，其中n取值越大，其计算结果的误差越小，而计算量也随之增加。在数字图像处理中，可将离散的二维图像信号在水平方向进行一维插值，然后对所得的信号在垂直方向进行一维插值，即可完成该二维信号的插值处理，其中步长h为1。

将相邻三个点的二阶差分的绝对值作为衡量该三个点的相关性大小的标准，绝对值越小，相关性越大，反之亦然。目标像素点N的值由一组相关性较大的源像素通过插值比采用相关性较小的一组更为合理。这是因为，相关性大，表明各像素处在同一图像区域的可能性越大。

对于二维图像的插值［11］，在硬件实现时为了避免采用帧缓冲区，通常将图像在水平方向进行插值，然后将插值结果在垂直方向进行插值得到目标图像。将低分辨率图像放大，然后采用前向－后向扩散对图像的强边缘进行增强，对图像的弱边缘进行平滑。这样插值得到的图像具有非常清晰的边

缘结构。

差值得到了比原图像分辨率高出1倍或n倍的结果，此时，将超分辨率图像再次返回到原分辨率图像，抽点过程中，在每点的周围3邻域区域内计算梯度最高的点偏移量(d i，d j)，则有:

5 改进的色调映射算法［3］

红外数字图像为高动态范围图像，其一般的量化位数为14位，即灰度范围为0～16383，而目前的显示设备均为8位显示设备，即红绿蓝灰度最高量化位数为8位，因此，红外图像必须进行缩放使之变换低动态范围图像转化后，方可送往显示设备输出，这种图像亮度的压缩调节技术叫做色调映射［12］(tonemapping)。工程中常用的算法有在全局映射算法、局部映射算法等多种算法。全局算法使用同一种映射曲线作用域图像中的所有像素，在效率上有一定优势，但不能对图像的局部区域进行有效修正，图像效果一般。局部映射算法考虑到图像像素的亮度分布，在局部区域作相关调整，尽可能地改善映射后的图像效果，避免出现全局映射算法中的图像显示问题。

本系统从工程需求出发，要求色调映射算法满足条件:一是算法不复杂，满足数字视频处理的实时性要求;二是符合人眼视觉系统［8］规律，图像效果满足要求。在传统的对数映射算法的基础上进行改进，首先使用平方操作后，可以适当地拉伸它们的差距，其次对局部区域恶进行适当处理，使得数据分布较多的区域能够扩大映射范围，数据分布较少的区域恶能够缩小映射范围，在这两段区间上使用不同的含参数的映射曲线，实现了全局映射与局部映射算法的组合［13－14］，表达式如下:

其中，lb表示以2为底的对数，?」表示向下取整。令:

考虑这两条曲线满足三个初始条件:

为了确定上面4个参数，还需要一个初始条件。引入渐变系数α:

其中，Ni为亮度值分布在第i个区间内的像素个数，渐变系数值反映了每个区间像素分布的递增趋势。具体操作过程如下:

首先，需要选取合适的拐点值2m和常数c，考虑数据分布大多数集中在低数值区域，拐点值的选取不宜太大，常数c选取较为麻烦。由于新算法的曲线始终露在线性函数和对数函数之间，所以

令:

其中，取 2m=128，s=1，t=4。

划分为两个映射区间后的曲线表达式为:

6 实验结果

试验采用了长波红外图像，像素数为640×480(像素尺寸为20μm)，处理帧频为25 Hz。图4所示为非均匀噪声图像经中值滤波和帧间运动检测相结合方法进行处理前后图像效果比较。图5为经超分辨率构建增强算法处理后图像效果比较。图6为经图像自区域增强、超分辨

图4 图像去噪与背景抑制处理前后效果

图5 超分辨率增强前后效果图

图6 组合处理后前后效果图

7 结论

针对红外图像质量存在的不足之处，设计了红外数字图像清晰化显示系统，采用了先进硬件平台及图像处理算法，经外场的验证取得了较明显的图像显示效果，满足数字视频图像的要求，具有一定的推广应用价值。针对不同背景下的建立图像滤波增强算法库实现算法自适应化是下一步的研究方向。

［1］ Mai Lübo．Outline on developmentand application of FPA thermal imaging sets［J］．Infrared Technology，2006，28(9):497 －501．(in Chinese)麦绿波．焦平面热像仪的发展与应用综述［J］．红外技术，2006，28(9):497 －501．

［2］ Xu Huihui，Zhang Guilin，Jiang Jin．Analysis of scence based non-uniformity correction for IR FPA［J］．Computer＆ Digital Engineering，2007，28(9):27 － 29．(in Chinese)许慧慧，张桂林，姜瑾．基于场景的红外探测器非均匀性校正方法的分析［J］．计算机与数字工程，2007，28(9):27－29．

［3］ Xie Yisong，Fang Junyong．Development and prospect of tonemapping techniques for HDRI［J］．China Illuminating Engineering Journal，2011，22(5):11 －17．(in Chinese)谢一淞，方俊永．高动态范围图像色调映射技术的发展与展望［J］．照明工程学报，2011，22(5):11 －17．

［4］ Rafael C Gonzalez，Richard EWoods．Digital image processing［M］．2nd．ed．Beijing:Publishing House of Electronics Industry，2010:93 －98．(in Chinese)Rafael C Gonzalez，Richard E Woods．数字图像处理［M］．2版．北京:电子工业出版社，2010:93－98．

［5］ Ali Homaei，Ehsan Koohestani．Implematation a new realtime structure for driving an IRFPA and image enhancement［J］．Proc．of SPIE，2007，6616:1 －7．

［6］ Dong Liquan，Jin Weiqi，Sui jing．Research on the self-adaptive denoise and enhancement algorithm forinfrared image under ground-sky back ground［J］．Optical Technique，2009，35(1):109 －112．(in Chinese)董立泉，金伟其，隋婧．自适应地空背景红外图像降噪增强方法［J］．光学技术，2009，35(1):109 －112．

［7］ Wang Liying，Jing Yadong，Luo Fengwu，et al．New self-adaptive image enhancement algorithm for infrared image［J］．Signal Processing，2009，25(12):1836 － 1839．(in Chinese)王利颖，蒋亚东，罗凤武，等．一种自适应红外图像增强新算法［J］．信号处理，2009，25(12):1836 －1839．

［8］ Deng Yue，Wang Yanjie，Li Jingyu，et al．Improvement of enhancement algorithm for aerial image［J］．Laser＆ Infrared，2012，42(9):1080 －1085．(in Chinese)邓玥，王延杰，李静宇，等．天空区域图像的增强算法的改进［J］．激光与红外，2012，42(9):1080 －1085．

［9］ Bian Jueping．Research on regression-based super-resolution image recomstruction technique［D］．Nanjing:Nanjing University of Posts and Telecommunications，2012:14 －28．(in Chinese)卞珏平．基于回归的图像超分辨率重建技术研究［D］．南京:南京邮电大学，2012:14－28．

［10］ W Dong，G Shi，L Zhang，et al．Super-resolution with nonlocal regularized sparse representation［C］．SPIE Visual Communications and Image Processing，2010．

［11］ H Q Luong，T Ruzic，A Pizurica，et al．Single-image super-resolution using sparisity constraints and non－local similarities antmultiple resolution scales［C］．SPIE Optics，Photonics，and Digital Technologics for Multimedia Applications，2010．

［12］ Tan Ruishen．Research of high dynamic range vide［D］．Hefei:University of Science and Technology of China，2008:11 －18．(in Chinese)谭锐莘．高动态范围视频研究［D］．合肥:中国科技大学，2008:11－18．

［13］ Scheel A，et al．Tone reproduction for interactive walkthroughs［J］．Computer Graphics Forum，2009，19(3):301－312．

［14］ Shen Jianbing，Fang Shiaofen，Zhao Hanli，et al．Fast approximation of trilateral filter for tonemapping using a signal processing approach ［J］．Singal Process，2009，89(5):901－907．