双目红外热成像定位技术研究与应用

浣　石， 陶为俊， 徐　冲

(广州大学 土木工程防护研究中心， 广东 广州　510006)



双目红外热成像定位技术研究与应用

浣石， 陶为俊， 徐冲

(广州大学 土木工程防护研究中心， 广东 广州510006)

文章基于数字图像技术提出了交叉成像算法，通过将2台红外热成像摄像机拍摄的图像进行交叉计算，提高了所拍摄图像的分辨率.将海上的船舶作为对象，通过对图像的分离、海平面的映射以及船舶的识别，得到了目标图像的高精度定位.其测量精度能够很好地满足监测需要.高分辨率的热红外图像在工程监测和测量中有着重要的意义，这也将扩展红外热成像技术在实际工程测量中的应用.

热成像； 交叉成像； 数字图像处理

红外热成像摄像机是一种对物体表面自发热辐射能量密度进行成像的设备.它所拍摄到的图像不是代表物体表面反射光通量的分布，而是反映物体表面温度的分布.在水面航行的船舶其温度与海水的温度是截然不同的，因此不论是在阳光下还是在漆黑的夜晚，用红外热成像摄像机都可以拍摄到清晰的船舶图像.由于物体热辐射的波长比可见光的长，通常是在7～14 μm波段，因此大气中原本能够阻挡光线传播的物质，例如雨雪、烟雾等都不会阻挡热辐射的传播.所以说红外热成像摄像机是一种完全不需要光照的摄像机.利用红外热成像摄像机所构建的预警系统可以适合昼夜以及各种恶劣天气环境.

由于红外热成像摄像机的图像接收元件是为接收物体热辐射能量而设计的，为了获得一定的信噪比，每个接收单元的面积不能太小，也就是说，图像的分辨率不可能太高.目前市面上主流的红外热成像摄像机的图像分辨率为320×240，不到8万像素，相比普通数码相机上千万像素的图像分辨率来说是很低的.所以，绝大多数利用热红外成像的设备或者系统仅能提供视频监视或记录功能.要想利用热红外图像进行高精度的图像定位和测量，需要有特殊的图像综合处理技术来支持[1-5].

红外热成像摄像机的图像像素较少，空间分辨率比较低，再加上安装高度有限，不可能正对海平面成像，只能以较小的掠射角度来拍摄水面图像[6]，这样，热红外图像中每一个像素对应水面上的面积会随着距离的增加而被迅速地“拉长”，由此一来，在摄像机轴线方向上无法对远处的目标进行精确的定位.

1　双目红外热成像原理

热红外成像与所拍摄区域的几何关系见图1，所拍摄的范围为一个近小远大的四边形区域.得到的图像为一个按照像素阵列依次排列的矩形区域.图像像素与实际的四边形区域中的位置一一对应.鉴于单个红外热成像摄像机的图像像素低，因此，在远端像素所占有的空间也就增大，导致空间分辨率降低.增加一台相交的红外热成像摄像机，见图2.将A、B 2台摄像机对着所拍摄的区域进行交叉成像，然后对图像进行处理得到交叉后的图像，单台摄像机在远端沿轴向的空间分辨率低，通过另一台交叉后，修正了轴向的空间分辨率问题，因此可以大大提高空间分辨率.

图1　成像与拍摄区域的对应关系图

Fig.1Correspondence relationship between imaging and capture area

图2　双目成像原理图

关于2个摄像机的图像拼接计算，可以根据四节点等参变换建立坐标变换的插值函数：

(1)

(2)

其中形函数Ni表示：

(3)

式中Px，Py分别为任意一点的图像水平和竖向像素坐标，Nx、Ny为图像水平和竖向分辨率，ξ1=-1,ξ2=1,ξ3=1,ξ4=-1，η1=-1,η2=-1,η3=1,η4=1.Xi，Yi分别为像素点Px，Py所对应的实际的平面坐标.

根据上述方程将2个摄像机的图像进行交叉计算，即可得到高分辨的图像.

2　双目红外热成像定位算法

2.1目标分离

热红外摄像机拍摄到的图像中包含了海水、天空、陆地、船舶以及其他海面设施.海面的热红外图像中既有因水面波涛引起的快速变化的杂波，又有因洋流变化而导致的缓变的不均匀温变场，随着时间的变化，呈现出复杂、多变的图样[7].

图像处理的第一步就是将海水及天空背景从热红外图像中去除，只留下礁石以及水面物体目标.系统中采用时间均值滤波算法(采用5帧)来消除快速变化的水面波纹，然后使用Retinex算法去除背景，最后通过边缘提取以及封闭区域填充的算法将目标从复杂的背景中提取出来[8-10].具体过程见图3，(a)为原始热红外图像，(b)为去除海水背景后的图象，(c)是最后得到的目标增强图像.增强算法采用线性动态范围调整方法，其灰度级窗内g=255/(b-a)*(f-a)，其中f为图像像素点值，a=50，b=160.图中的亮块就是本文要观察的对象.

图3　目标分离过程

2.2海平面映射

根据每幅热红外图像的拍摄参数，其中包括摄像机的安装位置、安装高度、拍摄时摄像机的方位角、俯仰角以及镜头焦距、CCD尺寸等，可将其点对点地映射到海平面上.

若用(u,v)来表示像平面上的坐标，用(x,y)来表示海平面上的坐标，则这2个坐标系之间的映射关系为

(4)

(5)

其中,x0为热红外摄像机的安装位置，H为热红外摄像机距海面的高度，f为镜头焦距，p为像素间隔，α为方位角，β为俯仰角.

假定热红外摄像机CCD的每一个像素上接收到的辐射是均匀的，并且像素与像素之间没有缝隙，根据以上的映射关系就可以用热红外图像填出一张海平面辐射图来.对于同一块观测海域，有左右2个机位进行重叠覆盖.用左侧摄像机向右侧拍摄的热红外图像填出一个图层，再用右侧摄像机向左侧拍摄的热红外图像填出一个图层，然后将2个图层叠加在一起，2个图层中同时都光亮的区域就是水面物体或者礁石、小岛的影像，同时也就将目标物体的位置准确地勾画出来了.

以下是一组实际拍摄的热红外图像，采用了2台热红外摄像机拍摄，每台摄像机以不同的方位角各拍摄2张图片用于拼接，见图4和图5.图中每一行的2张图片是同一个位置上的摄像机以不同角度拍摄的，由于船舶运行速度较慢，而2个摄像机拍摄间隔在1 ms以内，因此，拍摄不同步对船舶运行速度计算影响较小，故可以忽略，从上到下分别是摄像机1向右侧拍摄、摄像机2向左侧拍摄的画面.

图4　摄像机1以2个不同角度拍摄的画面

Fig.4The picture taken from two different angles with camera 1

图5　摄像机2以2个不同角度拍摄的画面

Fig.5The picture taken from two different angles with camera 2

经过图像增强及目标分离算法后的图像，见图6和图7.

图6　摄像机1分离结果

图7　摄像机2分离结果

根据上述理论，将摄像机1和2分离图像进行交叉计算，交叉计算后得到海面物体定位图，见图8，该图像的分辨率较之前有了明显的提高.图8中从左向右依次是图6和图7交叉重构而成.图8中上方的白色长条与图6和图7中的白色长条相对应，由于图6和图7是掠射图，转换成平面图以后更加清晰.图7右侧图片的黑色部分与图8中最右侧黑色部分相对应.

图8　高分辨率海面物体定位图

若海面大图中每个像素代表2 m×2 m的面积，则每个图块目标的大小、中心坐标等参数很容易就能计算出来.

2.3船舶目标的识别

从热红外图像中找到的目标不仅仅是船舶，还包括礁石、小岛以及海上设施等，而真正会对桥墩构成威胁的是那些移动中的船舶，因此,还要通过相关算法来确定船舶目标.

基本算法如下：

(1)扫描每一幅海面大图，从中发现所有独立亮块，建立参数表；

(2)剔除面积过大或过小的亮快；

(3)对相邻的亮块进行合并；

(4)与前一个周期的亮块数据进行对比，找出前后有关联的目标；

(5)如果目标出现有规律的移动则判断为船；

(6)根据2次以上的移动可计算出航向和航速；

(7)根据亮块覆盖的像素数可判断船的大小.

3　结　论

本文提出了双目红外热成像定位算法，通过对图像分离、海平面映射以及船舶识别得到了目标图像的高精度定位，弥补了红外热成像摄像机分辨率低的缺陷.通过在实际工程中的应用，证明该方法具有稳定性和有效性.

[1]BARAZZETTI L, SCAIONI M. Crack measurement: Development, testing and applications of an automatic image-based algorithm[J]. J Photogramm Remote Sensing, 2009, 64(3):285-296.

[2]TRINDER J C, JANSA J, HUANG Y. An assessment of the precision and accuracy of methods of digital target location[J]. J Photogramm Remote Sensing, 1995, 50(2):12-20.

[3]NISHIDA S, KAWAMOTO S, OKAWA Y, et al. Space debris removal system using a small satellite[J]. Acta Astronaut, 2009, 65(1): 95-102.

[4]LAURIN D G, BERALDIN J A, BLAIS F, et al. Three dimensional tracking and imaging laser scanner for space operations[C]. Aero Sense, 1999: 278-289.

[5]JIANG R, JAUREGUI D V. Development of a digital close-range photogrammetric bridge deflection measurement system[J]. Measurement, 2010, 43(10):1431-1438.

[6]ZEYNEP F A, JOANN B. Photogrammetric measurement of RC Bridge Column deformations[J]. Eng Struct, 2011, 33(8): 2407-2415.

[7]BLEYER M, GELAUTZ M. A layered stereo matching algorithm using image segmentation and global visibility constrains[J]. J Photogramm Remote Sensing, 2005, 59: 128-150.

[8]于起峰，尚洋. 摄像测量学原理与应用研究[M].北京:科学出版社, 2009.

YU Q F, SHANG Y. Videometrics: Principles and researches[M].Beijing:Science Prsss, 2009.

[9]ZIA-UR R, DANIEL J J, GLENN A W. Retinex processing for automatic image enhancement[J]. J Electron Imaging, 2004, 13(1): 100-110.

[10]TANG L, CHEN S, LIU W, et al. Improved retinex image enhancement algorithm[J]. Procedia Environ Sci, 2011, 11(Part A):208-212.

【责任编辑： 孙向荣】

Study and application of the binocular infrared crosswise thermal imaging localization technology

HUAN Shi， TAO Wei-jun， XU Chong

(Civil Engineering Protection Research Center, Guangzhou University, Guangzhou 510006, China)

This essay presented cross imaging algorithm based on digital image technology and the image resolution was improved by crossing calculation of images captured by two thermal infrared imaging cameras. The ship at sea works as a target object. By separating the images, sea level mapping, and ship identification, high precision positioning of the target object can be achieved. Its accuracy of measurement appropriately satisfies the needs of projects. Thermal infrared images with high precision play important roles in project monitoring and measurement. This also expands the application of infrared thermal imaging technology in actual project monitoring and measurement.

thermal imaging; cross imaging; digital image processing

2016-05-09;

2016-05-28

国家自然科学基金资助项目(10872101)；福建省交通厅科研资助项目(201118)；浙江省科技厅科研资助项目(2009C13008)

浣石(1954-)，男，研究员，博士.E-mail: huanshi@gzhu.edu.cn

1671- 4229(2016)04-0039-04

U 644

A