光电全景成像系统的图像校正技术

尹丽华，李范鸣，刘士建，崔 坤



光电全景成像系统的图像校正技术

尹丽华1,2，李范鸣1，刘士建1，崔 坤1

( 1. 中国科学院上海技术物理研究所，上海 200083;2. 上海科技大学 信息科学与技术学院，上海 200031 )

载体平台在行进间的振动会导致光电全景成像系统采集的图像发生几何畸变。为了校正图像，本文提出了一种基于惯导信息的图像校正算法，该算法首先采用基于惯导信息的图像坐标转换方案，得到了校正后图像与原图像坐标点的对应关系；然后通过基于边缘导向的插值法，确定了校正后图像中各像素点的灰度值。实验表明，该算法可以有效实现光电全景成像系统的图像几何校正，并抑制了图像的边缘模糊效应，提高了图像复原的效果。

信号处理；光电全景成像系统；图像校正；惯导；坐标转换

0 引 言

传统的光电全景成像系统一般安装在机械稳定平台上，视轴始终稳定于惯性空间(大地坐标)，从而使视轴对大地相对静止，保证了视轴指向的稳定。但由于机械稳定平台结构复杂，体积庞大，价格昂贵，可以省去笨重的机械平台。取消机械稳定平台以后，光电全景成像系统与载体平台一起随机振动，随机振动传至视轴，会引起系统视轴指向的变化，导致图像发生几何畸变，影响图像的视觉效果，导致目标误判或漏判。相对于传统的红外图像，全景图像数据量大，分辨率高，俯仰视场更大，随着光电全景成像系统的广泛应用，同时越来越多的红外成像设备应用在运动平台上，对于通过图像校正解决光电成像系统的视轴稳定问题，同时保证后续目标识别的精度和效率，具有的重要研究意义。国内外针对这方面的研究相对较少，传统方法是通过陀螺等传感器和伺服系统构成稳定平台来保证视轴指向的稳定，或光学稳像和电子稳像的方法也可以实现图像的校正[1-5]，但是实现算法非常复杂。图像校正的常用数学模型[6-7]为：平移(Translation)模型、仿射(Affine)模型、相似(Similarity)模型等。2007年杨庆伟等尝试对方位角和高度引起的畸变分别进行校正，然后利用双线性插值进行补偿，实现了图像序列的稳定[8]；2008年瞿元新等人提出了船载天线电子稳定方程[9]，为舰船稳定平台及舰船姿态补偿的实现提供了理论依据，提高了天线的指向精度，但是未将坐标转换模型应用于图像的校正。

考虑到上述需求，本文提出了一种基于惯导信息的图像校正算法，目的在于解决动载体下采集的图像存在几何畸变的问题。主要内容如下：首先介绍了基于惯导信息的图像坐标转换方案，然后分析了基于边缘导向的插值算法，最后，将该算法用于全景图像的几何校正实验，验证了算法的可行性和有效性。

1 校正算法分析

1.1 算法的基本原理

当惯导的偏航角为、俯仰角为和横滚角为时，如图1所示，校正前的像点将偏离标准位置的像点，而几何校正的任务就是将像点由重新拉回位置。基于惯导信息的图像校正，其算法流程图2所示。算法描述如下：

1) 根据坐标转换理论，建立大地坐标系和载体坐标系之间的转换关系，得到变换矩阵和，结合惯导提供的姿态角信息，从而可以求解得到不同坐标系下的方位角、俯仰角。2) 利用方位角、俯仰角和数字图像坐标之间转换公式，得到校正后图像在当前图像中对应的非整数坐标。3) 采用基于边缘导向插值法，区分边缘像素点和非边缘像素点，然后采用不同的插值公式，计算得到校正后图像中各像素点的灰度值。

1.2 基于惯导信息的图像坐标转换方案

1.2.1 根据惯导信息,建立坐标转换模型

同理推得从系到系的变换矩阵

1.2.2 建立角度与数字图像坐标之间的转换关系

式中：base表示目标图像的俯仰角的基准线，Pitch表示俯仰视场的范围。第列的第1个像点在大地坐标系下的角度，()，采用逆变换可求得在载体标系下对应的角度。采用式(5)计算在源图像中第1个像素点在图像中坐标值，定义如下:

图3 大地坐标系(n系)和载体坐标系(i系)

1.3 基于边缘导向的插值法

该算法的基本思想为通过计算像素间差值，并与预置阈值比较，划分出边缘像素点和非边缘像素点，针对边缘像素点和非边缘像素点采用不同的插值算法。即如果像素点间差值比预置阈值小，则待内插像素点归类为非边缘像素点，使用双线性插值算法；反之，如果像素点间差值比预置阈值大，则待内插像素点就归为边缘像素点，使用卷积插值法，最终可求得待插值像素点所有值。假设校正后图像在对应源图像中的非整数坐标，下面分4种情况来探讨的值：

2 校正实验结果及分析

本文的实验是基于360°全景图，通过在PC机上用Matlab编程进行仿真，验证算法的可行性和正确性。实验具体过程如下：1) 截取位置1下的视场图，记录当前的姿态角信息；2) 改变姿态角信息，截取位置2下的视场图。3) 通过采用本文提出的校正算法，分别对位置1和位置2下视场图进行校正；4) 分别将位置1和位置2下的校正后图像与基准图(偏航角0=0；俯仰角0=0；横滚角0=0)进行比较，通过差影图检验校正的效果。

图4和表1显示了本文的插值算法和传统插值算法的效果对比，可以发现，与传统插值算法相比本文的插值算法克服了传统插值算法图像边缘模糊的缺点，同时提高了图像峰值信噪比(，其中表示源图像，表示处理后的图像)，从而验证了本文插值算法的可行性和有效性。

图4 各种插值算法的效果比较

表1 四种插值算法的性能对比Table 1 Performance comparison of four algorithms

图5给出了两组姿态角下采集到的图像的校正结果。位置l的三个方位角是：偏航角0= 205.0；俯仰角0=-0.030 0；横滚角0=6.150 0；位置2的三个方位角是：偏航角0=284.830 0；俯仰角0=-5.270 0；横滚角0=-0.440 0。从差影图可以看出,校正后的图像与基准图基本吻合，从而验证了本文校正算法的正确性和有效性。

由于图像的运动方式各不相同，可采用不同的运动模型表示，常用的三种图像运动数学模型为：Translation、Affine和Similarity模型。1) 如果图像只含有平移运动，其数学模型可采用Translation模型：，其中，分别是当前帧和参考帧中对应的坐标，是二维平移量。2) 当图像有旋转和变焦量时，采用Similarity模型：，其中是二维平移量，是变焦系数，是正交的旋转矩阵。3) 当图像有扭转变化时，采用Affine仿射模型：，传统的运动模型适用范围存在一定局限性，本文建立的运动模型适用于解决由于动载体的姿态角变化导致的图像误差，克服了传统图像运动模型的局限性。

图5 校正的实验结果

结束语

在载体平台运动状态下，当视轴瞄准目标后编码器测量的角度是在载体平台坐标系下的方位角和俯仰角，与真实的目标角度有一定的偏离。本文提出了基于惯导信息的图像校正算法旨在利用姿态角信息将采集到的图像转换成在标准位置条件下所采集的图像，从而实现图像的几何校正。实验表明，该算法可以有效实现光电全景成像系统的图像几何校正，同时抑制图像边缘模糊效应。

[1] 陈晓露. 航空光电成像电子稳像技术研究 [D]. 长春：中国科学院长春光学精密机械与物理研究所，2014：11-34.

CHEN Xiaolu. Study on digital image stabilization technology for aerial opto-electric imaging system [D]. Changchun：Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Science，2014：11-34.

[2] 黄晨，王建军，高盺，等. 电子稳像中稳像质量评价方法研究 [J]. 激光与红外，2013，43(5)：477-481.

HUANG Chen，WANG Jiangjun，GAO Xin，. Study on video stabilization performance assessent in electronic image stabilization [J]. Laser & Infrared，2013，43(5)：477-481.

[3] Kwon Ohyun，Nam Byungdeok，Paik Joonki. Binary edge based adaptive motion correction for accurate and robust digital image Stabilization [J]. Lecture Notes in Computer Science(S0302-9743)，2006，4319(1)：1142-1149.

[4] Grundmann M，Kwatra V，Essa I. Auto-directed video stabilization with robust L1 optimal camera paths [C]// Proc. CVPR，Colorado Springs，CO，USA，June 21-23，2011：225-232.

[5] 朱娟娟，郭宝龙. 电子稳像的特征点跟踪算法 [J]. 光学学报，2006，26(4)：516-521.

ZHU Juanjuan，GUO Baolong. Features Tracking Algorithm for Video Stabilization [J]. Acta Optica Sinica，2006，26(4)：516-521.

[6] CHEN Bingyu，LEE Kenyu，HUANG Weiting，. Capturing intention-based full-frame video stabilization [J]. Computer Graphics Forum(S1467-8659)，2008，27(7)：1805-1814.

[7] TAM Wingshan，KOK Chiwan，SIU Wanchi. Modified edge-directed interpolation for images [J]. Journal of Electronic Imaging(S1017-9909)，2010，19(1)：32-37.

[8] 杨庆伟. 基于惯导信息的图像序列稳定技术研究 [D]. 长沙：国防科学技术大学，2007：4-18.

YANG Qinwei. Research on the Image Sequence Stabilization Technology Based on Inertial Navigation Information [D]. Changsha：National University of Defense Technology，2007：4-18.

[9] 钟平. 机载电子稳像技术研究 [D]. 长春：中国科学院长春光学精密机械与物理研究所，2003：12-34.

ZHONG Ping. Study on Electronic Image Stabilization Technology for the Image Sequences of the Aero-Borne Camera System [D]. Changchun：Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Science，2003：12-34.

[10] 瞿元新. 航天测量船测控通信设备船摇稳定技术 [M]. 北京：国防工业出版社，2009：27-37.

[11] 徐涛，李博，刘廷霞，等. 车载光电跟踪转台的初始标定 [J]. 光学 精密工程，2013，21(3)：782-789.

XU Tao，LI Bo，LIU Tingxia，. Initial calibration of tracking turntable for vehicle-borne opto-electronic tracking system [J]. Optics and Precision Engineering，2013，21(3)：782-789.

[12] 官柏林. 三轴光电跟踪系统跟踪策略和控制研究 [D]. 西安：西安电子科技大学，2012：85-94.

GUANG Bolin. Tracking Strategy and Control Method of Three-axis Photoelectric Tracking Systems [D]. Xi¢an：Xidian University，2012：85-94.

[13] Michael D Miller，Oliver E Drummond. Comparison of methodologies for mitigating coordinate transformation bias in target tracking [J]. Process of SPIE(S0277-786X)，2000，4048：414-427.

[14] Jakhetiya V，Kumar A，Tiwari A K. A survey on image interpolation methods [J]. Processing of SPIE(S0277-786X)，2009，7546：75461-6.

[15] 吴威，许廷发，王亚伟，等. 高精度全景补偿电子稳像 [J]. 中国光学，2013，6(3)：378-385.

WU Wei，XU Tingfa，WANG Yawei，. High precision digital image stabilization with full frame compensation [J]. Chinese Optics，2013，6(3)：378-385.

[16] LIU Shuaicheng，WANG Yinting，YUAN Lu，. Video Stabilization with a Depth Camera [C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，Providence，Rhode Island，June 16-21，2012：89-95.

[17] 张永祥. 基于陀螺仪的船载电子稳像技术研究 [D]. 长春：中国科学院长春光学精密机械与物理研究所，2006：125-136.

ZHANG Yongxiang. Study on Electronic Image Stabilization Technology for the Image Sequences of the Ship-Borne Camera System Base on the Gyro [D]. Changchun：Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Science，2006：125-136.

[18] Litvin Andrew，Konrad Janusz，William C Karl. Probabilistic video stabilization using Kalman filtering and mosaicking [J]. Image and Video Communication and Processing(S1863-1711)，2003，5022：663-674.

[19] Kwon Ohyun，Nam Byungdeok，Paik Joonki. Binary edge based adaptive motion correction for accurate and robust digital image Stabilization [J]. Lecture Notes in Computer Science(S0302-9743)，2006，4319(1)：1142-1149.

[20] Asuni N，Giachetti A. Accuracy improvements and artifacts removal in edge based image interpolation [C]// Proceedings of Int. Conf. on Computer Vision Theory and Applications(VISAPP)，Funchal，Portugal，January 22-25，2008，1：58–65.

The Image Correction Technology for Optical Panoramic Imaging System

YIN Lihua1，2，LI Fanming1，LIU Shijian1，CUI Kun1

( 1. Shanghai Institute of Technical Physics, Chinese Academy of Sciences, Shanghai 200083, China;2. School of Information Science and Technology, ShanghaiTech University, Shanghai 200031, China )

Vibration of carrier platform during travel will lead to the presence of geometric distortion of the images, which are obtained by optical panoramic imaging system. An image correction algorithm based on inertial navigation information was proposed, in order to correct the image. First of all, through the coordinate conversion scheme based on inertial navigation information, we can get the corresponding relationship for coordinate points between the corrected image and the original image. Then, via the edge-directed interpolation method, we can determine the gray value of each pixel in the image after the correction. Experimental results show that the algorithm can effectively achieve the goal of image correction for optical panoramic imaging system, suppress the edge blur effect of images, and improve the effect of image restoration.

information processing; optical panoramic imaging system; image correction; inertial navigation information; coordinate transformation

1003-501X(2016)08-0053-06

TP391.41

A

10.3969/j.issn.1003-501X.2016.08.009

2015-10-10；

2015-12-13

国家863高技术计划资助项目(2011AA7031002G)；国家十二五国防预研项目(41101050501)

尹丽华(1988-)，女(汉族)，山东泰安人。博士研究生，主要研究工作是数字图像处理。E-mail: 1098606535@qq.com。