滤光片多光谱成像中运动目标场景误配准修正

章文洁，黄 旻，张桂峰

(1.中国科学院 光电研究院，北京 100094；2.中国科学院大学，北京 100049)

滤光片多光谱成像中运动目标场景误配准修正

章文洁1,2，黄 旻1，张桂峰1

(1.中国科学院 光电研究院，北京 100094；2.中国科学院大学，北京 100049)

图像配准是多光谱相机获得精确的多光谱数据立方体的重要步骤。文中分析了运动目标对滤光片阵列型多光谱相机所获取光谱图像序列的配准结果的影响。针对此类误配准问题，文中提出一种基于运动目标检测的误配准修正方法。该方法首先通过变化检测粗提取误配准点区域，然后利用运动目标形状特征进一步提取误配准点，利用多图像序列的空间和灰度关系对误配准点进行修正。用该方法对8通道的滤光片阵列型多光谱相机的多光谱图像进行处理，实验结果表明，该方法能有效地校正多光谱成像中运动目标所造成误配准的影响，提高多光谱图像配准的准确度。处理后的图像数据更有利于图像判读、多光谱图像分类、目标识别等的后续应用。

多光谱图像;配准;运动目标;目标检测

0 引 言

光谱相机能够同时获得目标二维空间信息和一维光谱信息[1]。滤光片阵列型多光谱相机在面阵CCD前放置了若干个不同谱段的窄带滤光片[2]，结合飞行平台推扫，获取地物目标的多光谱数据。

配准是对同一目标不同波段的图像进行几何校准，使不同波段图像的相同位置对应同一地物[3]。配准是获得高精度多光谱数据立方体的关键。常用的遥感配准方法分为四类：基于区域的配准、基于图像特征的配准、基于混合模型的配准和基于物理模型的配准[4]。针对滤光片阵列型多光谱相机的图像配准，赵宝玮[3]提出一种基于视差约束的改进Hough变换提取同名点和同名直线的方法进行配准，但其中未考虑运动目标对配准结果的影响。

然而，若场景中包含运动目标，则在图像配准的结果中，运动目标及其经过的路面在不同波段图中对应的并非同一地物。这种误匹配将对多光谱分类、光谱识别、目标识别等后续应用造成一定干扰。

针对这类问题，文中提出一种基于运动目标检测的图像配准修正算法，对误匹配点进行修正。校正后这些点在不同波段都对应运动目标或者道路，从而实现多光谱图像的准确配准。

1 滤光片阵列型多光谱相机成像中的运动目标场景分析

滤光片阵列型多光谱相机获取的原始图像数据进行配准和拼接才能形成目标的三维数据立方体[2]，其原理如图1所示。

图1 滤光片阵列型多光谱相机获取数据立方体原理

在配准和拼接后的多光谱数据立方体中，运动目标出现各波段图像中的不同位置，即造成错误配准，如图2所示。

图2 静态目标和运动目标的位置

为了修正运动目标造成的误配准，需要在运动目标出现的位置复原其在所有波段的信息以及在这些位置复原被运动目标遮挡的景物。因此，先要在多光谱图像中检测出运动目标，然后进行修正。

2 运动目标场景的误配准修正算法

以运动车辆为例，文中设计了一种基于变化检测和车辆特征的运动车辆提取方法，然后利用运动车辆检测结果以及各谱段道路的灰度特征，将运动车辆在其轨迹的每个位置的所有谱段复现以及恢复道路信息。

2.1 多光谱图像的运动车辆检测算法

遥感图像的运动车辆检测大多数都是在人工提取道路或者已知道路掩模的情况下进行的，然后通过阈值分割[5-7]、多尺度高斯椭圆拉普拉斯算子[8]、多尺度分割[9]、重构道路背景[10]、PCA检测[11]、人工免疫[12]等方法提取车辆。

文中设计了一种无需提取道路的运动车辆检测方法，在变化检测的基础上，结合车辆灰度和几何特征在8个谱段提取运动车辆。

2.1.1 变化检测

利用式(1)计算每两个相邻序列图像(即两个单波段图像)的变化谱CS(Change Score)。

(1)

其中，i表示序列图像序号；Fi表示第i个序列图像；CSi+1,i表示第i+1个与第i个序列图像变化值；med表示中值滤波器，中值滤波比算术平均更具鲁棒性[13-14]。

2.1.2 运动车辆提取

假设Ri、Ri+1分别是第i和i+1个序列图像中不同位置的暗车，在CS图中Ri和Ri+1分别变成局部最亮和局部最暗，即获得了一对正负区域对，如图3(a)-(c)所示。同理，如果Ri、Ri+1分别是第i和i+1个序列图像中不同位置的亮车，在CS图中Ri和Ri+1分别变成局部最暗和局部最亮，如图3(d)-(f)所示。如果正负区域对能够满足一定空间距离要求(时间间隔内车辆可能移动的距离)，则它们可能为同一辆运动车辆。

图3 运输车辆提取

同时，在CS图中，运动车辆的灰度增强，而绝大部分背景(静态地物)却相对弱化。因此，更有利于利用灰度阈值，将车辆从背景中分割出来。然后根据车辆的长宽和面积特征将运动车辆分别按照大、中、小型车从候选点中提取出来。

2.1.3 运动车辆匹配

用空间距离作为约束条件对相邻两个序列图像中运动车辆进行匹配。取每个运动车辆区域内所有像素坐标x和y的平均值作为该运动车辆区域的质心，当同种类型的车辆在CS图中的空间距离大于车身长并且小于车辆可能移动的最大距离时，则将车辆判定为同一辆车。在所有波段的两相邻序列图像检测车辆时，运动车辆分别作为起点和终点被检测了两次。因此，取两次检测的质心的平均值为该车的质心作为该车在各图像序列中位置。

2.2 运动目标场景的配准修正

利用运动车辆检测结果，对由于车辆运动造成的错误匹配的点进行修正，使这些像素点在所有波段均对应相同的地物。

根据运动车辆检测结果，可以得到车辆的面积、位置、方向。在每个单波段图像中，通过仿射变换将运动车辆在其轨迹的每个位置复现，从而每辆运动车辆能在其轨迹的每个空间位置复原。

而对于恢复由于车辆经过而缺失的道路信息，需要利用相邻的多光谱图像序列的灰度信息。

假设Fi-1、Fi、Fi+1分别表示第i-1、i、i+1幅序列图像。对无运动车辆经过的道路区域进行采样，根据式(2)求出相同道路区域不同波段间的每个像素点灰度比值系数矩阵ai-1,i,ai,i+1,ai+1,i-1。

(2)

由于不同道路材质在不同的波段有不同的反射率，该比值系数矩阵呈现分块状，如图4所示。其中，图(a)和图(b)分别为第i个和第i+1个序列图像道路；图(c)为灰度系数知阵ai,i+1。

图4 道路灰度系数

(3)

3 实验结果与分析

为验证所提出的算法的可行性，文中对滤光片阵列型多光谱相机的航拍数据进行处理。该多光谱相机包含8个谱段，获得配准后的多光谱数据之后，对误配准的点进行修正。

3.1 运动车辆检测

用2.1中的方法检测该多光谱图像中的运动车辆，在所有的波段都取得了较好的结果。图5给出了部分结果。其中，图(a)和图(b)分别为第i+1个和第i个序列图像；图(c)为CS图；图(d)为运动车辆的检测结果。图(d)中椭圆框表示车辆起点，矩形框表示车辆终点，连线表示同一辆车。

图5 运动车辆的检测

3.2 运动车辆和道路的修正结果

利用运动车辆检测结果，对运动车辆造成的误配准的像素点进行修正。在实际计算过程中，对检测出的运动车辆的区域先进行形态学膨胀处理，以减少误差。图6给出了多光谱图像修正的结果。图6(a)为处理之前的RGB合成图。同一个运动车辆出现在三个位置，并且光谱信息是不完整的(矩形框和椭圆分别为暗车和亮车)。(b)-(d)分别为处理之后，连续三个曝光时刻RGB图像。在8个波段的图像中运动车辆出现每个位置都运动该车，其经过的道路信息也已经复原，即修正了错误配准。

图6 运动车辆和道路的配准修正(RGB)

4 结束语

滤光片阵列型多光谱相机获取的原始图像经过配准和拼接后能得到地物目标完整的三维数据立方体。但是，在数据立方体中，运动目标出现的位置对应的并不是同一个目标。为了修正这种误配准，文中提出一种基于运动目标检测的误配准修正方法。在变化检测的基础上，同时结合车辆灰度与几何信息提取运动车辆，然后分别通过仿射变换和相邻图像序列的灰度信息恢复运动车辆和道路的信息。用该方法对8通道的滤光片阵列型多光谱相机的多光谱图像进行处理。实验结果表明，该方法有效地修正了由于运动目标造成的误配准。处理后的图像数据更有利于图像判读、多光谱图像分类、目标识别等的后续应用。

[1] 崔 艳.光谱成像仪定标技术研究[D].西安：中国科学院西安光学精密机械研究所，2008.

[2] 赵宝玮，相里斌，吕群波，等.机械快门对大面阵滤光片型多光谱相机成像的影响及改进[J].光谱学与光谱分析,2013,33(7):1982-1986.

[3] 赵宝玮.机载多光谱相机数据的高质量获取与处理技术研究[D].西安：西安电子科技大学，2014.

[4] 余先川，吕中华，胡 丹.遥感图像配准技术综述[J].光学精密工程,2013,21(11):2960-2972.

[5] Alba-Flores R.Evaluation of the use of high-resolution satellite imagery in transportation applications[R].Minnesota:University of Minnesota,2005.

[6] Larsen S Ø, Amlien J, Koren H,et al.Mapping road traffic conditions using high resolution satellite images[C]//Proceedings of geographic object-based image analysis.Calgary:[s.n.],2008.

[7] Liu Wen,Yamazaki F,Vu T T.Automated vehicle extraction and speed determination from quickbird satellite images[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2011,4(1):75-82.

[8] Larsen S Ø,Salberg A B.Automatic vehicle counts from qu-ickbird images[C]//Proc of joint urban remote sensing event.Munich:[s.n.],2011:9-12.

[9] Tan Q,Wei Q,Yang S,et al.Evaluation of urban road vehicle detection from high resolution remote sensing imagery using object-oriented method[C]//Proc of joint urban remote sensing event.Shanghai:[s.n.],2009:1-6.

[10] 张博研.遥感图像的车辆目标检测与运动参数估计[D].西安：西安电子科技大学，2013.

[11] Salehi B,Zhang Y,Zhong M.Automatic moving vehicles information extraction from single-pass WorldView-2 imagery[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2012,5(1):135-145.

[12] Zheng Hong,Li Li.An artificial immune approach for vehicle detection from high resolution space imagery[J].International Journal of Computer Science and Network Security,2007,7(2):67-72.

[13] Bar D E,Raboy S.Moving car detection and spectral restoration in a single satellite WorldView-2 imagery[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2013,6(5):2077-2087.

[14] Mitchell H B.Image fusion:theories,techniques and applications[M].Berlin:Springer-Verlag,2010:75-90.

Misregistration Correction for Moving Object Scene in Filter-type Multispectral Imaging

ZHANG Wen-jie1,2,HUANG Min1,ZHANG Gui-feng1

(1.Academy of Opto-eletronics,Chinese Academy of Sciences,Beijing 100094,China;2.University of Chinese Academy of Science,Beijing 100049,China)

Image registration is a key step for multispectral camera to obtain multispectral data cube.The impact of moving objects on image registration for filter array type multispectral camera was analyzed.To solve the problem,a method based on the detection of moving vehicles to correct the misregistration is presented.Firstly,the potential regions of misregistration pixels are roughly extracted by change detection,and then the misregistration pixels are screened through the features of moving objects,and these pixels are corrected based on the relationships of space and gray level among the multispectral image sequences.The method is applied to process the multispectral image obtained with an 8-channel filter array multispectral camera.The experimental result indicates that the approach could fix the wrong matches effectively and improve the accuracy of multispectral imaging registration.The processed images would be more favorable to image interpretation,the classification of multispectral image,object recognition and other subsequent applications.

multispectral images;registration;moving object;object detection

2015-03-05

2015-06-11

时间：2016-01-04

国家杰出青年基金资助项目(61225024)

章文洁(1990-)，女，硕士，研究方向为图像配准、图像处理、光谱成像技术；黄 旻，研究员，研究方向为计算光谱成像技术。

http://www.cnki.net/kcms/detail/61.1450.TP.20160104.1607.070.html

TP39

A

1673-629X(2016)01-0018-04

10.3969/j.issn.1673-629X.2016.01.004