航天影像间的自动转点方法

董 杨，范大昭

信息工程大学，河南 郑州，450000



航天影像间的自动转点方法

董 杨，范大昭

信息工程大学，河南 郑州，450000

航天影像间的自动转点是航天影像自动空中三角测量的主要环节，寻找一种鲁棒性好、耗时少的自动转点方法至关重要。本文针对传统人工航天影像转点耗时、耗力的问题，提出了一种全自动的航天影像转点方法，实现了批量航天影像自动化转点，大幅减少了生产作业的成本。该方法首先在读取影像边角点空间坐标的基础上，自动计算影像重叠区域；然后，在利用GPU加速SIFT算法的基础上进行基于分块的航天影像匹配，从而实现了航天影像间的自动转点过程；最后，利用“天绘一号”卫星的三线阵影像进行实验，并利用最小二乘影像匹配等方法对实验结果进行了分析。实验表明，该自动转点方法耗时较少、精度可靠，能够较好地减少作业成本，具有一定的可行性。

航天影像；自动转点；GPU；SIFT；分块

1 引 言

近年来，航天遥感处理系统向低花费、低耗时、高自动化的方向不断发展。随着遥感大数据[1-2]概念的逐渐形成，航天遥感影像的一体化、自动化处理流程也越来越受到人们的重视。现存的航天遥感处理系统多是考虑单幅影像的处理，未对整体影像间进行平差处理，这导致后期产品中的正射影像或DEM间不能很好地进行拼接等处理，从而影响到产品的应用和推广。因此，考虑整体影像间的差异，进行整体的区域网平差十分重要。其中，航天影像间的转点是进行整体平差的前提，它的自动化转点过程是推进航天影像整体自动化处理的一个重要因素,转点质量的优劣直接影响到后续整体的RPC区域网平差过程。因此，寻找一种鲁棒性好、耗时少的自动转点方法尤为重要。

现行的自动转点方法多是针对高分辨率航空影像的。袁修孝、明洋等人提出了利用影像定向参数进行航带间影像的自动转点[3]；张剑清、张勇等人提出了利用城区航空影像中存在的大量铅垂线辅助进行空三自动转点[4]。然而这些方法不适用于航天影像，航天影像间的自动转点还少有研究。

影像间的自动转点过程实质上是寻找多幅航天影像间同名点的过程。借助于现今硬件技术的发展，基于GPU的SIFT[5]特征匹配算法能够快速准确地提取出影像间的同名点。其中，SIFT特征匹配算法由David Lowe提出，其能够很好地应对图像旋转、尺度缩放、仿射变换和视角变化等影响。随后，Changchang Wu依据Andrea Vedaldi的Sift++[6]方法和Sudipta N Sinha等人的GPU-SIFT[7]方法提出了SiftGPU[8]方法，利用GPU加速方法极大提升了SIFT方法的运行速度。因此文中提出转点策略：首先，利用航天影像的四角点地理空间坐标确定各影像间的大致重叠关系；然后基于分块影像进行GPU加速的SIFT特征提取；最后，利用多幅影像间特征点匹配策略进行最终匹配，由此得到分布良好且精度可靠的同名点，从而实现航天影像间的自动转点。

2 自动转点方法的设计

2.1 SIFT算法和GPU加速

2.1.1 SIFT算法

SIFT算法的核心是提取影像的局部特征(SIFT特征点描述子)。SIFT特征不受影像间的亮度变化、旋转、尺度缩放等影响；对视角变化、仿射变换、噪声也保持一定的鲁棒性[9]。SIFT特征提取主要包括以下步骤[10-11]：

(1)尺度空间生成。尺度空间模拟影像的多尺度特征，由影像与高斯核函数卷积而成，而且高斯卷积核是实现影像尺度变换的唯一线性核。(2)确定关键点的位置和所在尺度。通过对尺度空间进行极值检测，初步提取待选点。每一个采样点都要和它所有的相邻点比较，以确保初始点在二维影像空间和尺度空间都是极值点。然后，通过三维二次函数的拟和进行关键点位置和尺度的精确确定。(3)为每个关键点指定方向参数。该参数由关键点相邻像素的梯度方向分布特性确定，这使得算子具有旋转不变的特性。在实际计算中，在以关键点为中心的邻域窗口内进行采样，用直方图统计相邻像素的梯度方向。通过以上计算得到每个关键点的三个信息：位置、所处尺度、方向。至此，影像的关键点已提取完成。(4)生成SIFT特征向量。首先以关键点的指定方向为依据进行坐标轴的旋转，从而确保算法的旋转不变性，然后以关键点为中心取8×8的窗口。通过计算每4×4的小块上8个方向的梯度方向直方图，绘制出每个梯度方向的累加值，从而形成一个种子点。每个关键点由4个种子点组成，一个种子点有8个方向信息。通过这种邻域方向性信息联合的处理，增强了算法的抗噪性和容错性。

2.1.2 GPU加速

2007年英伟达发布了易用的GPU编程接口，即统一计算架构(Compute Unified Device Architecture， CUDA)[12-14]，这使用户无需进行复杂的着色语言或图形处理语言的学习，就能够进行GPU编程。CUDA是C语言的一种扩展，它允许使用标准C进行GPU代码编程。其核心有三个重要概念：线程组层次结构、共享存储器和屏蔽同步[15]。GPU主要用于解决能够进行数据并行计算的问题，具有较高的计算密度，其正在改变着高性能计算领域的形式。

2.1.3 SiftGPU算法

由于遥感影像的大数据特性和SIFT方法的大计算量，引入GPU加速是航天影像自动化处理的一大趋势。Changchang Wu依据已有的SIFT加速算法提出了SiftGPU方法。该方法通过并行的像素运算建立高斯金字塔、进行DoG关键点检测。基于GPU列表，SiftGPU方法运用GPU/CPU混合编程高效地得出关键点列表，最后通过并行运算得到其方向参数和描述符[6]。通过实验图(图1)可以看出，对于同一幅影像，经过GPU加速的SIFT算法能够大幅减少计算时间，极大地降低作业成本。

图中横坐标对应的是影像的尺寸，单位为像素；纵坐标对应的是计算消耗时间，单位为毫秒。

2.2 多幅影像间特征点匹配策略

多幅影像间进行匹配，可以首先进行同一景内多张影像间的匹配，然后对于不同景之间的重叠处选择各景的某一影像作为基准影像进行“过渡匹配”，最后检测出共同点即可。所谓“过渡匹配”，是指依据不同景间基准影像匹配得出的同名点，由此为过渡，分别检索出不同景内影像对应的共同点(如图2所示)。

图2 “过渡匹配”示意图

图3 分块匹配示意图

考虑到算法的效率和进行RPC区域网平差时所需连接点的分布特点，只在影像重叠处分布均匀的9块区域进行同名点的提取和匹配，这样能较大地节省匹配时间和硬件资源。传统的空中三角测量转点是按照格鲁伯标准点位进行匹配的，而对于航空影像的自动空中三角测量转点则没有束缚，其由计算机自动选出大量连接点，由6个标准点位的小样本观测变为多点位大样本观测，以多求精，从而极大提高了结果的可靠性。然而，对于航天影像的大尺寸特点，一般的航空影像转点分布方案并不十分适用。因此，在满足能够获取大量且分布均匀转点的条件下，考虑到时间成本，提出9块区域的转点方案，如图3所示。该方案选择均匀分布在影像重叠处的9块区域进行转点，在满足影像重叠处均匀分布转点条件的同时，相对于全区域转点能够成倍地缩短转点所需的时间，具有一定的优效性。

2.3 自动转点方法策略的设计

考虑到先前论述的原理和自动转点的目的，本文设计如下的方法策略进行自动转点：

(1)读取影像辅助文件，确定影像四角点的坐标，并由此确定重叠区域；(2)选择一个重叠区域，并确定重叠区域内影像景数；(3)将影像分成固定大小的块状区域，若上下或左右的块数大于3块，则按照均匀分布原则，只取上下或左右的其中3块进行转点的提取；(4)对于分块区域，依次进行SIFT特征提取和匹配，先进行景内影像的两两匹配寻找出共同点，然后进行不同景的基准影像的两两“过渡匹配”寻找共同点，最后对匹配点进行筛选，得出该分块区域所有影像的匹配共同点；(5)检索输入影像的重叠区域是否均已转点完毕，否则转入(2)继续进行转点的提取。

该策略的流程图如图4所示：

图4 自动转点工作流程图

3 实验与结果分析

3.1 天绘卫星影像实验

天绘一号卫星是我国第一代传输型立体测绘卫星，其01星和02星分别于2010年和2012年发射成功并组网运行。其中，天绘一号卫星三线阵影像分辨率为5m，可实施全球精确定位并测制同地形图[16-17]。实验采用嵩山地区2014年拍摄的同轨三线阵影像、2012年与2013年分别拍摄的异轨三线阵影像，如图5所示。同轨影像共6幅，上下大约有20%的重叠，重叠区域大部分为居民区，地势较为平坦，影像对比度不是十分明显。异轨影像共6幅，左右大约有80%的重叠，重叠区域为山区和居民地，影像整体较暗，对比度不足。

图5 实验影像示意图

对实验影像进行自动转点处理，得到如下结果：

图6 实验结果图

图6为匹配出的转点在平面上的投影。红、绿、蓝线分别表示同一景内三线阵影像前、下、后视的边界在图上的投影，图中的点包括同一景内影像的3度重叠点和不同景间影像的6度重叠点。由实验可以看出，自动转点策略对于同轨或异轨影像，均能获取分布较为均匀的适量影像转点，这说明了该策略的可行性。同样，由实验结果图可以看出，在异轨转点时部分区域匹配点数较少，经分析发现，这是由多种因素所造成的：一方面是由于影像四角点空间坐标为粗略值，导致影像分块区域未能精确对准；另一方面是由于异轨影像间成像条件差异较大，导致不能很好地进行自动转点的提取。这也是下一步自动转点策略要完善的方向。

3.2 结果分析

为了进一步验证自动转点策略的可行性和优效性，下面分别从方法效率、转点正确率、转点质量等方面进行比对分析。

在方法效率方面，本文主要与传统的手工转点方法进行比对说明。传统的手工转点方法一般借助于图像处理软件，通过肉眼进行逐张影像寻点。由于每个人的视觉各有不同，且寻点的效率与操作的熟练程度有较大的关系，其效率难以统计。在对比实验中，我们借助ENVI[18]软件进行逐张寻点，其消耗时间由以往经验值和此次耗时平均得出。

经过统计得出，传统手工转点方法与自动转点方法的效率对比如图7所示：

图7 转点效率对比图

由图7可以看出，自动转点方法极大缩短了转点提取的时间，能够在极短的时间内寻找出大量影像间的转点，具有较高的生产效率，能够很好地减小提取影像转点的时间成本，这说明该方法具有一定的优效性。

转点正确率表征转点的正确个数，是对转点精度较为直观的评价。本文依据统计学抽样检验评判自动转点的正确率。抽样检验是指通过从批中抽取样品的检验结果，利用科学的统计方法分析和判断该批是否合格[19]。抽样检验能够有效地表征总体的质量。在实验中，随机抽取转点，然后进行对应局部影像的观察，判断其是否匹配正确。若提取特征点对应局部灰度特征相同，则判定转点正确，否则错误。实验中，从同轨转点结果的10700个点中抽取500个点进行检查，从异轨转点结果的4084个点中抽取200个点进行逐点人工检查，如图8所示。最终，得到同轨转点与异轨转点的检查正确率均为100%。由此，可推断整体自动转点的正确率具有较高值，这说明该方法具有较好的鲁棒性。

图8 点位检查示意图

转点质量评价是在具有较高的转点正确率后,对转点精度进行更高标准的评价，这是对转点结果精度更加科学的评估。转点的质量由转点进行最小二乘影像匹配后的残差进行评定。最小二乘影像匹配的精度可达0.01至0.02个像素[20-21]，其匹配结果对于表征转点的质量具有代表性。最小二乘影像匹配是通过比较模板窗口与搜索窗口内影像的灰度值及其分布，寻找共轭实体的一种匹配方法。它的基本思想是：考虑影像的灰度变形与几何畸变得到相应模型式，以模板窗口与搜索窗口内影像灰度差的平方和达到极小为条件，得到模形式参数的最或然解，从而进一步得到模板中心的最佳匹配位置。其具有精度高、对几何变形有较好的适应性等特点。利用转点坐标作为最小二乘影像匹配的初值，利用其匹配结果作为评价参考，从而可以进行转点质量的评定。

对转点质量的评定也是对转点方法优良的评定。利用最小二乘影像匹配，对3度重叠下2014年其中一景的前、后视影像进行基于转点坐标的重新匹配，最后计算残差，得到如下结果，如图9所示。

图9 点位残差分布图

图9中数目图的横坐标方向为残差值，单位为像素，纵坐标方向为对应残差区间内的点数目；比例图中不同颜色代表不同残差区间，颜色块的高度对应相应残差区间内点数在总点数中所占比例。图中从下到上对应残差值由小到大的区间，并且这里的残差取绝对值。

由点位的残差分布图可以看出，在X和Y方向匹配点的残差分布大致相同，其中,大约90%的点残差处在0.7个像素以内，且大多数点残差处在0.3个像素以内。在验证的4753个点中，在X方向和Y方向都仅有一个点的残差大于1个像素，这从另一方面也论证了该方法的转点正确率极高。从平面方向的残差来看，大约90%的点残差处在0.8个像素以内，大多数点的平面方向残差处在0.2至0.7个像素内。

通过最小二乘影像匹配的实验可以看出，实验得到的转点质量较好，其X、Y方向精度保持在1个像素以内，这能够满足后续区域网RPC平差的要求，由此也可以看出自动转点策略的可行性。通过实验还可以看出，若想得到更高精度的点位，可在运用自动转点之后，再对相应点进行最小二乘影像匹配。

4 总 结

航天遥感影像自动化处理系统可以自动快速处理大范围的影像数据，在航天遥感数据的种类和数量快速增长的今天发挥着越来越重要的作用。通过天绘一号卫星影像的实验，证明了航天影像间自动转点方法的可行性与优效性，减少了作业员的工作量与作业成本。文中提出的方法，通过利用GPU加速SIFT算法进行基于分块的天绘影像的自动转点，能够在较短的时间内提取出大量具有可靠精度的影像连接点，完成自动转点任务，并且较大节省了影像的处理时间，在实际生产作业中具有一定的应用和推广价值。

[1]李德仁，张良培，夏桂松. 遥感大数据自动分析与数据挖掘[J]. 测绘学报，2014(12):1211-1216.

[2]李德仁，姚远，邵振峰. 智慧城市中的大数据[J]. 武汉大学学报·信息科学版，2014，39(6): 631-640.

[3]袁修孝，明洋. POS辅助航带间航摄影像的自动转点[J].测绘学报，2010(02):156-161.

[4]张剑清，张勇. 铅垂线辅助的大比例尺城区空三自动转点[J]. 武汉大学学报·信息科学版，2008(6):556-559.

[5]D. G. Lowe. Distinctive image features from scale-invariant keypoints [J]. International Journal of Computer Vision,2004(11)：91-110.

[6]A. Vedaldi. Sift++ [EB/OL]. [2009-10-12].http://vision.ucla.edu/～vedaldi/code/siftpp/siftpp.html.

[7]Sudipta N Sinha, Jan-Michael Frahm, Marc Pollefeys, Yakup Genc. GPU-Based Video Feature Tracking and Matching [C]. In Workshop on Edge Computing Using New Commodity Architectures, 2006.

[8]Changchang Wu. SiftGPU [EB/OL].[2012-07-16]. http://www.cs.unc.edu/～ccwu/siftgpu/.

[9]罗征宇，宁晓刚. 不同分辨率遥感影像获取均匀分布匹配点的匹配方法研究[J]. 测绘通报，2011(4)：38-40.

[10]赵辉. SIFT特征匹配技术讲义[EB/OL].[2010-09-27]. http://wenku.baidu.com/view/dc5fffec102de2 bd9605886e.html.

[11]李二森，张保明，刘景正等. SIFT特征匹配技术在自动相对定向中的应用[J]. 测绘科学，2008，33(5):16-19.

[12]NVIDIA Corporation. NVIDIA CUDA Compute Unified Device Architecture Programming Guide 1.0 [EB/OL].[2007-06-18]. http://www.cs.berkeley.edu/～yelick/cs194f07/handouts.

[13]Cook, Shane. CUDA Programming A Developer's Guide to Parallel Computing with GPUs [M]. Newnes, 2012.

[14]Kirk, David B. Programming Massively Parallel Processors: A Hands-on Approach, Second Edition [M]. Newnes, 2012.

[15]袁修国，彭国华，王琳. 基于GPU的变型SIFT算子实时图像配准[J]. 计算机科学，2011(3):300-303.

[16]国家遥感中心. 天绘卫星遥感部[EB/OL].[2014-04-18]. http://www.nrscc.gov.cn/nrscc/ywfb/sjyzhfwl/201404/t20140418_32640.html.

[17]何忠焕，左志进，刘冬枝. 天绘一号卫星遥感影像的处理方法[J]. 地理空间信息，2012，10(6):4-6.

[18]易智瑞(中国)信息技术有限公司.ENVI/IDL-Esri中国[EB/OL].[2015-4-15]. http://www.esrichina-bj.cn/softwareproduct/EI/.

[19]宋向东，何倩. 基于过程能力指数的可连续提交的验收抽样检验方案[J]. 经济研究导刊，2014 (28):283-285.

[20]耿则勋，张保明，范大昭. 数字摄影测量学[M]. 北京：测绘出版社，2010.

[21]MCGLONE J C. Manual of photogrammetry [M]. 5th ed. Bethesda, Maryland: ASPRS, 2004.

Automatic Extraction of Connection Point in Aerospace Images

Dong Yang, Fan Dazhao

Information Engineering University, Zhengzhou 450000, China

It is a key link to find an automatic extraction of connection point in aerial triangulation measurement. In order to solve the time-consuming problem with the traditional methods, this paper proposes a new automatic turning point method, which realizes the batch aerospace images processing and greatly reduces production costs. In this way, firstly the overlapping areas are automatically calculated based on reading the image corner point coordinates. Then block matching is done by using GPU-based SIFT algorithm, thus it realizes the automatic extraction of connection points. Finally this paper conducts the experiment based on three-line array CCD images from Mapping satellite-I and analyzes the results by using the least squares image matching method. The experiments show that the automatic extraction method takes less time and has reliable accuracy. Also it can reduce the operation costs and has certain feasibility.

aerospace images; automatic extraction method; GPU; SIFT; block

2015-06-02。

国家自然科学基金资助项目(41401534)，地理信息工程国家重点实验室开放基金资助项目(SKLGIE2013-M-3-1)。

董杨(1992—)，男，硕士研究生，主要从事数字摄影测量方面的研究。

P236

A