云动对多CCD遥感影像拼接精度的影响分析

徐振尧，刘保成，程家胜

(中国天绘卫星中心，北京 102102)

1 引 言

天绘一号卫星是我国第一颗传输性立体测绘卫星，其搭载的全色相机有8片TDICCD。在后期的处理中，需要将拍摄的8个条带影像进行拼接，可以获得大宽幅的影像。研究可靠、高效的影像拼接算法，对于提高天绘影像的质量和推动天绘影像的应用，具有重要意义。

本文在原始影像进行几何粗校正的基础上，重点基于SIFT算法[1]进行了大量的拼接实验，发现在拼接区域，云层的运动会造成影像拼接错位。在简单介绍了SIFT算法的基础上，重点分析了云动对拼接的影响，提出了有效消除云动影响的方法。结果表明，该方法可以有效消除云动对影像拼接精度的影响，达到预期目的。

2 SIFT算法基本思想

2.1 SIFT特征提取

SIFT特征匹配方法[2]，是由Lowe在总结现有的基于变量技术的特征提取方法基础上提出的一种基于尺度空间局部特征描述算子，即尺度不变特征算子[3]。

利用SIFT特征算子提取影像特征，主要分为4步：

①尺度空间极值检测。利用高斯核对图像进行尺度变换，获得图像多尺度空间表示序列，高斯核定义如下：

(1)

对一幅影像I(x,y)其尺度空间可表示为L(x,y,σ)=G(x,y,σ)×I(x,y)，将图像与不同尺度高斯核进行卷积运算建立高斯金字塔，然后在DOG(Difference of Gaussian)金字塔里面进行极值检测，粗略确定特征点的位置和所在的尺度，通过拟合三维二次函数精确标定特征点的位置和尺度，同时剔除低对比度的特征点和不稳定的边缘响应点，增强匹配的稳定性，提高了抗干扰能力[4]。

②计算SIFT特征点的主方向。利用特征点邻域像素的梯度方向分布特征为每个特征点指定主方向，从而使得SIFT特征具有旋转不变性[5-6]。

(2)

(3)

其中，m(x,y)和θ(x,y)分别为像点(x,y)的梯度值和方向。

③计算SIFT特征点的主方向。以特征点为中心选取8×8像素的邻域窗口，计算窗口内每个像素8个方向的梯度值和方向，形成特征描述。

④利用KD树搜索算法在输入两幅图像中搜索匹配的特征点对。

2.2 剔除误匹配点

由于影像中的噪声等因素干扰，通过SIFT所提取的特征点对并不都正确。对于错误的特征点在求解几何变换参数时影响很大，所以需要采取一定的措施剔除那些无效的干扰点对，即所谓的外点。本文采用RANSAC[4]方法来剔除无效点，主要流程如下：

①重复N次随机采样，每个样本包含4对匹配点，选点条件是：任意3点不能共线，否则就重新选取，为保证采样的4对匹配点都是内点的概率足够高，需要确定采样次数N，通常设定匹配点是内点的概率P大于95%，则采样次数N需要满足：

N=log(1-p)/log(1-p4)

(4)

②根据选取的4对匹配点计算单应性矩阵M。

③计算匹配特征点的欧氏距离，如果小于D，则认为是内点；否则为外点[7]。距离公式为：

D=D(Xa,MXb)2

(5)

其中，Xa,Xb为一对候选匹配的特征点。

④通过上述过程剔除外点后，选取内点集中的所后匹配点，用最小二乘法重新计算图像间单应性矩阵。

3 云动影响分析

天绘一号卫星2m分辨率全色相机焦面共8片TDICCD，采用视场中心线两侧分上下两行交错排列，相邻两TDICCD搭接96个像元，两行CCD间距为2114个像元。其几何关系如图1所示。

图1 8片TDICCD安装示意图

在卫星进行摄影期间，进行了偏流角控制，保证了相邻两片TDICCD间的搭接像元数量，便于影像拼接处理。

云的移动速度取决云所在高度的气流速度，而海拔高度、地理位置、季节、时间等因素都会对气流速度产生影响[8]。无风时云速为零，但是云总在高空，气流速度一般不可能为零。高积云在高空3～5km，云速20m/s～30m/s左右，即使雨天云层高度低，大约几百米，云速超过10m/s。所以云速一般10m/s～30m/s左右，最大云速可以达到49m/s。

上下两排CCD间距为2114个像元，像元地面分辨率为1.999m，相机的行周期为0.2652ms～0.3051ms。通过计算得到，当云速最大时，同一块云在上下两排CCD上所成像的位置差异为：2114×0.0003051(s)×49(m/s)÷1.999=15.81≈16(个)像素点。对于一般的云速，同一块云在上下两排CCD上所成像的位置差异也达到3.23～9.68(个)像素点。可见，假设在相邻两片CCD进行拼接时，在重叠区域中有云层存在，并且在云上或云的周围找到特征点时，那么通过这些特征点得到的拼接参数可能会对拼接精度产生较大影响。

从SIFT算法介绍可以看出，该算法主要是依据影像灰度的梯度变化寻找特征点，云层与地物交界处一般灰度变化比较大，梯度值也比较大，故在云层与地物的交界处一般能找到匹配特征点。如图2所示，在云的周围找到了大量匹配点。

从图2可以看出，基于SIFT算法找到的匹配点是准确的。为了验证云动对拼接参数的影响，对图2中的匹配点位置参数进行了定量分析。为叙述方便，本文把卫星飞行方向定为Y轴，飞行的垂直方向定为X轴。在图3中，横坐标表示匹配点的序号，纵坐标表示通过SIFT算法找到的一对匹配点间Y轴方向的位置差。可以看出，此时找到的匹配点Y轴方向的位置差有较大波动，分布范围很广。主要原因是云周围的匹配点随着云的移动而发生移动，导致了匹配点的位置差发生了很大波动。这些位置差较大的匹配点可能造成计算的拼接参数有误。

图2 云区匹配点分布图

图3 云匹配点位置参数差

4 消除云动影响算法设计

在大量的实验中发现，如果在相邻条带的重叠区中存在云层的情况下，即使基于SIFT算法得出的匹配点个数足够多，最后得出的影像拼接结果仍然可能有误。所以影像拼接前，对待拼接影像的重叠区必须先剔除已提取的有云匹配点，避免有云匹配点对正常拼接结果的影响。本文的拼接算法实现流程如图4所示。

相邻两片待拼接影像理论的重叠区域宽度为96个像素，所以在左右相邻两片待拼接影像上各取110个像素，完全包含了重叠区。重叠区影像提取主要是为了快速计算拼接参数，节省对整条带影像的读取时间，提高效率。

待拼接影像长为35000个像素，把重叠区影像平均分为60段，每段长度为512个像素，每段分别利用SIFT算法独立计算拼接参数。未将整个条带当作一个整体进行拼接参数的计算，主要是考虑到卫星在成像过程中，由于偏流角、卫星抖动等方面的影响，相邻两个条带间相对位置会发生变化。从这个角度说，分区越小越好，但考虑到系统效率和SIFT算法本身的特点，本文兼顾各方面情况，折衷选择512个像素的长度作为一个分区。

图4 算法流程图

在每个分区中利用云的灰度值信息，对云层进行识别。如果识别出该分区存在云，则计算出的拼接参数将被舍去。采用上述基于灰度信息识别云的方法会存在两个问题：①由于冰雪与云的灰度值信息相似，冰雪覆盖区很可能被误判为云覆盖区，该区得到的匹配点将会被舍去；②薄云的灰度信息和地物区分度不明显，薄云很难被识别，其周围的匹配点会参与拼接参数的计算，导致结果有误。

针对上述存在的两个问题，本文采用下述方法解决。针对问题①：首先对分区影像进行灰度值统计，获得灰度值的分布情况。冰雪覆盖区的灰度值整体较高且方差较小，利用该特点进行冰雪覆盖区的识别。针对问题②：本文通过对匹配点Y方向拼接位置参数的分析得到，薄云周围得到的匹配点与非云区域得到的匹配点Y方向拼接位置参数相比，跳动比较大，认为这些点存在异常，不参与拼接参数计算，这样就消除了薄云带来的影响。

消除云层对拼接参数的影响后，整理SIFT算法最终可用的特征点个数，如果特征点个数大于一定的阀值，则利用SIFT算法计算得出的拼接参数进行拼接；若SIFT最终的可用特征点个数小于阀值，则采用默认的拼接参数进行拼接。默认拼接参数根据星上相机的物理安装结构得到，本文中天绘一号卫星相邻两片CCD的间距为2114个像素，所以流程图中的默认拼接参数即为2114像素。

5 实例分析

实验分为两部分：云动对影像拼接效果分析和消除云动影像的算法效果实验，第1部分实验是对存在云的区域进行物理去云后再进行拼接[9]，该实验主要是进一步证实云动对天绘一号卫星全色影像拼接的影响；第2部分实验主要是检验本文提出的消除云动影响算法效果。

5.1 云动对影像拼接效果分析实验

在未考虑云动影响时，拼接后的影像第一条带与第二条带的第10个分区局部存在拼接错位现象，如图5所示。为方便分析，实验中输出了最终的拼接参数结果，从图6可以看出，在第10个分区中，拼接参数为-2105个像素，其他分区的拼接参数都在-2110附近，可见第10个分区的拼接参数存在较大的跳变。

图5 云区影像拼接图

图6 云区拼接参数输出结果

本文截取了第10个分区左右相邻两片影像的重叠区域，从图7中可以看出，该分区的重叠区域内存在云层。图8对该区域范围内存在的云进行了物理剔除处理。

对云层区域进行剔除处理后得到的拼接参数如图9所示。可以看出，第10个分区的拼接参数为-2111，与其他分区计算得到的拼接参数具有一致性，无跳变现象。

剔除云后第10个分区的拼接结果，如图10所示。可以看出，在同一个区域，错位现象已经消除。可见，云动的存在确实对天绘一号卫星全色影像的拼接产生很大影响。

图7 重叠区云覆盖

图8 去除重叠区云层

图9 去云后拼接参数输出结果

图10 去云后影像拼接图

5.2 消除云动影响的算法效果实验

为检验本文提出的消除云动影响算法的效果，主要对图2中的薄云区域进行实验。从图11与图2 的对比可以看出，经过消除云动影响处理后，在云周围的匹配点数量大大减少。

图11 消除云动后匹配点分布图

图12 消除云动后匹配点位置参数差

图12表示经过处理后，匹配点Y方向拼接位置参数的分布情况。

对比图12与图3可以得出，经过处理后得到的匹配点Y方向拼接位置参数比较平均，分布比较集中，有效去除了跳动较大的点。

图13 去云前后拼接影像对比图

从图13可以看出，左图是未考虑云动影响的拼接影像，可见在路的中部存在明显的错位，右图是消除云动影响后的拼接影像，可见该算法能有效消除云动的影响，路的中部错位现象已经消除。

5.3 算法性能分析

从5.1和5.2的对比试验分析可以看出，改进后的SIFT算法有效的消除了云动对拼接精度的影响。但算法效率也是一个实用算法需要考虑的重要方面，为此本文针对算法效率进行了大量测试。

在测试中，待拼接影像为8个条带，每个条带为4096个像素，每个条带高为35000个像素；采用单台曙光服务器，配置为：2*Intel E 5530(2.4GHz)，四核；6*2GB DDR3 1333 ECC；4*146GB，3.5寸SAS。针对不同地形进行了大量测试，测试结果为：不同地形拼接所用的时间有一定的差异，平均每景影像大约耗费3min～4min。

现在的流水线生产模式中，都采取大规模、集群化、并行化等集群技术，所以实际生产中，拼接所用的时间远远小于单台服务器所耗费的时间，因此该算法从拼接性能和拼接效率方面来看都具有实际生产意义。

6 结束语

本文针对实际生产中遇到的问题，分析云动对天绘一号卫星全色影像拼接精度造成的影响，并通过实验得以证实。经过消除云动算法处理后，天绘一号卫星全色影像拼接精度大幅提高，有效提高了影像质量，具有很高的实用价值。

但从实验的结果来看，经过消除云动影响处理后，有的影像仍然存在错位现象，说明该算法还存在一定的缺陷，可能还有其他因素导致拼接参数错误。下一步的主要工作是进一步对该算法进行优化，更加深入分析对拼接精度产生影响的原因，进一步提高天绘一号卫星全色影像的拼接精度，提高影像质量。

参考文献：

[1] YANG H，WANG Q.A novel local feature descriptor for image matching[C].IEEE International Conference on Multimedia and Expo，2008：1405-1408.

[2] LINDEBERG T.Scale-Space theory：A basic for analyzing structures at different scales[J].Joumal of Applied Statistics，1994，21(2)：225-270.

[3] 贾世杰，王鹏翔，姜海洋，等.基于SIFT的图像匹配算法[J].大连交通大学学报，2010，37(4)：17-21.

[4] FISCHLER M A，BOLLES R C.Random sample consensus：a paradigm for model fitting with applications to image analysis and automated cartography[J].Communications of the ACM，1981，24(6)：381-395.

[5] 曹楠，王萍.基于SIFT特征匹配的图像无缝拼接算法[J].计算机与应用化学，2011，28(2)：242-244.

[6] LOWE D G.Object recognition from local scale-invariant features[C].The 7th International Conference on Computer Vision，Kerkyra，Corfu，Greece，1999(2)：1150-1157.

[7] 刘立，彭复员，赵坤，等.采用简化 SIFT 算法实现快速图像匹配[J].红外与激光工程，2008，37(1)：181-184.

[8] 郑玉凤，李海涛，顾海燕.基于环境卫星CCD影像的薄云去除研究[J].遥感信息，2011，27(3)：77-81.

[9] 朱虹.数字图像处理基础[M].北京：科学出版社，2005：31-55.