序列无人机影像拼接方法研究

唐 敏，杨 锋，黄华平

（中国中铁二院集团有限责任公司，四川成都610031）



序列无人机影像拼接方法研究

唐 敏，杨 锋，黄华平

（中国中铁二院集团有限责任公司，四川成都610031）

摘 要：无人机影像具有数量多、畸变大、POS数据不准确等特点，导致其在拼接过程中会产生大量的累积误差，要快速地获得大范围准确的全景图有一定的困难。基于此，提出一种既精确又高效的无人机序列影像拼接方法。首先计算大致的影像匹配区域，减少特征搜索和匹配的时间，同时记录匹配区域中心位置的特征点坐标，引入平差理论，区分平地、丘陵、山区等不同区域加权纠正匹配特征点的坐标位置。同时针对航带间重叠率小、姿态差异大等特点，采用”先航带间再航带内、旁边航带向中间航带靠拢”的拼接方式，减少整体区域的累积误差产生，最终完成全局影像的拼接。

关键词：无人机影像；拼接；航带；累积误差；分区域加权

随着遥感技术的不断发展，作为方便、快捷、成本低的无人机遥感手段也越来越多地应用到民用领域［1－3］。在抗灾救灾、遥感监测等方面无人机相对于其它航空遥感具有一定的优势，它能够快速地获得灾区的高分辨率影像，但是无人机影像的质量与外界条件有着非常密切的关系，当拍摄的影像质量不高时，就会给后续的影像处理带来极大的困难。特别是在获取灾区影像方面，如何快速准确地拼接出全景图对救灾管理、规划、调配救援等工作具有重要意义［4－7］。目前国内外学者在影像拼接方面进行了大量的研究，获得许多研究成果［8－11］。

本文针对无人机影像的数量多、畸变大，在影像拼接过程中会产生大量的累积误差等特点，提出记录影像匹配中心点（两幅影像重叠区域的中心点），利用它计算大致的匹配区域，为后面拼接过程中的平差做好前期准备。并根据序列无人机影像航带间重叠度低且飞行姿态差异大等特点，提出使用先航带间匹配再航带内匹配、旁边航带向中间航带靠拢的策略。由于地势起伏越大的区域，其影像变形及匹配特征点的位置偏移也会大，通过两两影像间获得的匹配同名点数目近似的把影像分为平地、丘陵、山区等不同区域，分别对它们的匹配中心点进行加权平差，完成影像拼接。

1　序列无人机影像的相交区域估计

无人机获取影像前，根据设计的航高和航线确定航向及旁向重叠度，主要是通过航高、航线间距及飞行速度计算出来的。但是在后期的拼接过程中，为了节省拼接时间、减少拼接难度，经常会对获取的影像做一些预处理，例如删除一些转弯处畸变大的影像，把影像周围畸变大的部分裁剪掉等。所以不能直接按照飞行设计的影像重叠度来判断立体像对的相交区域。本文通过记录匹配特征点集中心点（每张影像匹配特征点集合的最中心点）的位置来计算大致的相交区域，便于进行后续平差。

设第k次拼接的两幅影像为Mi和Mj，Tk为Mi和Mj的间距，它近似等于影像Mi和Mj的匹配中心点的距离。当飞行在只有轻微振动和偏移的情况下，航拍序列影像中待拼接的影像对的匹配区域基本相同，下一次用于拼接的两幅影像Mj和Mm之间的间距Tk＋1近似等于Tk，影像Mm的匹配中心点可以通过Mj的匹配中心点近似求出，这样，匹配范围也能够近似得到，同时记录这些匹配中心点坐标的位置。一旦找到大概的匹配范围就足够拼接所用，当预测区域失败时，再利用两幅邻近影像全图匹配的方式进行，匹配中心点设为整个影像的中心点位置。具体计算过程如下：

设第k次拼接结果为RMk，它是由上一次的拼接结果RMk－1和影像Mj拼接而成，（ck，x，ck，y）为RMk－1的匹配特征点集中心点在影像中的坐标位置，（c′k，x，c′k，y）为Mj的匹配特征点集中心点在影像中的坐标位置，那么在第k＋1次拼接过程中，待拼接图像为RMk和Mm，则特征查询区域的中心区可以近似由匹配特征的中心点来表示，即（ck＋1，x，ck＋1，y）为RMk的匹配特征点集中心点在影像中的坐标位置，（c′k＋1，x，c′k＋1，y）为Mm的匹配特征点集中心点在影像中的坐标位置，（vk＋1，x，vk＋1，y）为Mj和Mm之间的飞行速度，则可以得到

式中：vk，x，vk，y分别为飞机在影像的x轴和y轴上的分速度；Δt＝Tk＋1－Tk；wx和wy分别为飞机侧摆、振动引起的噪声。由此分别记录每个匹配特征点集中心点在影像中的坐标，X＝（ck，x，ck，y，c′k，x，c′k，y，ck＋1，x，ck＋1，y，c′k＋1，x，c′k＋1，y，…），预测下一个参加拼接的影像的匹配区域，利用SIFT［11］特征搜索进行匹配。利用以上方法对影像匹配区域进行预测可以使得匹配时间大大降低，如果搜索区域为原影像的1／n，则该方法的特征搜索时间为对整幅影像进行搜索的时间的1／n。图1中绿色矩形框为确定的搜索窗口。

图1　搜索窗口的确定

对立体影像的恢复，难点是匹配两图中的对应点。首先要确定搜索窗口，当从待纠正影像上的特征点出发，到参考影像上去搜索它的同名点时，搜索范围的大小很大程度上影响着匹配的效率。搜索范围大，需要的计算时间就大；搜索范围小，搜索的时间就少。因此，合理确定正确的搜索范围对匹配效果起着非常重要的作用。

2　匹配中心点分区域加权平差

寻找到匹配区域，并记录每个匹配特征点集中心点在影像中的坐标：X＝（ck，x，ck，y，c′k，x，c′k，y，ck＋1，x，ck＋1，y，c′k＋1，x，c′k＋1，y．．．．．．），利用这些坐标进行分区域加权平差，具体的方法如下所述。

2．1 平差方法

对于匹配得到的同名点P，在左影像中的影像坐标为（x1，y1），在右影像中的影像坐标为（x2，y2），由于正行变换能够保持变换前后任意空间曲线之间的夹角不变，因此用正行变换多项式来模拟几何变形，在（x2，y2）上加上变形改正

δx＝a1＋a3x2－a4y2＋a5［x22－y22］－2a6x2y2，（5）

则对P点有

式中：θx，θy表示点（x2，y2）的误差。同理，对所有的同名点可以列出

其中

它的最小二乘解为

2．2 平差过程

根据式（11）解算出X后，则可以计算出右影像中每个像素的新坐标为（x2＋δx，y2＋δy），然后进行影像拼接，具体的平差过程如图2所示。

首先进行区域网概算，为区域网平差提供较好的初值，剔除观测数据和控制数据中的粗差。其实质是建立自由比例尺的航带网，并确定每一航带在区域中的概略位置，以拼成一个松散的区域网。先要建立区域的地辅坐标系，确定全区的中心即原点，一般选择中间航带的中心处。然后确定X轴，可设定第一条航带为X轴。利用第一航带的首末两端的平面控制点，计算两点变换的参数，将区域中所有控制点的坐标按两点变换参数均变换到该地辅坐标系中。

如果航带中没有合适的控制点，可利用与该航带接边的上一条航带中适当的连接点作为空间相似变换的依据。另外要保持各航带模型坐标的独立性，不能将相邻航带的连接点的坐标取中数，这样会使得平差结果不够理想，如图3所示为区域网概算的示意图。

图2　平差流程

图3　区域网概算示意图

区域网概算之后，充分利用相邻航带间的公共连接点及控制点，列出误差方程，进行整体平差运算，确定各航带的模型变形改正参数，分别按航带改正模型变形，计算出各加密点的坐标。

由于平地控制点相对精确，而山区地形畸变相对较大，很多点位不够精确，则需要针对不同地域的控制点赋予不同的权值。根据控制点的位置，把它们分成不同区域作为具有一定权值的观测值，有利于提高定位精度和减少控制点的粗差。图4为记录匹配中心点位置参与区域网平差的示意图。

2．3 分区域加权平差

由于无人机影像本身畸变较大，其不同区域对拼接精度的影响都不相同，所以为了使平差结果更加准确，需要分不同区域进行加权平差。平地区域点位坐标更准确应赋予更高的权重，山地区域赋予相对较小的权重。通过大量实验发现一般山地区域寻求到的同名点较少，而平地会获得更多的同名点，这是由于山区畸变大、影像特征少导致。因此，采用直接计算获得的特征点数目来确定每张影像所包含区域的特征情况来确定它的权重，这样能够减少计算时间，而且比较精确，把所有影像的匹配同名点数目单独记录，以中间数同名点的权重为1，其它的根据同名点数目赋予相应权重，参与区域网平差。通过大量实验总结，能匹配较多同名点的区域一般为平地或者影像质量好的影像，在拼接过程中如果能充分利用这些影像的优势对影像拼接具有重要作用，

图4　匹配中心点参与区域网平差示意图

3　计算步骤

设无人机飞行获得的序列影像为M，RMk－1为第（k－1）次拼接的结果，Mi为第（k－1）次拼接的图像，当前第k次拼接的两幅图像为RMk－1和Mj，设PMSk－1（x，y）和PMk（x，y）分别为第k次拼接时RMk－1和Mj中匹配特征集的中心点。主要计算步骤如下：

1）为了使得相互约束条件较差的航带间获得更多的连接点，采用先航带间再航带内的方式进行拼接，并确定具体的拼接顺序。

2）依据拼接顺序获得第k次拼接的影像Mj。

3）根据PMSk－2（x，y）和PMSk－1（x，y）预测第k次拼接的两幅影像RMk－1和Mj的匹配特征点集的中心点PMSk－1（x，y）和PMk（x，y），并进行记录。

4）以PMSk－1（x，y）为中心点的矩形区域和以PMk（x，y）为中心的矩形区域进行特征匹配和误匹配点删除，得到最终的匹配点集。

5）利用记录的这些特征点集中心点坐标，根据它们的所在地是平地、丘陵或山地的情况对它们分别赋权，同时，以中间航带为基准、旁边航带向它们靠拢的方式进行拼接，并对它们中心点集也赋予相对较高的权重。然后进行区域网平差计算，得到所有特征点的误差模型并进行改正。

6）完成图像的拼接过程。由于现行拼接方法主要为增量式拼接，因此本文方法相较于其他方法的效率从根本上区别不大，同时，本文拼接方法能根据飞行速度及姿态来调整提取特征区域，能在不同情况下在待匹配图像上搜索到足够的匹配特征，在拼接之前首先对影像拼接区域进行预测，能够节省特征搜索和匹配的时间，如果搜索区域为原影像的1／n则特征搜索时间为整幅影像搜索时间的1／n。

4　实验及分析

实验影像为四川某地区无人机拍摄下来的序列影像，航拍高度为相对高度500m，地面分辨率为0．2m，包含15个航带，但由于该次飞行时风力较大，飞机的姿态不够稳定，左右摆动明显，特别是相邻航带间拍摄时飞机的航行方向相反，而风向基本不变就导致相邻航带间拍摄出的影像差异更大。为了证明本文方法的有效性，利用同样的影像做两组实验，对比它们的拼接效果。

由于每条单独航带的重叠度较高，拼接起来更加容易，也能通过各条航带的拼接图了解飞行作业时候的风向影响及各航带影像的畸变特征。实验利用三条航带的影像数据，先单独对它们进行拼接，最后的效果图如图5～图7所示。通过分析可知：由于第一航带和第三航带飞行方向相同，形成往上凸的现象，而第二航带是相反飞行方向就形成了向下凹的现象，体现飞行轨迹及影像畸变的特征。同时，第一条航带与第二条航带之间相同区域部分，越是往图5下方和图6上方的重叠区域它们之间的差异越大，如果仅通过同名点匹配进行拼接，则难以满足所有同名点的配对、拼接，因为如果满足图5上方区域的拼接，则会在满足该区域拼接的同时把影像强行的定位到该区域，图5下方区域与图6上方区域的拼接将会特别困难，如果强行拼接的话将会产生大量的影像变形和畸变，直接影响拼接效果。

图5　第一条航带拼接图

图6　第二条航带拼接图

图7　第三条航带拼接图

通过上面三条航带的单独拼接效果图可以发现影像拼接过程中会产生误差累积现象，如果不考虑这点则会产生扭曲、错位、重叠等现象，以至于不能继续拼接下去。本文提出的首先记录每个拼接影像匹配中心点集合，对它们进行区域网平差纠正每个影像的位置，同时采用先航带间再航带内、旁边航带向中间航带靠拢的方式进行拼接能够明显地减少拼接结果错位、重叠的情况。图8为直接拼接效果图，存在三个明显的错位、重叠处，这是由于新影像往已拼接的影像上拼接时，能找到一些拼接同名点，但是已拼接影像已经累积了大量畸变，导致拼接影像重叠、错位。图9为直接拼接3个区域放大效果图。

图8　直接拼接效果图

图9　直接拼接法中3个区域放大图

图10　本文方法拼接结果图

如图10所示为利用本文方法对同样的影像进行拼接后的效果图，在图8中的相同3个区域最终的拼接效果可以通过图11的放大图进行对比，基本没有出现重叠、错位的情况。同时对比图8和图10可以发现，本文方法拼接出的影像能充分利用已有影像，拼接的范围也更大，图8中很多边缘区域都不能显示，这是因为影像拼接过程中的累积误差过大导致边缘影像不能拼接上。对比图8与本文方法拼接的图10三块区域，再选取部分特征点位，总结出两种方法的精度误差如表1所示。

表1　部分点位误差统计　m

图11　本文方法拼接图中3个区域放大图

5　结 论

由于无人机受风力影响较大，其不同航带的影像会形成各自的畸变及轨迹，对它们进行直接拼接会形成大量的累积误差，出现重叠、错位等现象，难以拼接出全景图。本文方法能够较好地解决这个问题，利用所有影像拼接出质量较高的全景图。今后需要继续深入研究的问题是进行区域网平差会增加处理时间，需要进一步优化算法及计算软件。

参考文献：

［1］ 何敬，李永树，徐京华，等．无人机影像制作大比例尺地形图实验分析［J］．测绘通报，2009（8）：24－27．

［2］ 张万强，赵俊三，唐敏．无人机影像构建三维地形研究［J］．测绘工程，2014，23（3）：36－41

［3］ 刘军，许志华，刘小阳，等．基于无人机遥感影像拓扑分析的三维重建［J］．测绘工程，2014，23（8）：32－35．

［4］ 臧克，孙永华，李京，等．微型无人机遥感系统在汶川地震中的应用［J］．自然灾害学报，2010，19（3）：162－166．

［5］ 鲁恒，李永树，李何超，等．无人机影像数字处理及在地震灾区重建中的应用［J］．西南交通大学学报，2010，45 （4）：533－538．

［6］ 鲁恒，李永树．无人机低空遥感影像数据的获取与处理［J］．测绘工程，2011，20（1）：51－54．

［7］ 樊庆文，王小龙．基于等距序列图像的快速拼接技术［J］．四川大学学报（工程科学版），2005，37（1）：139－142．

［8］ 张珍梅．无人飞行器遥感影像飞行质量检查及影像快速拼接方法研究［D］．北京：首都师范大学，2011．

［9］ 李胜睿，李翠华．基于梯度滤波的彩色图像快速拼接与实现技术［J］．厦门大学学报，2003，42（1）：29－34．

［10］ZHOU Guoqing．Near real time ortho rectification and mosaic of small UAV video flow for time critical event response［J］．IEEE Transactions on Geoscience and Remote Sensing，2009，47（3）：739－747．

［11］LOWE D G．Distinctive image features from scale－invariant key points［J］．International Journal of Computer Vision，2004，60（2）：91－110．

［责任编辑：张德福］

Sequence UAV image mosaic method

TANG Min，YANG Feng，HUANG Huaping

（China Railway Eryuan Engineering Group Co．Ltd，Chengdu 610031，China）

Abstract：UAV images have large number of quantities，big distortion and other characteristic，which makes a large amount of accumulated errors in the splicing process．The access to a wide range of accurate panorama will face certain difficulties．Based on this，this paper presents an accurate and efficient method of UAV image sequence stitching．Firstly，it calculates the approximate area of image matching，reduces the time of feature search and matching，and at the same time，records the coordinates of feature point，which is at the location of regional centers．

Key words：UAV image；stitching；flight strips；cumulative error；sub regional weighted

作者简介：唐 敏（1986－），男，工程师，博士研究生．

收稿日期：2015－04－28

中图分类号：P231

文献标识码：A

文章编号：1006－7949（2016）01－0010－07