田间图像拼接中重复信息量对拼接效果的影响

马兆敏 吴健玥 胡波 黄玲

摘 要：为研究图像拼接时两幅图像中重复部分大小对拼接效果及扩展的视角范围的影响，对影响拼接的重复信息量进行量化，并提出通过对拼接图进行分割后的结果来评价拼接是否理想.实验结果表明，图像重复信息量占原图比例约为1/4以上时图像组能获得理想的田间拼接图像，为农药喷洒自动化中针对整个地块作出合理喷洒决策提供研究基础.

关键词：图像拼接；SIFT算法；图像分割；重复信息量

中图分类号：TP391.4 文献标志码：A

0 引言

农药自动化喷洒中引入机器视觉技术获取田间信息，并进一步对这些信息进行利用已成为精准农业的研究热点.而摄像机拍摄到的单幅图像区域是有限的，这需要将多幅图像拼接起来.图像拼接即是指将两张或两张以上具有部分重复信息的图像经过一定的运算后叠加生成一张视角范围更大的合成图像，在农业中的应用已越来越广[1-3].

图像拼接时要利用两张图像中的重复信息进行运算，而两张图像中重复信息区域大，可能提取到的匹配特征点会多，拼接成功的概率就高些，但这会使拼接后扩大的视角有限，两者存在矛盾.本文通过实验研究，量化两摄像机获得图像的重复部分的大小，并以拼接图像分割后是否有利于识别为标准评价拼接效果.

研究中基于尺度不变特征变换（Scale-invariant feature transform，SIFT）算法是比较常用的拼接算法，许多研究者通过改进特征点的提取或匹配获得拼接效果更佳的图像[4-5].本文的实验研究将基于SIFT算法对田间图像进行拼接.由此得到影响田间拼接时图像重复信息大小对拼接效果的影响参数，为之后的识别和定位图像中的目标做准备.

1 田間图像拼接中影响参数的研究方法

1.1 田间图像采集系统

田间拼接图像采集系统主要由计算机和双目摄像机及辅助支架件等构成.拼接的图像来自于两个摄像机，其中两个摄像机的目距为x；摄像机相对地面的距离为h.采集系统在安装时应尽量使两摄像机的光轴平行.

1.2 图像重复信息量的定义

进行图像拼接时需要两图中存在部分重复信息.本文通过保持双目摄像机在同一水平高度，调整目距x，从而获得不同重复信息量的图像组.当x变小时，即两摄像机靠近，获取到的图像组的重复信息增大；当x变大时，即两摄像机远离，采集到的图像组的重复信息减小.本文将两图像组中的重复信息量化，采用目测的方式观察图像中重复信息的区域面积，即重复信息量，以重复信息量占整幅图的比例t表示.如图2为重复信息量比例较大的两幅原图，目测其重复信息量比例约占整幅图的1/3.如图3为重复信息量比例较小的两幅原图，目测重复信息量比例约为1/5.

1.3 田间图像拼接方法

在研究田间图像拼接中重复信息量对拼接效果影响时采用基于尺度特征点的图像拼接技术.该技术包括4个部分：

1）田间图像获取.文中被拼接图像来自于两枚摄像机，在种植的蔬菜田间进行图像获取.拍摄系统如图1所示.

2）田间图像特征点的提取. 采用2004年Low提出的改进的SIFT算法提取特征点. 主要包括4个步骤[6]：Step 1尺度空间极值点检测，获得尺度不变性.由相邻尺度高斯差分核与输入图像卷积而生成.

D（x，y，？滓）=I（x，y）（G（x，y，k？滓）-G（x，y，？滓））=L（x，y，k？滓）-L（x，y，？滓） （1）

式中：D——高斯差分核，（x，y）——图像空间坐标，？滓——尺度空间因子，G——尺度可变高斯函数，k——相邻尺度比率，I——输入图像，L——I与高斯核的卷积.

Step 2 对粗特征点过滤和精确定位以去除低对比度点和边缘响应点.去除边缘响应的方法为：

式中：H——2×2的Hessian矩阵，Trace（H）——H的迹，Det（H）——H行列式的值，r——x和y方向梯度比值.

若满足式（2），则为非边缘点.

Step 3 计算特征点的描述信息.（x，y）处梯度的模值和公式分别为：

m（x，y）=（L（x+1，y）-L（x-1，y））2+（L（x，y+1）-L（x，y-1））21/2（3）

？兹（x，y）=arctan （4）

L的尺度为每个关键点各自所在的尺度.

Step 4 生成描述特征点的特征向量.

SIFT算法能够在大量的信息中快速准确的找到特征点，而且即使图像的内容较少也能找到大量的SIFT特征，以提高图像特征点匹配的准确性.

3）田间图像特征点匹配.采用引导互匹配及投票过滤两种技术提高匹配精度.

4）田间图像的配准.为了提高田间图像配准的精度，选用RANSAC算法对提取到的特征点进行筛选和匹配以及建立拟合模型.RANSAC算法能够对之前提取出来的大量特征点实现筛选与匹配的操作，是一种在海量的数据信息中随机抽取样本，选择有效样本，去掉无用样本，并根据有效样本建立模型，生成相关的关系变换矩阵H的算法.要提高该算法的概率就必须增加迭代的次数，为了在较少步骤内迭代收敛到较为精确真实的图像间变换矩阵H，本文使用了Leven-berg-Marquardt非线性最小化迭代算法.算法中只要能够产生变换矩阵H就视为田间图像拼接成功.

1.4 拼接后田间图像的评价

农药喷洒区域的确定是在田间对象识别的基础上完成的，即田间对象识别的好坏决定着喷洒参数的确定，而对象的识别是以图像分割结果为基础.这里用拼接图分割后的结果进行识别来评价图像拼接是否理想.

目前，图像分割方法在各领域中得到了很多应用[7-9]，特别是在农业领域的应用中得到不断的总结[10].选用超绿特征的阈值分割方法对田间绿色目标进行分割是较常见的方法[11-14].

本文采用超绿特征下的阈值分割方法对拼接成功的图像进行处理，由目测分割结果判断拼接图像是否具有能够识别的效果，从而给出拼接结果是否理想的评价.

1.5 重复信息量对田间图像拼接影响的处理流程

本文的田间图像拼接中影响参数的评价算法流程主要包括6个步骤，如图4所示.

2 田间实验及结果分析

2.1 田间图像获取

选用大恒DH-HV3151UC（分辨率：2 048×1 536）摄像机两枚；主频为2.53 GHz内存为2 GB的计算机采集图像.在实验室调试镜头离地距离h为60 cm.在广西某高校教职工家属区菜地内进行图像采集.根据目测量化重复信息量比例t，将t大概量化为5个等级，由1/2到1/6变化，共采集6组田间图像组，其中1/6有两组.

2.2 田间图像拼接结果图

按照1.3的田间拼接方法对田间图组进行拼接，图5、图6所示分别为图2（t约为1/3）、图3（t约为1/5）的拼接结果图，由图可以看出两图组都可以完成拼接，形成拼接图.这两组田间原始图像在一定程度上都产生了相对角度的旋转并完成拼接，对此也体现了改进SIFT算法较其他算法的优势，即该算法能够在保证图像中点的特征不变的情况下对图像进行旋转、缩放等变换，从而更好地实现田间图像的拼接和加大田间图像拼接成功的可能性.对比图5、图6发现，重复信息量比例高的图进行拼接时旋转较小.原图为2 048×1 536像素，拼接图5的像素为2 977×1 820，而拼接图6的像素为6 272×1 937.

2.3 拼接后的分割结果

采用基于超绿特征的阈值分割算法对田间图像的拼接图进行分割，其中阈值通过最大类间方差法求得.图7、图8分别为图5、图6的分割结果.

从图7、图8可知，较为集中的黑色区域为作物，图7中能较好的看出植株轮廓，两个植株的外轮廓均变形很小，和分割图上的噪声有明显的差别；而图8拼接接缝处的一株植株的轮廓中有拉伸、旋转现象，叶片比未拼接前区域变大，而原图中的一株植株，变形非常厉害，已无法识别出原植株外形特征，且分割噪声差别较小.这是由于图8的原图在拼接过程中产生较大的旋转，其得到的分割图像虽然能够对作物像素大致的图像位置进行判断，但植株的外形特征变化很大，对之后作物的识别工作会产生误差或错误.所以，这种效果的分割图像不具备识别价值，此拼接图的拼接效果不理想.

2.4 实验结果

对实验中的6组提取特征点数、特征匹配对和拼接结果进行统计，如表1所示.其中，能够生成变换矩阵H的即为拼接成功，能从分割图中识别出目标对象的即评价为拼接效果理想.

表1中，通過数据统计和拼接效果的记录比较可知：当t减少到1/4时，图像可以拼接并能够得到理想有效的图像；当t为1/5时，图像虽然能够进行拼接，但是其效果不理想，没有使用的价值；当t减少到1/6时，图像拼接失败.图像拼接过程中拼接时间也不同，图像重复信息量比例高，特征点的提取和匹配所耗费的时间会相对缩短，如处理4的运行时间相对处理1的运行时间要长得多.而文献[1]中针对大约2 m长的玉米行向拆分图像序列，共使用24幅图片，利用相邻两幅图像出现的重复区域，将序列图像中的这些图像合成一幅植株行向顶视图.

3 结束语

本文采用双目系统采集田间图像，并基于尺度特征点的图像拼接技术实现对其进行拼接；实验中量化了两幅图像中的重复信息量比例，并通过对拼接后的图像进行分割来判断其拼接效果.总结如下：

1）实验表明拼接图组需要有重复信息量比例不少于1/4时才能获得较为理想且有效的拼接图像；

2）被拼接图像来自于两个摄像机，装配田间图像采集系统时，很难保证两摄像机的光轴完全平行，存在一定安装误差，此安装误差对于实验中的重复信息量比例的量化影响很大；

3）实验只对采集到的6组图像进行拼接分析，实验样本较少，且对于参数的量化描述还不够准确，会造成实验结果误差；

4）实验中还存在许多不定因素没有量化，故还需要大量的图像以及具体的参数来进一步完善拼接影响因素的研究.

参考文献

[1] 王传宇，郭新宇，肖伯祥，等.基于图像拼接的苗期玉米植株缺失数量自动测量方法[J].农业工程学报，2014，30（12）：148-153.

[2] 贾庆宇，刘晶淼，谢艳兵.基于Matlab的玉米根系图像拼接、根系提取分析系统[J].中国农学通报，2014，30（3）：98-102.

[3] 李盛辉，田光兆，姬长英，等.自主导航农业车辆的全景视觉多运动目标识别跟踪[J].农业机械学报，2015，46（1）：1-7.

[4] 翟优，曾峦，王少轩.自适应对比度阈值SIFT算法研究[J].计算机测量与控制，2011，19（11）： 2798-2800，2806.

[5] 盖进伟，韩燮.一种基于特征点匹配的图像拼接方法研究[J].计算机测量与控制，2012，20（3）： 836-837，851.

[6] 张凯，耿长兴，张二鹏，等.温室环境下红掌图像拼接算法[J].农业机械学报，2013， 44（4）：223-227.

[7] 闫夏，谭光兴，林川.基于免疫聚类算法的MRI膝关节图像分割[J].广西科技大学学报，2015， 26（1）：70-74.

[8] 曹月花，罗文广.基于DSP的直线特征提取算法[J].广西科技大学学报，2016，27（1）：14-18，25.

[9] 薛圣利，蔡启仲，杨海林，等.基于OpenCV的火车票识别算法[J].广西科技大学学报，2016，27（2）： 46-51.

[10] 刁智华，王会丹，魏伟.机器视觉在农业生产中的应用研究[J].农机化研究， 2014（3）：206 -211.

[11] 刘瑞琪，曹乃文.杂草图像分割中分割特征的研究[J].安徽农业科学，2011，39（30）：18978，18992.

[12] 刁智华，王欢，宋寅卯，等.复杂背景下棉花病叶害螨图像分割方法[J].农业工程学报，2013，29 （5）：147-152.

[13] 袁媛，李淼，陈晟，等.复杂背景黄瓜叶部病害图像分割方法[J].农业机械学报，2013，44 （10）：233-237.

[14] L？譫PEZ-GRANADOS F，TORRES-S？魣NCHEZ J，SERRANO-P？魪REZ A，et al.Early season weed mapping in sunflower using UAV technology： variability of herbicide treatment maps against weed thresholds[J].Precision Agriculture，2016，17（2）：183-199.

Effects of the repeat value in the field image on image mosaic

MA Zhao-min， WU Jian-yue， HU Bo， HUANG Ling*

（School of Electric and Information Engineering， Guangxi University of Science and Technology，

Liuzhou 545006， China）

Abstract： Image stitching is necessary due to the limited coverage area of single field image. And the size of repeated part of two images will affect mosaic result. In this paper， the repeat area is quantified. The evaluation method of mosaic result is put forward. We judge whether the object is beneficial recognition after segmentation of mosaic image. The experimental results show that ideal mosaic image can be obtained when the ratio of repeat area accounts for more than a quarter of the original image. This will provide research foundation for making reasonable decision of the automation pesticide spraying for the whole plot.

Key words： image mosaic； SIFT algorithm； image segmentation； repeat area

（學科编辑：黎 娅）