基于图像融合技术的采摘机器人自主导航技术研究

张晓亮

(焦作师范高等专科学校 a.计算机与信息工程学院;b.太极文化研究所,河南 焦作 454000)

0 引言

对多元图像信息进行的一系列提取和合成,统称为图像融合。通过对多元图像信息的提取与合成,可以获得对同一目标的更为准确、更为全面、更为可靠的图像描述,可以得到不同条件、不同环境、不同模式、不同观察角度下,对同一目标的综合特征描述的图像。作业过程中,为了实现采摘机器人自主化作业,往往采用自主导航的方式,采摘机器人受到作业环境的影响特别是天气因素,视觉系统得到的图像往往存在曝光等情况,从而影响视觉系统图像的识别。为了提高图像的识别效率和准确性,需要引入图像处理算法,而多曝光图像的融合技术可以有效地提高图像的质量,拟将其应用到自主导航系统中。

1 图像融合在采摘机器人导航技术中的应用

采摘机器人在进行图像识别过程中往往会遇到图像不清晰或者图像曝光等情况,如果直接对图像进行处理将影响机器人对目标特征的识别精度,因此需要对图像进行转换,以得到更加明显的图像特征。在视觉系统实时作业过程中,为了提高图像包含的信息量,可以对多幅图像进行融合处理,通过图像融合来降低由图像曝光等问题引起的图像不清晰,以提高采摘机器人视觉导航的精度。

基于图像融合的导航流程如图1所示：采摘机器人采集得到数据后进行实时处理,处理过程采用图像增强技术使原始信息包含的特征更加明显,通过对特征的提取来识别导航位置线或待采摘果实的特征目标。在识别特征目标后,利用大地坐标变换的原理得到果实的实际位置,控制中心得到位置坐标后发出指令控制执行末端进行果实采摘作业。

图1 基于图像融合的导航流程Fig.1 The navigation flow based on image fusion

2 基于融合算法的导航视觉曝光图像处理

在采摘机器人自主导航过程中,视觉导航系统需要实时地采集作业环境的图像,以分辨导航位置线及成熟待采摘的果实,由于受到采摘环境的影响,图像往往存在曝光的情况,为了提高图像的识别率,可以采用多曝光图像融合的方法。在进行图像融合时,需要对图像的特征进行提取,即(PCA)转换,利用正交变换的方法处理图像存在的质量问题。在图像实时处理过程中可能存在大量的图像信息数据,所以将图像信息数据存储为如下矩阵的形式,即

(1)

将融合图像信息的源数据保存为矩阵后,可以通过线性变换对图像进行处理,一般的线性变换公式为

Y=TX

(2)

其中,Y为变换后的矩阵;T为实现线性变换的矩阵,变换后可以得到图像的主成分。图像融合的过程中可以采用IHS方法,假设原始的多光谱源图像为TM,高空间分辨率图像为PAN,可以通过RGB-IHS变换得到分量I、V1、V2,即

(3)

其中,V1、V2可看作是笛卡儿坐标系下的横轴与纵轴,z轴表示的则是亮度I。那么,色度H和饱和度S可以被表示为

H=arctan(V2/V1)

(4)

(5)

通过图像处理后得到融合后的多光谱图像,这样获得的图像既有较高的空间分辨率,又有与原图像相同的色度和饱和度,因此会更加清晰,对于提高图像的识别效率和识别质量都具有重要的作用。在图像融合处理过程中,为了保证图像的融合质量,可以对图像进行评价。融合图像的评价方法主要包括信息熵、均方根误差、信噪比和平均梯度。

作业环境信息的曝光图像在融合过程中,图像融合前后的信息量会发生变化,因此可以利用信息熵来评价图像融合的质量,根据香农信息理论,一副2的n次幂级表示的图像的信息熵为

(6)

其中,n为图像的总灰度级数;Pk为灰度值为k时,像素数与总像素数之比。在进行图像融合质量评价时,信息熵的数值越大,表示图像融合的效果和质量越好。

均方根误差法是评价图像融合质量的又一种方法,是求取融合图像和标准参考图像的均方根,定义为

(7)

其中,M、N分别表示图像的行数与列数。在进行图像融合质量评价时,均方根的数值越小,表示图像融合的效果和质量越好。

信噪比也是评价图像质量的一种方法,信噪比是表示图像上是否有噪点,峰值信噪比定义为

(8)

在进行图像融合质量评价时,信噪比的数值越大,表示图像融合的效果和质量越好。

平均梯度可以反映图像细节的反差,利用该评价方法对融合图像进行检测,可以发现融合后的图像是否清晰,其定义为

(9)

其中,f(xi,yi)为融合图像。在进行图像融合质量评价时,梯度的数值越大,表示图像融合的效果和质量越好。

视觉导航图像融合流程如图2所示。采摘机器人通过视觉导航系统首先对作业环境的图像进行采集,然后对图像的特征进行提取,采用HIS方法对多曝光图像进行融合,融合之后还要对图像的质量进行评价,以便更好地对图像进行识别。利用多种评价方法对图像进行评价后,如果图像合格,则直接进行图像识别;如果不合格还要重新进行图像融合,直到图像融合的质量达到最佳水平。

图2 视觉导航图像融合流程Fig.2 The image fusion process of visual navigation

3 基于图像融合的采摘机器人导航测试

采摘机器人进行自主作业时,除了需要自动化的执行末端进行采摘作业之外,最重要的就是自主导航技术。利用导航视觉系统,采摘机器人可以沿着田垄或者导航进行自主行走,其作业场景如图3所示。

图3 采摘机器人作业场景Fig.3 The operating scene of picking robot

采摘机器人的自主导航主要依据视觉系统对作业环境图像的采集和处理,通过对图像的采集和处理得到导航位置线,也可识别待采摘果实的位置。成功识别导航位置线后,采摘机器人可以沿着导航位置线自主行走,识别到待采摘果实后,控制系统通过大地坐标变换得到果实的具体位置,然后向执行末端发出控制指令,执行采摘作业。

田垄曝光图像如图4所示：在机器人图像采集的过程中,由于受到外部气候环境的影响,采集得到的图像往往不清晰或者存在曝光的情形,如果将多幅图像进行融合处理,可以有效地提高图像的清晰度。本次采用图像融合算法,模拟采摘机器作业环境,对两幅曝光图像进行融合处理,通过融合得到了如图5所示的融合结果。

图4 田垄曝光图像Fig.4 The ridge exposure image

图5 融合后图像Fig.5 The fused image

图5中,图像融合处理后得到的融合图像的清晰度要明显高于单幅图像,更有利于采摘机器人视觉系统对图像的识别。为了判断图像融合的质量,采用前边提到的信息熵、均方根误差、信噪比和平均梯度4项参数对图像的质量进行评价,结果如表1所示。

根据图像融合理论可知：采用IHS变换得到的图像质量评价参数要明显比其他算法好,从而验证了算法的可靠性,将其使用采摘机器人导航系统中是可行的。

4 结论

为了提高采摘机器人导航系统的精度,将图像融合技术引入到了导航视觉的图像处理上;通过对不清晰或者曝光图像的融合处理,提高了采摘机器人图像采集的质量。模拟草莓采摘机器人的作业环境,采集了多幅曝光图像,对多幅曝光图像进行了图像融合处理,并对处理后的图像进行了评价。评价结果表明：采用IHS变换方法得到的图像质量最高,可以将其使用采摘机器人视觉系统的图像处上,对于提高采摘机器人的导航精度具有重要的作用。