成熟期棉田棉花行精准识别算法研究

贾圆圆，买买提明·艾尼，古丽巴哈尔·托乎提

（新疆大学机械工程学院，新疆 乌鲁木齐 830047）

1 引言

作为现代智能化农业机械的重要组成部分的自动导航，被广泛应用在农作物种植、喷洒农药和肥料、庄稼收获等［1］。常用的自动导航技术有机器视觉和卫星定位（GPS），其中，基于机器视觉的导航技术具有性价比高、抗干扰性好、信息丰富完整等优点，逐渐成为研究热点，并在智能农业装备和改善农业生产中起着重要作用［2］。基于机器视觉的导航技术中的关键是快速合理提取导航路线。

国内外针对自动导航和基于机器视觉的导航技术做了大量的研究，根据中心线、导航线提取的原理可以分为基于Hough变换的方法［3］、基于最小二乘拟合的方法［4］、基于机器视觉的方法［5］等。文献［6］提出了一种基于线性扫描的作物行识别，将图像中顶部和底部边缘像素作为作物行走势的两个端点，目标点最多的视为作物行。文献［7］提出基于区域生长算法对成熟小麦收割与未收割区域对比度低情况下精准提取小麦收获边线。文献［8］提出基于视觉与激光结合的小麦收获作业线的方法。

目前基于机器视觉的导航技术的研究大多集中在农作物幼苗期行列导航线的提取，针对成熟作物的收获主要采用收割与未收割区域边界线的提取，上述方法大多基于绿色作物与土壤信息具有较大的差异或是收割界线与周围环境有差异时，当成熟棉花背景信息较为复杂并且无收割界线时，此类方法难以准确有效的提取棉花行列的导航线。因此，提出一种针对成熟期棉花快速准确识别并提取棉花行中心线可行算法，根据成熟期的棉田棉花分布规律和棉花行距特征数据的分析，拟合判断棉花作物行的中心线。

2 棉田图像的预处理

2.1 图像采集

图像采集使用大华A5131MU210面阵工业相机作为机器视觉的图像采集设备，采集图像分辨率为（1280×1024）像素，保存格式为bmp。图像处理在计算机平台上完成，处理器为Intel Core i7-10710U，图像处理软件为MATLAB R2018a。图像采集地点为新疆玛纳斯县，共采集360张图片。实验处理图像以10m棉田距离进行裁切，大小为（565×816）像素。图像采集的实验平台，如图1所示。

图1 图像采集实验平台Fig.1 Image Acquisition Experimental Platform

2.2 图像预处理

在光照较强烈条件下所拍摄成熟期的棉田图像，如图2 所示，可看出图中主要包括呈白色的棉花，褐色的棉杆、干枯棕褐色的棉叶以及土壤等［9］。通过对棉田图像进行预处理以保存棉田中成熟的白色棉花的相关信息，消除其他无用信息，将棉花信息从复杂背景信息中分离出来，主要采取的步骤包括图像增强、对比度拉伸、高斯滤波等。

图2 棉花图像Fig.2 Cotton Image

在所拍摄的棉花图像中，因中午光照较强烈，棉花由于光照位置和棉花叶子、秸秆等的遮挡导致棉花团的灰度不均匀，为了达到突出图像中棉花部分并提高棉花识别率的目的，这里采用非线性变换中的对数变换中的反对数变换对棉花图像进行灰度变换，处理后得到的结果，如图3所示。灰度变换后的图像可以看出凸显白色的棉花区域的效果仍不够理想，棉杆等背景信息仍存在，为了进一步扩大棉花区域与背景区域的对比度，这里采用对比度拉伸进行处理，拉伸后的图像，如图4所示。白色棉花区域变得更加明显，这为后续图像分割做好基础，减少后期图像分割难度。图像在传输以及处理中会产生噪声，为了消除图片中的噪声，这里采用了高斯滤波来消除图像中的随机噪声，高斯滤波后的图像，如图5所示。

图3 反对数变换Fig.3 Opposite Log Transformation

图4 对比度拉伸Fig.4 Contrast Stretch

图5 高斯滤波Fig.5 Gauss Filter

2.3 棉田图像分割

在强光照、复杂背景下准确有效的将棉花分割出来是采棉机视觉系统中关键的一步。由于自然环境下棉田的情况复杂，对棉花图像的分割提取要考虑强光照引起光照不均匀影响，因此采用标记分水岭算法对图像进行分割。首先使用Sobel算子计算图像的横向和纵向的梯度，计算公式如下［10］：

式中：Gx、Gy—横向和纵向边缘检测的图像灰度值；I—原始图像；G—总的图像梯度。

通过重构开运算与闭运算得到图像局部最大值作为图像的前景标记。利用棉花图像的距离变换得到图像的背景标记，进行分水岭分割得到分水岭变换脊线图，如图6（a）所示。其距离变换是指每一点像素和最近的非零像素之间的距离，二值图像包含一个连通区域S，其中，有目标O和背景B，距离为D，则距离变换的定义如下：

图6 标记分水岭分割法Fig.6 Marked Watershed Segmentation

式中：disf()—欧拉距离函数，表示如下：

最后基于前景和背景标记修改梯度图像进行分水岭分割，标记分水岭分割法对灰度图像的二值化结果，如图6（b）所示，其可以清晰地将目标和背景区分开来，并且滤除图像中杂点。

3 棉花行中心线识别算法

3.1 基于传统质心坐标法的棉花行识别算法

本节对图像分割后的棉田图像进行棉花行中心线提取工作。图像中棉花区域较多并且大小形状不一，传统方法中对每一个棉花区域提取质心［11］，以质心坐标作为直线拟合的特征点。通过棉花区域的质心点坐标进行最小二乘法拟合，得到棉花行的中心线。

传统质心坐标法中每个棉团区域面积为A，质心坐标的横纵坐标px、py可用下式进行描述：

式中：pi，pj—该区域像素点的横、纵坐标。

3.2 基于棉花团像素分割法的棉花行识别算法

为提取足够多的作物特征点，提出将分割图像后白色区域（棉花区域）的像素坐标进行分割并作为中心线拟合特征点的思想。本节引入按识别棉花的总像素数Np和分割棉花像素的单位像素数Nup来分割质心坐标的方法，单位像素数量取1。因此像素分割总数为Nn=Np/Nup。这种方法相较于传统质心法具有简单，精度高，计算时间短等优势。

像素格子时的局部坐标和全局坐标的关系，如图7所示。图中，xp和yp分别表示全局坐标系的横坐标和纵坐标，u和v分别表示局部坐标系的横坐标和纵坐标，uc和vc分别表示像素分割坐标中单位像素质心的横坐标和纵坐标。单位像素的坐标系设在局部坐标系之中，与全局坐标系之间的关系和具体算法如下。

图7 像素坐标分割时的局部坐标和全局坐标Fig.7 Local and Global Coordinates for Pixel Coordinate Segmentation

式中：uij、vij—在i和j点局部坐标；

n、m—图片中像素分割区的局部横向和纵向像素数总数。

对式（6）进行展开后得下式（7）：

根据像素特征，在局部坐标系有：

把式（8）带入式（7）可得式（9）。

同理对像素分割后的质心局部纵坐标可描述如下式（10）。

由于像素格子间距在局部坐标系还是全局坐标系纵向和横向尺度都是相等，因此像素坐标与像素格子之间可建立：

式中φp—单个像素格子尺寸；I，J—全局坐标位置，带入式（10）和式（11）得像素坐标分割后的局部质心坐标：

像素坐标分割后的全局质心坐标为：

式（11）和式（12）带入式（13）并整理后得：

由式（14）可以看出，像素分割后的质心全局坐标与局部坐标相关。因此，本研究对每一个像素作为一个坐标分割并用最小二乘法啮合进行棉花行识别。

4 实验结果与分析

4.1 光照适应性实验

实验选取了六组不同时间拍摄的图像，图像所拍摄的时间分别为北京时间11：30、12：30、13：30、14：30、17：30、19：30。传统质心法、像素坐标分割法拟合中心线提取得到的实验结果，如图8所示。两种算法的检测结果与人工标定的棉花行基准线进行比较，一种实线表示棉花行走向的定位基准线，一种实线代表传统质心法拟合棉花行走向中心线，另一种实线代表像素分割法拟合棉花行走向中心线。两种算法在不同时间的光照情况下拟合棉花行走向中心线的检测结果，如表1所示。

表1 不同光照情况下棉花行拟合中心线检测结果Tab.1 Testing Results of Cotton Line Fitting Centerline under Different Illumination Conditions

图8 传统质心法和像素分割法棉花行走向中心线检测结果Fig.8 Detection Result of Cotton Moving Toward Center Line by Centroid Method and Pixel Coordinate Segmentation Method

通过图8实验结果表明，在实时性方面，实验拍摄棉花行的距离为10m，在表1拟合中心线检测结果所示，质心法的平均消耗时间为16.93s，像素分割法的计算消耗时间为0.635s。在准确性方面，如表1所示。传统质心实验所拟合的棉花行线与人工设定的棉花基准行线的偏差角度最大为5.8°、最小2.2°、平均4.23°，像素分割法最大偏差角度为3.6°、最小为0.2°、平均2.13°，说明两种算法拟合的棉花行线都能较好的代表棉花行的走向，但是像素分割法的棉花行的准确率比质心法高一倍，计算速度快26倍。

4.2 算法稳定性实验

利用所提算法与传统质心法分别对拍摄时间为11：30，12：30，17：30的种植稀疏的棉花图像做棉花行中心线检测与拟合，稀疏的棉花图像的传统质心法、像素分割法拟合中心线对比结果，如图9所示。（一种实线表示棉花行走向的定位基准线，一种实线代表传统质心法拟合棉花行走向中心线，另一种实线代表像素分割法拟合棉花行走向中心线）。

图9 稀疏棉花的质心法、像素分割法拟合中心线检测结果Fig.9 Test Results of Centroid Fitting Centerline and Pixel Method for Sparse Cotton

由图9可以看出质心法和像素法在不同光照下棉花种植稀疏的地方同样能够检测出棉花行的中心线。种植稀疏中心线检测结果，如表2所示。可以得出的质心拟合中心线与基准线的平均偏差为3.06°，像素分割法的平均偏差角度为0.8°，质心法平均所消耗的时间为16.73s，像素分割法平均所消耗的时间为0.636s。这说明，像素分割法对作物行检测的效果更好，检测直线的误差更小，有较高的检测精度，消耗时间短，更适合采棉机实时作业。

表2 种植稀疏中心线检测结果Tab.2 Testing Results of Sparse Centerline Planting

5 结论

（1）利用灰度变换、对比度拉伸、高斯滤波等方法对棉花图像进行预处理，并采用标记分水岭分割法对图像进行分割，去除图像中杂点，完整保留图像中棉花信息。

（2）所提出像素分割法将棉花区域所有像素点作为特征点，并使用最小二乘法来拟合特征点，最终得出棉花行中心线。像素分割法在不同光照情况下、棉花种植稀疏与稠密情况下都可以有效的拟合出棉花行走向的中心线，并且像素坐标分割法计算精度比传统质心法高、计算所需时间短，更适合于采棉机进行实时识别棉花行和导航作业。