基于图像处理的蟹塘水草图像导航线拟合方法

阮承治 林根深 陈旭 孙月平 杨君 赵德安

摘要：針对河蟹养殖中水草清理是以人工完成为主，存在费工费时、劳动效率低、成本高等问题，提出一种图像处理的蟹塘水草图像导航线拟合方法。首先通过采集水草RGB图像，并转换为HSV颜色空间，并选用H分量二值分割，对分割图像进行填充处理；其次根据水草图像面积差异，设定参数删除非目标区域，进行形态学运算，保留目标区域；再按列查找二值图像非零像素点的中点位置，得到水草图像形态特征曲线；最后根据查找的特征曲线，利用最小二乘法拟合出导航线。试验结果表明本文方法拟合导航线相对误差在0.498%以内，平均相对误差绝对值为0.247%，平均耗时为0.005s。本文方法能够较好地满足水草图像导航线拟合的准确性和实时性，可为智能化水草清理作业船的研制奠定理论与技术基础。

关键词：水草图像；HSV颜色空间；图像分割；导航线拟合

中图分类号：S24

文献标识码：A

文章编号：20955553 （2023） 070147

08

Navigation line fitting method of crab pond aquatic plant image based on image processing

Ruan Chengzhi1， Lin Genshen1， Chen Xu2， Sun Yueping3， Yang Jun1， Zhao Dean3

（1. Agricultural Machinery Intelligent Control and Manufacturing Technology of Fujian Provincial Key Laboratory，

Wuyi University， Wuyishan， 354300， China; 2. Nanjing Institute of Agricultural Mechanization， Ministry of

Agriculture and Rural Affairs， Nanjing， 210014， China; 3. School of Electrical and Information Engineering，

Jiangsu University， Zhenjiang， 212013， China）

Abstract：  In response to the challenges of labor-intensive and time-consuming manual aquatic plant cleaning in crab farming， a method for image-guided navigation line fitting of water grass in crab ponds is proposed. The proposed approach involves several steps. First， RGB images of aquatic plants are read and converted into HSV color space. The H component is selected for binary segmentation， and the segmented image is then filled. Secondly， based on the differences in the water grass image area， parameters are set to delete the small area parts， and the processed image is processed by morphology to retain the target area. Then， the midpoint of non-zero pixels in the binary image is searched by column to obtain the morphological characteristic curve of the aquatic plant image. Finally， based on the characteristic curve， the navigation line is fitted using the least square method. The experimental results show that the relative error of the fitted navigation line is within 0.498%. The average absolute value of the relative error is 0.247%. The average processing time is 0.005s. The method proposed in this paper shows good accuracy and real-time performance in fitting navigation lines for aquatic plant images， which can lay a theoretical and technical foundation for the development of visually guided aquatic plant cleaning workboats.

Keywords：  aquatic plant image; HSV color space; image segmentation; navigation line fitting

0 引言

随着我国水产养殖业飞速发展，河蟹养殖已成为重要支柱产业。截至2020年，我国蟹塘养殖面积突破667khm2，总产值达550亿元［1］。在河蟹养殖中多采用种草养殖模式，水草是河蟹喜食的饵料，也可为河蟹提供避敌、蜕壳栖息场所。但由于水草生长旺盛，特别是每年5～10月高温时期，大规模水草会过度生长，水草覆盖蟹塘水面会阻止波浪产生，不利于空气中氧气融入水体；而且水草过于旺盛，其末端易死亡腐败，易导致水质恶化，从而影响河蟹生长发育，减低河蟹产量［2］。根据渔民养殖经验，水草漂荡蟹塘水体其顶端离水面约20cm，是清理水草、有益河蟹生长发育的最佳标准。因此，蟹塘水草的及时清理与维护对河蟹养殖有着非常重要的作用［34］。

目前，河蟹养殖中水草清理工作主要由人工完成，费工费时、劳动效率低、成本高。而且随着我国人口老龄化加剧，实现水草清理的机械化与自动化迫在眉睫［5］。国内外专家学者对于水草清理作业船的研究，近些年也取得一定的进展。美国公司生产的液压往复式单体水草收割船，采用滚筒式拔草装置，水草漏割率较高［6］。吴波等［2］设计一种ARM控制器的河蟹养殖水草清理GPS自主导航作业船，并通过试验验证得到该作业船直行行驶具有较好控制效果。孟良宇等［7］设计一种河道水草清理作业船，该作业船适用于大型湖泊和河道清理工作，且会带来二次污染，不适用于河蟹养殖水草清理。在农业机器人导航线拟合研究方面，郭祥雨等［8］提出遍历R-B灰度图像，并对感兴趣目标区域进行标记，最后采用最小二乘法拟合视觉导航线的方法，该方法需要遍历所有图像，实时性难以满足要求。阮承治［9］设计了一种水草清理视觉系统，该系统中水草导航线拟合主要针对的是簇状水草，采用的是提取簇状水草重心的方法，该方法具有一定局限性。

因蟹塘水草的生长形态各有不同和环境因素的影响，从中分割出水草有效区域，并拟合出视觉导航的导航线是实现水草清理自动作业的关键。因此，本文首先将彩色水草图像从RGB颜色空间转换到HSV颜色空间，选择HSV颜色空间中的H分量，排除饱和度和亮度分量影响，然后根据水草图像的不同特征进行分割处理，采用先闭后开的图像形态学处理消除边缘的小噪声和连通散点区域，再通过计算面积参数的方法保留有效区域。接着通过查找非零像素点中点的方法得到特征曲线，最后根据最小二乘法进行水草图像导航线拟合。

1 材料与方法

1.1 图像采集

本文以蟹塘水草图像作为研究对象，图像采集地点为江苏省兴化市安丰镇，采集时间为2019年8月，合计采集200幅照片；图像采集系统中采用的摄像头为KBE-RT6200E/S，采集图像大小为600像素×500像素；采用的图像处理软件是MATLAB R2014b。

1.2 蟹塘水草导航线拟合算法

根据对水草图像RGB与HSV颜色模型对比，HSV颜色模型可以根据水草图像的颜色性质（如水草的深浅、远近）进行分类，将饱和度和亮度在H、S和V颜色分量中设置为0，保留其色调值，对水草单独进行图像处理，图像处理导航线拟合更具有针对性。首先，将水草图像转换为HSV颜色空间；其次，对颜色空间图像采用均值滤波进行降噪；再次，选取HSV颜色模型中的H通道，将蟹塘水草图像进行阈值二值分割，阈值的参数通过自定义的方法来确定；为了消除光线与水面反射对水草图像分割的影响，对分割后的水草图像进行填充部分空洞；接着对填充后的图像进行面积开运算选取所需最大面积前半部分，并且去除干扰物，通过非与操作得到中间最大区域前和后半部分，进行形态学操作，根据先闭后开的思想，删除小面积，即得到理想的最大导航有效区域；然后，对有效区域图像进行按列查找像素点的中点位置，将离散点连成水草图像特征曲线；最后，对比霍夫变换与最小二乘法的拟合结果，采用最小二乘法对特征点数据进行直线拟合，得到水草图像拟合的导航线。蟹塘水草图像导航线拟合方法流程如图1所示。

1.3 图像处理和导航线拟合

1.3.1 颜色空间的选择

在彩色图像处理中，颜色空间的选择尤为重要，RGB颜色模型是在图像处理中最为基础的颜色模型，简单直观，可应用于各种成像设备工作环境［1011］。但RGB颜色空间是一种不均匀的颜色空间，像素颜色距离与人眼视觉感知差距较大，且三个分量会受到环境光照影响［12］。而HSV颜色空间是由RGB颜色空间转变而来的六边立方体，其是均匀的颜色空间，比较适合人眼的视觉感知系统［13］。故在本文中选择使用HSV颜色空间进行图像处理。

在RGB颜色空间中，对R、G、B三个分量進行归一化处理，其范围为［0，1］。其分量转换公式如式（1）～式（3）所示。

H=cos－1［（R－G）+（R－B）］/2（R－G）2+（R－B）（R－G）12/360

（1）

S=1－3（R+G+B）［min（R，G，B）］

（2）

V=13（R+G+B）

（3）

式中：

R、G、B——

RGB颜色空间中的红、绿和蓝颜色分量；

H、S、V——

HSV颜色空间中的色调、饱和度和亮度分量。

系统将采集到的水草图像从RGB模型中转换到HSV颜色空间中，分量提取三个H、S、V分量图像进行分析。本试验采集的彩色图像为600像素×500像素，处理结果如图2所示。

从图2可得，三个分量有着明显水草颜色差异，在HSV颜色空间中仅考虑H色调分量作为二值分割的选定，将色调分量从颜色空间中单独处理，从而降低光照和水面反射光的影响，凸显出水草的颜色特征，可以较好地进行水草图像分割。

1.3.2 图像填充

在对图像进行二值分割后，因水草分布密集不同，目标区域存在空洞部分，而空洞部分对目标区域的提取会造成一定影响［14］。因此，需对其分割后图像进行填充处理，形态学变换如式（4）所示。

Xn=（Xn－1S）∩Ic

（4）

式中：

I——区域边界点集合；

n——迭代次数；

S——结构元素；

Ic——

I区域以外的点构成的集合。

当Xn=Xn-1时停止迭代，此时Xn为所包围的填充区域，填充原理如图3所示。

1.3.3 保留有效区域

因对H分量图像分割结果后，再进行填充的图像，难以达到分割效果，故需对图像进一步处理。通过计算各个区域的面积参数，找到目标区域和无关区域的参数，再采用删除小面积的方法分别得到无关区域的二值图像，利用与非操作得到目標区域中间散点部分和目标区域的前端与后端部分，然后进行图像合并，进一步得到目标区域。

水草图像删除无关小面积后，得到的图像边缘区域没有很光滑，图像区域有一些肉眼可见的孔洞，还存在着一些干扰。因此，采用先膨胀后腐蚀的闭运算处理，在不明显改变二值化图像像素的情况下，填充水草图像内的散点部分，连接其相近目标区域，平滑图像边缘［15］。闭运算记为A·B，其数学公式定义为

A·B=（AB）ΘB

（5）

式中：

A——图像集合；

B——结构元素；

AB——图像膨胀；

（AB）ΘB——图像先膨胀再腐蚀。

二值图像进行闭运行后，存在目标区域之外的小面积区域，这会对目标区域后续进行导航线的拟合产生影响。因此，采用先腐蚀再膨胀的开运算处理，用于删除水草图像部分非目标区域，并平滑图像的边缘［16］。开运算记为AB，其数学公式定义为

AB=（AΘB）B

（6）

式中：

AΘB——图像腐蚀；

（AΘB）B——图像先腐蚀再膨胀。

1.3.4 特征点提取

由于自然条件下的水草环境复杂多变，水生植物的形状和大小生长各有不同，还有些离散簇状漂浮水草，本文主要是针对目标形成的行状水草进行导航线拟合。通过形态学处理得到导航目标选取区域的二值图像，其中二值图像矩阵对应的是0或1，因此，导航线所对应的非零像素中点就是特征点［17］。

二值图像中选取最大面积保留的连通区域，将连通区域内按列查找的所有非零像素点的中点位置作为特征像素点，然后将所有的特征点连接成具有一定趋势的曲线，而由特征点得到曲线可以看成是水草的形状特征分布曲线。

1.3.5 最小二乘法导航线拟合

对比Hough变换的图像处理计算量大［18］，难以满足作业船工作实时性，故采用最小二乘法提取特征点后进行处理。最小二乘法的基本思想是对得到的数据进行处理，使得数据结果的误差平方和为最小，即∑mi=1‖kxi+b－yi‖2到达最小值时求得解［1920］。

对于蟹塘水草图像，设水草图像的横坐标为x，纵坐标为y，而水草图像中离散数据点（xi，yi），i=1，2，…，k，先假设x和y之间有着线性的函数关系y=kx+b，不将图像数据中的误差计算在内，令

k=k0+δk

b=b0+δb

（7）

式中：

k、b——待估参数；

k0、b0——其近似值；

δk、δb——待求方程的斜率和截距。

则该拟合直线的误差方程

vi=［xi 1］

δk

δb

+（k0xi+b0－yi）

（8）

该误差方程的矩阵表达式为

P·δX=l+V

（9）

式中：

l——观测值；

V——误差估值矩阵；

P——真值；

δX——最小二乘的解。

其中P=

x11

x21

xi1

，δX=

δk

δb

，

l=

k0x1+b0

k0x2+b0

k0xn+b0

，V=

vy1

vy2

vyn

。

当误差方程达到最小时，有

VT·V=min

（10）

即∑mi=1‖kxi+b－yi‖2=min

（11）

可以得到其最小二乘解

δX=（PTP）-1PTl

（12）

2 试验结果与分析

2.1 试验配置

本文以多种环境下的水草图像为研究对象，处理与分析图像的计算机处理器为Intel（R） Core（TM） i5-6500 CPU 3.20 GHz，RAM 8 GB，计算机操作系统为Microsoft Windows 7旗舰版，计算机显卡Intel（R） HD Graphics 530。

2.2 试验结果

在图2中，对比得到H、S和V三种分量图，在HSV颜色空间中仅对H分量进行二值图像分割，可以较好地凸显水草的特征。为验证本文采用方法的有效性，对采集的水草图像进行导航线拟合，本文选取有代表性的4幅图像进行处理，分别采集4种不同环境下的水草图像进行分析，如图4所示，图4（a）为左侧环境有河岸建筑物进行干扰的图像，图4（b）为右侧环境有河岸建筑物进行干扰的图像，图4（c）为前端环境有河岸建筑物进行干扰的图像，图4（d）为环境中无明显干扰物的图像。

在图4所示的图像处理过程中，将RGB颜色空间转换至HSV颜色空间中的H分量，再进行二值分割，其处理效果如图4（e）～图4（h）所示，观察到H分量进行分割的处理结果可以较好地分割出水草特征；然后通过计算图像区域面积的方法得出各个区域的面积，设定面积参数删除无关的小面积区域。根据式（5）、式（6）形态学处理平滑水草图像的边缘部分和删除细小面积，保留有效区域，处理后图像效果如图4（i）～图4（l）所示。根据二值图像为0、1矩阵，按列查找连通区域中非零像素点的中点位置，连接离散点得到水草图像的特征曲线，如图4（m）～图4（p）中的红色实线；最后根据式（11）计算最小误差平方和得到最小二乘解，拟合出导航线如图4（q）～图4（t），导航线为蓝色实线。

2.3 算法對比

为了验证本文算法，本试验将图4（a）～图4（d）水草图像进行两种算法的对比，分别采用最小二乘法和霍夫变换进行导航线拟合，其处理结果如图5所示。

其中红色实线表示目标区域中心线，蓝色实线表示最小二乘法直线拟合，黑色实线表示Hough变换直线拟合结果。在图5中对比两种算法拟合导航线与中心线距离，分别计算拟合导航线坐标离中心线坐标最远与最近距离如表1所示。表1中，4种环境下的水草图像最小二乘法拟合的导航线距离中心线坐标最远处的平均距离为3个像素点，相对于Hough法所拟合的导航线最远处平均距离减少437个像素点。

根据拟合结果，可以得到中心线、最小二乘法和Hough变换法进行导航线拟合所得的直线方程，并用斜率k和截距b来进行描述方程，如表2所示。然后根据导航线斜率计算两种算法导航线拟合结果的水平夹角，并计算实际水草图像中心线的水平夹角，如表3所示。

从表2和表3均可得，最小二乘法所得的直线方程及水平夹角与水草中心线实际方程及水平夹角更为接近，误差更小。

两种算法拟合导航线精度，如表4所示。根据图5和表4的结果可得，最小二乘法针对不同环境下拟合导航线的平均相对误差绝对值为0.247%，而Hough变换导航线拟合结果平均相对误差绝对值为35.052%，并且从图5中可以看出，Hough变换法的导航线和中心线有着明显的偏移。

最小二乘法与Hough变换法拟合导航线的平均消耗时间，如表5所示。从表5可得，处理200幅图像情况下，Hough变换法拟合导航线的平均耗时比最小二乘法高2.116s。因此，最小二乘法拟合导航线在精度和实时性上都优于Hough变换法，更加适合蟹塘水草图像导航线的拟合。

3 结论

1） 为提高自动作业船清理蟹塘水草的工作效率，本文结合图像处理和最小二乘法，得到一种蟹塘水草图像导航线拟合方法。针对4种不同环境下的水草图像，采用HSV颜色空间中的H分量进行二值分割，排除饱和度和亮度分量的影响，这对处理自然环境下的受光线影响的水草图像有着重要的意义，且对有效区域中查找非零像素点中点位置得到特征曲线，能够很好地减少最小二乘法导航线拟合的影响，使得导航线拟合结果更加稳定、更接近水草图像中心线。

2） 通过试验结果表明，最小二乘法拟合导航线的相对误差在0.498%以内，平均相对误差绝对值为0.247%；而Hough变换法拟合导航线的相对误差最大为68.551%，平均相对误差绝对值为35.052%。从结果看，Hough变换拟合导航线相对误差明显高于最小二乘法。从处理图像的运行时间表明，处理一幅图像最小二乘法平均耗时为0.005s，不仅能准确地拟合出导航线，且能够满足自动作业船的实时性要求，可为水草清理作业船视觉导航控制系统的研制提供理论基础与技术支撑。

参 考 文 献

［1］ 赵德安， 曹硕， 孙月平， 等. 基于联动扩展神经网络的水下自由活蟹检测器研究［J］. 农业机械学报， 2020， 51（9）： 163-174.

Zhao Dean， Cao Shuo， Sun Yueping， et al. Small-sized efficient detector for underwater freely live crabs based on compound scaling neural network ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2020， 51（9）： 163-174.

［2］ 吴波， 赵德安， 孙月平， 等. 一种河蟹养殖用自动化水草清理作业船［J］. 中国农机化学报， 2016， 37（9）： 88-91.

Wu Bo， Zhao Dean， Sun Yueping， et al. Automatic aquatic cleaning ship for river crabs breeding ［J］. Journal of Chinese Agricultural Mechanization， 2016， 37（9）： 88-91.

［3］ 阮承治， 赵德安， 刘晓洋， 等. 基于IPSO-UKF的水草清理作业船组合导航定位方法［J］. 农业机械学报， 2017， 48（7）： 38-45.

Ruan Chengzhi， Zhao Dean， Liu Xiaoyang， et al. Integrated navigation positioning method based on IPSO-UKF for aquatic plants cleaning workboat ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2017， 48（7）： 38-45.

［4］ Ruan Chengzhi， Zhao Dean， Zhao Dejie， et al. Aquatic image segmentation based on PSO-PCNN in crab farming ［J］. International Agricultural Engineering Journal， 2017， 26（1）： 199-211.

［5］ 羅锡文， 廖娟， 胡炼， 等. 提高农业机械化水平促进农业可持续发展［J］. 农业工程学报， 2016， 32（1）： 1-11.

Luo Xiwen， Liao Juan， Hu Lian， et al. Improving agricultural mechanization level to promote agricultural suatainable development ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2016， 32（1）： 1-11.

［6］ Kristoffer R S， Morten O A， Jo A A. Modelling and simulation of rotary feed spreaders with application to sea cage aquaculture-A study of common and alternative designs ［J］. Aquacultural Engineering， 2018， 82（8）： 1-11.

［7］ 孟良宇， 赖贤声. 一种新型河道水草清理机器［J］. 农家参谋， 2020， （4）： 213.

［8］ 郭祥雨， 薛新宇. 基于机器视觉的水稻制种田导航线提取方法［J］. 中国农机化学报， 2021， 42（5）： 197-201.

Guo Xiangyu， Xue Xinyu. Extraction of navigation lines for rice seed farming based on machine vision ［J］. Journal of Chinese Agricultural Mechanization， 2021， 42（5）： 197-201.

［9］ 阮承治. 水草清理自动作业船视觉/GPS组合导航定位方法研究［D］. 镇江： 江苏大学， 2018.

Ruan Chengzhi. Research on visual/GPS integrated navigation positioning method for aquatic plants cleaning automatic workboat ［D］. Zhenjiang： Jiangsu University， 2018.

［10］ 张勤， 陈建敏， 李彬， 等. 基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法［J］. 农业工程学报， 2021， 37（18）： 143-152.

Zhang Qin， Chen Jianmin， Li Bin， et al. Method for recognizing and locating tomato cluster picking points based on RGB-D information fusion and target detection ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（18）： 143-152.

［11］ 李贵宾， 李长勇， 陈立新. 利用圆预处理RGB图像对葡萄图像分割影响研究［J］. 中国农机化学报， 2021， 42（7）： 162-169.

Li Guibin， Li Changyong， Chen Lixin. Research on the influence of circle preprocessing RGB image on grape image segmentation ［J］. Journal of Chinese Agricultural Mechanization， 2021， 42（7）： 162-169.

［12］ 赵宇峰. 基于光场成像的行人检测方法研究［D］. 天津： 天津理工大学， 2021.

Zhao Yufeng. Research on pedestrian detection using light filed imaging ［D］. Tianjin： Tianjin University of Technology， 2021.

［13］ 彭明阳， 王建华， 闻祥鑫， 等. 结合HSV空间的水面图像特征水岸线检测［J］. 中国图象图形学报， 2018， 23（4）： 526-533.

Peng Mingyang， Wang Jianhua， Wen Xiangxin， et al. Shoreline detection method by combining HSV spatial water image feature ［J］. Journal of Image and Graphics， 2018， 23（4）： 526-533.

［14］ 赵静， 曹佃龙， 兰玉彬， 等. 基于FCN的无人机玉米遥感图像垄中心线提取［J］. 农业工程学报， 2021， 37（9）： 72-80.

Zhao Jing， Cao Dianlong， Lan Yubin， et al. Extraction of maize field ridge centerline based on FCN with UAV remote sensing images ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（9）： 72-80.

［15］ 廖娟， 汪鹞， 尹俊楠， 等. 基于分区域特征点聚类的秧苗行中心线提取［J］. 农业机械学报， 2019， 50（11）： 34-41.

Liao Juan， Wang Yao， Yin Junnan， et al. Detection of seedling row centerlines based on sub-regional feature points clustering ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2019， 50（11）： 34-41.

［16］ 李云红， 张秋铭， 周小计， 等. 基于形态学及区域合并的分水岭图像分割算法［J］. 计算机工程与应用， 2020， 56（2）： 190-195.

Li Yunhong， Zhang Qiuming， Zhou Xiaoji， et al. Watershed image segmentation algorithm based on morphology and region merging ［J］. Computer Engineering and Applications， 2020， 56（2）： 190-195.

［17］ 楊洋， 张博立， 查家翼， 等. 玉米行间导航线实时提取［J］. 农业工程学报， 2020， 36（12）： 162-171.

Yang Yang， Zhang Boli， Zha Jiayi， et al. Real-time extraction of navigation line between corn rows ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2020， 36（12）： 162-171.

［18］ 王珊珊， 余山山， 张文毅， 等. 基于特征点邻域Hough变换的水稻秧苗行检测［J］. 农业机械学报， 2020， 51（10）： 18-25.

Wang Shanshan， Yu Shanshan， Zhang Wenyi， et al. Detection of rice seedling rows based on Hough transform of feature point neighborhood ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2020， 51（10）： 18-25.

［19］ Zhang Fengyan， Chen Rongbao， Li Yang， et al. Detection of broken manhole cover using improved Hough and image contrast ［J］. Journal of Southeast University （English Edition）， 2015， 31（4）： 553-558.

［20］ 孟庆宽， 张漫， 杨耿煌， 等. 自然光照下基于粒子群算法的农业机械导航路径识别［J］. 农业机械学报， 2016， 47（6）： 11-20.

Meng Qingkuan， Zhang Man， Yang Genghuang， et al. Guidance line recognition of agricultural machinery based on particle swarm optimization under natural illumination ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2016， 47（6）： 11-20.