基于图像处理的水下海参识别和定位方法

张韫峰, 李 娟, 黎 明

基于图像处理的水下海参识别和定位方法

张韫峰1,2, 李 娟2, 黎 明1

(1. 中国海洋大学 工程学院, 山东 青岛, 266100; 2. 青岛农业大学 机电工程学院, 山东 青岛, 266109)

为解决复杂环境下海参识别和定位的难题, 文章提出了一种基于图像处理的海参识别和定位算法。首先, 在图像预处理基础上设计基于模糊增强的融合RGB海参刺和海参主干突出特征算法, 以突出海参目标特征, 通过改进的图像分割方法提取海参轮廓, 利用链表法去伪边缘和形态学轮廓优化实现海参目标的识别。对海参目标的定位分为2种情况: 对形状规则的海参目标通过椭圆一次拟合来初步定位; 对形状不规则的海参目标通过提取海参目标方向特征进而设计基于最小外接矩形方向椭圆二次拟合算法来定位。仿真结果表明该算法可以有效识别和定位海参目标, 判断海参体积大小, 为海参可持续自动捕捞提供了一种有效方法。

海参; 图像处理; 识别定位; 方向特征

0 引言

海参蛋白质含量高, 具有丰富的营养价值[1]。随着生活水平的提高, 人们对于海参的需求量逐年递增[2-3]。研究发现, 目前海参养殖主要依靠人工底播, 且待海参长大后通过人工水下作业来捕获, 费时费力, 安全系数低。为改善目前的海参捕捞现状, 研究水下海参捕捞机器人迫在眉睫, 其中海参识别和定位技术是实现海参自动捕捞的关键。随着人们对海洋资源的关注和海洋技术的研发, 目前水下机器人已经广泛应用于水下目标检测、识别和定位等方面[4-5], 通过水下机器人来自动捕捞海参的方法是可行的。但由于海参生活环境复杂, 体积大小不一, 体色随环境变化, 因此海参的识别和定位存在许多困难[6]。

海参识别主要基于图像处理和深度学习2种方法。近几年, 国内外学者在海参识别方面的研究取得了一些成果: 郭祥云等[7-8]通过深度残差网络和基于深度学习的非结构环境算法进行海参识别, 该试验是以海参池中获取的海参图像作为训练样本, 缺乏真实环境样本集; 吴春阳等[9]采用YOLO(you only look once)v2算法检测海参目标, 试验使用自制的海参目标检测数据集, 虽然实现了目标检测, 但缺乏真实环境检验; Li等[10]采用深度学习方法对海参行为轨迹进行分析, 为海参的准确识别提供判别条件; 崔尚等[11]利用改进的Sobel算子和形态学处理得到海参二值图, 方法便捷但识别的海参轮廓比较模糊; 皮志锋等[12]利用6组不变矩特征和反向传播(back propagation, BP)神经网络进行海参识别, 构建的不变矩特征必须具有不同程度的聚类能力才可以输入BP神经网络, 此外该方法需要大量的数据训练且容易陷入局部极小; 乔曦等[13]采用基于支持向量机的方法进行海参识别, 识别效果较好, 但海参目标特征子集中的元素较多且过程复杂; 李娟等[14]对海参刺进行最小二乘椭圆拟合来识别海参, 解决了海参体色变化影响识别率的问题; Qiao等[15]采用限制对比度自适应直方图均衡(contrast limited adaptive histogram equalization, CLAHE)增强算法与小波变换结合来进行海参识别, 通过图像分割可以识别出整体轮廓, 但轮廓区域不完整, 影响海参定位; 郭传鑫等[16]基于融合显著图与Grab Cut算法进行图像分割, 改善了传统Grab Cut算法边缘缺陷的问题并在海参养殖环境中进行试验。

海参目标跟踪定位方法主要分为生成式跟踪和判别式跟踪算法。生成式跟踪算法通过目标的形状特征进行跟踪, 判别式跟踪算法通过深度学习的分类器确定目标位置, 典型的方法如相关滤波跟踪算法。刘吉伟等[17]在已知海参形状特征情况下采用核相关滤波(kernel correlation filter, KCF)算法追踪海参头部进而估计海参尺寸并定位; 彭丹妮[18]通过改进Mean-shift算法实现海参目标跟踪, Mean-shift算法鲁棒性较好, 但在实际环境中存在海参目标追踪偏移的问题。

鉴于以上海参识别和定位方法的局限性, 文章在图像预处理的基础上提出了一种基于融合RGB(red, green, blue)海参刺与海参主干特征突出并增强的算法, 融合后的海参目标特征明显, 并通过改进的图像分割等方法提取海参轮廓实现海参目标识别; 采用基于方向特征的最小外接矩形椭圆二次拟合实现海参目标的定位, 提高了海参目标识别和定位的成功率。

1 系统设计

1.1 结构设计

文中设计的海参识别和定位系统主要由海参图像预处理、图像融合、分割与识别、方向特征提取和目标定位5个模块组成。该系统以水下相机拍摄的海参图像为检测目标, 通过图像预处理算法、图像融合算法、图像分割识别算法、方向特征提取算法和二次拟合定位算法来自动检测水下海参目标, 软件体系结构如图1所示。

图像预处理模块主要实现对海参目标的载入、图像灰度转换、增强和滤波, 提高图像质量; 图像融合模块主要实现海参目标特征的突出增强, 有利于目标识别; 图像分割模块主要用于提取海参轮廓; 方向特征提取模块主要是为海参目标定位提供方向特征数据, 初步定位形状规则的海参位置; 定位模块中的二次拟合可以定位任意形状的海参目标, 并可通过轮廓长短轴度值判断海参体积大小。

图1 系统软件结构图

1.2 界面设计

文中系统基于MATLAB R2017b软件的图形用户界面(graphical user interface, GUI)开发平台设计, 如图2所示。界面功能清晰、按键丰富, 可实时观察海参图像处理的结果, 方便算法的测试与改进, 提高了系统的交互性和易用性。

图2 系统界面设计

2 水下海参识别和定位方法

文中结合视觉图像和海参特征, 通过图像灰度转换、模糊增强算法和基于相似度函数自适应匹配滤波(adaptive matched filter, AMF)算法进行图像预处理, 得到清晰且噪声少的海参目标; 然后利用基于模糊增强的融合RGB海参刺和海参主干突出特征算法来突出目标特征; 通过图像分割和轮廓优化算法提取完整封闭的海参轮廓进而实现目标识别; 利用椭圆一次拟合提取方向特征并实现形状规则海参的初步定位; 通过基于方向特征的最小外接矩形椭圆二次拟合算法实现任意形状海参的精准定位, 并可根据海参轮廓的长短度值判断体积大小, 最终可实现海参的可持续自动捕捞。

2.1 图像预处理

文中的海参图像数据样本来自山东烟台海洋牧场, 通过对图像典型样本分析可知, 海参图像背景物复杂, 对比度低、噪声高, 因此需对其进行预处理。图像预处理过程主要由目标图像载入、灰度转换、图像增强和图像滤波4部分组成, 如图3所示。

海参目标图像是由RGB三通道组成的彩图, 为了减少图像处理计算量, 需对彩色图像进行灰度化处理[13]:

对灰度图进行直方图均衡化(histogram equa- lization, HE)处理后发现, 海参图像灰度值范围扩大, 边缘部分信息丢失, 因此, 采用模糊增强算法根据隶属度函数值进行图像增强。设灰度图像, 模糊隶属函数为, 广义模糊集合为, 对灰度图像进行线性广义隶属变换(linear generalized membership transform, LGMT), 即

此时, 隶属函数表示为

模糊增强后的海参图像仍具有噪声, 采用基于相似度函数AMF算法进行滤波。

2.2 图像融合与分割识别

海参图像融合主要由图像RGB空间分布与提取、海参刺与海参主干特征突出、特征突出增强和图像融合4部分组成。海参图像分割识别主要包括Canny边缘检测模糊优化和去伪边缘2部分, 具体过程如图4所示。

图像预处理后的海参图像目标特征模糊, 为此, 根据图像RGB颜色空间分布规律, 通过多次试验确定RGB组合运算的权重, 进而提出一种基于模糊增强的融合RGB海参刺和海参主干突出特征算法。

经过图像融合后的海参目标特征明显, 为准确提取图像边缘轮廓, 对传统的Canny算法进行了如下改进。

1) 用模糊增强代替传统Canny算法中的高斯滤噪。

图5 Sobel算子模板

图像梯度矩阵

图像各点的梯度方向

3) 图像梯度方向划分:

2.3 图像方向特征提取

海参图像方向特征提取过程主要由轮廓优化、椭圆一次拟合定位和方向特征提取3部分组成, 特征提取过程如图6所示。

图6 海参图像方向特征提取流程图

2.4 目标定位

形状规则的海参目标定位通过椭圆一次拟合实现; 形状不规则的海参目标定位通过基于最小外接矩形方向椭圆二次拟合实现, 其过程主要由最小外接矩形标定、方向椭圆拟合及二次拟合定位3部分组成, 如图7所示。

图7 海参目标定位流程图

图8 海参轮廓方向椭圆拟合

根据椭圆拟合原理, 当选取海参边缘轮廓的边界点到拟合点距离的平方和最小时, 目标函数为

3 仿真结果与分析

3.1 图像预处理结果分析

从采集的海参图像数据集样本[14]中选取部分目标图像载入设计的系统, 如图9所示。

文中以水下海参图像1~4为样本进行试验, 结果如图10~13。其中图(a)为自然环境下采集的海参图像, 图(b)为灰度图, 对应的直方图为图(f), 从中可以看出, 灰度图模糊且噪声较多。采用HE算法增强灰度图如图(c), 其对应的直方图为图(g), 从中可以看出, HE增强后的灰度变化范围扩大, 图像边缘部分信息丢失, 背景锐化。采用模糊增强算法对灰度图进行增强, 结果为图(d), 并进行基于相似度函数AMF试验, 结果为图(e), 其对应的直方图为图(h)。根据结果可以看出文中方法更适合海参图像的增强, 滤波后的图像与原图相似度较高, 图像清晰, 边缘信息完整, 提高了图像对比度。

图9 海参样本载入

图10 水下海参图像1图像预处理

图11 水下海参图像2图像预处理

图12 水下海参图像3图像预处理

图13 水下海参图像4图像预处理

采用客观图像质量评价方法进一步证明文中图像预处理算法的效果, 通过计算预处理图像与原始灰度图之间的均方误差(mean-square error, MSE)、峰值信噪比(peak signal to noise ratio, PSNR)、平均绝对误差(mean absolute error, MAE)和平均结构相似性(mean structural similarity, MSSIM)进行有效性对比, 结果如表1所示。与HE算法和模糊增强算法相比, 文中方法的MSE最小, PSNR最大, MAE最小, MSSIM值与原始灰度图的差距最小, 表明通过该方法预处理后的图像较好地保留了灰度图的特征, 图像清晰且噪声较小。为了进一步评价文中图像预处理算法的效果, 对表1中经过各自算法预处理后的图像质量评价数据求均值, 结果如表2所示。根据表2数据同样可以得出文中海参预处理方法的效果相对于HE算法和模糊增强算法效果更好。

表1 海参目标输出图像质量评价数据

表2 海参目标输出图像质量平均对比数据

3.2 海参轮廓提取结果分析

通过上文提出的海参图像融合与分割识别方法, 得到其轮廓提取结果如图14~17所示。从识别结果可以看出, 文中算法能够对背景复杂、噪声和光照不均的海参图像实现比较完整的分割, 较好地保留了其边缘轮廓信息。

图14 海参图像1轮廓识别与提取

图15 海参图像2轮廓识别与提取

图16 海参图像3轮廓识别与提取

图17 海参图像4轮廓识别与提取

将文中算法与Otsu算法、LOG算子分割算法、Sobel算法、直方图阈值(150)分割算法和传统Canny分割算法进行比较, 结果如图18~21所示。从图中可以看出, 相较于其他算法, 文中算法能较好地实现海参目标轮廓的提取, 目标分割边缘较平滑, 保留了图像大部分边缘特征信息。

将选取的海参图像样本分别通过上述6种算法得出相关评价指标数据如表3所示。从表中可以看出, 文中算法的分割准确率和召回率分别为0.889 7和0.994 7, 远高于其他算法, 运行时间适中, 识别轮廓效果最好, 保留了大部分边缘细节信息, 符合图像分割的要求。

3.3 海参方向特征提取结果分析

以海参图像1为例, 采用文中提取方法进行方向特征提取试验, 分别得到了海参的长、短轴和中心位置等信息, 结果如图22所示。

图18 海参图像1不同方法识别结果

图19 海参图像2不同方法识别结果

图20 海参图像3不同方法识别结果

图21 海参图像4不同方法识别结果

表3 基于不同分割算法的海参图像评价标准数据

图22 海参图像1方向特征提取

3.4 海参定位结果分析

图23 海参图像1~4目标定位

4 结束语

针对目前海参识别和定位方法的不足, 文章分别提出了基于模糊增强的融合RGB海参刺与海参主干突出特征算法将海参目标特征进行突出, 大大提高了海参图像分割和识别的成功率; 基于最小外接矩形方向椭圆二次拟合算法, 不仅能够实现对形状规则海参的二次定位, 对形状不规则海参的精准定位, 还可以通过海参轮廓长短度值判断其体积大小, 实现海参捕捞的可持续化。文中算法相对深度学习过程比较简单, 不需要训练大量样本; 相对目前的图像处理方法, 不仅可以识别和定位任意形状的海参目标, 判断体积大小, 而且在图像处理过程中实现了定位, 降低了定位复杂度。文章下一步将对海参立体定位方法进行研究, 从而完善水下海参识别和定位系统。

[1] 房英春, 张慧, 陈曦. 海参资源及生物学特征[J]. 北京水产, 2017, 2(5): 25-27.Fang Ying-chun, Zhang Hui, Chen Xi. Resources and Biological Characteristics of Sea Cucumber[J]. Beijing Aquatic Products, 2017, 2(5): 25-27.

[2] 王金龙. 海参市场总结报告[J]. 当代水产, 2017(1): 36-38.Wang Jin-long. Sea Cucumber Market Summary Report[J].Modern Fisheries, 2017(1): 36-38.

[3] 卢昆, 刘慧迪, 包利民. “十三五”期间山东省海参养殖产量预测与发展前瞻[J]. 海洋开发与管理, 2018, 7(1): 94-100.Lu Kun, Liu Hui-di, Bao Li-min. Prediction and Development of Sea Cucumber Production in Shandong Province During the 13th Five Years Plan[J]. Ocean Development and Management, 2018, 7(1): 94-100.

[4] 唐旭东, 庞永杰, 张赫, 等. 基于单目视觉的水下机器人管道检测[J]. 机器人, 2010, 32(5): 592-600.Tang Xu-dong, Pang Yong-jie, Zhang He, et al. Underwater Pipeline Detection by AUV Based on Monocular Vision[J]. Robot, 2010, 32(5): 592-600.

[5] 曾文静, 徐玉如, 万磊, 等. 自主式水下机器人的光视觉管道探测跟踪系统[J]. 上海交通大学学报, 2012, 46 (2): 178-183, 189.Zeng Wen-jing, Xu Yu-ru, Wan Lei, et al. Robotics Vision Based System of Autonomous Underwater Vehicle for an Underwater Pipeline Tracker[J]. Journal of Shanghai Jiao tong University, 2012, 46(2): 178-183, 189.

[6] Qiao X, Bao J H, Zhang H, et al. Underwater Image Quality Enhancement of Sea Cucumbers Based on Improved Histogram Equalization and Wavelet Transform[J]. Information Processing in Agriculture, 2017, 4(3): 206-213.

[7] 郭祥云, 王文胜, 刘亚辉, 等. 基于深度残差网络的水下海参自动识别研究[J]. 数学的实践与认识, 2019, 49 (13): 203-212.Guo Xiang-yun, Wang Wen-sheng, Liu Ya-hui, et al. Automatic Identification of Underwater Sea Cucumber Based on Depth Residual Network[J]. Practice and Understanding of Mathematics, 2019, 49(13): 203-212.

[8] 郭祥云, 胡敏, 王文胜, 等. 基于深度学习的非结构环境下海参实时识别算法[J]. 北京信息科技大学学报(自然科学版), 2019, 34(3): 27-31.Guo Xiang-yun, Hu Min, Wang Wen-sheng, et al. Real Time Recognition Algorithm of Sea Cucumber in Unstructured Environment Based on Deep Learning[J]. Journal of Beijing University of Information Technology (Natural Science Edition), 2019, 34(3): 27-31.

[9] 吴春阳. 基于卷积神经网络的水下海参目标检测系统设计与实现[D]. 哈尔滨: 哈尔滨工程大学, 2018.

[10] Li J, Xu C, Jiang L, et al. Detection and Analysis of Behavior Trajectory for Sea Cucumbers Based on Deep Learning[J]. IEEE Access, 2020, 8: 18832-18840.

[11] 崔尚, 段志威, 李国平, 等. 基于Sobel改进算子的海参图像识别研究[J]. 电脑知识与技术, 2018, 14(22): 145-146.Cui Shang, Duan Zhi-wei, Li Guo-ping, et al. Sea Cucumber Image Recognition Based on Sobel Improved Operator[J]. Computer Knowledge and Technology, 2018, 14(22): 145-146.

[12] 皮志锋. 海参捕捞机器人技术研究[D]. 哈尔滨: 哈尔滨工程大学, 2017.

[13] 乔曦. 基于水下机器视觉的海参实时识别研究[D]. 北京: 中国农业大学, 2017.

[14] 李娟, 朱学岩, 葛凤丽, 等. 基于计算机视觉的水下海参识别方法研究[J]. 中国农机化学报, 2020, 41(7): 171-177.Li Juan, Zhu Xue-yan, Ge Feng-li, et al. Direction Ellipse Fitting of Sea Cucumber Contour Recognition Method of Underwater Sea Cucumber Based on Computer Vision[J]. China Agricultural Machinery Chemical Journal, 2020, 41(7): 171-177.

[15] Qiao X, Bao J H, Zeng L H, et al. An Automatic Active Contour Method for Sea Cucumber Segmentation in Natural Underwater Environments[J]. Computers and Electronics in Agriculture, 2017(135): 134-142.

[16] 郭传鑫, 李振波, 乔曦, 等. 基于融合显著图与Grab Cut算法的水下海参图像分割[J]. 农业机械学报, 2015, 46(S1): 147-152.Guo Chuan-xin, Li Zhen-bo, Qiao Xi, et al. Image Segmentation of Underwater Sea Cucumber Using Grab Cut with Saliency Map[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(S1): 147-152.

[17] 刘吉伟, 魏鸿磊, 裴起潮, 等. 采用相关滤波的水下海参目标跟踪[J]. 智能系统学报, 2019, 14(3): 525-532.Liu Ji-wei, Wei Hong-lei, Pei Qi-chao, et al. Underwater Sea Cucumber Target Tracking Using Correlation Filtering[J]. Journal of Intelligent Systems, 2019, 14(3): 525-532.

[18] 彭丹妮. 海参自动捕捞中的目标跟踪技术研究[D]. 大连: 大连工业大学, 2017.

Underwater Sea Cucumber Identification and Localization Method Based on Image Processing

ZHANG Yun-feng1,2, LI Juan2, LI Ming1

(1. College of Engineering, Ocean University of China, Qingdao 266100, China; 2. College of Mechanical and Electrical Engineering, Qingdao Agricultural University, Qingdao 266109, China)

An image processing algorithm for sea cucumber identification and localization is proposed to solve the problem of sea cucumber identification and localization in complex environment. First, based on image preprocessing, a fuzzy enhanced fusion RGB sea cucumber thorn and sea cucumber trunk prominent feature algorithm is designed to highlight sea cucumber target features. The outline of a sea cucumber is extracted using an improved image segmentation method, andthe linked list method is used to remove false edges and morphological outline optimization, which is necessary to identify the sea cucumber target. The localization of sea cucumber target can be divided into two cases:a sea cucumber target with a regular shape that is located by one-time ellipse fitting, and a sea cucumber target with an irregular shape that is located by extracting the target direction feature of the sea cucumber and designing a quadratic fitting algorithm based on the least external rectangle direction ellipse. Simulation results reveal that the algorithm can effectively identify and locate sea cucumber target, determine the volume of sea cucumber, and ultimately provide an effective method for sustainable and automatic fishing of sea cucumbers.

sea cucumber; image processing; identification and localization; direction feature

TP391.41; S979

A

2096-3920(2021)01-0111-13

10.11993/j.issn.2096-3920.2021.01.016

张韫峰, 李娟, 黎明. 基于图像处理的水下海参识别和定位方法[J]. 水下无人系统学报, 2021, 29(1): 111-123.

2020-01-07;

2020-04-24.

国家自然科学基金项目(32073029; 41674037); 山东省自然科学基金重点项目(ZR202010310016); 山东省研究生教育质量提升计划项目(SDYJG19134); 山东省大数据驱动的复杂系统安全控制技术重点实验室(筹)开放基金(SKDK 202002).

张韫峰(1996-), 男, 在读硕士, 主要研究方向为智能检测与智能控制.

(责任编辑: 陈 曦)