基于计算机视觉的梭子蟹蜕壳检测及不同背景对蜕壳的影响

王　斌， 徐建瑜， 王春琳

(1 宁波大学信息科学与工程学院，浙江 宁波 315211；2 宁波大学海洋学院，浙江 宁波 315211)



基于计算机视觉的梭子蟹蜕壳检测及不同背景对蜕壳的影响

王斌1， 徐建瑜1， 王春琳2

(1 宁波大学信息科学与工程学院，浙江 宁波 315211；2 宁波大学海洋学院，浙江 宁波 315211)

摘要：为研究不同背景(白色无沙、蓝色无沙、蓝色有沙)对三疣梭子蟹(Portunus trituberculatus)蜕壳持续时长与蜕壳周期的影响，搭建了3组24 h连续拍摄梭子蟹蜕壳的循环水养殖实验环境，从稚蟹5期开始拍摄不同背景下养殖的梭子蟹30 d，并设计了一种基于计算机视觉技术的梭子蟹蜕壳自动检测方案。该方案运用了图像处理中数学形态学方法成功实现了无沙背景的蜕壳自动检测，检测准确率达到97.9%，同时训练Adaboost分类器自动检测有沙背景的蜕壳行为，准确率达到79.5%。结果显示，蓝色有沙背景组的梭子蟹蜕壳持续时长缩短了15.3%，蜕壳周期缩了12.0%，梭子蟹蜕壳时间主要集中在3∶00—6∶00及18∶00—21∶00两个时段。研究表明，三疣梭子蟹更适合在有沙背景中蜕壳。

关键词：三疣梭子蟹；背景选择；蜕壳；计算机视觉；自动检测

三疣梭子蟹(Portunustrituberculatus)作为大型海产经济类蟹，是我国重要的水产养殖品种之一[1]。三疣梭子蟹一生蜕壳13次左右，每次蜕壳都是梭子蟹生长的关键时刻。影响梭子蟹蜕壳生长的因素有很多，如：高温可以加快梭子蟹蜕壳后的硬化速度[2]，高盐度会抑制梭子蟹新壳的硬化[3-4]，梭子蟹可以通过水中溶氧含量调节生理成分指标[3,5]，在1 500 lx光照强度下受到的胁迫小、代谢水平高[6]等。背景环境对水产生物生长的影响(增长率、能量消耗、存活率、觅食、色变、光谱敏感度)也一直受到关注[7-10]。但是，关于不同背景对梭子蟹蜕壳生长影响的研究尚未见报导。

计算机视觉技术在水产养殖中包括生物计数、尺寸和重量估计、性别鉴定和质量评估、物种和品种鉴定、状态检测等方面[11-13]的应用越来越广泛，利用计算机视觉技术不仅可以有效地减少量化数据带来的主观误差，而且也可以方便地获取手工测量难以得到的数据。为此，提出了一种基于计算机视觉的梭子蟹蜕壳自动检测方法，并在此基础上分析了不同背景对梭子蟹蜕壳的影响。

1材料与方法

1.1试验材料

三疣梭子蟹样本于2014年7—8月捕自浙江省宁波市象山县鑫亿鲜活水产有限公司养殖场内，所有梭子蟹样本都为稚蟹5期，且保持健康活跃的状态，并在水箱中适应一段时间。

梭子蟹蜕壳图像采集装置由实验装置盒、三脚架、Basler工业相机和计算机组成(图1)。蟹盒为亚克力材料制成，尺寸为48 cm×36 cm×12 cm，外部有不同颜色的贴纸，蟹盒中的九宫格通过小孔保持水源流通，水循环系统保持与相同外界水源的流通，并实时记录该水源的水温、溶氧、盐度、pH等。3个独立的摄像头分辨率均为1 600 pix×1 200 pix，夜间采用850 nm的红外光源照明拍摄，每个摄像头同时拍摄9只梭子蟹，并实时通过千兆交换机把拍摄视频传输到计算机上，再根据算法程序自动检测梭子蟹是否蜕壳。

1.梭子蟹　2.摄像头　3.蟹盒　4.计算机　5.交换机6.三脚架　7.进水口　8.出水口图1　图像采集示意图Fig.1　Diagram of image acquisition

1.2试验方法

试验开始前，为避免外界细菌感染梭子蟹，需对蟹盒装置和细沙进行高锰酸钾消毒。然后调整三脚架的高度和相机的焦距，使整个拍摄画面清晰、完整。

实验背景分为白色无沙、蓝色无沙和蓝色有沙，每个背景下选择9只梭子蟹样本进行观察，直到梭子蟹蜕壳2次达到第7期为止。因为无法判断梭子蟹第5期的蜕壳时间，所以本文计算的是第6期至第7期的蜕壳天数。实验过程中，海水温度26～29 ℃，溶氧6.5～8.0 mg/L，盐度21～25，pH 7～8。实验进行了30 d，基本保证了每只蟹都蜕壳2次。拍摄视频的帧速为1 FPS，视频的编码方式为Xvid视频编码，视频的输出格式为.avi。

利用计算机视觉技术自动识别梭子蟹的蜕壳行为，是根据蜕壳后梭子蟹的壳变为2个来识别检测的。在无沙背景下比较容易分辨出梭子蟹的蜕壳行为，主要从图像处理角度来设计蜕壳检测算法；而有沙背景与梭子蟹的壳色比较相近，较难分辨出来，因此采用机器学习训练分类器的方法来设计蜕壳检测算法。

2蜕壳检测

2.1无沙背景下的蜕壳检测

在白色无沙与蓝色无沙背景下，运用数字图像处理中数学形态学[14]的方法，通过分割两个不同的最大连通域来分辨2个不同的蟹壳，从而检测梭子蟹的蜕壳行为(图2)。

图2　无沙背景下的蜕壳图像处理Fig.2　Processes of molting image in non-sand background

图2a为蜕壳原灰度图，使用OTSU法[15]二值化原图，得到二值化图像(图2b)，由图2b看出依然有比较多的噪声点，且两个蟹壳连在一起；再选择大小为7×7的结构元素，通过开运算来去除部分噪声，同时可以分隔开两个蟹壳区域(图2c)；图2d是图2c的连通域，根据连通域面积大于200像素且长宽比大于1/3来筛选出蟹壳区域(图2e)；图2f是限制长宽比得到的结果图，最终成功得到两个蟹壳连通域图像。

2.2有沙背景下的蜕壳检测

由于有沙背景比较复杂，且与蟹壳图像的灰度值相近，所以通过数字图像处理的方法不易得到2个蟹壳图像来判断梭子蟹是否蜕壳。因此将通过训练梭子蟹蟹壳分类器的方法来识别蟹壳。首先通过提前收集好的梭子蟹图像与蟹壳图像离线训练分类器，然后使用穷尽匹配的方式进行在线蟹壳目标检测，其中最重要的是选择特征，建立一个分类器。检测梭子蟹蜕壳分为训练分类器和使用分类器两部分(图3)。

2.2.1训练分类器

训练分类器(图4)的核心思想是采用Adaboost算法[16]训练梭子蟹模型。具体训练梭子蟹分类器主要步骤如下：

(1)准备训练集。收集各种条件下的梭子蟹图片500张，并将其归一化为24×24像素大小，并加以旋转和调节亮度处理形成2 000张作为正样本。选择不含有梭子蟹的图片2 000张作为负

图3　有沙背景下的蜕壳检测流程图Fig.3　Flow chart of molting detection in sand background

样本，为了保证训练分类器的鲁棒性，负样本的图片应保证多样性。

(2)提取特征。训练一个好的梭子蟹模型，关键是选择一些适合的梭子蟹特征。比较优秀的局部特征有Haar-like[17]特征和LBP特征[18]，可以根据需要选择适合的模型特征。本文选择Haar-like特征，通过特征模板在图像中移动，根据积分图运算法则计算梭子蟹图像的Haar-like特征。

(3)生成弱分类器。每一个Haar-like 特征都对应着一个弱分类器，每一个弱分类器都是根据它所对应的Haar-like特征的参数来定义的。训练最优弱分类器的过程实际上就是在寻找合适的分类器阈值，使该分类器对所有样本的判读误差最低。

(4)根据误差率最小原理来挑选最优的弱分类器，并根据误差率来计算每个弱分类器相应权重，最后当误差率小于阈值时，即可联成一个强分类器。

图4　Adaboost训练流程图Fig.4　Flow chart of training classifier with Adaboost

2.2.2使用分类器

利用已经训练好的分类器来检测梭子蟹蜕壳。使用分类器主要分为以下两个部分：(1)遍历图像，选择各种尺度，遍历梭子蟹蜕壳视频图像，以便识别不同大小的目标图像。(2)特征提取与比较，选择相应的Haar-like特征，然后从上述遍历的图像部分提取特征，再与训练好的梭子蟹模型比较，判断所遍历区域是否是梭子蟹。若遍历的整个图像有两个梭子蟹模型，则判断梭子蟹已蜕壳。图5a为蜕壳前检测出一个蟹壳，图5b检测出2个蟹壳，即被认为是蜕壳后。

a　　　　　　　　　　　b图5　基于Adaboost算法的蟹壳检测结果Fig.5　Result of detection based on Adaboost

2.3蜕壳检测算法结果

蜕壳检测算法预测的结果可以用准确率P、召回率R、分值S来衡量，计算公式分别为：

式中：TP—真正类(true positive)，即实例是正类，也被预测成正类；TN—真假类(true negative)，即实例是负类，也被预测成负类(表1)；FP—假正类(false positive)，即实例是负类，也被预测成正类；FN—假负类(false negative)，即正类被预测成负类。本文选择了50个蜕壳的正样本和50个未蜕壳的负样本进行测试，无沙与有沙背景检测蜕壳结果见表1。由表1可知，无沙背景的score分值高达94.9%，有沙背景的score分值为74.5%，基本可以满足梭子蟹蜕壳的预测。

表1　无沙与有沙背景下检测蜕壳预测结果

3试验结果

3.1蜕壳持续时长

梭子蟹蜕壳时是其最为脆弱的时刻，也容易受到同类或其他物种的袭击，所以蜕壳持续时间越长受到攻击的概率也就越大。同时，在蜕壳过程中，梭子蟹容易受到外界环境的干扰而蜕壳未遂，造成断肢或死亡，因而蜕壳持续时间越短，顺利蜕壳的可能性也就越大。

蜕壳持续时长的计算是从梭子蟹尾壳微微裂开(图6a)到新蟹完全从蟹壳蜕出(图6b)。

图6　梭子蟹蜕壳始末Fig.6　Diagram of molting start and end

蜕壳的持续时长可以从梭子蟹蜕壳的视频中计算出来，表2是不同背景中梭子蟹的蜕壳持续时间。从表中可以看出，蓝色有沙背景比其它2个对照组的蜕壳平均持续时间缩短了15.3%，白色无沙与蓝色无沙的蜕壳持续时长基本相同。

表2　不同背景下的蜕壳持续时长

注：“—”表示梭子蟹蜕壳死亡，下同。

3.2蜕壳周期

蜕壳周期是指梭子蟹2次蜕壳的时间间隔，文中计算的是第6期到第7期的蜕壳周期。不同背景的蜕壳周期见表3。可以看出，有沙的蜕壳周期会缩短12.6%，而白色无沙和蓝色无沙背景的蜕壳周期基本相同。

表3　不同背景下的蜕壳周期

3.3蜕壳时间点分布

分析蜕壳时间点有助于判断梭子蟹更倾向于在哪个时间段发生蜕壳行为。总共拍摄到54次梭子蟹的具体蜕壳时间(图7)。可以看出，梭子蟹蜕壳时刻主要集中在3∶00—6∶00及18∶00—21∶00两个时段，而其他时间段比较随机。

图7　蜕壳时间直方图Fig.7　Histogram of molting time

4讨论

4.1蜕壳检测算法

蜕壳检测算法中，无沙背景的score分值高达94.9%，基本可以满足梭子蟹蜕壳的预测。正样本中有4例被错误预测成负样本是因为：一是2个蟹壳比较靠近没有分割开来，二是大面积的喂养饵料被误认为是蟹壳。此外，面积法[19]也是一种计算蜕壳检测的方法，即前景像素大于阈值时规定为蜕壳，但此方法易受残饵、粪便、边缘等因素干扰。

有沙背景的score分值为74.5%，原因可能是由于梭子蟹蜕壳的训练样本比较少，从而使正样本被分类成正样本的数目比较少。从有沙蜕壳图(图5)可以看出，蟹壳与背景沙子的颜色比较接近，但蟹壳纹理特征比较光滑，所以下一步可以尝试替换局部区域特征来替换Haar-like特征来训练分类器，提高识别率。

4.2不同背景对蜕壳的影响

蜕壳是甲壳类生物生长的必经过程，从幼体到成体，需要经历多次蜕壳。蜕壳持续时长、蜕壳周期与蜕壳时间点分布，除与甲壳类生物本身有关外，还取决于外界的环境因素，例如生长的背景环境。不同的背景环境下，甲壳类蜕壳情况差异较大。

研究结果表明，三疣梭子蟹在蓝色有沙背景中比其它2个对照组的蜕壳平均持续时间缩短了15.3%，其原因可能是因为梭子蟹在自然环境下习惯于有沙背景，容易找到遮蔽物保护自己顺利蜕壳，也有可能是因为有沙背景摩擦力大，更利于蜕壳。有沙背景的蜕壳周期会缩短12.6%，而在无沙的白色和蓝色背景下，蜕壳周期基本相同，所以优先选择有沙背景进行软壳蟹的养殖，但这也增加了蜕壳识别的难度。蜕壳周期的缩短有利于梭子蟹上市时间的提前，而且可以在一定程度上减少饵料的消耗。梭子蟹蜕壳时刻主要集中在3∶00—6∶00及18∶00—21∶00两个时段，可能是这两个时段是天黑，梭子蟹蜕壳更加安全。蜕壳时间分布规律对后期生产软壳蟹有指导意义。

5结论

三疣梭子蟹的蜕壳是梭子蟹生命中尤为重要的阶段。本文基于计算机视觉技术实现了梭子蟹蜕壳的自动检测，并探讨了不同背景对梭子蟹蜕壳持续时长和蜕壳周期的影响，从而选择更加适合梭子蟹蜕壳的外界背景环境。结果显示，梭子蟹更适合在有沙背景中蜕壳，但有沙背景增加了养殖过程中水循环处理净化的难度，同时也增加了梭子蟹蜕壳自动检测的难度，而梭子蟹蜕壳检测是后续软壳蟹大批量生产的重要环节。本文分别利用不同的方法检测了梭子蟹的蜕壳行为，无沙背景的检测更为简单有效，有沙背景与梭子蟹的颜色比较接近，因此选择模式识别训练分类器的方法来识别蜕壳。为了得到更加严谨和全面的结论，增加每组背景环境中梭子蟹的数量，同时考虑尽可能多的蜕壳期数，是未来实验研究方向之一。

□

参考文献

[1]史会来,金翀略,林桂装,等.浙江三疣梭子蟹养殖现状[J].河北渔业, 2010 (7)：39-41.

[2]戴超.温度对三疣梭子蟹蜕壳、钙化生理及呼吸代谢的影响[D].青岛：中国海洋大学, 2013.

[3]张贵.溶解氧、盐度、氨氮、亚硝酸盐氮对三疣梭子蟹存活和摄饵的影响[D].湛江：广东海洋大学, 2012.

[4]路允良,王芳,赵卓英,等. 盐度对三疣梭子蟹生长, 蜕壳及能量利用的影响[J].中国水产科学, 2012, 19(2)：237-245.

[5]LIU C B, XIAO M, FENG Y H,etal. Effects of water dissolved oxygen level on physiological responses in portunus trituberculatus (Miers, 1876) [J]. Chinese Journal of Animal Nutrition, 2011, 3：23-25.

[6]王馨.光照对三疣梭子蟹行为, 呼吸代谢和生长影响的研究[D].青岛：中国海洋大学, 2014.

[7]PAPOUTSOGLOU S E, KARAKATSOULI N, CHIRAS G. Dietary L-tryptophan and tank colour effects on growth performance of rainbow trout (Oncorhynchus mykiss) juveniles reared in a recirculating water system[J]. Aquacultural engineering, 2005, 32(2)：277-284.

[8]MARTINEZ-CARDENAS L, PURSER G J. Effect of tank colour on Artemia ingestion, growth and survival in cultured early juvenile pot-bellied seahorses (Hippocampusabdominalis)[J]. Aquaculture, 2007, 264(1)：92-100.

[9]ULLMANN J F P, GALLAGHER T, HART N S,etal. Tank color increases growth, and alters color preference and spectral sensitivity, in barramundi (Latescalcarifer)[J]. Aquaculture, 2011, 322：235-240.

[10]BATZINA A, KARAKATSOULI N. Is it the blue gravel substrate or only its blue color that improves growth and reduces aggressive behavior of gilthead seabream Sparus aurata?[J]. Aquacultural Engineering, 2014, 62：49-53.

[11]ZION B. The use of computer vision technologies in aquaculture-a review[J]. Computers and electronics in agriculture, 2012, 88：125-132.

[12]徐建瑜,崔绍荣,苗香雯,等.计算机视觉技术在水产养殖中的应用与展望[J].农业工程学报, 2006, 21(8)：174-178.

[13]穆春华,范良忠,刘鹰.基于计算机视觉的循环水养殖系统残饵识别研究[J].渔业现代化, 2015, 42(2)：33-37.

[14]王树文,闫成新,张天序,等.数学形态学在图像处理中的应用[J].计算机工程与应用, 2005, 40(32)：89-92.

[15]OTSU N. A threshold selection method from gray-level histograms[J]. Automatica, 1975, 11(285-296)：23-27.

[16]FREUND Y, SCHAPIRE R E. Experiments with a new boosting algorithm[C]//ICML, 1996, 96：148-156.

[17]VIOLA P, JONES M. Rapid object detection using a boosted cascade of simple features[C]//CVPR, 2001, 1：511-518.

[19]王硕,范良忠,刘鹰. 基于计算机视觉的大菱鲆鱼苗计数方法研究[J].渔业现代化, 2015, 42(1)：16-19.

Computer-vision based molting detection ofPortunustritubercularusand effects of different backgrounds on molting

WANG Bin1， XU Jianyu1， WANG Chunlin2

(1FacultyofInformationScienceandTechnology,NingboUniversity,Ningbo315211,China;2SchoolofMarineScience,NingboUniversity,Ningbo315211,China)

Abstract：To observe the impacts of different backgrounds (white without sand, blue without sand, and blue with sand) on molting duration and molting cycle of Portunus tritubercularus, 3 groups of experimental aquaculture environment were built up with circulating water and 24-hour continuous monitoring. All crabs in the three different backgrounds were observed for 30 days since they grew into fifth-period juveniles, and a detection scheme for crab molting based on computer vision was designed, which, by using the mathematical morphology method of image processing, successfully realized the automatic detection of molting in the background without sand with a precision rate of 97.9%; meanwhile, molting of the with-sand group was detected using Adaboost classifier and the precision rate was 79.5%. The data showed that molting duration was reduced by 15.3% and molting cycle was shortened by 12.0% in the blue with sand group. Besides, molting activity occurred at two peak times respectively between 3∶00- 6∶ 00 and 18∶00-21∶ 00. Therefore, Portunus tritubercularus prefers molting in sand background.

Key words：Portunus tritubercularus; background selection; molting; computer vision; detection

中图分类号：TP391

文献标志码：A

文章编号：1007-9580(2016)02-011-06

DOI：10.3969/j.issn.1007-9580.2016.02.003

作者简介：王斌(1990—)，男，硕士研究生，研究方向：图像处理与机器视觉。E-mail：beenkinger@gmail.com通信作者：徐建瑜(1973—)，女，副教授，博士，研究方向：生物图像处理与水产养殖工程。E-mail：xujianyu@nbu.edu.cn

基金项目：宁波大学学科项目“水产养殖苗期生物信息获取关键技术研究(XKL 14D2052)”；浙江省重大科技攻关专项“智能集约化水产养殖生物信息识别系统的研发(2011B81003)”

收稿日期：2016-01-21修回日期：2016-03-18