基于近红外机器视觉的鱼类摄食强度评估方法研究

周超 徐大明 吝凯 陈澜 张松 孙传恒 杨信廷

摘   要：在水产养殖中，鱼类的摄食强度可以反映其食欲，准确客观地评估鱼类的摄食强度对指导投喂和生产实践具有重要意义。针对当前鱼类摄食强度评估过程中存在的人工观测效率低、客观性不强的问题，本研究以实现鱼类食欲的自动客观分析为目的，提出了一种基于近红外机器视觉的游泳型鱼类摄食强度的评估方法。首先，利用近红外工业相机搭建了近红外图像采集系统，采集了鱼类摄食过程中的图像。经过一系列图像处理步骤后，利用灰度共生矩阵提取摄食图像的纹理特征变量信息，包括对比度、能量、相关性、逆差距和熵等。之后，将这5个特征变量作为输入向量构建了模型的数据集，并训练了支持向量机分类器。为了提高模型分类的准确率，利用网格搜索法选取支持向量机分类器的最优惩罚系数c和核函数参数g。最后利用训练好的模型将鱼类的摄食强度分为弱、一般、中和强4类，最终实现了鱼类摄食强度的评估。试验结果表明，图像纹理可以较好地描述鱼类摄食过程中的行为变化，正确识别4类摄食强度的准确率达到87.78%，且不需要考虑水花等对成像质量的影响，具有較强的适应性。本方法可用于鱼类食欲的自动客观评估，为后续投喂决策提供理论依据和方法支持。

关键词：水产养殖;近红外机器视觉;鱼类摄食强度评估;支持向量机;投喂决策

中图分类号：S24                  文献标志码：A             文章编号：201812-SA016

周   超， 徐大明， 吝   凯， 陈   澜， 张   松， 孙传恒， 杨信廷. 基于近红外机器视觉的鱼类摄食强度检测方法研究[J]. 智慧农业， 2019， 1（1）： 76-84.

Zhou C， Xu D， Lin K， Chen L， Zhang S， Sun C， Yang X. Evaluation of fish feeding activity in aquaculture based on near infrared machine vision[J]. Smart Agriculture， 2019， 1（1）： 76-84. （in Chinese with English abstract）

1  引言

集约化水产养殖中，鱼类的投喂水平直接决定了养殖效率和生产成本，投喂不足会影响鱼类生长，过量投喂则会降低饲料的转化效率，残留的饵料还会污染环境。鱼类食欲可以通过摄食状况反映，对指导投喂至关重要。根据鱼类食欲自动调整投喂量是近年来研究和发展的趋势[1-5]。

监测和分析鱼类的摄食强度是最直接和有效评估鱼类食欲强弱的方法。在实际生产中，可以通过人工观察评估鱼类的摄食强度，但常常受观察者个人经验等因素的影响，易造成过投喂或者投喂不足，尤其是在商业规模的养殖场，人工观察法大幅提高了劳动和时间成本。因此，迫切需要一种能够自动客观评估鱼类摄食强度的新方法。在以往研究中，Kolarevic等[6]和Rakowitz

等[7]利用高频成像声呐和声学标签获取和量化了鱼类的行为，从而实现鱼类摄食强度的评估。声学技术虽然可以在没有光线的条件下使用，但是受限于其高成本和开发难度，很难真正用于生产实践中[8]。

机器视觉是一种自动非入侵式且经济的监控方法。在以往研究中，已有学者通过利用机器视觉监控了鱼群的摄食行为和饲料消耗程度，进而评估了鱼群摄食情况[9，10]。机器视觉中的帧间差法是常用的获取图像差异的方法，基于此，许多鱼群摄食行为的量化指标被提取出来[11]。例如，Liu等[12]提出的鱼群摄食活性量化指标与人工观测法的线性相关系数可达0.92。在此基础上，Ye等[13]采用光流提取群体的行为特征（速度和转角），并利用胃肠饱满指数和组合熵评估鱼群的摄食强度[14]。赵建团队还提出了一种利用改进动能模型的鱼群摄食强度评估方法，在探测聚集和离散行为方面具有较高的成功率[15，16]。还有学者通过计算摄像机视野范围内鱼群数量，实现摄食激烈程度的量化[17]。以上研究表明，利用机器视觉分析鱼群的摄食行为，进而评估其摄食强度为一种可行且有效的手段[18]，为本研究提供了借鉴和基础。

实践证明，机器视觉非常适用于光照条件较好的场合，比如实验室、网箱、池塘等[19]。然而，在很多设施水产养殖现场都存在光照条件不足和不均匀的问题，导致采集到的大多数图像的噪声比较严重，且对比度低。而近红外在自然光照不足的时候仍能够取得较好的成像效果[20，21]，并且其成本较低、开发相对简单，也不会干扰鱼的正常生长[22]，非常适合用于在光照条件不足的条件下鱼类摄食强度的评估。已经有研究将近红外系统用于鱼类的运动轨迹跟踪并取得了较好的效果[22]。Zhou等[23]利用Delaunay三角剖分评估了低密度养殖条件下的鱼类摄食行为变化。而对于高密度养殖鱼类，可以通过探测鱼类活动引起的水花变化来评估其摄食强度[13]。但是对底栖鱼或小个体鱼类，其摄食活动不足以搅动水面形成水花，方法的应用范围受限制。

在模拟商业化水产养殖现场的基础上，本研究以实现对鱼类食欲的自动、客观评估为目的，提出了一种基于近红外机器视觉的鱼类摄食强度评估方法，利用图像纹理描述了因摄食活动引起的图像变化，利用支持向量机（Support Vector Machine，SVM）构建了摄食活动图像的分类模型，实现了对摄食强度的评估，并比较了模型的性能表现，为实现鱼类投喂的实时反馈和自动控制提供了有价值的信息。

2  材料与方法

2.1  试验系统及对象

本试验在国家精准农业示范基地（北京，昌平）的鱼类养殖实验室中进行。用于图像采集和分析的养殖系统包括6个水槽，每个水槽的直径为1.5m，水深1m（图1）[23]。图像采集和处理通过近红外工业相机（Mako， G-223B）、光源和计算机实现。相机固定到水槽的顶部。图像采集的帧率为1fps。为防止增氧设备的气泡等对图像处理结果的影响，采用风机对生物滤池进行曝气，可显著降低气泡和泡沫对成像结果的影响[24]。同时，为了尽可能避免水面波动，水槽的进水口没至水面以下，且水流沿切线方向进入。计算机被放置在水槽隔壁的控制室内，并通过一根30m长的千兆双绞线与相机连接，减少了由于人类活动引起的鱼类行为异常。图像的采集和分析是利用国家农业信息化工程技术研究中心开发的采集软件CAPNIR（SDK由AVT提供）和MATLAB  实现。

本研究选择15～25cm长的镜鲤为试验对象，购买自养殖有限公司。试验从2017年2月开始，在试验之前，鱼被养殖在系统内4周，溶解氧浓度保持在5～7mg/L之间，水温15～27℃，以適应当时的养殖环境。

本研究方法的流程如图2所示，采集图像后，利用灰度梯度矩阵提取摄食图像的纹理特征，构建了数据集并对SVM分类器训练，最优利用SVM对摄食图像分类，得到评估鱼类摄食强度的4个等级，分别为弱、一般、中、强。

2.2  SVM及参数优化

2.2.1   SVM原理

SVM的核心思想是找到一个与两个相邻数据点距离最大的最优超平面[25]，如图3所示。其中，H为最优超平面，margin为最大幅度，线H1和H2上的样本是支持向量（黑色三角形和正方形）。

2.2.2   核函数及参数优化

本研究中的SVM分类器选用径向基核函数[26]，利用支持向量机库LIBSVM实现[27]。其中，SVM分类器的惩罚系数c和核参数g的选取直接影响分类精度。本研究拟通过交叉验证（Cross Validation， CV），研究基于网格搜索（Grid Search， GS）的SVM参数优化方法，具体步骤如图4所示[28]。

2.3  基于灰度共生矩阵的纹理特征提取

图像纹理分析是机器视觉研究的重要内容。在任何给定的时间和空间，物体的表面都会呈现出纹理，其与图像的颜色信息无关，并可以反映不同图像的空间组成特征。因此，可以使用纹理特征来分析鱼群的摄食活动强度，并利用灰度共生矩阵 （Gray level co-occurrence matrix， GLCM）提取描述图像纹理信息的特征参数。

GLCM反映了图像灰度的变化幅度、相邻间隔、方向等信息。在对纹理进行分析时，一般是基于GLCM提取某些指标来表征纹理的特征，这些特征主要包括对比度、能量、相关性、逆差距和熵等。

（1）逆差矩T1：反映了图像纹理的局部平稳性，即度量图像的纹理局部变化的多少，可以表示为：

（1）

其中，i为任意一点（x， y）的灰度值;j为偏离（x， y）的另一点（x+Δx，y+Δy）的灰度值;N为最大灰度;d为两点间的距离;θ为方向;P（i， j， d， θ）为灰度共生矩阵。

（2）相关性T2：反映灰度共生矩阵的元素值在行或列方向上的相似程度，可以表示为：

（2）

其中，

（3）

（3）能量T3：反映了图像纹理的粗细程度和灰度分布的均匀程度，可以表示为：

（4）

（4）对比度T4：反映图像纹理的深浅程度以及清晰度，可以表示为：

（5）

（5）熵T5：描述图像具有的信息量的度量，表明图像的复杂程度，当复杂程度高时，熵值较大，反之则较小，可以表示为：

（6）

2.4  数据集构建

本研究聘请10位人员通过观察摄食过程中的图像评估鱼摄食过程的剧烈程度。10位人员由4位有经验的研究人员和6位生产人员构成。根据Overli等[29]对鱼类摄食行为的描述方法，将摄食过程的剧烈程度分为4类：弱、一般、中、强，分类标准见表1。SVM对小样本训练集也有较好的效果，因此选择每种摄食强度的图像100帧，其中90%被用作训练集，其余被用作测试集。2.5  性能评价指标

本研究中，利用分类的准确率Accuracy和识别率Recognition两个指标来验证该方法的性能。准确率是正确识别各类摄食强度的能力，最终的值是迭代次数的平均值;识别率是正确识别某类摄食强度的能力，其分别定义如下：

（7）

（8）

其中，Nnum为迭代的次数;n（i）total为第i次迭代的总样本数;n（i）corret为第i次迭代中正确识别的样本数;Nc为正确识别的某类摄食强度集的数量;N为某类摄食强度集的总数。

3  结果与讨论

3.1  摄食强度评估结果

利用GLCM提取图像的5个纹理特征。其中，4种典型摄食强度图像归一化后的特征值如表2所示。经过特征提取后，利用SVM对数据进行训练和检验，对摄食的强度进行评估。

核函数参数值的选择对于实现高精度至关重要。本试验中，随机选取100帧每类标记的图片作为样本，其中360帧作为训练数据，其余作为测试数据。最后，利用训练集数据对SVM分类器进行了训练和测试。SVM分类器的参数c和g的初始范围分别为[2-4， 24]和[2-4， 24]，变化步长为0.5。图5和图6分别为使用GS选择SVM核函数参数的3D视图和等高线图，当参数c和g分别被选取为16和11.31时，SVM相应的平均分类准确率可达到87.78%。结果如表3所示。

图7（a）～（d）分别为4类摄食强度评估的结果例图，分别对应弱、一般、中和强4种摄食强度。因此，SVM可以实现对鱼类摄食强度的评估，为评估鱼类的食欲提供了一种实用的方法。

3.2  方法表现评估

为了进一步评价本方法的整体效果，随机选取了包含4个摄食强度的样本（带标签图像）40个。并利用训练好的SVM分类器进行识别，得到的结果如图8所示，图中真实值为人工观察的结果，预测值为SVM分类器输出的结果。真实值和预测值重合则为正确的识别，反之为错误的识别。红色箭头表示错误识别的示例。可以看出，整体上摄食强度等级识别的准确率较高，说明其与人工观察法的相关性较高。这是由于本方法综合考虑了纹理的粗细、局部变化性、周期性等特征，提取了逆差距、能量、相关性、对比度和熵5种纹理特征，较为完整描述了摄食过程图像的变化。此外，还可以看出错误的识别主要集中于相邻的摄食强度等级之间。

为了评估本方法对每种摄食强度评估的性能，检测了2组测试样本，结果见表4。可以看出，在两组试验中，方法在摄食强度为“中”和“一般”时，其平均识别精度较低，这也与上面的结果一致，说明摄食强度为“强”和“弱”时，特征差距较为明显，识别的准确率也较高。此外，各类摄食图像的识别率均可达到85%以上，说明该方法可以达到较好的效果。

此外，与轨迹跟踪的方法相比较[23]，本文方法考虑的是群体行为，直接提取了纹理特征，不需要目标提取等复杂步骤，也不需要考虑水花等引起的影响，具有较强的适应性，更适合用于高密度的水产养殖中。

4  结论

针对当前鱼类摄食强度评估过程中存在的人工观察法效率低，客观性不强的问题，本研究以实现鱼类食欲自动、客观评估为目的，提出了一种利用近红外机器视觉技术评估水产养殖鱼类摄食强度的方法。主要结论如下：

（1）提出的摄食强度评估方法可以较好地描述摄食过程中图像及鱼类行为变化，识别4类摄食强度（弱、一般、中、强）的准确率达到87.78%，最终实现了摄食强度的评估，可为后续投喂决策提供理论依据和方法支持。

（2）本方法在处理过程中直接提取了5個图像的纹理特征，不需要目标提取等复杂步骤，也不需要考虑水花等对成像质量造成的干扰，更适合用于高密度的水产养殖中。通过与其他方法对比分析可知，提出的方法效果较好，在实际应用时具有较强的适应性。

但是，本研究以镜鲤为例，因摄食习性等存在差异，仍然需要验证本方法在评估其他鱼类摄食强度上的性能表现，以提高其在商业养殖场的适用性。

参考文献

[1]   Wu T， Huang Y， Chen J. Development of an adaptive neural-based fuzzy inference system for feedingdecision-making assessment in silver perch （Bidyanus bidyanus） culture[J]. Aquacultural Engineering， 2015， 66： 41-51.

[2]   Fre M， Alfredsen J A， Gronningsater A. Development of two telemetry-based systems for monitoring the feeding behaviour of Atlantic salmon （Salmo salar L.） in aquaculture sea-cages[J]. Computers and Electronics in Agriculture， 2011， 76（2）： 240-251.

[3]   Saberioon M， Gholizadeh A， Cisar P， et al. Applicationof machine vision systems in aquaculture with emphasis on fish： state-of-the-art and key issues[J]. Reviews in Aquaculture， 2017， 9（4）： 369-387.

[4]   Sun M， Hassan S G， Li D. Models for estimating feed intake in aquaculture： a review[J]. Computers and Electronics in Agriculture， 2016， 127： 425-438.

[5]   Zhou C， Xu D M， Lin K， et al. Intelligent feeding control methods in aquaculture with an emphasis on fish： a review[J]. Reviews in Aquaculture， 2018， 10（4）： 975-993.

[6]   Kolarevic J， Aas-Hansen ？覬， Espmark A， et al. The use of acoustic acceleration transmitter tags for monitoring of Atlantic salmon swimming activity in recirculating aquaculture systems （RAS）[J]. Aquacultural Engineering， 2016， 72-73： 30-39.

[7]   Rakowitz G， Tuser M， Ríha M， et al. Use of high-frequency imaging sonar （DIDSON） to observe fish behaviour towards a surface trawl[J]. FisheriesResearch， 2012， 123-124： 37-48.

[8]   Zion B， Barki A. Ranching fish using acoustic conditioning： Has it reached a dead end？[J]. Aquaculture， 2012， 344-349： 3-11.

[9]   Sadoul B， Evouna Mengues P， Friggens N C， et al. A new method for measuring group behaviours of fish shoals from recorded videos taken in near aquaculture conditions[J]. Aquaculture， 2014， 430： 179-187.

[10]  Atoum Y， Srivastava S， Liu X. Automatic feeding control for dense aquaculture fish tanks[J]. IEEE Signal Processing Letters， 2015， 22（8）： 1089-1093.

[11]  Duarte S， Reig L， Oca J. Measurement of sole activity by digital image analysis[J]. Aquacultural Engineering， 2009， 41（1）： 22-27.

[12]  Liu Z， Li X， Fan L， et al. Measuring feeding activity of fish in RAS using computer vision[J]. Aquacultural Engineering， 2014， 60： 20-27.

[13]  Ye Z， Zhao J， Han Z， et al. Behavioral characteristics and statistics-based imaging techniques in the assessment and optimization of tilapia feeding in a recirculating aquaculture system[J]. Transactions of the ASABE， 2016， 59（1）： 345-355.

[14]  董桂芳， 楊严鸥， 陈路， 等. 斑点叉尾鮰和杂交鲟幼鱼昼夜摄食节律和胃肠排空时间的研究[J]. 水生生物学报， 2013， 37（5）： 876-884.Dong G， Yang Y， Chen L， et al. Diet feeding rhythm and gastrointestinal evacuation time of juvenile channelcatfish and hybrid sturgeon[J]. Acta Hydrobiologica Sinica， 2013， 37（5）： 876-884.

[15]  Zhao J， Gu Z， Shi M， et al. Spatial behavioral characteristics and statistics-based kinetic energy modeling in special behaviors detection of a shoal of fish in a recirculating aquaculture system[J]. Computers and Electronics in Agriculture， 2016， 127： 271-280.

[16]  赵建， 朱松明， 叶章颖， 等. 循环水养殖游泳型鱼类摄食活动强度评估方法研究[J]. 农业机械学报， 2016， 47（8）： 288-293.Zhao J，Zhu S，Ye Z， et al. Assessing method for feeding activity of swimming fishes in RAS[J]. Transactions of the Chinese Society for Agricultural Machinery， 2016， 47（8）： 288-293.

[17]  乔峰， 郑堤， 胡利永， 等. 基于机器视觉实时决策的智能投饵系统研究[J]. 工程设计学报， 2015， （6）： 528-533.Qiao F， Zheng D， Hu L， et al. Research on smart bait casting machine based on machine vision technology[J]. Chinese Journal of Engineering Design. 2015， 22（6）： 528-533.

[18]  Zhou C， Lin K， Xu D， et al. Near infrared computer vision and neuro-fuzzy model-based feeding decision system for fish in aquaculture[J]. Computers andElectronics in Agriculture， 2018， 146： 114-124.

[19]  Xiao G， Feng M， Cheng Z， et al. Water quality monitoring using abnormal tail-beat frequency of crucian carp[J].Ecotoxicology and Environmental Safety， 2015， 111： 185-191.

[20]  Hung C， Tsao S C， Huang K， et al. A highly sensitive underwater video system for use in turbid aquaculture ponds[J]. Scientific Reports， 2016， 6： 31810.

[21]  Zhou C， Yang X， Zhang B， et al. An adaptive imageenhancement method for a recirculating aquaculture system[J]. Scientific Reports， 2017， 7： 6243.

[22]  Pautsina A， Císar P， Stys D， et al. Infrared reflectionsystem for indoor 3D tracking of fish[J]. Aquacultural Engineering， 2015， 69： 7-17.

[23]  Zhou C， Zhang B， Lin K， et al. Near-infrared imaging to quantify the feeding behavior of fish in aquaculture[J]. Computers and Electronics in Agriculture， 2017， 135： 233-241.

[24]  陳彩文， 杜永贵， 周超， 等. 基于图像纹理特征的养殖鱼群摄食活动强度评估[J]. 农业工程学报， 2017， 33（5）： 232-237.Chen C， Du Y， Zhou C， et al. Evaluation of feedingactivity of shoal based on image texture[J]. Transactions of the Chinese Society of Agricultural Engineering， 2017， 33（5）： 232-237.

[25]  Deng X， Wang Q， Chen H， et al. Eggshell crack detection using a wavelet-based support vector machine[J]. Computers and Electronics in Agriculture， 2010， 70（1）： 135-143.

[26]  Robotham H， Bosch P， Gutiérrez-Estrada J C， et al. Acoustic identification of small pelagic fish species in Chile using support vector machines and neural networks[J]. Fisheries Research， 2010， 102（1-2）： 115-122.

[27]  Chang C， Lin C. LIBSVM： alibrary for support vector machines[J]. ACM Transactions on Intelligent Systems and Technology， 2011， 2（3）： 1-27.

[28]  纪昌明， 周婷， 向腾飞， 等. 基于网格搜索和交叉验证的支持向量机在梯级水电系统隐随机调度中的应用[J]. 电力自动化设备. 2014， 34（3）： 125-131.Ji C， Zhou T，Xiang T， et al. Application of support vector machine based on grid search and cross validation in implicit stochastic dispatch of cascaded hydropower stations[J]. Electric Power Automation Equipment. 2014， 34（3）： 125-131

[29]  Overli O， Sorensen C， Nilsson G E. Behavioral indicators of stress-coping style in rainbow trout： do males and females react differently to novelty？[J]. Physiology & Behavior， 2006， 87（3）： 506-512.

Evaluation of fish feeding intensity in aquaculture

based on near-infrared machine vision

Chao Zhou1，2，3，4， Daming Xu1，2，3，4， Kai Lin1，2，3，4， Lan Chen1，2，3，4， Song Zhang1，2，3，4，

Chuanheng Sun1，2，3，4， Xinting Yang1，2，3，4*

（1. Beijing Research Center for Information Technology in Agriculture， Beijing 100097， China; 2. National Engineering Research Center for Information Technology in Agriculture， Beijing 100097， China; 3. National Engineering Laboratory for Agri-product Quality Traceability， Beijing 100097， China; 4. Key Laboratory for Information Technologies in Agriculture， Ministry of Agriculture， Beijing 100097， China）

Abstract： In aquaculture， feeding intensity can directly reflect the appetite of fish， which is of great significance for guiding feeding and productive practice. However， most of the existing fish feeding intensity evaluation methods have problems of low observation efficiency and low objectivity. In this study， a fish feeding intensity evaluation method based on near-infrared machine vision was proposed to achieve an automatic objective evaluation of fish appetite. Firstly， a near-infrared image acquisition system was built by using near-infrared industrial camera. After a series of image processing steps， the gray level co-occurrence matrix was used to extract the texture feature variable information of the image， including contrast， energy， correlation， inverse gap and entropy. Then the data set were constructed by using these five feature variables as input vectors， and the support vector machine classifier was trained. Among them， the optimal penalty coefficient c and kernel function parameter g were selected by grid search. Finally， the trained images were used to classify the feeding images of fish. And ultimately， the evaluation of fish feeding intensity was realized. The results show that the accuracy of the evaluation could reach 87.78%. In addition， this method does not need to consider the impact of reflections， sprays and other factors on image processing results， so it has strong adaptability and can be used for automatic and objective evaluation of fish appetite， thus provide theoretical basis and methodological support for subsequent feeding decisions.

Key words： aquaculture; near-infrared machine vision; feeding activity evaluation; support vector machine; feeding decision