马国强,田云臣,2,李晓岚
(1.天津农学院 计算机与信息工程学院,天津 300384;2.天津市水产生态与养殖重点实验室,天津 300384)
基于不规则图像面积测量的窄体舌鳎个体重量估计*
马国强1,田云臣1,2,李晓岚1
(1.天津农学院 计算机与信息工程学院,天津 300384;2.天津市水产生态与养殖重点实验室,天津 300384)
对工厂化水产养殖来说,生产过程中的活鱼分级、分塘环节十分关键,非接触式、无伤害一直是追求的目标。通过数字图像处理技术,得到窄体舌鳎扁平面不规则图像并测算了其面积。采用一元线性回归模型,分析了鱼的重量和扁平面面积的关系,实验结果表明,二者存在着一定的线性关系,相关系数为0.380 7。下一步的研究需要考虑到不同生长阶段的舌鳎鱼体厚度等因素影响,找出二者之间更准确的模型关系,为非接触式测量重量和分级提供支持。
水产养殖;图像处理;面积测量
引用格式:马国强,田云臣,李晓岚. 基于不规则图像面积测量的窄体舌鳎个体重量估计[J].微型机与应用,2016,35(16):67-71.
近年来,伴随社会经济的发展,人们在日常生活饮食消费中,对水产品尤其是高档海水养殖的水产品需求越来越大。与此同时,海水工厂化水产养殖的供给量已经超过海水捕捞的供给量,成为水产业的重要生产方式。
窄体舌鳎俗名舌鳎、鞋底鱼,舌鳎科,属于暖温带浅海底层鱼,是海洋名贵经济鱼类之一。舌鳎科的鱼广泛分布于热带与温带海域,我国已知有2亚科、4属、23种。
在水产工厂化养殖技术的发展过程中,科技人员不断探索各种新技术以实现更高层次的智能化养殖模式。计算机视觉技术就是其中很重要的领域。史兵[1]设计了一种利用数字图像处理技术对养殖现场中鱼类生长情况实现监控的系统。冯子慧[2]设计和实现了水产养殖病害动态图像的采集和远程传输,并能进行实时沟通,及时反馈诊断结果。刘星桥[3]利用计算机数字图像处理技术,应用MATLAB 软件强大的图像处理功能,实时监视池塘现场的情况,经过计算机的处理,分析现场情况,使鱼类生长情况始终处于控制之中。还可以建立监控画面,进行实时视频监控,以早期发现鱼类生长过程中的鱼变等变异情况。张志强[4]将鲶鱼、鲫鱼、鳊鱼、鲤鱼作为研究对象,通过对鱼图像的分析和处理,对淡水鱼识别的成功率高达96.7%。DUAN Y等人[5]利用计算机视觉技术对大西洋黑线鳕鱼和大西洋鳕鱼两种活鱼卵进行了计数实验,与人工计数相比,平均计数误差的假阳性为6%,假阴性为2%。这表明,该方法是客观的,准确的。Liu Huanyu等人[6]使用带LED灯水下摄像机获得的罐底剩余的鱼食颗粒图像,再使用图像处理技术,对养殖池底的剩余鱼食颗粒图像进行分析,计算出颗粒的剩余量,减少鱼食浪费,一方面可以避免剩余鱼食对水质的污染,另一方面可以降低饲料成本。WU T H等人[7]为水产饲喂决策开发了一套自适应神经模糊推理系统(ANFIS), 使用一个简单的循环水养殖池中饲养的银鲈作实验,通过测量池中的溶解氧含量,开发一个模糊逻辑控制器FLC。在模糊逻辑控制器的等价ANFIS中,设置两个语言学变量来描述鱼群的觅食的状态,建立由15个规则构成的规则库。使用一种基于人工神经网络的模糊逻辑技术的复合式学习方法,快速对语言变量建立模型和评价其相对贡献,得到的ANFIS模型非常接近鱼类的实际觅食行为。Liu Ziyi等人[8]介绍了使用计算机视觉测量大西洋鲑鱼的觅食行为的一个方法。使用CCD相机记录了大西洋鲑鱼在饲养箱里的觅食行为,使用鱼运动的帧差进行觅食行为分析,定义了基于计算机视觉和给定时间段的摄食活动指数作为测量指标cvfai。为了评估cvfai的可靠性,定义了人工观察的摄食行为因子,随时进行记录。实验表明,这两种因子成线性关系,相关系数为0.919 5。
PAPADAKIS V M等人[9]设计了一种可在亚秒(1/10 s)级对鱼类行为视频进行拍摄、传输、存储的计算机视觉系统。该系统的3个工作站每天产生30 GB的视频数据。
本文首先使用电子天平对单条窄体舌鳎称重,并利用数字图像获取和处理技术得到窄体舌鳎扁平面的二值化图像;然后,通过与标准物件像素数的对比,计算窄体舌鳎扁平面不规则图像的面积;最后,计算舌鳎重量和扁平面面积的一元线性回归模型,计算相关系数,分析相关性。实验结果表明,相关系数为0.380 7,二者具有一定的相关性。
图像测量是指对图像中目标或区域的特征进行测量和估计。广义的图像测量包括对图像的灰度特征、纹理特征和几何特征的测量和描述。狭义图像测量仅指对图像目标几何特征的测量,比如长度、区域面积、欧氏距离、街区距离、棋盘距离以及空间关系等[10]。
图像测量的一般步骤包括原始图像获取、图像增强、图像复原、图像分割、待测量的目标区域图像提取,然后进行目标区域图像的相关特征测量。
本研究的图像处理步骤如下。
1.1原始图像获取
图像获取是指通过图像获取设备得到现实世界中物体的数字图像的过程。简单地说,就是使用扫描仪、数码相机等图像获取设备得到数码照片文件的过程。一般来说,图像获取设备的性能和采集图像的环境是影响数字图像质量的重要因素[11-12]。
图像分辨率和色彩位数是决定图像质量的重要参数。这里采用1 600万像素的数码相机获取24位真彩图像。
1.2图像转换
图像转换是指通过计算公式,将真彩图像的RGB值转换为灰度图像的灰度值。具体来说,就是根据经验公式(1),将每个真彩像素点的RGB值转换为该像素点的灰度值。这样,对整幅图像来说,就从真彩图像转换成了灰度图像。
Gray=R×0.299+G×0.587+B×0.114
(1)
1.3图像增强
图像增强的目的是改善图像的视觉效果,针对给定图像的应用场合,有目的地强调图像的整体或局部特性,将原来不清晰的图像变得清晰或强调某些感兴趣的特征,扩大图像中不同物体特征之间的差别,抑制不感兴趣的特征,以改善图像质量,丰富信息量,加强图像判读和识别效果,满足某些特殊分析的需要。
从技术上来说图像增强可以分为两大类:空间域图像增强和频域图像增强。其中空间域图像增强是指直接对图像的像素进行处理,也就是改变图像中像素的灰度值[13]。线性灰度变换就是最常用的一种空间域图像增强方法。
假定原图像f(x,y)的灰度范围为[a,b],经过线性变换后,输出图像的灰度范围为[c,d],则该线性变换公式可表示为:
(2)
如果数字图像的灰度范围为0~M,但是大部分像素的灰度值落在[a,b]内,只有很小部分像素的灰度值不在该区间内,用式(2)一般不能得到很好的效果。为了改善增强图像的视觉效果,用下式进行增强:
(3)
该方法将灰度值小于a的像素的灰度值全部映射为c,将灰度值大于b的像素的灰度值全部映射为d。很明显,增强后的图像损失了灰度值小于a和大于b的信息。
1.4图像分割
图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是从图像处理到图像分析的关键步骤。现有的图像分割方法主要分以下几类:基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。
阈值分割是一种简单有效的图像分割方法,尤其是针对图像中只有目标和背景两类像素的灰度图像。该方法用一个或几个阈值将图像的灰度级分为几部分,将隶属于同一部分的像素视为相同的区域。
最大类间方差法是阈值分割的典型算法,也称为OSTU阈值法。其基本思想和计算方法如下。
(1)把一幅数字图像f(x,y)中的像素按灰度级用阈值T分为C0和C1类,即灰度值小于等于T的归为一类,大于T的归为另一类。
C0={f1(x,y)|fmin≤f(x,y)≤T}
(4)
C1={f2(x,y)|fmax≥f(x,y)>T}
(5)
其中,fmin、fmax分别为图像f(x,y)中灰度的最小值和最大值。
(2)计算各灰度值出现的概率。
(6)
C1出现的总概率为 :
(7)
(3)计算均值。
C0的均值为:
(8)
C1的均值为:
(9)
图像f(x,y)的均值为:
(10)
(4)计算两类的类间方差。
定义两类的类间方差为:
σ2(T)=P0(u-u0)2+P1(u-u1)2
(11)
最大类间方差把两类的类间方差作为阈值选择的判断依据,认为最好的阈值T*应该是使类间方差σ2(T)取得最大值时的阈值,即:
T*={T*|σ2(T*)≥σ2(T),∀T∈[fmin,fmax]}
(12)
该算法的优点是计算简单,稳定有效,适用性比较强,尤其是当图像中目标与背景的灰度值之比较大时,分割效果很好。
1.5图像二值化
在数字图像处理中,二值图像占有非常重要的地位。图像的二值化有利于图像的进一步处理,使图像变得简单,而且数据量减小,能凸显出感兴趣的目标的轮廓。具体来说,图像二值化是指根据图像分割计算得到的阈值T,将图像中所有灰度大于阈值的像素判定为属于特定物体,其灰度值为0(黑色),否则将这些像素点排除在物体区域以外,灰度值为255(白色),表示背景或者例外的物体区域。利用公式(13)可以将灰度图像g(x,y)转换为二值图像b(x,y)。
(13)
1.6目标区域图像提取
经过上述图像处理步骤,可以确定二值图像中黑色部分为目标区域,即灰度值为0的像素构成了目标区域图像。这样,目标区域图像提取就变得十分简单了,直接判定灰度值为0的像素构成了目标区域。
1.7不规则目标区域图像面积计算
不规则目标区域图像面积的计算,一种简单有效的方法是定标法,即总面积的计算可以通过目标区域总的像素个数乘以单个像素对应的面积得到[14]。在求取目标区域总像素个数的时候,在所测目标区域同一个视野内放置一个已知面积的标准物件,由该标准物件的面积除以图像中该标准物件的总像素数,得到单个像素代表的面积。比如使用一元硬币作为标准物件,其直径为25 mm,面积为4.91 cm2。
S单个像素面积=标准物件面积/标准物件总像素个数
(14)
S目标区域面积=S单个像素面积×N目标区域像素个数
(15)
这里,标准物件面积=4.91 cm2。
综上所述,不规则目标区域图像面积测量方法的总体流程如图1所示。
图1 不规则目标区域图像面积测量总体流程图
窄体舌鳎体型扁平,呈长舌状。假定窄体舌鳎个体重量与其身体的扁平面面积成线性关系,采用一元线性回归分析来计算窄体舌鳎个体重量和身体的扁平面面积之间的关系。
2.1一元线性回归分析
(16)
(17)
相关系数r计算公式如下:
(18)
2.2变量的设定
首先,实验选用从市场上购买的窄体舌鳎保鲜鱼作为测试对象,使用电子秤称重(精确到0.1 g);其次,使用普通USB摄像头连接计算机同时拍摄单条鱼和一元硬币图像,再使用MATLAB作为图像处理软件,得到窄体舌鳎鱼体目标区域和一元硬币目标区域;第三步,根据一元硬币的面积和图像区域求出单个像素代表的面积,进而计算出窄体舌鳎图像区域的面积;最后,利用一元线性回归方法分析窄体舌鳎的扁平面面积和其重量的关系,并计算相关系数,分析其相关性。
3.1实验用鱼及称重
实验共选用50条完整无破损、大小不等的窄体舌鳎保鲜鱼。使用天津市天平仪器有限公司生产的TD6001型电子天平进行称重,精度为0.1 g。
3.2摄像头和图像采集系统
摄像头选用奥尼(aoni)百脑通 D881HD720P 高清网络摄像头,CMOS传感器,硬件像素100万,分辨率为1 280×720;使用实验室用三脚架作为拍摄支架;使用白色亚克力板作为三脚架的底板;使用Windwos 7系统自带的ECap(1.0.1.4)视频捕捉软件作为图像采集软件。图像采集部分硬件如图2所示。
图2 图像采集硬件系统示意图
3.3图像处理软件和算法程序
图像处理软件使用MATLAB 2015b。MATLAB自带了图像处理(Image Processing)和计算机视觉(Computer Vision)工具箱,工具箱中提供了大量相关函数。本文中的图像处理程序都是基于工具箱中的函数编写的。用到的图像处理函数有图像增强函数imadjust()、全局阈值计算函数graythresh()、图像二值化函数im2bw()、目标区域图像像素点计算函数numel()和find()等。
3.4鱼体扁平面面积计算
当一幅图像经过上述处理后,首先计算图像中一元硬币的像素数N一元硬币,然后根据公式(14)得到S单个像素面积,再根据公式(14)求得图像中单条窄体舌鳎鱼的扁平面面积。
3.5图像和数据
原始真彩图像、二值化图像如图3所示。
图3 原始真彩图像和二值化图像
图像中一元硬币(标准物件)的像素数和每条鱼的像素数以及计算后每条鱼的扁平面面积见表1(第1~10幅图像的数据)。
表1 一元硬币、窄体舌鳎扁平面面积和像素数(第1~10幅图像)
3.6一元线性回归分析
图4 窄体舌鳎扁平面面积和重量关系图
从分析数据可知,窄体舌鳎个体重量与其扁平面面积存在一定的相关性,相关系数为0.380 7,但是相关性较弱。造成相关性不够强,可能有若干方面的原因:一是线性相关假设是否符合鱼类生长的实际情况,比如不同生长阶段的窄体舌鳎,鱼体厚度不一样;二是保鲜鱼体内的含水量不同等;三是实验用鱼数量过少造成的抽样误差过大。这些都有待于进一步研究。
本文提出了一种利用图像处理技术,通过测量舌鳎扁平面面积,估计其重量的新方法。实验结果表明,该方法具有一定的可行性,但准确性有待提高。需要进一步研究拟合度更高的相关模型公式,为养殖过程中活鱼的非接触式分塘、分级提供支持。
[1] 史兵,赵德安,谢代峰.计算机图像处理技术在水产养殖业中的应用[J].微型机与应用,2004,23(7):46-48.
[2] 冯子慧,王丽娟,杨晶莹,等.水产养殖病害远程动态图像采集与传输系统的组成及实现[J]. 水产科技情报,2014,41(4):180-183.
[3] 刘星桥,李娟,张如通.MATLAB图像处理在水产养殖中的应用[J]. 微计算机信息,2006,22(11-3):300-302.
[4] 张志强. 基于机器视觉的淡水鱼品种识别及重量预测研究[D]. 武汉:华中农业大学,2011.
[5] DUAN Y, STIEN L H, THORSEN Anders, et al. An automatic counting system for transparent pelagicfish eggs based on computer vision[J]. Aquacultural Engineering,2015,67:8-13.
[6] Liu Huanyu, Xu Lihong, Li Dawei. Detection and recognition of uneaten fish food pellets in aquaculture using image processing[J]. Proceedings of the SPIE,Sixth International Conference on Graphic and Image Processing (ICGIP 2014), 2015,9443.
[7] WU T H, HUANG Y I, CHEN J M. Development of an adaptive neural-based fuzzy inference system forfeeding decision-making assessment in silver perch (Bidyanusbidyanus) cultu-re[J]. Aquacultural Engineering, 2015,66:41-51.
[8] Liu Ziyi, Li Xian, Fan Liangzhong, et al. Measuring feeding activity of fish in RAS using computer vision[J]. Aquacultural Engineering,2014,60:20-27.
[9] PAPADAKIS V M, GLAROPOULOS A, KENTOURI M. Sub-second analysis of fish behavior using a novelcomputer-vision system[J]. Aquacultural Engineering,2014,62:36-41.
[10] 图像测量[EB/OL].(2010-10-10)[2016-03-28]http://baike.baidu.com/link?url=A7bWim7JKhrAxuBLPqt-GF59NAtuZNxDcIg 2AHi3IujBn6Zp3IjTm3soo7TNKXzqRmMh-gXPcyyjIbhZuRM3 Aq.
[11]童刚,朱鸿博. 图像处理在红绿灯判别中的应用[J]. 微型机与应用,2013,32(4):88-90,93.
[12]李靖宇,穆伟斌,金成,等. 图像分割在医学图像处理中的应用研究[J]. 微型机与应用,2012,31(8):29-31.
[13] 刘刚. MATLAB数字图像处理[M]. 北京:机械工业出版社, 2010.
[14] Wang Weihua, Zhang Fang, Wang Weiqing. Image area measurement based on horizontal scan line[J]. International Journal of Intelligent Information Technology Application,2009,2(1):8-11.
Individual weight estimation of cynoglossus gracilis based on measurement of irregular image area
Ma Guoqiang1, Tian Yunchen1,2, Li Xiaolan1
(1.School of Computer & Information Engineering, Tianjin Agriculture University, Tianjin 300384, China;2. Tianjin Key Laboratory of Aquatic Ecology and Aquaculture, Tianjin 300384, China)
For aquaculture, the classification of live fish and the deconcentrition of fish into more ponds are very important process. Non-contact and no-harm are always the target of this process. Using the technology of digital image processing, the binary irregular image of cynoglossus gracilis is got and measured. We analyze the relationship between the weight of fish and flat surface area by a linear regression model. The experimental results show that two parameters has a certain linear relationship, and the correlation coefficient is 0.380 7. Further research is needed to account for the effects of different growth stages of cynoglossus gracilis body thickness and other factors, and a more accurate model is needed to identify the relationship between the two parameters, to provide support for the non-contact measurement of weight and classification.
aquaculture; image processing; area measurement
公益性行业(农业)科研专项(201203017);2015年天津市地方标准修订计划(2015-156);天津市科技支撑计划重点项目(14ZCZDNC00009);天津市科技重大专项与工程(15ZXHLNC00080)
TP391.412
A
10.19358/j.issn.1674- 7720.2016.16.020
2016-03-28)
马国强(1973-),男,博士,讲师,主要研究方向:图像处理与模式识别、物联网技术。
田云臣(1967-),通信作者,男,学士,教授,主要研究方向:水产养殖业信息化。E-mail:tianyunchen@tjau.edu.cn。
李晓岚(1976-),女,硕士,讲师,主要研究方向:信息管理与信息系统。