戴 军
(1.苏州工业园区服务外包职业学院智能管理学院 江苏苏州 215123;2.同济大学经济与管理学院 上海 200092)
机器视觉技术主要通过算法模型计算目标图像三维信息特征,自动对目标图像信息进行智能化决策判断,模拟学习人类视觉处理图像信息的一门科学技术[1-3]。它融合了计算机科学、应用数学、统计学和运筹决策学等众多交叉学科知识,成为当前人工智能应用领域的研究热点,已经在无人驾驶、人脸识别、临床医学、航天军工、化工纺织、材料工程、行政治理与农业监测等众多领域实现了较为丰富的场景应用[4-10]。
机器能模仿人阅读学习意味着机器在一定程度上已经具备了人类获取外界信息形成自己知识储备的自动化能力[11-12]。由于采集被测目标图像的特征信息极为复杂,且存在光线强弱、背景阴影、观察角度等诸多动态因素的影响,要让机器真正达到像人类一样轻松地识别目标检测物,且能自如地感知捕捉目标物体的各种特征信息是一件极其困难的事情[13-16]。但机器视觉技术对目标图像的数字化处理已经表现出了强大的智能化识别能力,例如在Image Net(目前世界最大的图像识别数据库)举办的世界机器视觉技术大赛上,机器视觉对目标图像的识别水平曾经一度超越了人类视觉水平,体现出了机器视觉技术对目标物体检测的极大潜能[17]。
近年来农业科学技术领域特别是瓜菜生产和种植方面也逐渐开始了机器视觉技术的应用探索研究,尤其是在一些大规模生产和种植环境或人工视觉难以达到识别要求的农业条件下,利用机器视觉技术代替人工视觉对瓜菜实施智能化检测,通过机器换人不但提升了瓜菜生产和种植的规模化效率,而且能够解决生产和种植人员的专业知识与技术经验不足问题,机器视觉技术的检测结果为瓜菜后续诊断防治和产销工作提供靶向性指导具有十分重要的意义。
通常来说,机器视觉系统主要由光学照明与成像系统模块、信号采集与数字处理系统模块、智能分析决策系统模块和动力控制执行系统模块等组成[18]。系统模块具体包括各种电光源照明设备、光学镜头(定焦、变焦、定光圈等)、工业相机(CCD、CMOS 等)、图像采集卡(PCI、ISA 等)、图像数字化处理设备、各种监视器与传感器、视频与通信、输入输出单元等软硬件构成(图1)。机器视觉的检测技术逻辑机理是依靠机器模拟人类的视觉功能,利用光学成像系统采集目标图像信号,通过图像信号数字化技术提取目标图像信息特征,借助数学算法计算对目标检测物实施精准定位与识别。其中目标图像信号获取与数字化处理分别是机器视觉系统的“视”技术与“觉”技术。“视”技术主要是通过工业相机等图像拍摄设备获取目标检测物的各种图像信号[19-20];“觉”技术主要是对采集送达的图像信号实施数字化处理,包括对目标图像的信号预处理、图像定位与分割、图像特征提取、信号模式分类、图像语义理解等一系列层次处理[21-24],在基于预先设置的允许值等判别条件下输出目标检测物的最终分析结果,完成机器视觉技术对目标检测物的智能化定位、识别、引导与执行等决策功能。
图1 机器视觉的技术机理Fig.1 Technical mechanism of machine vision
在自然因素以及人为因素共同影响下,瓜菜的生产和种植过程难免遭受不同程度的损害,如虫害病害肆虐、水分养分缺失、植株生长变形等,严重影响瓜菜的产量、品质与安全性,因此实时、快速、精准的瓜菜检测机制可以防患于未然。更为关键的是,机器可以7×24 h 全时段地对瓜菜实施监测,且能很好地识别害虫的保护色与隐蔽性,图像采集系统第一时间自动地捕捉瓜菜生病、生虫、长势不良等图像信号,传输给数据处理系统实施数字化处理,为智能决策系统提供准确的损害特征信号,例如尺度大小、数量多少、茎秆粗细与植株高矮等图像信息,为后续对症防治和产销对接工作提供靶向性对策(图2)。传统的纯人工检测瓜菜损害的方法效率较低,且生产和种植人员需要具备较强的专业性和丰富的经验加以判断。机器视觉技术相比纯人工检测能有效避免检测的经验性误差,检测结果更具客观性且检测效率较高,检测成本大幅降低。因此,目前在瓜菜生产和种植过程的损害检测方面,机器视觉技术逐渐得到了广泛应用。
图2 机器视觉技术在瓜菜检测中的应用逻辑框架Fig.2 Application logic framework of machine vision technology for melon and vegetable detection
基于内容分析方法对已有文献统计梳理,发现当前机器视觉技术对瓜菜检测的应用研究主要集中于4 个方面,一是应用于瓜菜病虫害的识别检测;二是应用于瓜菜长势的信息检测;三是应用于瓜菜品质的分级检测;四是应用于瓜菜采摘的果实定位检测。
利用机器视觉的现代化技术对病虫害实施预警、实时与快速识别检测,不仅能够替代用时长、费用高的人工检测,而且在农作物生产和种植日趋规模化、产业化的今天是大势所趋,对农业实现可持续发展具有非常重要的现实意义[25-28]。
为改善机器视觉技术对瓜菜病虫害检测系统预警机制,杨国武等[29]围绕病虫害发生的气候因素进行统计分析,针对莴苣的霜霉病和菜青虫这2 种主要病虫害,设计了较为完善的病虫害产生的气候指标体系,在此基础上建立了霜霉病和菜青虫流行程度的短期预警和气候年景长期预测模型。Da Silva 等[30]以农田现场温度、地表温度等气候条件为研究要点,以每15 min 为1 个时间区间采集大量气象分析数据,针对番茄的病虫害构建了系统预警模型,试验结果显示病虫害识别检测的预警效果较为显著。
在加强机器视觉技术对瓜菜病虫害实时性监测方面,蒋国松等[31]针对芦笋的病虫害设计了在手机、电脑等移动终端可随时随地查看的线上监测系统,通过系统模型的实践检验,方便了种植户对芦笋的病虫害远程监控。彭琛等[32]建立了以机器视觉技术融合发音报警功能于一体的蔬菜病虫害监测系统,结合蔬菜生长的温度、湿度和光照等因素开展实时分析与监测,监测系统突出了远程监控和无线收发功能的应用,除了方便种植户对蔬菜的管理,主要贡献在于建立了消费者对蔬菜生长环境信息的实时了解渠道,缓解了消费者的购买顾虑,促进了消费能力的提高。
为了提升机器视觉技术对瓜菜病虫害的识别精度,Mohanty 等[33]对20 余种病虫害的5 万多张信息采集图像进行改进模型的识别对比,识别效果显著提升,最高识别精度达到99.3%。朱莉等[34]改进了由Grab Cut 算法分割的最小外接矩形区域H/S直方图,计算交叉匹配系数通过C4.5 分类器分类识别油菜虫害,试验结果显示虫害分类识别率达到92.0%。肖德琴等[35]优化了蔬菜虫害的识别与计数算法,结合随机森林算法模型对虫害图像分割和信号特征提取,蔬菜虫害识别率可达到91.0%。Wang等[36]对叶片虫害图像用K-means 方法网格分割,利用自适应聚类方法再通过形态提取特征去掉叶脉,最终得到虫害精准信息,识别有效精度达96.3%。Chen 等[37]结合卷积神经网络CNN 对白菜虫害进行图像分割和计数分析,机器计数与人工计数的线性相关系数R2达到0.99,识别精度达到95.3%。He等[38]结合卷积神经网络CNN 对12 种蔬菜虫害对比检测,结果表明利用SSD/Inception 检测到的平均精确度最高,可达77.1%。Ye 等[39]结合形态学改进边缘提取算法去除黄瓜图像的噪声,提高黄瓜图像在复杂背景下的病虫害检测精度,试验结果表明检测准确率达到93.9%,误分类率低于5.8%。郭庆文等[40]结合显著图注意力网络模型检测蔬菜虫害,平均精度达86.4%,平均计数误差为0.11 只,若模型移除显著图注意力模块则机器视觉技术的平均精度降到82.4%左右,平均计数误差升到0.32 只。徐境深等[41]将机器视觉技术结合极坐标与傅里叶变换方法,提取蔬菜病虫害的颜色与外形特征实施快速识别,检测结果的识别准确率达到99.0%,识别速度更是达到320 株·min-1。
综上所述,机器视觉技术对瓜菜病虫害检测能起到一定的预警作用,能够实施全天候的实时性监测,在识别精准度方面确实有着一定的检测优势。
采用机器视觉技术检测瓜菜长势信息包括高矮粗细信息、颜色纹理信息等,利用数据处理系统对采集到的长势图像信号进行特征提取和识别分析,检测结果可作为判断瓜菜长势强弱的依据,应用于瓜菜生长的实际诊断与环境调控[42-45]。
针对瓜菜不同的生长周期,杭腾等[46]利用机器视觉技术以番茄株高、茎粗与果实大小参数为检测目标样本信息,采集不同生长周期番茄的3 个检测目标样本的长势图像信息,对图像信号进行中值滤波预处理,通过r-g 颜色因子自动阈值分割法提取图像信号特征,建立长势参数图像特征值拟合函数。检测结果表明番茄茎粗参数在幼苗、开花坐果与结果期的3 个周期内的相对检测误差分别介于1.73%~4.04%、0.64%~4.42%、0.46%~4.78%之间;而番茄株高参数和果实大小参数的相对检测误差则分别介于1.2%~6.5%、0.8%~3.1%之间。
为优化选择最佳的生长环境条件,王泉清[47]研究认为,必须掌握温室培养条件下的各种生长环境因素与蔬菜长势之间的促进关系,优化选取出最有利于蔬菜长势的最佳生长环境条件,才能达到蔬菜生产效能的最大化发挥。将机器视觉技术获取的图片信号经过数据处理系统处理后,再将检测结果通过云计算分析得出蔬菜长势与生长环境之间的参数关系,进而建立友好生长环境下蔬菜长势检测的成熟机制,生成最利于蔬菜成长的环境控制模式。
在瓜菜种苗出芽、嫁接苗愈合与无土栽培的检测方面,张帆等[48]设计了一套视觉在线系统检测种苗发芽率。基于机器视觉技术采集瓜菜种苗图像,通过多视图融合方法评估每个点位出苗可信度,根据可信度大小判断发芽率高低,试验结果验证表明点位检出率达100.0%,种苗发芽检出率达95.2%。苏颖欣等[49]以瓜类愈合期嫁接苗的接穗子叶长势数据为检测图像样本数据信息,利用机器视觉技术实时监测瓜类嫁接苗长势状况,试验结果预计机器视觉技术检测与接穗子叶人工观察相比,至少可提前1~2 d 确定瓜类嫁接苗成活状态。祝朝坤等[50]设计了一种基于机器视觉技术的无土栽培蔬菜种植系统,自动调节管控无土栽培环境下蔬菜生长所必需的参数变量,根据对蔬菜长势状态信息的实时化识别与判断,针对不同生长阶段供给蔬菜生长所需的不同营养液浓度和光照条件,能够把生长所需的参数变量数值控制在预设范围内,提高了无土栽培环境下蔬菜生长的安全保障。
将两种及以上技术方法相融合更能提高瓜菜长势信息检测的准确性。吴琼等[51]将光谱分析技术和机器视觉技术相结合,以菠菜、油菜、小白菜和娃娃菜4 种蔬菜叶片为检测对象,分别采集在失水0、12、24、48 h 的4 种时间状态下的叶片图像信息,通过蔬菜叶片的外观形态变化及其内部叶绿素变化的光谱曲线对比,实现对4 种蔬菜的4 种时间状态下叶片鲜嫩程度的信息检测,两种技术方法综合使用的试验检测效果非常显著。豆东东等[52]将Lab 空间下K-means 分割法融合机器视觉技术,以30 株绿色蔬菜的第15、30 与45 天的叶面积大小为检测图像信息数据样本,分成两步骤对比检测:一是相同蔬菜在不同时间的叶面积大小信息数据检测;二是不同蔬菜在相同时间的叶面积大小信息数据检测。共同检测评估30 株蔬菜的长势状况,试验过程既可获取有效图像分割也能输出彩色图像信号,样本数据信息处理与检测结果较为理想。进一步佐证了机器视觉技术与其他多种人工智能技术方法相融合,成为未来检测瓜菜长势信息的一个主要研究方向[53]。
综上所述,机器视觉技术能够比人工观察更早、更及时地捕捉瓜菜长势的细微变化,因此该技术用于检测瓜菜长势信息,可以很好地辅助瓜菜种植与管理人员做好提前决策与事先控制。
利用机器视觉技术进行综合指标判断后对农产品实施品质分级是一个新的技术应用尝试,目前已广泛应用到农产品的表观品质分级检测中,在计算机软硬件与算法技术的创新发展帮助下,机器视觉技术在瓜菜品质分级检测领域应具有广阔的应用前景[54-58]。
在根茎类蔬菜的品质分级检测方面,Tao 等[59]根据外观颜色结合机器视觉技术,应用于区别正常马铃薯与发芽马铃薯(有毒)的品质分级检测。孔彦龙等[60]以马铃薯的面积与周长为检测参数,利用机器视觉技术对马铃薯进行外观质量的品质分级检测。为突破内部特征检测瓶颈,田芳等[61]尝试利用机器视觉技术结合透射光源系统创新性地对马铃薯黑心病进行试验检测,结果表明效果良好,检测准确率可达96.0%。韩仲志等[62]基于机器视觉技术针对胡萝卜须根、青头与开裂等不同缺陷采用不同算法进行品质分级,试验以520 份胡萝卜须根、青头与开裂图像为样本信息进行检测,正确率分别达到81.8%、97.5%和92.3%,总体识别率达到91.3%。为对消费者负责,谢为俊等[63]指出胡萝卜上市销售前要剔除缺陷产品,采用机器视觉技术针对青头、弯曲、断裂、分叉和开裂等不同缺陷,结合了不同算法测试,检测结果显示机器对这些缺陷胡萝卜的识别准确率分别为100.0%、91.1%、90.6%、94.6%和95.5%,检测识别的总体准确率达到94.9%。
在叶类蔬菜的品质分级检测方面,冯甲一[64]基于机器视觉技术采集小白菜的叶片图像,以小白菜的叶片颜色、形状和纹理等作为检测信息样本数据,利用MATLAB 软件处理图像信息,同时将主成分分析与Fisher 判别法相结合对叶片新鲜度实施品质分级检测,试验结果表明识别准确率达84.0%。徐海霞[65]将机器视觉技术应用于菠菜新鲜度品质分级检测,采集贮藏期内菠菜图像信息,建立菠菜新鲜度等级判别神经网络模型,实现了对贮藏期内菠菜品质的有效检测。魏文松等[66]研发了基于机器视觉技术的叶菜品质分级检测系统,包括负压吸气样品分离模块、LED 光源照明模块与气吹式分选模块,以320 份菠菜样品为检测对象,检测结果显示分选1 份叶菜样品仅需0.84 s,总体判别正确率达到94.7%。
在水生蔬菜的品质分级检测方面,马京凤[67]将机器视觉与形态学技术结合,降噪处理与阈值分割采集到的莲藕图像信号,以莲藕弯曲度与长度为参数代入统一函数方程计算,结果作为莲藕外观检测品质分级的标准,总体分级准确率达到85.0%。张文蓉等[68]基于机器视觉技术设计了茭白自动分级检测设备系统,根据茭白大小、形状、颜色等表观特征进行品质分级,设备系统包含上料、分拣包装与品质分级模块等,设备系统稳定性良好,试验结果显示茭白品质分级的准确率达到95.6%。
在瓜类的品质分级检测方面,张建华等[69]提出利用机器视觉技术结合连续凹点组方法,计算凹点组内最大曲率点链码距离与欧氏距离比值,根据比值判断瓜蒂质量与甜瓜品质,方法识别准确率达到92.0%。徐莹莹等[70]也提出根据瓜蒂质量判断甜瓜品质,提出基于角点的检测方法,利用瓜蒂表面的高曲率点集中分布特点准确识别瓜蒂质量,试验结果显示该方法快速有效且具较好的鲁棒性。吕福香等[71]以甜瓜外观直径参数为检测数据样本,将机器视觉技术结合形态学和Spline 插值法处理甜瓜图像信号,实现了根据甜瓜纵横径表征形态进行品质分级。王书志等[72]以纹理和颜色特征为检测数据样本,分析图像可疑区并提取灰度共生矩阵特征参数,构建甜瓜品质分级检测系统,检测识别准确率达到92.2%。刘启全等[73]采用机器视觉技术结合椭圆拟合算法对哈密瓜图像提取椭圆特征,根据椭圆长轴与椭圆率计算结果基于大小标准评判品质分级,试验识别准确率达到90.3%。
综上所述,机器视觉技术对瓜菜的品质分级主要基于表观特征的检测,根据不同检测目标需求结合恰当的算法模型,可以表现出较高的检测识别准确率。而突破产品质地障碍深入瓜菜内部检测,根据内部特征检测结果实行品质分级的研究尚处于探索阶段,未来应该会有更多更成熟的检测手段出现。
传统人工采摘瓜菜工作虽然能够保证采摘的质量,但劳动强度大、采摘效率低,而且人力成本高,这些因素严重制约着我国瓜菜产业的高质量发展。基于机器视觉技术对瓜菜果实实施精准定位,通过机器人实施瓜菜采摘作业,可以有效突破传统人工采摘的瓶颈问题[74-77]。
在葫芦科瓜果的采摘定位检测方面,Edan 等[78]基于机器视觉模块对笛卡尔型和圆柱型甜瓜采摘机器人仿真测试,试验结果可以做到笛卡尔型机器人采摘甜瓜均速为1.3 s·个-1,圆柱型机器人采摘甜瓜均速为3.8 s·个-1。汤修映等[79]研制的黄瓜采摘机器人采用PC 机和运动控制卡配合机器视觉技术实现机械臂的多轴控制,试验结果表明机器人采摘黄瓜成功率达到93.3%。王燕[80]研制的黄瓜采摘机器人采用DSP 上位机控制器+CAN 总线+DSP 关节控制器的分布式控制方案,通过充气、放气系统实现黄瓜的无损采摘,试验结果表明果实定位精度达到2.4 mm,采摘成功率达到86%,平均耗时约18 s·根-1。张帆等[81]设计的黄瓜采摘机器人由视觉伺服系统、末端执行器及移动平台构成,检测结果表明该机器人果实识别准确率达95%,采摘黄瓜成功率达到85%,采摘平均速度为8 s·根-1,视觉系统定位最大误差-7 mm。
在茄科蔬菜的采摘定位检测方面,Bac 等[82-83]设计了一款基于机器视觉技术的甜椒采摘机器人,试验结果表明,该机器人对甜椒的识别采摘成功率高达97%。王丽丽等[84-85]研发的番茄采摘机器人包括双目视觉识别定位系统和智能导航系统等,试验检测表明对番茄果实的识别成功率高达99%,采摘成功率达到86.7%,采摘耗时平均为15 s·个-1,但尚无法保证对番茄无损采摘,且对番茄种植环境要求高。王晓楠等[86]研发的番茄采摘机器人利用结构光视觉识别定位算法,通过HIS 颜色模型对番茄图像分割与目标定位,该机器人采摘番茄成功率达83.9%,果实采摘平均耗时24 s·个-1。陈光宇[87]基于机器视觉技术提出流行排序显著目标检测算法解决机器人识别绿色青椒困难问题,该方法采用前景特征的显著性检测,采集位于图像边缘的青椒目标图像,将前景特征和背景特征融合,获得最佳性能的显著性检测图像,检测结果显示对青椒目标果实识别准确率达到85.6%。
在百合科蔬菜的采摘定位检测方面,马聪等[88]基于机器视觉技术搭建了黄花菜采摘机器人视觉系统,采用Bouguet 算法对双目图像进行校正,通过HSV 颜色模型完整地分割出黄花菜目标区域,初步试验结果良好,其采用的方法和算法可以为黄花菜采摘机器人进一步更精准采摘提供借鉴。
在睡莲科蔬菜的采摘定位检测方面,武晓坤[89]基于机器视觉技术设计出一款智能机械臂对水生莼菜实施采摘,检测结果显示对于叶径小于80 mm、根茎与菜叶平面夹角大于20°的莼菜采摘效果较佳,采摘时耗平均25.5 s·个-1,采摘成功率可达65.63%。
综上所述,机器视觉技术在瓜菜果实的采摘定位方面确实有着较为广阔的应用前景,其采摘效率优于人工采摘作业。只是目前在背景识别精度、无损采摘质量与采摘环境适应性方面还有着一定的不足,随着机器视觉与机器人技术的越发成熟,未来的瓜菜果实定位采摘机器人一定会突破此类瓶颈的束缚,实现智能化与无损化采摘。
机器视觉技术凭借其检测智能化及精准度高等特征,已经成为目前瓜菜检测领域的重要研究方向之一。研究机器视觉技术并让其服务于瓜菜检测应用,不仅能够释放劳动力资源,还能促进瓜菜产业的高质量发展与安全保障,对增强广大生产者和消费者的获得感、安全感与幸福感具有十分重要的意义。尽管机器视觉技术研究取得了一定进展,并在农产品领域有了较为广泛的应用,但当前在瓜菜检测应用方面依然存在一些不足,主要体现在以下几个方面。
3.1.1 难以应对复杂多变的检测场景环境 机器视觉技术需要适应一定的检测场景环境才可对瓜菜检测做出精准识别。通常研究都是基于试验场景环境下开展检测,因此人为设置的检测场景较为理想。瓜菜的实际生长环境较为复杂,大多是自然环境下的开放农田或者设施种植的封闭温室大棚。自然环境下的农田受多种不确定性因素影响较大,例如风霜雨雪及大风刮起的灰尘等都会影响机器摄取瓜菜图像的质量。而温室大棚内存在较大的水汽湿度,温度上升产生水雾会影响机器抓拍清晰的瓜菜图像,另外温室大棚内的酸碱度和湿度也会影响机器的硬件采集设备而缩减机器系统的使用寿命。
3.1.2 图像数据信号传输与处理的速度亟待加快 瓜菜检测模型多用大型神经网络搭建,参数多且计算量大,特征空间维度高,通常需要将算法模型放置于云端服务器中,网络通道一定要稳定顺畅,否则难以达到机器视觉系统的实时在线检测目的。机器“视”系统采集到的瓜菜海量图像数据信号庞大且冗余繁多,需要多传感器融合成并行处理单元解决海量图像数据信号传输,并且机器“觉”系统的算法必须计算力超强,否则图像数据信号处理速度会出现明显时滞,也难以实现机器视觉系统智能化的高效率检测目标。
3.1.3 动态检测结果的准确程度仍需提高 机器视觉技术应用于瓜菜检测的研究对象一般为处于静态的瓜菜个体,对其采集静态的图像数据信号开展检测分析。而实际生产中的瓜菜品质分级工作现场,需要采集处于动态的多个瓜菜的连续图像序列。从检测静态瓜菜到动态瓜菜图像序列采集、特征提取与数据处理,对机器视觉技术检测结果的准确性提出了极大的考验。因而试验状态下的检测识别准确率尚不能真实代表实际的检测工作。目前的研究只重视试验状态下机器视觉技术的智能化检测优势,过度依赖机器的分析判断结果,而实际工作中是否影响到了人的自觉能动性的发挥值得探讨与商榷。
3.1.4 机器视觉算法模型检测的通用性有待提升 当前不同的检测环境与检测对象通常设计不同的机器视觉算法模型,这些算法模型尚不能做到普适性的检测需求,且检测的精准度各有不同。尤其针对一些复杂的种植环境与采摘背景,机器视觉的算法识别模型改进空间较大。例如通过建立瓜菜果实的背景数据库,让算法识别模型能够记忆并区分各种背景特征,轻松识别出背景中的目标物,这必须依赖并提高机器视觉算法模型的通用性。因此研发并采用普适性的机器视觉算法模型尤为必要。
当前机器视觉技术已经渗透到了工农业生产与日常生活中,在很多场景实现了较为丰富的应用。机器视觉技术的广泛应用提高了工农业的生产力与自动化水平,也改善了人们的日常生活。随着大数据、云计算、物联网与人工智能技术的飞速发展,以及机器人、3D 传感器、计算机处理算法等技术的日益突破,机器视觉技术必将在瓜菜等农产品领域发挥更快速便捷、更智能、更可靠以及更多元的检测作用。尤其是在机器替代人眼的研究与使用方面,在各种先进的现代化人工智能与信息技术加持下,普适性的机器视觉系统能够轻松克服各种检测噪声的干扰影响。机器视觉算法模型的通用性能够适应各种自然的检测场景环境与复杂的检测背景,其强大的计算力能够对瓜菜目标数据实施快速毫无时滞地精准处理,真正实现智能化的高效检测。