机器视觉技术在大米品质检测中的研究进展

张晋宁，金 毅，尹 君

(国家粮食和物资储备局科学研究院，北京 100037)

民以食为天，《中国的粮食安全》白皮书中提到“民为国基，谷为民命”[1]。我国超过2/3的人口以大米作为主食，水稻消费量占口粮消费总量的6成以上[2]。随着社会的不断发展以及人均收入的逐年提高，人们越来越追求高品质生活，对优质大米的需求也在逐年增加，因此快速、准确分选出高品质大米的需求也日益高涨。

随着信息技术的发展，机器视觉技术目前已成为农业生产中的一项热门技术，广泛应用于农产品的外形、性状、颜色、破损度、新鲜度等质量品质的检测[3]，其主要研究目的是为了提升农业生产中各个检测环节的检测精度[4]。因此，机器视觉技术也越来越多渗透进农业领域。在农业生产工作中采用先进的机器视觉技术能够在相同的工况下，显著提高农业生产的工作效率和检测精度[5]。因此将大米品质检测与机器视觉技术相结合，可以更全面、快速、客观地认识大米品质，助力我国“优质粮食工程”的建设。

本文对国内外学者利用机器视觉技术在大米加工品质和外观品质的研究现状进行了梳理，介绍了机器视觉技术在大米加工品质以及外观品质检测方面的最新研究进展，并展望了机器视觉技术在大米品质检测领域的发展前景。

1 机器视觉技术

机器视觉技术是人工智能发展的一个重要领域。通常情况下，视觉系统包含硬件与软件两部分，其工作过程可分为图像采集、图像分析与控制以及输出3个部分。首先，工业相机在恰当照明系统的辅助作用下采集目标图像，将三维目标物体转换为二维图像信息；然后，由图像处理与分析系统对图像进行特征量分析并输出结果；最后，根据输出信号决定控制单元动作[6]。

通俗地讲，机器视觉技术就是利用机器模拟人眼功能的一种信息技术手段，利用机器代替人眼来做检测和控制。获取图像后，利用图像处理技术提取图像中的有效信息，并将其转换为数字信息，使其具有更直观的表现力。与传统手工检测方法相比，机器视觉技术可以自动准确地完成检测任务[7]。目前已经广泛地应用于工业[8]、航空航天[9，10]、军事[11]、农业[12，13]等领域，在国民经济中发挥着越来越大的作用[14]。

1.1 国外机器视觉技术的发展

机器视觉技术在国外主要经历了诞生、探索和发展三个阶段。诞生阶段(20世纪初期)：机器视觉技术早期发展于欧美和日本等发达国家，涉及视频处理、机电一体化等相关技术[15]；探索阶段(20世纪50～80年代)：机器视觉在这个阶段经历了从缺陷检测、图像解析、字符识别的二维图像识别研究到空间关系描述、立体视觉理解的三维模型构建，并且由David Marr创立了视觉信息处理理论，奠定了机器视觉和模式化的基础[16]；发展阶段(20世纪末至今)：机器视觉技术在此阶段开始蓬勃发展，实现了从浅层学习到深层学习的跨越。Hinton建立的多隐层人工神经网络具有的特征学习能力，并克服了训练难度[17]。在Krizhevshy等[18]提出AlexNet模型后，深度学习算法的性能在图像识别领域已经完全碾压了传统机器学习算法[19]。自AlexNet之后，研究者从不同网络结构出发，陆续提出了各种性能越来越好的神经网络模型。随着深度学习概念的提出，机器可以通过训练，自主建立识别逻辑，图像识别准确率大幅提升，神经网络正式进入飞速发展阶段，机器视觉的发展也进入新阶段[20]。

1.2 我国机器视觉技术的发展

我国机器视觉技术研究起步于20世纪80年代，研究主要集中在识别、检测、测量、定位等领域[21]。在现代工业设备制造中，通过有损图像视频处理和无损视觉图像检测2种技术，可以轻松实现对工业产品的二次无损视觉检测，提升视觉检测产品质量和生产效率。为规模化生产能力和质量提供坚实、可靠的技术保障[22，23]。在军事领域卫星遥感系统中，通过运用机器视觉技术分析各种遥感图像，进行自动制图、卫星图像与地形图校准、自动测绘地图；通过分析地形、地貌的图像及图形特征，实现对地面目标的自动识别、理解和分类等，进一步夯实了我国军事综合能力和国家安全防卫能力[24，25]。在航空航天领域，机器视觉技术应用于飞行器件的检测和维修、跑道识别、空中加油识别定位以及目标确认引导等[26]。由此可见，机器视觉技术在各个领域都发挥着举足轻重的作用。

2 机器视觉技术在大米品质检测中的应用

近年来随着科技的不断进步，机器视觉技术在大米品质检测领域中已然成为研究热点。大米品质的研究方法与信息技术也愈发紧密，研究重点逐步向计算机算法转移[27]。

大米品质主要包括加工品质、外观品质、营养品质和蒸煮食味品质等[28]。国内外学者利用机器视觉技术对大米品质检测主要集中在加工品质及外观品质2个方面，具体品质指标如表1所示。

表1 基于机器视觉的大米品质检测指标

2.1 提升大米加工精度

随着经济与社会的发展和居民生活水平的不断提高，消费者对大米口感和外观品质的要求越来越高，“亮、白、精”的大米成为备受市场青睐的消费主流。许多粮食加工企业对大米进行过度加工，不仅造成大米营养成分的过度流失，还造成了粮食的大量浪费。因此近年来我国提出了大米适度加工，并修订了GB/T 1354—2018《大米》[29]，标准中要求大米的加工精度由原来的“一、二、三、四”等级变成了“精碾”和“适碾”。大米加工精度的高低不仅影响大米营养成分，也会对其活性成分和食用品质等产生影响[30]。因此，精准检测大米加工精度尤为重要，目前检测方法主要包括直接观测对照法和染色法[31]。这2种方法主观性强，准确率低，受人为因素影响大。

近年来，研究学者将机器视觉技术应用到对大米加工精度检测中。崔雯雯等[32]设计了大米的计算机视觉检测系统对大米图像进行采集，利用Fisher判别法和PNN神经网络两种方法通过提取图像的纹理特征值对4种不同加工等级的大米等级进行检测。实验结果表明Fisher判别法准确率为96.25%，比PNN神经网络准确率高6.25%，利用机器视觉技术对大米加工精度检测达到了较高准确率。万鹏等[33]通过图像处理技术提取了大米表面的R、G、B颜色值，并根据R、G、B颜色值计算H值作为大米籽粒的颜色特征值，构建BP神经网络对大米加工精度进行评价，准确率为92.17%。戚超等[34]对VGG16卷积神经网络进行了改进，首先使用图像增强技术确保数据在类之间均匀分布，可提取出更有效的特征。然后利用平衡数据集上的超列技术，使图像特征更加突出。最后采用极限学习机分类器算法提升大米现实加工问题的泛化性能。采集4个等级的大米图像信息作为模型输入变量进行模型训练，改进后的模型分级准确率达到97.32%，对大米加工精度的分级预测速度高于85 t/h，也为后续研制大米加工精度分类在线分级系统提供了理论支持。机器视觉技术在对大米加工精度检测中不仅检测速度提高而且检测结果客观准确。

近年来基于神经网络的机器视觉有重大发展，相对传统特征分类算法有更好的表现。随着对神经网络研究的不断深入，研究学者也将不断优化改进的神经网络模型应用到对大米加工精度的检测中。由开始的PNN神经网络模型、BP神经网络模型，再到改进的VGG16卷积神经网络模型，通过对网络结构、网络深度的不断优化，不仅识别精度提高，同时免去了复杂的人工提取特征值这一步骤。神经网络依旧在不断的发展创新，还有许多可以改进的地方。由于神经网络参数量庞大，对计算能力的要求高，对于如何选择合适的超参数，提高模型运算速度，建立更精准的模型，还需要大量的技术和经验，值得更深入的研究。

2.2 大米外观品质

2.2.1 大米粒型

大米粒型是大米外观品质评价指标之一，同时也是影响消费者购买大米最直观因素之一。常规的大米粒型检测采用人工测量，随机选取完整无损的大米试样2份，每份10粒，将大米按照头对头、尾对尾、不重叠、不留隙的方式，紧靠直尺摆成一行，读出总长取平均值为大米的长度[35]。该方法耗时长、误差较大、操作不便，无法达到快速检测的目的，准确率也难以保障。

唐文强等[36]通过扫描仪对大米图像进行采集，利用MATLAB软件对大米图像进行处理，进而对米粒粒型形状进行识别。结果表明，用周长L=70(像素)为阈值能够将短粒型米粒与长粒型完全识别，但中粒型米粒与其他2种粒型还未能完全识别，后续如果采用多域值识别，也可能达到对各种粒型米粒完全识别的效果。通过人为对阈值进行选取在一定程度上影响了检测结果的准确性，因此需要通过大量样品校验从而找到最佳阈值保证检测精度。商林[37]利用图像边缘检测技术分析大米粒型，采用自适应Canny算法检测获得大米的边缘，通过最小外接矩形反映完整大米的长度和宽度，计算得到长宽比。边缘检测获得的大米粒长和粒宽变异系数越小，长宽比也更接近于标准值，具有良好的稳定性和准确性。

目前，对大米粒型的判定均为基于传统的机器视觉方法，例如阈值的设定、图像处理算法的选择，其中阈值主要依靠于经验设定，造成检测结果存在一定的误差。同时，传统的机器视觉方法对外部背景条件较为敏感，在阈值选择时，会受到光照等因素干扰，影响识别精度。未来可增加算法普适性的研究，提高算法的鲁棒性，获得更高的检测精度。

2.2.2 大米垩白度

垩白度是指大米中垩白部位的面积占米粒投影面积的百分比，是衡量大米外观品质的重要指标之一[38]，也是优质大米定级指标之一[29]。在消费市场中垩白度越高，大米的市场可接受度就越低[39]。因此，垩白度的快速检测在大米定等和市场受欢迎度方面具有重要意义。

Sethy等[40]利用图像处理技术对采集的大米样品图像进行预处理，再采用K-means聚类法分离大米的垩白部分(如图1所示)算得垩白面积，与计算的二值图像中大米的总粒面积做比得到大米的垩白度。Wah[41]利用图像处理技术对大米垩白度进行检测分析，对4种不同品种的大米建立基于面积的分布函数实现对垩白度的检测，结果表明检测准确率达到90%。申聪等[42]在获取大米图像后，利用边缘检测得到大米图像边缘线条，并对米粒和垩白区的边缘曲线进行分段处理，建立分段函数，求出米粒和垩白区域面积，得到米粒垩白度。此方法无需考虑大米粘连性问题，只需考虑大米堆积问题，提高了大米垩白度的检测精度。

图1 大米垩白分割效果图[40]

余泓慧[43]对采集到的大米外观图像和数据进行预处理，采用MATLAB软件对图像进行精度处理，利用边缘检测对垩白米的边界进行分离，得到垩白米的轮廓，从而计算出大米垩白的比率。此方法需要人为不断调整边界值及算法以获得最佳的分离效果。张玲等[44]采用实验室自制开发的一种大米外观品质分析系统结合图像处理技术对大米垩白米进行测定，通过选取最佳阈值法检测垩白度，结果表明垩白度绝对误差不超过0.25%。

传统的基于阈值分割法为了确定最佳阈值，一方面需要大量的实验对阈值进行调整修正，另一方面会受到光照等外部因素的干扰而影响阈值的选取，极大影响了识别精度。陈昊然等[45]提出了一种基于图像显著性区域提取的垩白区域提取算法，利用大米垩白区域图像显著性的特点，对图像特征变化边缘进行提取，计算出边缘像素点个数以及边缘的总像素值，从而计算出边缘像素的平均值作为该区域的阈值。最后，利用计算得到的阈值对该区域进行分割，分割出整张图片的垩白区域，并计算出大米的垩白度。实验结果表明，该算法识别准确率高达96.76%。相较于阈值分割法受到外在环境等一些不可避免因素的干扰，该算法具有更好的准确性和鲁棒性。

王正[46]通过迭代式阈值算法得到最优阈值，来分割大米的灰度图像，从而得到大米垩白部分的位置和面积大小该方法能够有效区分出垩白部位。迭代式阈值算法是利用迭代思想产生阈值的方法，兼顾区域分割，所以该方法更具有普适性、灵活性，大幅提高检测的准确度。

近年来，随着卷积神经网络在图像分类领域的良好发展，研究学者也将其应用到对大米垩白的检测当中。林萍等[47]通过构建卷积神经网络模型检测垩白大米，免去了复杂的特征提取步骤，识别精度达到了90%。邓杨等[48]提出了轻量级语义分割网络IMUN，实现对大米上的垩白区域的像素级分割，进而获取大米的垩白粒率和垩白度，准确率达到94.11%。

神经网络的应用解决了阈值分割法等传统方法无法解决的问题，避免了客观环境因素的影响，免去了人工提取大米垩白特征区域的步骤，在简化实验操作的同时提高了检测的精准度，成为大米垩白检测方法的趋势。

2.2.3 黄粒米

黄粒米是指稻米脱壳后胚乳呈黄色，与正常米粒色泽明显不同的米粒，黄粒米的存在直接影响大米的食用品质和商品外观。国家标准GB/T 1354—2018《大米》中规定，黄粒米的质量分数不能超过1.0%。黄粒米同正常米粒相比营养成分降低，其对大米的色、香、味均有影响[49]，因此对黄粒米的检验尤为重要。

郭亦凡[50]将采集到的大米图像转换成HSI模型，通过黄粒米与正常大米在色调统计中黄色色度出现频率明显不同的特征来设定阈值并与目标比较，从而识别黄粒并计算出黄粒率，该方法与人工检测结果对比准确率达96.5%以上。此模型默认黄粒米与正常大米的色度分布均存在差异，但当大米的品种发生改变时，该特征也会改变，因此算法的有效性还需进一步进行验证与优化。刘良江等[51]将采集到的大米图像转换为Lab颜色模型从而提取色度特征，并将色度特征采用直方图进行统计。采用主分量分析法将色度统计信息由256维向量降低到10维向量，以这10维向量为输入，用支持向量机进行分类。最后经过训练得到最优分类函数，针对黄粒米的分类正确率达到98.5%。此算法有很好的稳定性和可重复性。

2.2.4 粘连大米分割

由于大米的品质指标检测主要是在实验室环境中完成，考虑到在实际检测中大米之间通常存在粘连现象，因此研究学者对粘连大米进行了分割，在满足了实际检测需要的同时也保证了大米外观品质指标检测结果的合理性与准确性。

Lin等[52]提出了一种基于轮廓形状特性的节点匹配算法，实现了对粘连米粒的分离。利用曲率分析来检测边界上的特征接触点，取曲率曲线的一阶导数来求其局部峰值，计算出的曲率极值对应于原始曲线上的接触节点边界。但这种简单的场景与验粒的实际应用相去甚远，限制了米粒样品的摆放方式，即在成像时要求所有的米粒都要平铺放在一层。因此，在未来的研究中，应考虑更大规模的多层次触摸条件，提供一个更加实用和强大的分割算法。樊蒙蒙等[53]对采集的图像进行PCNN图像分割，对提取分割后的粘连大米轮廓进行高斯平滑，再进行harris角点检测，识别准确的凹点，从而实现对粘连堆叠的大米准确识别。该方法针对情况复杂、多颗粘连大米，无法高精度识别出凹点，也会误检出伪角点。因此对于如何优化PCNN的参数，以及如何精确识别凹点，还需要进一步研究。

王粤等[54]根据粘连米粒的内轮廓及外轮廓线上的粘连点的特征，计算各粘连点之间的距离及曲率方向，准确地判断出互相配对的最佳粘连点对，实现了粘连米粒的精确分割。本算法不采用迭代算法，降低了搜索复杂度，与目前已提出的其他分割算法相比有快速、精确度高等特点。布芳[55]提出了一种针对小目标检测的加强融合低层特征信息的网络结构ELFSSD，通过在自行构建的大米质量检测数据集上进行验证，该网络模型的平均精度为91.2%，其提出的平角差凹点分割算法对于粘连大米的分割正确率能达到97%，实现了很好的分割效果，有助于在实际环境中大米的快速检测。

2.2.5 大米外观品质综合分级

相较于单一指标的检测，对大米外观品质综合分级检测更为满足市场需求，它是大米品质和市场价格确定的重要指标之一[56]。因此，大米外观品质综合分级的研究具有重要的研究意义，国内外学者利用机器视觉技术对大米外观品质综合分级检测进行了大量研究。

Zareiforoush等[57]以模糊推理系统与图像处理技术相结合，开发出一套决策支持系统，用于精米的定性分级。以碾磨度(DOM)和碎粒率(PBK)为质量指标，由大米加工专家初步划分为5个等级，所开发系统分级结果与专家确定的分级结果符合率为89.8%。Mittal等[56]利用图像处理提取大米图像的几何特征，将特征集输入支持向量机进行多类分类。实验结果表明，所选的几何特征特征具有区分性，可将颗粒样品分类为不同类别。根据所含破碎粒的比例，对样品进行了碾磨缺陷分级，从而对大米质量进行了综合分级。支持向量机(SVM)法需要人为对SVM进行选核，设定容错等参数，且参数值的设定对结果有很大的影响，过程较为复杂，误差较大。

同时，随着神经网络的兴起，研究学者也将神经网络应用到对大米的分级检测中。王石[58]采用基于BP神经网络的方法对大米外观品质进行检测，包括对完善粒、垩白粒、黄粒米及碎米粒品质的划分。训练完成后的BP神经网络准确率达到91.8%。同时研究了基于卷积神经网路的大米外观品质检测方法，将网络移动到手机端后平均检测精度为85%，为开发手机版App奠定了基础。

马丽霞[59]、仲伟峰等[60]通过图像分析与算法提取大米特征数据，使用主成分分析法结合BP神经网络对大米米粒进行了分级识别。实验结果表明，该方法可以快速、准确的识别大米中的完整米、垩白米以及碎米，从而根据确定的垩白粒率和碎米率自动确定大米的等级。对大米识别的准确度达到95%以上并且有效的减少识别所需时间。

由此可见，大部分研究都是通过单视角完成大米图像的采集，会导致大米部分特征的丢失，造成检测结果的不准确。陈玉琦[61]在前人研究基础上，考虑用一种基于多视角学习的深度模型融合策略，利用图像采集设备通过3个角度对大米完成全方位的信息采集，形成多视角的观测信息，利用卷积神经网络(CNN)模型提取特征，基于融合特征利用二分类器区分目标大米中的好米与坏米，以完成大米分级任务。该研究方法摆脱了图像数据的局限性，对大米图像进行了全方位的分析，同时对于实际应用中的光照变化具备较强的鲁棒性。

虽然强大的神经网络免去了图像处理过程中人工提取特征的过程，但是在神经网络隐含层结点的选择过程中还依靠经验公式，包括模型激励函数、损失函数以及优化算法的确定，因此使系统性能具有一定的不确定性。另外，未来的研究中，减少网络参数量，降低计算成本，减轻网络的复杂度也是神经网络模型进一步研究方向。

3 机器视觉技术在大米品质检测中存在问题

如今机器视觉技术在大米品质检测领域已经得到了广泛的应用，取代了人眼感官对大米的加工精度及外观品质的评测，基本达到了快速、高效以及高精度检测的目的，但仍存在一些不足：在对大米外观品质进行检测时，大部分研究还是基于传统的目标检测和分割算法，特征的提取和规则的制定均依赖于人工和经验，且不同的算法有各自的特质和适用范畴，不能被广泛应用；大米品质的检测基本处于对外观品质的检测阶段，未实现大米外观品质和理化品质指标综合检测；利用计算机视觉技术进行图像采集多数研究是在保证高质量图像的理想实验条件下进行，进而完成对大米品质指标的检测，无法满足现场实际需求，评价具有局限性；虽然市场上已经有大米外观品质判定仪器设备，但是其价格昂贵、操作复杂、便携性不高，使用环境有限，未能实现从实验室抽样检测到在线检测的技术突破，研究均处于相同水平重复阶段。

4 展望

在大米品质检测领域，机器视觉技术还有很大的发展空间。随着计算机技术的不断突破，如卷积神经网络的出现，可完成特征的自动提取，在很大程度上弥补了传统算法的不足，算法的准确率和实时性都有了很大程度的提高。

未来可以在几个方面进行深入研究：将机器视觉技术与其他无损检测技术相结合，例如近红外光谱分析技术、电子鼻技术等，从而更精准、更全面地实现大米品质综合指标的检测；消减环境因素对大米品质的特征指标提取的干扰影响，以实现现场作业不同环境的需求；研发简易、低成本的大米分析软件也是发展的必然趋势，如开发手机版的大米外观品质检测APP；基于对优质大米需求的不断增长，对其自动准确快速评级也是下一步研究方向。另外按照大米品质等级供给到不同的消费市场，满足不同消费者的不同需求，有助于我国大米进入不同类型的国际大米市场，提高我国大米市场的国际竞争力；实现从实验室的抽样检测到在线检测的技术突破。

5 小结

机器视觉技术在大米品质检测中相较于传统检测方法有着不可比拟的优势，可以排除人为主观因素的干扰，能够对指标进行定量描述，检测过程不仅实时高效而且检测精度高，在大米品质检测领域发挥了良好的作用。但是由于受到图像采集、图像处理软硬件技术等一系列的限制，目前的检测系统还处于实验阶段，暂时未能满足实际生产需要，未能实现从抽样检测到在线检测的突破，还处于相同水平重复阶段，因此有许多技术难点还需进一步深入研究。如增加检测模型算法的普适性，使检测系统广泛应用于不同品种的大米品质指标检测，利用多融合技术实现对大米品质的全面检测，同时提高检测结果的准确性、客观性等都是未来实现大米品质全方位可在线检测的研究重点。