水果表面全真图像采集技术研究进展

刘 婷，张绍英，王叶群

(中国农业大学 工学院，北京 100083)

水果表面全真图像采集技术研究进展

刘 婷，张绍英，王叶群

(中国农业大学 工学院，北京 100083)

水果表面信息既反映外观和结构特征，在一定程度上还反映内在品质，常作为机器视觉分级的依据，获取水果表面全真信息是保障机器视觉分级效果的基础和关键。为此，对水果表面信息特点及成像要求、现有水果表面信息采集方法、技术原理及采集信息质量进行了分析，并针对水果的生物学特性和分级作业要求，对表面信息采集环节亟待解决的信息缺失和失真问题提出了进一步的建议和设想。

水果分选；机器视觉；表面图像

0 引言

水果销售及加工前的分选不仅能够提高水果商品价值，更有助于从源头控制食品安全[1]。根据生长、贮运过程特有的生物学规律，水果表面图像中既包含有外观信息，同时还反映内部品质，故水果表面图像常作为机器视觉分级的依据。利用特定光学成像及机器视觉技术进行的水果分级，可兼顾辨识水果的几何、物理及生化特性差异，应用前景广阔。

1 水果表面信息特点及对成像的要求

水果生长过程中，外部环境干涉和内部发育状态会在水果表面留下特殊的印记；而随后的贮运过程中，受外力损伤、生物污染及自身采后生理变化过程的影响，进一步导致表面形态的整体或局部的质地和形状变化。大多数情况下，品质缺陷反映应为质地和形状局部变化，具体表现为异色缺陷斑块或损伤缺陷斑块。缺陷斑块通常会以不规则形状散布在水果的表面上，有些可通过可见光环境下的直接成像发现，有些则可利用特定波长激发光的成像获得。由此可见，机器视觉分级过程实质上是利用特定成像条件发现缺陷斑块的过程。

作为大宗农产品，水果资源总量大、个体多样，基于表面成像进行的机器视觉分选需要逐个甄别，获取个体表面图像力求实时、快速。由于缺陷斑块在水果表面随机分布的特性，要求成像覆盖水果的全部表面。根据图像进行分析时，常以缺陷斑块的几何阈值进行判断，图像中应真实体现缺陷斑块形状、尺寸。利用机器视觉进行水果分级时，图像采集应兼顾快速、全面、准确。

2 水果表面全真采像技术的研究及应用

基于表面成像的机器视觉分选作业效果主要受两方面因素制约：一是全面、准确地获得水果表面图像；二是对表面图像所包含的信息进行科学、正确的解读和判断。前者主要受制于相机与水果相对位置、相机与水果相对运动、辅助成像条件的配置，后者则仰仗表面信息与品质指标的关联规律、特征信号挖掘转换及图像处理算法。

现有基于机器视觉技术的水果外观品质检测[2-6]相关研究多集中在图像处理算法和数据-指标关系建模算法[7]。其中，图像处理算法包括滤波去噪、图像分割和特征提取等[8-11]。数据-指标关系建模则大多采用非线性算法，如二次多项式拟合、偏最小二乘回归、模糊聚类和神经网络等[12-15]。目前，水果表面信息采集主要采用多机位固定成像、旋转多次成像及面镜反射固定成像等方法进行，获取的表面信息多存在缺失和失真。

大多数水果表面呈曲面，快速获得其表面全部、真实影像具有一定难度，而表面信息的缺失及失真将直接影响运算、判断和分级的准确性。因此，对水果表面的全真信息采集技术研究也成为保障机器视觉分级效果的基础和关键。

2.1 水果静止成像

水果静止成像是指以固定机位对静止水果进行的成像，分为水果静置成像和水果间歇运动静止成像两种情况。水果静止成像系统一般包括相机、光源和水果承托装置，配置要求低，明显优势是成像质量高，但处理能力低，故多用于试验平台。

2.1.1 单机位静止采像

Blasco等(2003)[16]将相机布置于水果正上方，利用真空果杯吸附固定水果后，首先调整水果轴线与CCD相机光轴成一定夹角后采集第1幅图像；然后，使水果沿其轴线分两次各转过120°，采集第2、3幅图像；最后，二次吸附固定水果，对吸盘遮盖区域进行补充成像，从而用4幅图像(见图1)获得高重复率的全部表面信息。

图1 Blasco等采用的水果定向检测系统Fig.1 Detection system of fruits orientation from Blasco

Niigaki等(2009)[17]将水果放置在间歇定轴旋转的转台上，CCD相机固定在苹果侧上方，光轴与苹果形心相交，多次釆集苹果不同方位的图像，如图2所示。

图2 Niigaki等采用的水果表面图像采集装置Fig.2 Acquisition device of fruit surface image in Niigaki’s study

高云(2010)[18]则将相机水平布置于绕铅垂轴间歇旋转的水果托盘侧面进行单机位多次采像，来获取水果全部表面信息。

朱蓓(2013)[19]将水果固定在水平轴心旋转台的正中心位置，相机布置于水果正上方且光轴与旋转台轴心垂直相交，通过水果在绕水平轴转过不同角度时，相机在“单帧采集”的模式下，多次采集水果的静态图像来获得水果的全表面图像信息。

上述方法尽管可利用运动间歇实现单幅静止采像，得到的图像品质较高；但受制于定轴旋转、承托装置遮挡及固定单机位视野局限，采集到的多幅图像合并信息仍不能保证对苹果表面的全覆盖，且单个水果表面信息采集耗时长、效率低，不宜用于大规模分选。

2.1.2 多机位静止采像

Shiraishi等(2011)[20]提出一种采用6个相机同时获取处于静止状态的椭球形果蔬的全部表面图像的方法，如图3所示。当单个果蔬被送至采像工位，间歇输送停止，水果周围的LED光源点亮，3对两两垂直分别布置于3个垂直方向的CCD相机同时采像，用6幅图像反应果蔬的表面信息。

图3 Shiraishi等采用的图像采集装置Fig.4 Acquisition device of fruit surface image from Shiraishi

采用多幅静止图像从不同角度反映水果弧形表面的信息，尽管理论上所采集的多幅图像可实现对全部表面的覆盖；但由于图像数量有限，当需要对失真要求较高时，剔除图像中的高误差边缘区域后，剩余的有效采集区域常不能覆盖水果的全部表面，易产生表面图象信息的缺失，且失真度较高。

2.1.3 光学辅助装置静止采像

李庆中等(2002)[21]利用光学辅助系统和两个不同相机进行了获取水果全部表面信息的尝试。在水果的正上方安装1个双CCD相机，彩色CCD用于采集水果的彩色图像信息，黑白CCD则采集近红外波段的图像信息。水果利用无底果杯传输，在水果的下方安装1个黑白CCD相机采集水果下表面的图像信息。为了尽可能多地获取水果的全表面图像信息，在水果的两侧分别安装一面平面镜，则处于水果正上方的双CCD相机可以同时获取水果的3幅图像，从而两CCD相机可获取水果的多表面图像信息。由于平面镜中水果图像存在的畸变及图像背景混乱，后续运算中除进行几何修正外，还需要设计不同的背景分割算法，增加了运算量。

Reese等(2008,2009)[22-23]尝试利用镜子克服采像过程中区域缺失的问题，如图4所示。研究发现：在置于两条平行缆线上的苹果两侧放置两凸面镜时，可以获取苹果接近100%的表面图像。尤其是当苹果轴线恰与两缆线所在平面垂直，或苹果轴线与两缆线平行时，获取苹果表面图像信息最多。

图4 Reese等采用平面镜和凹面镜的获取图像Fig.4 Images acquired using flat or concave mirrors from Reese

由于光学辅助成像多用面镜反射原理获取背向相机一侧的图像，不仅图像背景混乱，还易产生面镜中图像畸变严重的问题，需附加校正运算，进一步提高了算法的复杂程度，降低了运算速度。

2.2 水果运动成像

水果运动成像是指以固定机位对运动过程中的水果的成像，包括对受控运转和自由运动两种过程中的水果进行成像两种情况。水果运动成像一般由光源、过程运动调控系统或初始运动调整系统和相机组成，水果运动调整、调控系统复杂，要求相机感光灵敏度高，其明显优势是图象采集效率高，处理能力低，故广泛应用于实际生产。

2.2.1 运动控制成像

运动控制成像是指采取强制措施控制水果的运动状态后，对受控运动过程中的水果进行成像的采像方法。运动控制成像突出的优势为可有效控制获取图像对水果表面的全面覆盖，但图像处理时仍需进行无效影响分割。

为了改善静止成像中水果表面信息缺失和失真问题，目前常用的方法是利用旋转托辊带动水果平动和翻滚，在水果运动过程中用单机位、多次成像采集多个位置的表面图像信息[24-30]。

谢国俊等(2007)[31]将水果放置于连续平动的传送带上的托盘中，3个CCD相机布置在与水果运动方向垂直的竖直面内。其中，1只相机位于传送带的上方，光轴与水果形心的运动轨迹垂直相交；另两只CCD相机分别布置于传送带两侧，光轴与传送带的上方CCD相机的光轴交于水果形心，交角均为60°，3个CCD相机具有一定的重叠采集区域。当水果形心与相机3光轴所在平面重合时，3个CCD相机同时在不同的方位上采集水果表面的大部分信息。

Troop等(2005)[32-34]首先利用苹果对称轴线将苹果定位于输送链的托盘上(见图5)，托盘内环可自由旋转，每个托盘一侧布置两个与苹果轴线平行的竖直塑料托轮；当苹果进入采像工位时，由于托盘翻转带动托轮及苹果在与输送链运动方向垂直的平面内倾斜45°并使苹果轴线与相机光轴垂直；此时苹果继续向前输送时，与托轮之间的摩擦带动苹果沿自身轴线按设定的角速度转动360°，苹果每旋转30°相机采像一次，用12幅图像获取苹果的全表面信息。

图5 Troop等采用的水果定向机械装置Fig.5 Mechanism for fruits orientation in Troop’s study

Kondo (2010)[35]在检测橘子的外部特征时，利用在不同方位布置的6只固定CCD相机，即可使橘子平动过程中产生滚转的特殊输送带来检测橘子表面信息。在第1个采像工位，4只相机在传输带两侧两两相对、交叉布置于水平面，从4个方向检测橘子的侧面信息。第2、3个采像工位，各有1只相机垂直布置于传输带正上方，由第2采像工位转换至第3采像工位过程中，橘子沿水平轴旋转180°，用于采集第1采像工位为覆盖的顶部和底部信息，用顺序获取的6幅图像反映橘子的全部表面信息。

李伟等(2006)[36]利用特殊输送链控制苹果作平动加滚转运动，CDD相机固定于图像采集区的上方。苹果经过采集区域时， CDD相机以适当时间间隔采集3幅图像，即可覆盖苹果90%以上表面信息。

邹小波等(2010)[37]利用3个相互独立的成像系统进行苹果表面信息采集。3个成像系统所属3相机布置在采像工位的上方；3相机光轴均位于苹果运动方向的铅垂面内，且与采像工位的苹果的形心相交；3相机光轴间具有一定夹角。苹果在输送链承托下进入采像区域受托辊驱动开始旋转，到达采像工位后同时触发3只相机，通过与运动参数的匹配，3只相机完成3次同步采像，用9幅图像全面反映苹果表面图像信息。

上述几种水果运动控制方法有利于获取水果的全表面信息，但仍然存在不同程度的漏采，且其图像质量欠佳。同时，多次采像造成的冗余信息加重了运算负荷。

2.2.2 运动干预成像

运动干预成像是指采取强制措施调整水果的初始运动状态后解除干预，对在重力场中自由运动过程中的水果进行成像的采像方法。运动干预成像的突出优势是可获得“无背景”图像，简化了图像分割，可有效提高分析、运算速度，但需进行水果的初始运动状态及运动轨迹和成像系统的精准配置。

Raytec Vision SpA公司研发的Raynbow系列分选设备中，采用了对抛落过程中自由运动物料进行空中成像技术。物料在离开输送带转入自由下落过程中，布置于抛物线轨迹一侧(或两侧)相机对下落物料进行多次、多角度采像。由于飞行过程瞬间成像，可得到无背景图像，在配备可高速成像高像素相机及高速运算系统时，可用于大规模的分选作业。

该方法的优势在于如下：对自由运动物体多次、瞬间成像可快速获得巨量样本的信息，如能对自由运动物体初始运动状态进行主动调整，使之适应获得物料表面全真信息的要求，将为依据水果表面信息进行分选作业提供全面、精准的信息来源。

3 存在的问题

1)对已有研究和技术分析可知：受制于水果曲面形状，无论是静止采像或运动采像，均存在不同原因导致的不同程度表面信息的漏采和失真。采用多相机、多工位或多图幅采像，尽管可解决表面信息的漏采问题，但在有限的图像中真实反映任意表面区域的图像信息，尤其是获取大量个体的低失真度的表面信息十分困难。

2)在大批量分选作业中，当要求高精度分选时，即便能够不计代价地获取水果表面的全真信息，海量的数据及运算量还将产生很高的数据分析、判断系统硬件配置费用，使分选设备性价比下降，与现有的人工分选相比无优势可言。

4 展望

随着对食品安全要求的提升，对水果分级精度的要求势必越来越高，研究作为大宗农产品的水果表面全真信息的快速采集技术，有助于水果分级技术水平的提高，将成为今后一个重点研究方向。

对于以不破坏整体性、不改变外观为前提的水果分级作业，以表面信息为分析判断基础和定级依据，在目前及今后仍不失为一种行之有效的作业方法。针对水果资源特点及分选要求，快速获得巨量个体的全面、真实的表面信息，是保证分选效果的基础和保障。

鉴于水果外表面复杂的几何、物理特性，全面、精确获取其表面信息技术难度高，尽管投入了高速度的数据采集、传输及运算系统，开发了数学校正、图像识别算法，大多对问题的解决事倍功半。依据表面信息进行水果分级作业效果的提高，一方面应针对不同水果的生物特性、质量要求、作业要求，合理规划表面信息采集方法及流程，粗精分流，提升效率和准确性；另一方面，解决水果表面图像采集及分选应考虑多种技术集成的应用研究，应重点开发或集成针对空间自由运动物体的快速、高保真曲面立体(扫描)成像的技术和装备，采用机械、光学及运算相结合的水果运动调整、光环境配置、图像合成及模糊速算技术，兼顾水果的几何特征和生物特性，同时简化采集图像的背景信息，从根本上解决水果分级作业中复杂表面全真信息的来源问题。

[1] 赵卓,于冷.质量分级促进农业现代化的理论与现实:国外文献综述[J].西北农林科技大学学报:社会科学版,2009(4):29-34.

[2] 刘国敏,邹猛,刘木华,等. 脐橙外部品质计算机视觉检测技术初步研究[J].中国农业科技导报, 2008,10(4):100-104.

[3] 梁伟杰,邓继忠,张泰岭.梨果面坏损区域的计算机视觉检测方法[J].农业机械学报, 2005,36(7):101-103.

[4] Brosnan T, Sun D W. Inspection and grading of agricultural and food products by computer vision systems-a review[J]. Computers & Electronics in Agriculture,2002,36(2-3):193-213.

[5] 刘佳男.基于机器视觉的水果表面缺陷识别方法的研究[D].无锡：江南大学,2012.

[6] 韩伟,曾庆山.基于计算机视觉的水果直径检测方法的研究[J].中国农机化,2011(5):108-111.

[7] 黄伟锋,唐宇,姚鑫,等.基于可见光波段成像的水果品质检测方法研究进展[J].仲恺农业工程学院学报, 2016(1):67-71.

[8] 王晓虹,韦英华.结合Ridgelet 变换与Wiener滤波的苹果图像去噪算法[J].江苏农业科学,2013,41(10):373-375.

[9] 王福杰,饶秀勤,应义斌.苹果图像的背景分割与目标提取[J].农业机械学报,2013,44(1):196-199,210.

[10] 郭艾侠,邹湘军,朱梦思,等.基于探索性分析的荔枝果及结果母枝颜色特征分析与识别[J].农业工程学报,2013,29(4):191-198.

[11] 宋怀波,张卫园,张欣欣,等.基于模糊集理论的苹果表面阴影去除方法[J].农业工程学报,2014,30(3):135-140.

[12] 陈浩磊,陈厚彬,刘财兴.桂味荔枝果顶形状与种核质量的关系研究[J].西南大学学报：自然科学版,2012,34(4):20-26.

[13] 熊俊涛,邹湘军,陈丽娟,等.基于机器视觉的自然环境中成熟荔枝识别[J].农业机械学报,2011,42(9):162-166.

[14] 全燕鸣,黎淑梅,成喜春,等.基于机器视觉的果肉多类型异物识别方法[J].农业工程学报,2011,27(3):162-166.

[15] 梁明,孟大伟.多特征图像融合的苹果分级方法应用研究[J].计算机仿真,2012,29(7):256-259.

[16] Blasco J, Aleixos N, Moltó E. Machine Vision System for Automatic Quality Grading of Fruit[J].Biosystems Engineering, 2003, 85(4):415-423.

[17] Niigaki H, Fukui K. Classification of Similar 3D Objects with Different Types of Features from Multi-view Images[Z].Tokyo: PSVIT, 2009, 5414:1046-1057.

[18] 高云,李盼,周明,等.一种水果图像获取装置:中国，G01B11/08(2006．01)I[P]．2011-06-22．

[19] 朱蓓.苹果全表面图像信息获取方法的研究[D].杭州：浙江大学, 2013.

[20] Shiraishi Y, Takeda F. Proposal of whole surface inspection system by simultaneous six-image capture of prolate spheroid-shaped fruit and vegetables[Z].Kuala Lumpur:IEEE, 2011:1-5.

[21] Li Q,Wang M,Gu W.Computer vision based system for apple surface defect detection[J].Computers and Electronics in Agriculture,2002,36(2-3):215-223．

[22] Reese, D Y, Lefcourt, A M, Kim, M S,et al. Whole surface image reconstruction for machine vision inspection of fruit[Z].Boston, Mass: SPIE, 2007, 6761.

[23] Reese D, Lefcourt A M, Kim M S, et al. Using parabolic mirrors for complete imaging of apple surfaces[J]. Bioresource Technology, 2009,100(19):4499-4506.

[24] Xu L M, Zhao Y C, Li D L. Automated strawberry grading system based on image processing[J].Computers & Electronics in Agriculture, 2010, 71(1):S32-S39.

[25] Sun T,Huang K Xu H,et a1.Research advances in nondestructive determination of internal quality in watermelon/melon：A review[J]．Journal of Food Engineering，2010，100(4)：569-577.

[26] Al Ohali Y.Computer vision based date fruit grading system:Design and implementation[J].Journal of King Sand University-Computer and Information Sciences,2011,23(1):29-36．

[27] Al-Mallahi A,Kataoka T,Okamoto H,et a1.An image processing algorithm for detecting in-line potato tubers without singulation [J].Computers and Electronics in Agriculture,2010,70(1):239-244.

[28] Elmasry G, Cubero S, Moltó E, et al. In-line sorting of irregular potatoes by using automated computer-based machine vision system[J]. Journal of Food Engineering, 2012,112(1-2):60-68.

[29] Unay D,Gosselin B,Kleynen O,et a1.Automatic grading of Bi-colored apples by multispectral machine vision[J].Computers and Electronics in Agriculture,2011,75(1):204-212．

[30] Sun T,Huang K, Xu H,et a1.Research advances in nondestructive determination of internal quality in watermelon/melon:A review[J].Journal of Food Engineering,2010,100(4):569-577.

[31] 谢国俊,曹其新,刘建政,等.基于多方位视觉的果实形状特征的提取研究[J].农业工程学报,2007,23(7): 127-132.

[32] Throop J A, D J Aneshansley, W C Anger,et al.Conveyor design for apple orientation[Z].Las Vegas :ASAE. 2003a, 036123.

[33] Throop, J. A., D. J. Aneshansley, W. C. Anger, D. L. Peterson. Quality evaluation of apples based on surface defects-an inspection station design[Z].Las Vegas :ASAE, 2003b, 036161.

[34] Bennedsen B S,Peterson D L,Tabb A.Identifying defects in images of rotating apples[J].Computers & Electronics in Agriculture, 2005, 48(2):92-102.

[35] Kondo N.Automation on fruit and vegetable grading system and food traceability[J]. Trends in Food Science & Technology, 2010, 21(3):145-152.

[36] 李伟,康晴晴.基于机器视觉的苹果表面纹理检测方法[J].吉林大学学报：工学版,2008,23(5):1111-1113.

[37] Zou X B, Zhao J W, Li Y X, et al. In-line detection of apple defects using three color cameras system[J].Computers & Electronics in Agriculture, 2010, 70(1):129-134.

Research Progress of the Whole and Precise Image Acquisition Technology of Fruit Surface

Liu Ting, Zhang Shaoying, Wang Yequn

(College of Engineering, China Agricultural University, Beijing 100083, China)

Fruit surface information reflects both the appearance and the structure, to some extent, also reflects internal quality. It’s often used as a basis for classification based on machine vision. It’s the basic and key to acquire the full and precise information to guarantee the effects of fruit surface grading based on the machine vision. This paper presents a analysis on the characteristics of the fruit surface and requirements for imaging, the existing methods of acquiring the fruit surface information,principles and the quality of the collected information. And based on the biological characteristics of the fruits and classification requirements, some further suggestions and ideas of missing and distortion unsolved are suggested.

fruit grading; machine vision; surface image

2016-12-06

国家重点研发计划项目(2016YFD0400305)

刘 婷(1991-),女，四川绵阳人，博士研究生，(E-mail) liuting_6542@163.com。

张绍英(1961-)，男，河北辛集人，教授，博士生导师，(E-mail)cauzsy@cau.edu.cn。

S233.74

A

1003-188X(2018)02-0001-06