基于显著性检测的自适应机器人拣选系统

邹腾跃，唐小琦，宋 宝，陈吉红

（华中科技大学 国家数控系统工程技术研究中心，湖北 武汉430074）

0 引 言

在现代化物流和流水线生产中，常常需要将混入的异物或不合格产品拣选出来，以提高成品的合格率和优质率。由于缺陷产品的复杂性和多样性，传统方法需要使用大量人力。而规模化的生产需要高速、高精度、稳定持久的作业方式，纯粹的手工拣选已不能满足现代化生产的要求，高效而智能化的拣选系统将成为行业发展的需要。

目前现有的拣选系统，多采用几何或纹理特征匹配的方法［1－2］，这些方法需要事先对标准样品进行采样以得到其特征值，才能进一步进行异物或缺陷的判断。而在有些物流输送环境中，待拣选的物品可能经常发生变化，这时就需要人工反复介入进行特征的修改，从而大大降低了系统的工作效率和自动化性能。

本文设计了一种基于显著性检测［3－4］的自适应机器人拣选系统。该系统能利用全局和局部的两次显著性检测过程将不合格目标从多个有效前景目标中区分出来，并利用剩余的合格物体不断修正特征值，从而达到自适应的目的。该方法依赖于对区域图像特征的对比分析，可使机器人在无先验知识的情况下进行拣选，并在目标物体发生改变时，自适应进行拣选特征的修改，从而无需人工干预。

1 全局显著性引导下的前景分割

对于视觉拣选系统，在分析之前首先需要将关注的前景目标从背景中分割出来。这个步骤在目前常用的视频预处理系统中，主要采用背景减除或灰度阈值化方法来完成。这两种方法对现场光照的变化都非常敏感，时常不能很好地分辨出前景物体，再者物体的阴影或是采样环境中的异物也会对前景的分割产生障碍。为克服这种缺点，本系统采用全局性的频率调谐显著性检测 （frequency－tuned saliency detection）算法［5］来进行前景分割。

频率调谐显著性检测算法是通过滤出满足一定带宽条件的边缘、色彩和亮度信息来进行显著性映射的。该算法采用一系列不同参数的DoG［6－7］滤波器来保证显著性映射的结果在频率范围 ［ωlc，ωhc］内。ωlc为低频阈值，频率低于ωlc的特征信息将被抛弃。为了使较大的前景目标在显著性映射图中能均一地显示，检测中应使用小ωlc值。ωhc为高频阈值，较高的ωhc可使前景目标的边缘显示得更为清晰，因此在应用中应维持高ωhc值。但图像中最高频率的部分应被舍弃，因其代表了不需要的噪声、编码失真以及纹理图案等信息。

DoG滤波器早期主要被用于图像目标的边缘检测，后来又被应用到关键点检测、灰度变化检测以及显著性分析等领域。有研究表明在高斯分布标准差的比率为1：1.6时，DoG滤波器是对灰度变化最理想的检测器。单个DoG的表达式如式 （1）所示

其中σ1和σ2都是高斯分布的标准差，σ1＞σ2。因此单个DoG滤波器可以被视为一个简单的带通滤波器，其滤波带宽由高斯分布标准差的比值σ1：σ2来控制。令σ1＝ρσ，σ2＝σ则ρ＝σ1／σ2，利用参数ρ可得一组DoG滤波器的组合输出结果，结果如式 （2）所示

其中N为正整数，则组合输出结果可简化为两个高斯分布的差，而第一个高斯分布的标准差可通过比例系数K＝ρN得到。通过设定大的K值可以得到从小到大不同尺度的一组滤波器的组合输出，从而将不同尺度的显著性特征从图像中提取出来。

参数σ1和σ2的选择直接关系到滤波器的效率，σ1决定了ωlc的尺度，σ2决定了ωhc的尺度。足够长的通频带和合适的高频阈值能将图像中的显著特征尽可能地保留下来，因此在使用中应选择大σ1，以留住较多的低频信息。我们在实验中使用极大的σ1值以使绝大多数低频信号通过，形成一个近似低通滤波器的混合滤波模型。在高频信号方面，使用小的高斯核函数来滤去噪声以及纹理图案信息。因为小的高斯核函数可用二项式滤波函数来近似，实验采用滤波模板1／16 ［1，4，6，4，1］并设ωhc＝π／2.75来加速计算，从而提高算法的计算实时性。通过组合滤波器得到图像的特征向量Iωhc，进一步可得频率调谐算法的显著性值计算式 （3）

式中：Iμ——图像特征向量均值，Iωhc—— （x，y）处的像素点通过滤波得到的特征向量值。｜｜ ｜｜为取L2范数，实验中采用欧氏距离来计算。

图1 基于全局显著性检测的前景分割

系统采用Lab颜色空间进行操作以提高检测和分割的效果。并使用 mean－shift图像分割算法［8－9］和噪声过滤规则从映射图中分割出前景目标。图1为两例通过频率调谐显著性检测算法进行前景分割的场景效果。图1（b）、（c）分别为图1（a）的显著性映射图和分割效果图。图1（e）、（f）分别为图1（d）的显著性映射图和分割效果图。从图中可以看出，该算法可以准确地分割出场景中的有效前景目标。

2 目标特征对比与局部显著性检测

在获得了有效的前景目标后，就需要在目标中找出缺陷物体加以拣选。由于显著性分析的中心思想是通过对比找出与临近环境最为不同的区域，而缺陷物体与场景中的其他合格物品相比在特征上往往有较大差异，因此可以通过局部显著性检测将其搜索出来。图2所示为前景目标局部显著性检测的过程。

系统首先对每个前景目标图像进行特征提取，提取颜色、形状和面积3个方面的特征内容。颜色特征通过色度直方图 （hue histogram）［10－11］表示，形状通过内距离形状上下文 （inner－distance shape context）［12］来描述，面积通过像素点的数量来表达。对上述三类特征求得相应的均值向量后，与每个前景目标特征向量相对比，通过欧氏距离差异的大小来判别显著性并生成映射图。最后通过加权线性合并和阈值化得到显著目标映射图并确定显著目标的位置。

图2 前景目标局部显著性检测过程

在特征提取中用到了色度直方图，色度直方图是利用HSV （hue，saturation，value）颜色空间中的色度分量构建的直方图。因为HSV颜色空间将饱和度和亮度与颜色剥离开来，这种直方图对光照的变化具有鲁棒性。而内距离形状上下文是一种利用目标轮廓特征点间相对位置来进行形状描述的方法。它首先使用一个边缘特征探测器寻找出物体内外轮廓的特征点，并用密集的离散点集来表示连续的轮廓边线，这一过程称为特征的离散化。接着算法根据特征点间的相对位置，通过log极坐标直方图来进行描述。它对物体的旋转、缩放和摄像机引起的轮廓畸变都不敏感，因此在分形识别方面具有较强鲁棒性。图3（b）、（e）所示分别为工件图3（a）、 （d）的形状轮廓，图3 （c）、 （f）分别给出了图3（b）、（e）中的4个标记点的内距离形状上下文 （IDSC）值，其中每个小矩形块都表示一个直方图区间。通过对目标轮廓上一系列特征点的IDSC值的匹配可以得到两个形状的相似程度。

图3 内距离形状上下文描述示例

令A和B为两个不同的形状轮廓，pi为第一个轮廓上的特征点，qj为第二个轮廓上的特征点，令C （i，j）表示两点匹配的代价，则Cij的值可由式 （3）得到

式中：hA，i（k）和hB，j（k）——pi和qj点处的形状上下文直方图，K——直方图区间的总数量。所有可匹配特征点的代价总和即为两个形状的匹配代价。

图4为不同前景目标的匹配示例。图4（a）、（c）、（e）分别展示了3个用于匹配的前景目标图片和轮廓。图4（b）表示轮廓图4（a）、（c）的匹配结果，匹配代价为79.527；图4（d）表示轮廓图4（a）、（e）的匹配结果，匹配代价为79.687；图4 （f）表示轮廓图4 （c）、（e）的匹配结果，匹配代价为32.860。可以看出匹配代价越小的两个物体，其形状越接近，因此可以使用匹配代价作为相似性的度量。通过与所有其他前景物体做形状上下文匹配，可得该物体匹配代价总和。用单一目标的代价和与代价和的平均值进行比对，可为显著性评测提供依据。

图4 基于内距离形状上下文的形状匹配示例

在生成了颜色、形状和面积3个方面的显著性映射后，可通过线性加权合并和阈值化得到需要拣选的显著性目标。图5为图1所示两场景的显著性检测拣选结果，与其他前景目标差异最大的物体已被找出，以圆圈标志。为加快识别速度，还可从显著性检测后得出的合格物体中提取特征，用于快速拣选，以避免每次都进行显著性检测。

图5 显著性检测拣选结果示例

3 拣选系统识别流程与特征修正

由于显著性检测需要耗费大量的系统时间，而其有效性和必要性往往在识别场景或目标发生变化时体现，因此本系统采用如图6所示的显著性识别与快速识别相结合的方法。在检测的初期和目标发生更换的时候采用显著性检测方法找出缺陷目标，然后利用剩余的合格目标生成特征模板，并继续进行基于模板匹配的快速识别。在快速识别过程中，利用已经取得的特征进行匹配性评价测试，找出缺陷目标。当合格目标数目小于2／3的时候，认为目标识别的环境已经发生了变化，需要重新启用显著性检测机制提取特征模板。在合格目标数量大于2／3时，可利用合格目标不断修正特征模板并继续进行快速识别。

图6 拣选系统识别流程

对于特征模板的修正采用的是区域积累的方式，每次快速识别之后对合格目标的特征进行采样并求其与现有特征的差分，存入特定区间。区间积满后，对区间内的差分值进行求和，并累加到现有特征上进行修正。这样的过程相当于积分运算，较大的积累区间能提高修正的准确性，但是需要更大的存储空间。

通过两种识别方式相结合的检测方法，在识别环境发生变化的时候，系统可以自动大幅度调整其目标特征来避免人工干预，从而达到自适应的目的；在环境稳定的情况下，又可以利用传统的模板匹配方法进行快速识别，缩短了识别时间，提高了工作效率。而对模板特征的不断修正也是保障识别正确率的一个重要手段。

4 工业机器人拣选控制系统

图7 机器人控制系统软件结构

找出缺陷目标后，需要使用工业机器人将其拣选出来。本文基于数控中心拥有自主知识产权的华中数控HNC－08型数控系统设计了一套机器人拣选控制系统。该机器人数控系统运动的最小分辨率为0.001μm，最小插补周期为0.125ms，充分保证了机器人速度的稳定性和运动的精确性。图7所示为机器人控制系统软件结构。场景视频经由图像识别终端分析后得到缺陷物体的图像位置，并将所得像素坐标经坐标变换转换为机器人三维位姿坐标后通过以太网传输给数控系统。数控系统上运行的控制系统软件通过通讯管理模块接收到位姿坐标，并由核心应用模块处理后调用机器人软件操作接口产生相应的机器人操作指令，最后通过NCUC总线驱动模块输出到伺服驱动单元控制机器人运动到相应位置实现拣选。

图8所示为控制系统的进程结构。控制进程的工作由多个有效线程共同完成，其中网络线程完成以太网的通讯工作；资源控制、状态控制和异常检测任务由监控线程完成；实时控制线程负责机器人语言程序的解释和位姿坐标的解析，并可通过总线驱动模块向伺服驱动单元传递转动参数，从而引导机器人定位抓取相应目标。图9所示为使用数控中心R8405机器人进行物品拣选的场景。

图8 机器人控制系统进程结构

图9 R8405机器人物品拣选示例

5 实验验证

将设计的工业机器人拣选系统应用于数控中心R8405机器人上，并进行水果、木块、塑料插件等多种颜色、复杂形状产品的缺陷拣选实验，正确拣选率可达91.67%，目标定位精度误差小于2mm。实验表明，该拣选系统能够准确、稳定地完成各种不同色彩、形状目标的缺陷拣选工作，并对场景光照条件变化具有较强鲁棒性。

6 结束语

产品缺陷检测一直以来都是工业生产的重要环节，任何生产设备都不能保证生产出的产品全部合格。视觉引导下的机器人系统能够准确地将不合格产品拣选出来，其稳定性和持久性都是人工无法比拟的，因此必将成为制造加工领域的发展趋势。本文设计的工业机器人拣选系统以显著性检测技术为依托，实现了目标场景的自适应，提高了系统的自动化程度和工作效率，为农副产品的拣选和工业产品的合格检测提供了有力的技术支持。

：

［1］ZOU J，LIU C C，ZHANG Y，et al.Object recognition using gabor cooccurrence similarity ［J］.Pattern Recognition，2013，46 （1）：434－448.

［2］Quyen Bui T T，Hong K S.Evaluating a color－based active basis model for object recognition ［J］.Computer Vision and Image Understanding，2012，116 （11）：1111－1120.

［3］Goferman S，Zelnik Manor L，Tal A.Context－aware saliency detection ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34 （10）：1915－1926.

［4］CHENG M M，ZHANG G X，Mitra N J，et al.Global contrast based salient region detection ［C］／／CVPR，Providence，RI，US，2011，409－416.

［5］Achanta R，Hemami S，Estrada F，et al.Frequency－tuned salient region detection ［C］／／CVPR Miami，FL，US，2009：1597－1604.

［6］Winnemller H，Kyprianidis J E，Olsen S C.XDoG：An ex－tended difference of gaussians compendium including advanced image stylization ［J］.Computers ＆ Graphics，2012，36 （6）：740－753.

［7］Einevoll G T，Plesser H E.Extended difference－of－gaussians model incorporating cortical feedback for relay cells in the lateral geniculate nucleus of cat ［J］.Cognitive Neurodynamics，2012，6 （4）：307－324.

［8］Stoutjesdijk M J，Zijp M，Boetes C，et al.Computer aided analysis of breast MRI enhancement kinetics using mean shift clustering and multifeature iterative region of interest selection ［J］.Journal of Magnetic Resonance Imaging，2012，36 （5）：1104－1112.

［9］Sunat K，Padungweang P，Chiewchanwattana S.Generalized transport mean shift algorithm for ubiquitous intelligence［J］.Simulation，2012，88 （10）：1202－1215.

［10］Sftoiu A，Gheonea D I，Ciurea T.Hue histogram analysis of real－time elastography images for noninvasive assessment of liver fibrosis ［J］.American Journal of Roentgenology，2007，189 （4）：W232－W233.

［11］Tsai S H，Tseng Y H.A novel color detection method based on HSL color space for robotic soccer competition ［J］.Computers ＆ Mathematics with Applications，2012，64 （5）：1291－1300.

［12］LING H，Jacobs D W.Shape classification using the inner－distance ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2007，29 （2）：286－299.