基于形状内容分析的机器人物料分拣系统*

邹腾跃，唐小琦，宋 宝，陈吉红

(华中科技大学 国家数控系统工程技术研究中心，武汉 430074)

0 引言

根据中国的人口普查结果，从2000 年到2010 年间，中国10 到14 岁以下的人口数量减少了约5%。照此速度，到2015 年左右，制造业就将迎来一轮缺工的高潮。为此富士康等大型制造型企业纷纷开展了自己的机器人计划，拟用高性能、高效率的工业机器人替代工人完成部分工作以弥补用工荒。但我们国家的机器人技术起步时间晚，起点低，以至进口工业机器人大量充斥市场，特别是瑞士的ABB 和日本的FANUC 更是占有了国内大部分市场份额。因此研发我国具有自主知识产权的高性能机器人控制系统及应用系统迫在眉睫。

分拣作业是流水生产线上的一道重要的工序，其目的是将不同类型的物料或工件分类摆放到相应的位置，其步骤主要分为定位、识别、抓取和放置四个阶段。因工人操作存在疲劳度的问题，使用基于机器视觉的工业机器人进行分拣，不但高效准确而且稳定持久，具有很大的优势。随着人工智能的发展，机器人也能够实时适应分拣环境，随时变更作业对象和分拣工序。国外机器人公司已有相关的视觉系统，如ABB 的True View 系统，FANUC 的M-liA 高速拣选系统，Sehuster-prazision 的钻头分拣系统等［1］;而国内尚无成熟的商业分拣系统［2］。现有的系统部分仅使用颜色进行分类，部分将重点放在小目标的定位上，对于形状的分类往往只简单采用几何模板匹配的方式进行识别，不能很好地适应实际情况。因为颜色的区分较易实现，而三维工件摆放角度不同和摄像机视场差异带来的形状识别误差往往是引发分拣错误的主要原因。本文旨在运用形状内容分析方法对物料形状的分类识别进行强化，依靠数控中心自主研发的工业机器人控制系统，实现对不同形状物料的准确、稳定、快速分拣。

1 视觉系统建立及图像预处理

对于机器人视觉系统，首要问题是取得场景的视频图像，以便下一步进行分析或识别。本系统采用大恒 图 像 1/1.8”的 USB-CMOS 面 阵 相 机 DHHV1351UC-ML，采集1280×1024 的数字图像，帧率15 fps，通过USB 口直接接入笔记本或平板电脑。实际摄像机因其使用的镜头成像并非理想的透视成像，通常都带有不同程度的畸变。而相机内参数也会在摄像机坐标系与图像点像素坐标对应时带来误差。

系统可通过摄像机标定对相机内参数和透镜畸变参数进行矫正。标定过程可以使用如图1 所示的棋盘和自标定算法［3］进行。矫正后摄像机采集的二维图像可正确反映物体在三维空间中的位置和形状。

采集的视场图像在进行位置判断和形状分析之前还需要进行相应的预处理，从而抛弃噪声将有效的前景目标从背景中分割出来。预处理包括图像阈值化、中值滤波、去除噪点、轮廓查找等，处理的效果如图2 所示。预处理得到的轮廓将进行分形识别和定位操作。

图1 视频采集系统参数矫正

图2 图像预处理效果示例

2 形状内容分析及匹配

形状内容分析［4-5］是一种利用目标对象内外轮廓特征点间相对位置信息来描述形状的方法。因采用相对位置信息来进行描述，所以物体的旋转、缩放和摄像机引起的轮廓畸变对其影响不大，其在形状的分形识别方面具有较强的鲁棒性。

2.1 形状内容获取与描述

形状内容获取的第一步是用一个离散特征点集来表示物体的形状轮廓。它需要使用一个边缘特征探测器来寻找出物体内外轮廓的特征点，并用密集的离散点集来表示连续的轮廓边线，这一过程称为特征的离散化。图3 所示为特征点提取与描述的一个例子，(d)(e)(f)分别为工件轮廓(a)(b)(c)的特征点描述，每个轮廓提取100 个特征点，图中还按每个特征点梯度方向的不同标示了相应的箭头。

提取了特征点以后就可以根据特征点的相对位置进行形状内容的描述。相对位置的表示是通过log 极坐标直方图来实现的。这种坐标系使临近参考点的特征点的影响要大于远处特征点的影响，从而令参考特征点对个体周围的形状变化更为敏感。log 极坐标直方图可描述尺度log r 和旋转角度θ 两个方面的内容，本系统使用5 个log r 区间和12 个θ 区间的直方图。

图3 特征点提取与描述示例

图4 形状内容获取与描述示例

如图4a 所示，使某一特征点位于坐标系中心作为参考点，通过计数落在每个坐标系区间中其他特征点的数量可得相应的直方图区间值。图中示例分别对拥有4 个和9 个其他特征点的区间进行了标注示例。令pi为形状上任意特征点，hi表示其相对于其他n－1 个特征点的直方图值，则hi可由式(1)得到，hi(k)的集合即为特征点pi的形状内容值。

图4d，e，f 分别对图4b，c 中用□，◇，△标记的三个特征点的形状内容值进行了可视化描述。从图中可以看出，用□，◇标记的两个特征点在不同轮廓上具有位置相关性，因此在形状内容值的表示上也有相似性，即其匹配误差较小。相比之下，用△标记的特征点在形状内容描述上则大为不同，对应其在轮廓上的位置与前两点比也相距较远。

2.2 形状内容匹配与物料分类

获得了目标物料的形状内容信息之后就要对它进行分类了。分类是通过与样品模板进行形状匹配来完成的，确切地说是通过轮廓特征点的匹配来完成的。而轮廓特征点的匹配是通过其形状内容信息的匹配来完成的，即找相似程度最高的特征点。若pi为第一个形状轮廓上的特征点，qj为第二个形状轮廓上的特征点，令Cij= C(pi，qj)表示两点匹配的代价，则Cij的值可由式(2)得到。

其中hi(k)和hj(k)分别表示以pi和qj点为参考的k区间的标准直方图值。为每对可能的特征点匹配关系计算Cij则可以得到一个匹配代价Cij的集合。使该集合中所有元素的和最小化，则可以找到一种最佳的特征点配对关系。这种方式可使轮廓克服旋转、缩放和镜头畸变等因素，最大程度地重合在一起。图5a，b 展示了图3a 和图3b 中两个轮廓的特征点匹配效果，而图5c，d 展示了图3a 和图3c 中两个轮廓的特征点匹配效果。可以看出，同形状物料在特征点匹配后，便可以基本重合在一起。得到特征点的最佳配对后，在已知各分类样品形状的情况下，可以使用最近邻方法［6-7］或计算所有特征点形状内容的最小误差和来进行物料分类。

图5 特征点对应与形状匹配示例

3 物料定位与抓取

在进行了物料的分形识别以后，就需要把相应的物料抓取并放置到预设的位置。如图6 所示，相应的定位与抓取工作涉及到多次坐标变换的过程。首先，物体需要通过数字摄像机成像将其世界坐标转化为图像中的像素坐标。摄像机外参数定义了摄像机坐标系相对于已知世界坐标系的位置平移和姿态旋转的关系。而内参数用于进一步将图像点的摄像机坐标转换为像素坐标。在此过程中，摄像机的内参数会带来误差，需要通过标定进行矫正。接着通过图像中每一像素与空间中距离的对应关系进行坐标变换，得到在三维空间中抓取物体的机器人位姿坐标。

图6 机器人物料拾取坐标变换过程

定位抓取使用MOTOMAN-SK6 机器人实现，对其机器人位姿坐标采用反变换法进行运动学反解［8］。可得SK6 型机器人的关节角度变量θ1～θ6，再通过关节角和电机驱动角的关系转化为电机驱动变量，最后由数控系统控制电机进行转动，精确抓取目标，实验过程示例如图7 所示。

图7 视觉引导下机器人的物料拾取

4 控制系统软硬件结构

工业机器人分拣控制系统分为硬件和软件两个部分。如图8 所示，硬件系统的核心是数控中心拥有自主知识产权的华中数控HNC-08 型数控系统。HNC-08 系统8 轴联动的控制功能，加上丰富的I/O接口，可以满足最复杂的工业机器人控制要求。其最小分辨率为0.001μm，最小插补周期为0.125ms，充分保证了分拣机器人速度的稳定性和运动的精度性。数控系统到伺服驱动单元以及I/O 单元采用基于实时工业以太网的NCUC-BUS 现场总线［9-10］进行连接。其高速通信满足了机器人系统的实时性与可靠性要求。摄像机通过USB 接口与笔记本或平板电脑相连接，图像经识别软件处理后，将分析结果通过以太网传入数控系统，从而操控机器人进行物料分拣。

图8 控制系统硬件结构

图9 所示为机器人控制系统的软件结构。由摄像机采集的视频图像通过摄像接口模块进入图像识别终端，该终端通常为笔记本或平板电脑。物料图像经图像分析模块定位分类后将结果通过通信管理模块发往数控系统。数控系统上运行的核心应用模块对图像分析结果进行处理后调用机器人软件操作接口产生相应的机器人操作指令，并通过NCUC 总线驱动模块或脉冲口驱动模块输出到伺服驱动单元控制机器人运动到相应位置实现分拣。

图9 控制系统软件结构

5 试验验证

图10 所示为运行于图像识别终端上的图像分析软件对一例L 型工件定位识别的效果。可看出本系统识别软件可以对目标工件进行有效分割和轮廓搜索，并通过形状内容分析和坐标变换得到其物料分类和在机器人三维空间中的坐标。

将设计的工业机器人分拣系统应用于木块、铝制工件、塑料插件等多种复杂形状、不同材质的物料分拣中，正确识别率达到98.73%，定位精度误差小于2mm，分拣一件物料平均用时3.8s。实验表明，该控制系统能够准确、稳定、高速地完成各种材质物料的分拣工作，支持不规则形状物体的匹配识别以及近似物体的区分。

图10 图像分析软件定位识别效果

6 结束语

随着自动化技术的不断发展，工业机器人终将取代人类完成各类生产制造工作。而视觉引导是机器人感知外部世界的一个重要组成部分，可为人工智能技术提供最直接的处理素材。本文设计实施的工业机器人物料分拣系统除了能稳定、高效地实现复杂工件原料的分拣外，还能为进一步实现更为复杂的机器人视觉控制系统提供借鉴。其构建于Linux 操作系统之上的控制软件系统，具有良好的开放性，为进一步实现系统扩展和功能升级奠定了坚实的基础。

［1］唐健. 基于机器视觉的机器人分拣技术研究［D］. 南京林业大学，2001.

［2］焦恩璋，杜荣. 工业机器人分拣技术的实现［J］. 组合机床与自动化加工技术，2010(2):84－87.

［3］Z.Zhang."Flexible Camera Calibration By Viewing a Plane From Unknown Orientations，"ICCV1999，Kerkyra，Greek，20－27 Sep 1999:666－673.

［4］S. Belongie，J. Malik，J. Puzicha."Matching Shapes，" ICCV2001，Vancouver，Canada，07－14 Jul 2001:454－461.

［5］S. Belongie，J.Malik，J.Puzicha."Shape matching and object recognition using shape contexts，"IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24(4):509－522.

［6］ E. Rosch. " Natural Categories，" Cognitive Psychology，1973，4(3):328－350.

［7］E.Rosch，C. B. Mervis，W. D. Gray，D. M. Johnson，and P. Boyes-Braem. " Basic Objects in Natural Categories，"Cognitive Psychology，1976，8(3):382－439.

［8］熊有伦，唐立新，丁汉，等. 机器人技术基础［M］. 武汉:华中理工大学出版社，1996.

［9］王翰，宋宝，唐小琦，等. 基于NCUC_Bus 现场总线的数据硬件复制设计实现［J］. 组合机床与自动化加工技术，2012(7):23－26.

［10］刘慧双，宋宝，周向东，等. 嵌入式数控系统NCUC_Bus现场总线设备驱动研究与开发［J］. 组合机床与自动化加工技术，2012(8):62－69.