一种基于图像处理的机器手抓握滑移检测方法

（常州大学 机械工程学院，常州 213100）

机器手是机器人的关键部件之一，欲在抓取物体时不发生脱落，首先应检测物体接触面上的滑移，再通过控制夹持力来防止目标物体与机器手之间发生相对滑动，最终协助机器人完成抓取和操作任务。因此滑移信号的检测是机器人完成高精度抓取与操作任务的关键所在[1-2]。

目前常见的检测机器手与抓握对象间滑移现象的方法有[4-6]：磁力式滑觉传感器、触针式压电晶体滑觉传感器、滚筒式滑觉传感器、振动式滑觉传感器、基于电声原理触滑觉传感器、基于新型压阻触滑觉传感器、基于压电材料PVDF薄膜滑觉传感器等，但以上的滑觉检测方法分别存在结构复杂、灵敏度低、成本高等缺点。本文尝试提出一种反应灵敏、可靠性高的基于视觉的机器手抓握滑移检测方法。

1 基于图像处理的机器手抓握滑移检测系统

基于图像处理机器手抓握系统装置如图1所示。系统主要由视觉传感器、显微镜、通讯模块、图像处理模块及控制计算机等构成。固定于机器人手指腔内视觉传感器和镜头实时采集被抓握物体表面的图像，通过USB通讯模块将采集到的信号传至控制计算机。

图1 基于图像处理机器手抓握滑移检测装置Fig.1 Vision-based robot gripping slip detection device

控制计算机通过对连续采集到的被抓握物体表面图像做实时图像匹配分析，判断是否发生滑移及滑移的方向和大小。如图2所示，（a）、（b）为视觉传感器连续采集被抓握物体表面的2帧图像，将图（a）中的特征区域S作为模板，定义其左上角为点P1。在图（b）中通过图像匹配算法可找到特征区域S，并定义特征区域S的左上角为点P2。对比特征区域S在2帧图像中P1、P2点的位置坐标，若x1≠x2或y1≠y2，则被抓握物体在采集这两帧图像的过程中发生了滑移。

图2 被抓握物体表面的2帧图像及匹配Fig.2 Two images and matching of the gripping object surface

为实现系统的快速实时检测，控制计算机采用Visual Studio2008作为开发工具，选取MFC设计了一套友好的人机交互界面，如图3所示。

2 图像匹配

图像匹配就是将包含同一景物拍摄下来的2幅图像在空间上进行对准，以确定出这2幅图像间相对位置的过程[7]。本文采用图像匹配领域中被认为是最佳的相似性评判依据，基于灰度信息的归一化互相关算法（NCC）。它的优点是算法简单、匹配精度高、不受外部光照影响、对噪声具有一定的鲁棒性，且当图像相对缩放、旋转和畸变差异不大时，也能够得到满意的匹配[8-9]。NCC算法就是将2幅图像的相似性归结为2个向量的相似，公式定义为[10]

若a与b相似，则它们的方向基本相同，其夹角 θ近似为 0，即 cos θ≈1，因此，可以根据 cos θ的值判断这2个向量的相似性。在信号处理中，归一化互相关算法经常用来衡量2个信号的相似性，2个信号越相似，则其NCC值越接近1。将其推广到二维图像中（如图4所示），其主要思想为不失一般性，假设待匹配图像S的大小为M×N，模板图像T的大小为m×n。Su，v表示模板T在待匹配图像S上平移时，搜素窗口所覆盖的子图区域。其中，（u，v）表示子图区域左上角顶点在S中的位置坐标。计算并记录子图Su，v与模板图T的NCC相关值，其中最大值对应的子图位置即为最佳匹配点的位置。

图4 待匹配图像S与模板图像T的示意图Fig.4 Image to be matched S and template image T map

NCC匹配算法的公式定义为[11-13]

其中：

3 基于图像处理的抓握滑移检测算法

基于图像处理的机器手抓握滑移检测是通过匹配由视觉传感器连续采集到的2帧图像来判断抓握物体是否产生滑移。本文是通过数字相机来采集被抓握物体表面的图像数据信息，因此由于成像系统、传输介质、记录设备等的不完善会导致采集到的被抓握物体表面图像在其形成、传输记录过程中受到多种噪声的污染，因此，需要对采集到的被抓握物体表面的图像做滤波去噪以及增强有用信息等预处理。由于相邻的2帧图像存在相同特征区域，对比这些相同特征区域的位置信息是否发生变化，可以判断出机器手所抓握物体表面是否发生滑移和滑移的方向与大小。

在试验中，由于基于图像处理机器手抓握滑移检测的采集时间间隔很短，在此期间被抓握物体可能只是产生平移滑动，即使发生旋转滑移，其旋转角度也较小，且图像的主要特征体现在靠近中心的区域部分，因此，可以采取中心区域匹配的思想来提高匹配准确度及降低NCC算法的时间。将抓取过程中采集的某一帧图像作为第一帧图像，连续采集到的下一帧图像作为第二帧图像。计算步骤如下：

1）对采集到的2帧图像做灰度转化、高斯滤波、灰度直方图均衡化等预处理；

2）在实时抓取的第一帧图像中，以中心50像素×50像素区域作为图像匹配的模板T，其左上角设为点P0，计算模板T的均值；

5）比较NCC系数得到最大NCC系数值及其对应子图的起始点坐标P；

6）根据模板起始点P0和匹配图像起始点P的坐标，计算被抓握物体的滑移情况，包括滑移的方向和大小并显示至人机交互界面。

4 试验分析

通过对纸质材料（纸盒）进行抓握滑移检测试验来验证基于图像处理机器手抓握滑移检测方法的可行性。

图5前帧图像（a）和本帧图像（b）为视觉传感器连续采集到的被抓握纸质物体表面的2帧图像，大小为640像素×480像素。采用上述中心区域匹配的NCC算法，即以前帧图像（a）的中心50像素×50像素区域作为模板，本帧图像（b）的中心100像素×100像素作为待匹配图像，并将实时匹配的结果显示在人机交互界面上，如图6所示。

图5 视觉传感器连续采集到纸质物体表面的2帧图像Fig.5 Two images of paper surface collected by camera continuously

图6 被抓握纸质表面材质物体滑移检测的试验输出Fig.6 Slip detection experiment output of the paper surface object

由图6的人机交互界面可以看出被抓握物体的滑移情况，在连续采集到的2帧图像中，采用上述匹配算法，最大NCC系数对应子图的左上角像素点位置坐标即为本帧坐标Q（294，235），水平滑移量为Δx=-1，垂直滑移量为Δy=20。由试验结果可得，被抓握的纸质材质物体在采集这2帧图像的期间发生了滑移，水平方向向左滑移了1个像素点，垂直方向向下滑移了20个像素点。

为验证试验的准确性，可以通过专业的图像处理软件，对比2帧图像上相同特征点的像素坐标，可以得到在采集被抓握物体表面2帧图像期间被抓握物体的滑移情况。利用专业图像软件可得上述两实时图相同特征点对应的位置坐标如图7所示。

图7 视觉传感器连续采集到纸质物体表面的2帧图像及相同特征点坐标Fig.7 Two images which collected continuously and the same feature point coordinates camcorder to the paper surface of the object

由图 7 的（a）、（b）可知，相同特征点（图中鼠标笔尖点）在前帧图像（a）的位置坐标为（281，174），在本帧图像（b）的位置坐标为（280，194）。对比计算这 2 点坐标，可得：Δx′＝-1，Δy′＝20。 这一计算结果表明被抓握的纸质物体在采集这2帧图像期间发生了滑移，水平方向向左滑移了1个像素点，垂直方向向下滑移了20个像素点。此结果与上述人机交互界面输出的结果一致，因此验证了本文提出的基于图像处理的机器手抓握滑移检测方法的准确性。

5 结语

本文提出了一种基于图像处理机器手抓握滑移检测的方法，通过对连续采集到的两帧被抓握物体表面图像，利用归一化互相关（NCC）的匹配方法做匹配分析，可以得到在采集图像期间被抓握物体的滑移情况。并试验研究分析了机器手抓握橡胶物体和纸质物体时发生的滑移情况，验证了本方法的可行性。试验结果表明，此方法可以准确检测被抓握物体是否发生滑移及滑移的方向和大小，具有高准确度、高灵敏度等优点。

[1]周亚平．图像配准技术研究[D]．西安：西安电子科技大学，2008.

[2]CRANNY A，COTTON D P J，CHAPPELL P H．Thick-film force and slip sensors for prosthetic hand[J]．Sensors and Actuators A，2005（123-124）：162-171．

[3]葛亦斌，盛蒙蒙，邱烨．一种基于机器手新型滑觉传感器的研究[J]．中国科技博览，2009，24：229-230.

[4]王颖，陈进军．基于电声原理触滑觉传感器的研究[J]．传感器技术学报，2009，22（12）：1701-1703．

[5]向婷，陈进军．基于新型压阻触滑觉传感器软抓取机械手的研究[J]．制造业自动化，2013，35（3）：69-71．

[6]辛毅，杨庆雨，郑浩田，等．PVDF触滑觉传感器结构及其调理电路设计[J]．压电与声光，2014，36（1）：76-84．

[7]夏经亮，张少军，贺双喜．图像测量中的自动调焦和对准系统的研究[J]．计算机测量与控制，2005，13（7）：653-655．

[8]Du-Ming Tsai，Chien-Ta Lin．Fast normalized cross correlation for defect detection[J]．Pattern Recognition Letters（SO 167-8655），2003，24：2625-2631．

[9]李子印，许斌，陈立峰．基于自适应步长选择的NCC图像匹配算法[J]．光电工程，2013，40（10）：77-84．

[10]孙卜郊，周东华．基于NCC的快速匹配算法[J]．传感器与微系统，2007，26（9）：104-106．

[11]Yu Rong，Tan Yuegang．Research on a new-style visual sensor for measurement[C]//The 1st International Symposium on Digital Manufacture，2006．

[12]韩冰，王永明，刘杨，等．一种基于积分图像的快速归一化及相关运算[J]．导弹与制导学报，2009，29（5）：283-286．

[13]胡敏，贺晓佳，王晓华．快速区域质心图像匹配算法[J]．电子测量与仪器学报，2011，25（5）：455-462．