集装箱码头锁销自动化拆装视觉定位系统研究

上海国际港务(集团)股份有限公司尚东集装箱码头分公司

1 引言

自动定位技术广泛运用于工业领域的各个环节。在工业自动化生产中，需要迅速精准地对零部件进行加工和安装，其中部分生产环节已经实现了自动定位，但是仍然有一些环节需要人工进行定位，一定程度上制约了自动化生产的效率。随着科技的发展，市场及用户对产品的精密程度和质量的要求越来越高，传统的定位方法已经不能满足需求，视觉定位技术应运而生[1]。

视觉定位系统是通过计算机模拟人的视觉功能，实现实际的检测和控制。图像传感器是视觉定位系统中的主要装置，分为互补金属氧化物半导体(CMOS)和电荷耦合器件(CCD)两大类，可以把被采集物的图像信息传递给图像处理系统，图像处理系统再将其中的亮度、对比度、像素分布等特征信息转化成数字信号，并生成相应的控制指令[2]。

视觉定位系统效果的好坏与图像质量的高低成正比，大多数情况下，视觉定位系统处理效果差，多是图像质量低、特征信息模糊导致的。为了采集到高质量、特征信息明显的可处理图像，需要亮度、对比度以及鲁棒性都较好的光源[3]。

视觉定位系统中，好的光源需具备合适的亮度、足够大的对比度以及较高的鲁棒性，这一方面可以保证摄像头能够清晰地拍摄图像，另一方面能够使需要处理的图像特征信息变得明显。具体的光源选取还在于现场的实验调试。

2 锁销自动拆装系统的工作流程

锁销的视觉定位系统在锁销自动拆装系统中发挥着重要作用，可以为锁销拆装提供左右、前后、高低3个方向的位置信号，主要由激光测距和视觉定位2个部分构成。激光测距负责测量锁销左右方向的位置，前后和高低方向的位置检测由视觉定位系统实现(见图1)。相机镜头内目标物包括集装箱锁孔和锁销(见图2)。

图1 激光和相机布置示意图

图2 相机镜头内目标物

2.1 拆锁工作流程

吊具将需要拆卸锁销的集装箱放置在搁架上，定位系统确认有需要拆卸的锁销时，要对锁销位置进行检测，以便机器人拆卸锁销。其中，激光检测左右方向位置，相机定位检测前后和高低方向，以及锁销的存在与否。拆锁机构根据定位系统提供的位置信息，到达对应的位置，完成锁销的拆卸，并将锁销放置在相应的存放点。视觉检测确定锁销拆除，集装箱被吊运走，重复下一循环。

2.2 装锁工作流程

吊具将需要安装锁销的集装箱放置在搁架上，定位系统确认需要安装锁销的位置没有锁销，并对安装目标位置进行检测，以便机器人安装锁销。装锁机构从锁销存放点取出锁销，根据定位系统提供的位置信息，到达对应的位置，完成集装箱锁销的安装。视觉检测确定锁销安装到位，集装箱被吊运走，重复下一循环。

3视觉定位系统的选择

3.1 夹具

洋山深水港四期全自动化码头锁销拆装系统中，拆装机器人采用专门研发的夹具系统，使用气动控制，实现多种夹具的自动切换与应用，可以适应各种箱型，满足市场80%的锁头拆装需求。针对码头作业现场环境复杂、震动大等特点，夹具部分加入了浮动系统，在抓取过程中，夹具处于柔性状态，可以有效避免抓空的情况。另外独特的夹具快换装置可以在面对多种锁头时，及时更换需要的夹具，实现夹具更换的自动化。

3.2 传动装置

采用独立研发的皮带机系统作为传动装置，通过伺服控制精确定位，将锁销盒送达指定位置，等待机械手臂将拆下的锁头放置在盒子内，再由程序控制将锁头运送到指定的框内存储，实现自动化生产。

3.3 激光测距

集装箱左右两侧分别布置了激光测距限位，实时监测箱子放置过程中的偏差，通过运算传递给机械手臂，实现每个集装箱的精准定位。

3.4 视觉检测

视觉检测方面，目前有单目视觉系统和双目视觉系统可以选择。

(1)单目视觉系统。单目视觉系统具有设备装置简单、安装维护便捷、适用性好等特点。其视觉定位只需1台相机即可完成，不存在双目视觉系统中2台相机特征点和距离选取的问题，可以很好地完成目标位置标定、机械手臂监测等工作，已经逐渐运用在工业领域的各个方面[4]。

单目视觉系统定位分为单帧和多帧，针对码头锁销的情况，选择多帧定位进行讨论。多帧定位是指相机在移动过程中采集同一环境下不同时间点的多帧图像，通过被采集图像之间的像素位置差来进行定位。其中，关键是进行图像间的对应特征信息匹配和比对处理。

双帧定位中，往往利用提前标定好的相机在移动过程中进行图像采集，由双帧图像之间的投影计算出匹配点对应的基本矩阵，然后根据本质矩阵和基本矩阵的换算关系计算出本质矩阵，分析得到单目相机的旋转和平移参数，最后转换坐标系得到目标物的三维特征信息。对比立体视觉定位方法，可以对基本矩阵进行迭代运算，并根据RANSAC算法进行鲁棒性评估，获取相机移动的距离和图像投影之间的8对匹配点，同时采集多份周围环境的特征信息，这样可以有效提高定位精度，但是局限性也会明显变大[5]。尺度不变特征变换算法(SIFT)可以实现尺度和旋转的不变性，不存在采集到的图像对应点匹配问题。不过该算法同样需要先采集图像特征信息，然后计算出三维特征信息，且其采集图像的频率较低，不适用于需要相机快速移动的设备[6-7]。

此外，可以利用图像之间的灰度信息拼接技术匹配图像。相机进行多次平移和旋转，采集具有多个匹配特征点的图像，通过对比特征点的变化实现相机定位。其中，拼接技术的关键是通过相机平移和旋转的仿射变换推算出图像之间的特征点变化关系。实验证明，该方法可基本实现相机定位，但实际应用中，往往无法获取相机光心和目标物之间的距离，只能计算得出相机的运动方向和相机的旋转角度，无法计算出相机准确的位移量[8]。

(2)双目视觉系统。双目视觉系统属于立体视觉，是基于视差原理进行三维信息的测量，如图3所示，相机的焦距为f，2台相机投影中心的连线距离为基线距B。

图3 双目视觉系统原理图

假设2台相机分别布置在目标物偏左和偏右的2个方向上，在同一时间点对物体的特征点P(xc，yc，zc)进行采集，各自采集到包含点P的图像。设2台相机采集到的特征点P坐标分别为Pleft=(Xleft，Yleft)，Pright=(Xright，Yright)。

因为2台相机所采集的图像属于同一平面，故特征点P的坐标Y坐标应相同，即Yleft=Yright=Y，由三角几何关系可以得出：

(1)

则2台相机视差为：Disparity=Xleft-Xright。由此得到出特征点P在相机坐标系下的三维坐标为：

(2)

因此，对于右侧相机图像平面上的任意一点，只需在左侧相机图像平面上找到对应的匹配点，就能够确定其三维坐标。该方法是单纯的点对点运算，对于图像平面上所有的点，只需要找到2台相机上对应的1对匹配点，就能够由该方法计算出其三维坐标[9]。

双目视觉系统的工作步骤如下：

(1)图像采集。双台相机布置在同一直线上或者同一平面上或者成三维立体分布，进行图像采集。

(2)相机标定。推算特征点在相机坐标系和空间坐标系中的转换关系，涉及到相机内部的几何和光学参数。

(3)图像预处理和特征提取。图像预处理主要是进行图像亮度和对比度的调整，以及信噪比的增大；特征提取主要包括点状特征、线状特征和区域特征提取。

(4)三维坐标确定。通过对特征点的计算，建立不同图像平面中特征点的对应关系，确定特征点的三维坐标。主要包括4个步骤：①在2个图像平面中任选一个图像平面，选择某一需要被观察的特征点；②在另外一个图像平面中确定该特征点的对应位置坐标；③对比2个图像平面上特征点的坐标，计算得出视差；④确定该特征点的三维坐标。

(5)恢复三维场景信息。在计算出特征点的三维坐标后，进行图像深度确定，恢复实际三维场景信息。

4 结语

视觉定位系统的选择需满足对目标物(锁销)的位置进行判断和测量的精度要求，能够提供准确的信息，以便完成锁销的拆卸和安装工作。视觉定位系统的选择应具备对锁销的种类进行辨别的功能，保证锁销和夹具的匹配，避免外界提供锁销种类信息错误而损坏夹具，并且对锁销种类的辨别功能还应具有扩展性，以便适应新的锁销种类。具体使用单目视觉系统还是双目视觉系统，需要结合码头现场的实际情况做进一步的选择研究。