基于视觉识别的自动抓箱系统分析及方案设计研究

张锋锋

（江苏润邦工业装备有限公司，江苏 苏州 215437）

0 引言

智慧港口代表着未来港口的发展方向，目前科技的发展已经在为“智慧港口”的建设在奠定基础。根据《交通运输信息化“十三五”发展规划》，全世界各大港口都在加速自动化的升级，透过5G，物联网，人工智慧，无人装载等借以提高整体运行效。随着智慧港口建设的推进，自动化设备的发展也迎来了发展期。国内外各个码头及码头整体方案解决的主机厂都逐步进入了整个自动化的研究及实施中。AI视觉系统逐步的进入主机厂的视野。视觉系统的边缘计算及识别要求也有传统的2D模式逐步走向3D建模的形式，更加系统化，立体化的去读取及识别实物。不仅仅在理想状态情况下，这个是可以识别及实现功能，同时现场情况是复杂的，如深夜模式，地面识别颜色褪色，集装箱有损坏，识别区域的大小等都会影响并需要调整识别算法适配需求，所以最终要具体场景进行分析处理，通过大量的数据运算及现场实际情况的自学习，来增加数据库容量的积累，满足各种极端工况的[1-2]。

1 视觉识别工作原理

随着计算机/图像处理等技术的发展，视觉技术的应用也越来越广泛。通过视觉（CCD摄像头）来识别图像的正确信息，实时读取部件的特征参数，识别部件类型及所处的姿态。因此，视觉技术（CCD摄像头）目标识别和定位算法为研究方向，针对集装箱的实现匹配技术和空间定位功能[3-5]。通过上位机的控制及逻辑命令，给出抓箱设备明确的大车，小车，及吊具的定位要求，设备自行运行到制定位置，并且X，Y，Z三个方向的精度都控制在50mm以内。然后通过视觉精确定位识别技术获得准确抓箱位置定位信息。并能够有检测功能，实时反馈给上位机吊具在X/Y/Z三个方向的实施位置，实现调整检验功能，以达到精准定位。原理见图1。

图1 定位流程概念

2 自动抓箱方案设计

2.1 CCD摄像头布置设计

通过在吊具的四个角上增加固定摄像头，摄像头一般为1080P的高清摄像头。通常选取CCD摄像机，识别集装箱锁孔的相对位置。当吊具位置距离下方集装箱约3m时，拍摄下方集装箱照片，通过分析图片，找到集装箱的4个锁孔位置并计算与标定位置的像素数偏差，再根据焦距和拍照位置，计算出集装箱相对于吊具的偏移量，为自动着箱提供精确定位数据，见图2。

图2 CCD摄像头工况示意图

2.2 视觉识别控制逻辑

（1）上位机（RCMS）获取来自集装箱码头管 理 系 统（TOS）作 业执行命令，发布抓箱的动作指令，给出明确的排位，贝位，箱号的要求。

（2）上位机（RCMS）通过解析任务指令，给设备发出大车/小车运行指令，并自动运行至指定位置，并确定位置精度要求不得低于设定值。如超出标准，反馈给上位机进行自动调节。

（3）小车到达指定位置，吊具下降一定高度，并且通过摄像头识别集装箱锁孔的位置，实时读出偏移量数据（X，Y方向），并且将数据反馈给上位机。

（4）上位机（RCMS）根据实施反馈的数据，判断偏移量是否再符合在系统设定值范围内，符合偏移量设定值要求，给出抓箱指令进行抓箱。

（5）不合符偏移量范围设定值的要求，上位机根据反馈的偏移量使得设备自我进行姿态调整。

（6）调整结束后，通过视觉读取与集装箱锁孔的偏移量进行检验，直至符合要求进行抓箱动作。

（7）抓箱并闭锁，吊具起升，并运行至指定位置。

2.3 视觉识别逻辑

（1）将集装箱堆场，集装箱等基础数据进行三维建模，通过扫描堆场信息，集装箱锁孔图片及信息，堆场划线图片及信息，提前进行大量数据的自学习，积累数据库。

（2）建立视觉识别技术下的3D坐标系。CCD摄像头读取到3D坐标值后，反馈给图像处理单元并转换成ASCII码字符串数值，通过Profinet或CAN通讯协议发送给上位机，上位机收到ASCII码字符串坐标后，转换成自己可以识别的的标值，通过该坐标值实现精准定位。

（3）集装箱锁孔为标准件，集装箱锁孔的外形尺寸，图像信息等，4个CCD摄像头通过自学习的方法掌握了基本数据。将集装箱的四个角的锁孔分别定义为C1/C2/C3/C4，以便上位机可精准接收到各个角反馈的数据。在吊具的下降过程中（即吊具距集装箱相对位置3m左右），4个CCD摄像头读取吊具和集装箱四个锁孔的偏移量（X/Y方向的相对数值），见图3。

图3 偏移量读取示意图

（4）4个CCD摄像头分别建立坐标系：获得集装箱锁孔视频帧图像，并处理转换为二维矩阵，搜索矩阵中黑点同时结合自学习的锁孔的外尺寸轮廓，当有一堆黑点时，确认中心点为坐标原点。

（5）坐标系如果未锁定，发现的所有坐标写到帧图像上。

（6）坐标系如果有锁定，将记录锁定时所有发现的坐标及当前帧的上一帧图像发现的坐标上，按照（4）中步骤步获取当前帧坐标当前坐标计算出锁定的坐标的当前坐标，两坐标距离。根据当锁定的坐标，当前坐标距离在上位机已设定的值内，判断为重合，锁定的坐标，当前坐标写到帧图像上；当锁定的坐标，当前坐标距离超过原始设定的值，锁定的坐标，当前坐标，距离线，距离值写到帧图像上。

（7）图像处理单元并转换成ASCII码字符串数值，上位机生成偏移数据量，X/Y方向的偏移值，需要再显示器上显示，并且将数据反馈给上位机。上位机根据参数设定判断是否再可抓箱范围内，进行动作。

（8）需调整量=偏移量绝对值-设定值，同时在系统中需要设置正负值来区别偏移的方向。上位机再得到调整量的方向及值后，自动进行调整。

（9）当需要完成叠箱时，吊具上带着集装箱，距离下层集装箱高度约3m时，进行低速动作。4个CCD摄像头需要完成对下层集装箱外4个角的外边轮廓进行扫描，获得集装箱4个角外边轮廓的视频帧图像，进行处理，得出4个角的偏移量，反馈给上位机，控制系统给出指令及调整量进行自我调整，直至符合堆箱调节，进行自动堆箱。

3 结论

智慧港口行业的推进，除了传统PLC控制行业的更新迭代，还需要软件行业在工业控制领域，运用大量软件的运算规则实现能源分析，工序优化，任务分配解析等，优化并加速自动化行业的进程。利用视觉技术，进行大量的数据自学习，边缘计算等，可以最大化的满足港口设备自动抓箱的功能，但是同样需要克服设备自身震动，集装箱破损等客观因素，在实践中不断的优化逻辑运算，优化作业流程。