基于机器视觉的有色金属加工物料识别跟踪技术研究

刘兴刚，刘为超

(1.中色科技股份有限公司，河南 洛阳 471039；2.洛阳师范学院，河南 洛阳 471934 )

随着智慧工厂的概念提出，提升工厂智能化水平成为重要任务。有色金属加工企业已经进入了数字化转型的新阶段，在工厂具有高度自动化和信息化以后，利用物联网、深度学习、人工智能等高新技术，提高生产效率，降低运营成本，解放人力，已成为行业需求。工厂物料的运输存储过程是工厂物流的重要一环[1,2]，传统的物料运输和统计多采用人工纸质统计的方式，日常统计比较繁杂，耗费大量人力。为了提升生产效率，我们提出一种基于机器视觉[3-5]的物料识别跟踪方法，能够自动识别物料数量、实现物料跟踪和定位。图像识别与跟踪流程如图1所示。

图1 物料识别、跟踪、定位流程Fig.1 Material identification, tracking, and positioning process

1 系统组成

该系统硬件由高分辨率摄像机、光源、服务器和显示器组成，如图2所示。通过摄像机采集现场图像数据，通过server将camera1、camera2、camera3、camera4的视频图像合成为一张全景图像，将合并后的图像采用目标识别、跟踪算法，确定物料的个数和实时位置信息。

图2 物料跟踪系统组成Fig.2 Material tracking system composition

2 基于Yolov3的物料识别

传统的数字图像处理技术一般基于物料的颜色、纹理、形状或相互融合的特征来进行识别。随着时间的推移，机器学习技术发展，基于图像分割和分类器的图像识别技术应用广泛，包括基于K-means聚类、KNN聚类、支持向量机SVM等算法。同时，深度学习的识别方法也发展迅速，包括卷积神经网络(CNN)、循环神经网络、对抗神经网络、Yolo、Fast R-CNN等模型。基于python的tensorflow和pytorch两种机器学习框架不断发展，已经能够深入结合实际应用，满足工厂应用程序开发。采用Yolov3进行物料识别[6]，能够满足物料识别的实时性和准确性。通过Yolov3识别物料的流程如图3所示。

图3 Yolov3物料识别流程Fig.3 Yolov3 material identification process

3 基于DeepSort的物料跟踪

该算法流程为，系统通过马氏距离判定数据关联是否成功。其中马氏距离为：

当马氏距离小于指定阈值为9.4877时，则关联成功。

为解决遮挡问题，引入表观特征余弦距离来判定是否关联。其中表观特征余弦距离为：

当该表观特征余弦距离小于阈值时，则关联成功。

图4 Deepsort物料跟踪流程Fig.4 Deepsort item tracking process

4 物料定位

物料定位的难点在于如何将二维图像坐标和三维世界坐标一一对应起来。涉及到摄像机成像原理。为确定空间物体表面的三维几何位置信息与图像中对应点之间的相互关系，需要建立相机成像几何模型，得到相机的内参、外参和畸变参数，最终通过坐标转换得到实际物体三维坐标信息。图像坐标系、相机坐标系、世界坐标系之间的相互转换如图5所示。

相机坐标系是以光心为相机坐标系的原点，以平行于图像的x和y方向为Xc轴和Yc轴，Zc轴和光轴平行，Xc轴、Yc轴、Zc轴互相垂直，单位是长度单位。图像物理坐标系以主光轴和图像平面交点为坐标原点，x和y方向如图5所示，单位是长度单位。图像像素坐标系，以图像的顶点为坐标原点，u和v方向平行于x和y方向，单位是以像素计。

图5 坐标转换Fig.5 Coordinate transformation

从世界坐标系到图像坐标系的转换过程为，世界坐标系通过外参矩阵转换到相机坐标系，相机坐标系通过内参矩阵转换到图像像素坐标系，转换过程和公式如下：

5 试验结果及分析

采用pycharm为IDE，pytorch深度学习框架，识别对象为铝卷，试验结果如图6所示。通过试验验证，使用Yolov3能够快速且准确的识别铝卷，采用deepsort算法能够在无遮挡或半遮挡状态下持续跟踪铝卷，建立物料平面库，通过几何标定，最终能够确定物料所处平面区域。

图6 试验现场图片Fig.6 Test site pictures

6 结束语

机器视觉技术已经在很多行业中得到应用，识别车牌、人员、汽车等任务表现良好，为各行业带来了价值。而有色金属加工行业想要实现智能化仓储、物流，需要结合现有的高新技术，通过深度学习和机器视觉实现物流跟踪，能够大幅度降低成本，并给物流智能化提供更多的技术支持。随着工业互联网的建立，厂区各个生产环境互联互通，信息化与自动化高度结合，物料从来料、转运到仓储形成一整套的智能化管理流程，提升生产效率。