基于视觉识别技术的智能装车作业流水线设计

文/俞嘉浩 倪卫红 赵成国 赵俊朋 江文歆

随着“智慧物流”时代的到来，视觉识别技术的研究与应用越来越引起物流工作者的重视。装车作业作为物流活动的起始环节，常常会被人们所忽视，实际上，一个高效率、智能化的装车作业流水线对于衡量企业物流服务水平有着重要意义。

装车作业流水线有三个关键环节：包装缺损检测、暴力作业识别、最优装车方案规划。在包装缺损检测环节，韩晓健、赵志成提出的利用卷积神经网络与传统数字图像处理办法相结合的方式，不仅实现了图像特征的自动提取，更提高了物体表面裂缝的识别率，能够成功定位裂缝的位置以及裂缝的大小，该算法在建筑学上的应用，对于我们在物流包装检测方面的应用具有很大的启发与借鉴意义。

在暴力作业识别环节，过去主要的识别方法包括基于多尺度合成算法的物流暴力行为识别法、基于支持向量机算法的物流暴力行为识别法和基于K均值聚类算法的物流暴力行为识别法，但是这些方法由于准确的暴力行为特征获取得不明显，因此识别的准确性不高。尚淑玲提出了一种基于计算机视觉、利用小波包分析的方法，对物流过程中的暴力行为进行有效识别。此法的识别准确率远高于传统的识别方法，但是仍有较大的提升空间。

在最优装车方案规划环节，重点是获取到产品包装的尺寸信息。国内早期出现了基于光电扫描方式的测量架，但该方法不仅效率低下，且测量精度过于依赖高性能硬件；广州市西克传感器公司研发的DWS系统，利用激光或光栅式体积扫描系统测量包裹体积，但是该设备对环境要求比较高，且成本昂贵；堆叠货物体积测量系统主要应用于航空货运，在物流领域难以实现广泛的应用。

基于此，本文以装车流水线为研究对象，通过运用深度学习、卷积神经网络、双目视觉等技术，设计了基于视觉识别技术的智能装车作业流水线，提升了企业的整体物流服务水平。

一、装车作业流水线的现状及问题

1.货品包装完好性不足

大部分企业对于包装的设计，往往从生产角度出发，对运输包装并不十分重视。在商品从生产出来到装车的过程中，往往会出现由于冲撞、震荡或者其他不可抗因素影响导致的箱体破损、褶皱变形、密封不完全等现象。由于鲜有企业会要求装车工人对货品包装进行检查、对不合格的产品包装进行返工或回收废弃处理，因此经常会产生商品破损或收货后客户不满意而引发的商务纠纷带来的经济损失，也会影响到企业服务水平在市场当中的口碑。据不完全统计，我国物流业每年因包装问题而产生的损失达到百亿元。为了保证物流运输的质量、确保物体包装的完好性，一个完善的包装检测系统显得格外重要。

2.装车工人暴力作业

虽然现在大部分行业在装车时采用托盘，通过叉车进行装车作业，但在一些特殊行业，如快递业，依然需要大量的人工对货品进行分拣和装车。当出现分拣的货物数量较多、员工疲劳作业、企业监管不力等情况时，为了追求效率，许多员工容易出现野蛮装车、暴力作业的情况，摔、砸、抛、扔、踢，甚至坐在包裹上。对于一些易碎物品和贵重物品，很难在暴力作业后幸存，而对于一些危险品，更是会产生无法预估的损失。由于物品损坏而引发的纠纷问题已成为消费者投诉的重灾区。为了提高物流服务的质量和水平，整治员工暴力作业势在必行。

3.货品码放不合理，箱体空间利用率低

现阶段人工装车作业时，装车工人大多凭经验和主观判断进行货物的码垛。一方面，工人在规划装车方案以及发现不合理装车进行调整的时候，容易浪费大量时间，使得整体堆垛效率低下；另一方面，不合理的货品码放使得箱体空间利用率低，且容易造成货物或包装挤压变形等现象。现代物流对货物几何尺寸信息的利用率较低，目前市场上主流的物品打包算法采用事先在系统内输入产品参数，在获取订单时根据事先输入的参数进行最优装车方案计算。这个方法在物品包装大小比较规则、产品尺寸种类不多的情况下具有良好的效果，然而在包装尺寸大小不一的快递业中，很明显此法难以行得通。因此，需要一个能够快速获取包装尺寸信息的系统，实时构建预设模型，计算出最优装车方案。

二、视觉识别技术在装车作业流水线上的应用

近年来，视觉识别技术不断发展，它利用计算机视觉系统软件和图像摄取装置模拟人类的视觉功能，通过提取被摄取目标的图像特征然后与预先存储在数据库中的特征集进行对比或者对测量现场的目标信息进行数字化处理，将识别出来的结果上传给控制系统，进而发出相应的动作指令，以实现对作业现场的测量、监督和控制。图像处理与识别的基本过程，如图1。

1.包装缺损检测

（1）基于深度学习的产品包装检测

产品的外包装检测，主要在于检查包装是否出现褶皱变形、密封不完全、箱体破损等现象。针对这些问题，选取裂缝检测以及包装边缘形状检测作为检测的项目，基于深度学习与神经网络技术，结合计算机视觉，通过CCD相机捕获被测物品的位置与坐标信息，同时获取相应的物品图像；然后通过图像预处理，对获取的图像根据图像本身的缺陷和具体的研究目的而采取的一些图像增强、复原等措施。最后根据所获得的测量图像和数据，进行特征提取，形成特征向量，为最后的决策和判断提供主要的依据。

图1：图像处理与识别的基本过程

图2：双目视觉原理图

（2）图像的预处理

在采集被测物品图像信息的过程中，图像信息容易被外部的噪声、摄像机的轻微抖动、光学散焦等因素的影响，出现图像模糊、质量不理想的情况，此时就需要对原始图像进行最优化描述。尽管现在大多数图像采集设备像素较高，采集到的图像清晰、细节完整，但仍不免夹杂有图像噪声。由于在裂缝提取过程中这些噪声的影响较大，为了得到清晰的图像画面，需要使用图像滤波算法对图像去噪，通常采用中值滤波与双边滤波作为图像非线性滤波器，两者均具有保边去噪的功能。

（3）图像的分割和特征提取

为了便于之后的处理，往往会进行图像分割以获取图像中有价值的信息，这是从图像处理到图像分析的关键步骤。现有多种图像分割方法，我们选用边缘检测分割方法，边缘有方向和幅度两个特性，通过边缘检测算子对图像区域进行检验。沿边缘走向的灰度变化呈阶跃形，边缘的位置对应一阶微分幅度较大的点，同时也对应二阶导数的过零点，因此利用梯度最大值或二阶导数过零点提取边界点就成为一种有力的手段。我们选用Canny边缘检测算子进行检测，Canny算子的实际边缘与检测到的边缘位置之间差距最小，不丢失重要边缘的同时能保证其检测的最优性。

进行图像分割之后，需要对图像之中的裂缝进行识别定位，将图像与通过深度学习与神经网络训练出来的裂缝识别模型进行比较，如果分割后的图像中存在裂缝，则将裂缝信息提取出来，输出裂缝图像。同时将该物品的位置信息传递给后方的拣选系统，及时将该物品取出，以便进行返工或者回收废弃处理。

2.暴力作业识别

（1）卷积神经网络

卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。卷积神经网络的结构主要包含卷积层、池化层、全连接层和Softmax回归层。卷积层的神经元能从前一层输入中提取更高层次的特征，得出特征图，并通过池化层进行降维，减少数据冗余，最后通过全连接层和分类器进行分类识别。

（2）基于卷积神经网络的暴力作业识别

现阶段有许多基于卷积神经网络的动作识别方案，例如：

①基于多尺度信息融合和深度学习的人体行为识别，通过构建多个深度网络，组成并行结构来研究深度视频的人体行为识别。该方法优点在于不依赖人工设计特征，不需要对数据进行复杂预处理，流程简单，对于大幅度的、数据集中行为差异较大的行为识别率高达98%。但是该方法对于动作幅度较小，数据集中行为差异不大的行为的识别正确率较低。

②为了同时满足大规模数据集的计算与小幅度动作的识别，提出了一种基于双层核极限的学习机与深度学习的动作识别算法。该算法分为两层，第一层计算手工特征和深度学习特征，第二层训练分类器，将预测得分映射值最终的动作分类。手工特征采用的是密集轨迹特征，深度学习特征则是基于运动信息的卷积神经网络，最后利用核支持向量机的泛化能力将二者进行融合。该算法在小幅度动作识别上的准确率高于同类算法，且需要的训练时间远小于其他算法。

上述两种算法，可以很好地应对物流中暴力作业的检测需求，无论是大幅度的扔、踢、踩等动作，还是小幅度的违反操作规范的手部动作，都可以分别应用这两种算法很好的识别出来，且对于特征的选取简单、训练时间短，能够快速投入使用。但是这两种算法存在各自的局限性，如果能够将两个算法进行融合和优化，在物流领域的应用前景值得期待。

3.最优装车方案规划

（1）双目视觉原理

双目视觉基于视差原理，通过对成像设备从不同位置获取的多幅被测目标的二维图像信息进行分析，根据对应点之间的位置偏差计算得出被测目标的三维尺寸信息。双目视觉的原理，如图2。

其中，B是两台摄像机投影中心的距离；f是摄像机的焦距。当待测物体进入双目摄像机拍摄区域时，设其上某一点的空间坐标为P(x,y,z)，其在左右图像中点的坐标分别为Pleft=(Xleft,Yleft)和Pright=(Xright,Yright)，因为两摄像机在同一平面，所以待测物体在两个摄像机中的图像坐标Y是相同的，即Y=Yleft=Yright，因此可得其三维坐标为:其中因此，任一相机像面上的任意一点只要能在另外一个相机像面上找到对应的匹配点，就可以确定该点的三维坐标。

（2）基于双目视觉的最优装车方案规划

在选取好合适的位置架设摄像头后，首先要做的就是对相机进行标定。标定的目的是获取相机的内参（焦距、图像中心、畸变系数等）和外参（旋转矩阵与平移矩阵，用于对齐两个相机）。为了达到更好的效果，选用工业级的玻璃面板能够获取更高的标定精度。然后进行双目矫正，目的是为了消除参考图与目标图之间在Y方向的差异，只保留在X方向上的不同，提高视差计算的准确性。随后采取双目匹配获取视差图，借助双目图像进行立体校正后获取重投影矩阵，恢复出空间点的深度信息，求得点的空间坐标，并对点云数据进行可视化操作，即三维重构以寻找一种拓扑连接关系，逼近被测物体的原始曲面，在这一步就可以较好地还原物体的空间形状和结构。最后一步就是根据前面几步中获得的视差、内参、基线计算实际深度。获取几何尺寸的流程图，如图3。

图3：几何尺寸获取流程图

当待测物品从摄像头前通过时，系统通过上述流程，在短时间内快速反应，获取物品的尺寸信息，并且传入计算机内，建立预设模型。然后根据尺寸大小、货品材质、重量等信息，通过一定的算法，计算得出最优装车方案。

三、结语

针对当前物流行业智能化的要求，本文基于视觉识别技术的原理和方法，设计了智能装车作业流水线并对其中的关键部分进行了研究。但是外界环境的改变也会影响其识别的稳定性，因此，在应用的过程中，需要根据现场实际情况及时地进行相应的系统设计和调整。此外，为了提高装车作业的效益，以下几个方面也值得我们关注：

1．改进物流包装技术。降低破损包装出现的概率，减少因为包装问题而产生的经济损失和时间浪费。

2．包装标准化。使用统一的标准化包装，不仅能够便于货物的码放，提高物流效率，还能节约包装材料，降低物流成本。

3．规范工人作业行为。建立相应的赏罚与监督机制，定期进行操作培训，避免出现暴力作业现象。

4．健全物流人才培养机制，既要注重理论培养，也要加强实践创新教育，整体提升物流从业人员素质。

我们认为，随着“智慧物流”的深入发展，视觉识别技术必将会在更多的物流环节得到应用。