动作轨迹捕捉技术在装配防错领域的应用

李欲晓 张俊雄 杨牧

摘要：在发动机制造过程中，装配环节工序流程复杂、零件种类繁多、装配参数要求严格，且存在一些暂不适合使用自动化设备的工位。人工执行作业会带来较多的不确定因素，导致装配过程的错、漏等执行问题，影响发动机品质。对此提出了采用机器视觉技术进行发动机装配过程防错的技术应用方案，根据发动机装配过程中的动作特征，通过目标特征提取和识别检测算法，实现对人工作业轨迹的实时跟踪、判断、规范和引导，在避免不同装配环节中出现错误的同时，对操作人员的作业时长和作业姿态进行规范，实现整线装配质量和装配效率的提高。

关键词：发动机;轨迹捕捉;色调;防错;装配

0 前言

发动机的装配过程可以理解为将其主要机构和各个零部件以正确合理的顺序，采用对应工艺，严格依照要求将其装配成为整体，且在装配的同时出于防错的需求，对关键零部件的工艺参数及操作过程进行采集判断，确保其符合标准工艺要求，保证装配质量，使装配完成后的发动机有良好的密封性和性能表现。

目前主流的图像识别、扭矩检测等防错手段主要面向人员的作业结果进行检测，普遍缺少对人工作业过程的直接探测能力，无法对人员操作进行有效防错。

本文提出对人工标准作业过程进行分解，结合机器视觉技术，针对作业过程中影响装配质量的关键动作要素进行逐一检测判断，从传统判断作业结果的检测思路转变为面向作业过程检测，达到对发动机装配过程的控制防错目的。

1 动作轨迹防错系统简述及其架构

动作轨迹防错系统是以机器视觉技术为核心算法，通过工业相机、数据处理服务器、现场工控机等各部分硬件系统的有机结合，组合成为具有实时性、稳定性、准确性的高效复杂应用型系统。该系统可以适应自动化及半自动化装配线高速运转的节拍需求，实时完成对目标图像的采集、处理、判断，并输出判断及引导结果。

动作轨迹捕捉防错系统包括图像采集、图像处理、智能判断决策3大模块，动作轨迹捕捉防错系统通过图像采集设备从外界获取目标的实时图像，经过计算机中图像处理算法的进一步处理与分析后，输出与需求判断结果相关的符合性描述，并据此进行判断与决策，最终获得检测结果。图1示出了动作轨防错系统架构原理，图2示出了现场的布置情况。

2 动作轨迹防错系统技术基础

2.1 六角锥体模型（HSV）颜色空间

在机器视觉处理过程中，HSV颜色空间对色彩的表达方式可以使算法更易于判断颜色类别，便于在算法中对所需颜色进行定义和分辨。在使用效果上，由于在发动机生产过程中的背景环境复杂，颜色背景多样，导致在图像采集过程中的目标色在算法上与部分环境背景差异过小，对机器视觉的算法判断过程易产生误差。经现场预研，应用HSV颜色格式后，算法在判断准确率等多方面表现明显优于由传统的自定义颜色（RGB）元素进行组合来描述颜色的方式。

色调是颜色的度量基础，可以认为是在1种颜色均匀渐变的锥形颜色模型上，以红色所在位置为0°，某种颜色与红色所在位置的夹角即为该颜色的色调。

饱和度代表目标颜色与光谱中某种颜色的相近程度。因为任取一种随机颜色，都可以将其认为是由光谱中的某种颜色与白色相混合后得到。并且当1种颜色与光谱中某种颜色的相似程度越高，即说明该光谱色在这种颜色中的越占据主要地位越高，饱和度也就越高。通常取值范围为0%～100%。

明度是对该颜色的明暗程度进行表述的方式[1]。图3为HSV颜色模型。

2.2 二值化

研究人员对目标图像数组依照一定规则进行分割，设定了1个规定阈值，将大于这个阈值像素的灰度设为灰度极大值，把小于这个阈值像素的设为极小值，从而实现图像数组二值化，对图像采集结果进行简化。

3 动作轨迹防错系统功能要点

3.1 员工动作位置、动作内容的指示引导

根据工艺文件要求形成的标准作业轨迹是视觉跟踪算法进行实时指示判断的依据。图4示出了动作指示界面。

在发动机到达工位后，线体可编程逻辑控制器（PLC）将当前机型及到位信号输出给客户端，动作引导模块据此选择对应标准作业轨迹配置。在系统界面上对操作工将进行的动作内容、动作位置进行实时指示引导，当操作人员完成当前工步作业且程序判断合格后，防错系统即继续进行下一工步的指示显示。

3.2 人工动作轨迹的实时跟踪捕捉识别

为使视觉跟踪算法的判断有据可依，研究人员经过梳理，将操作过程中的动作细化拆分为抓、握、移动、旋转、停留等最基本的动作单位，过滤掉出错风险低且自由性大的动作后，整理出系统需抓取、跟踪、识别的关键动作位置，并根据动作发生位置和标准作业时长对关键动作进行排序，形成可供判断的标准动作轨迹。动作轨迹包含操作人员的手部位置、手部动作路径、手部工具的变更、手部工具的位置、手部工具动作路径等要素。

在动作轨迹防错系统中，操作人员通过动作时长、动作标色、动作检测区域、动作发生区域，动作阈值等多项参数完成对关键动作的定义。

程序根據特征色判断动作是否发生。系统将1个动作对应的特征色及其HSV值域进行预设，在视觉采集画面中框选该动作的发生区域、并配置动作的发生时间、发生阈值等参数，完成对该动作的定义。

系统在采集到现场画面后，算法在预先框定的动作判断区域随机均匀地选择像素点，将其颜色格式由RGB转换为HSV颜色空间，依次根据二值法对这些像素点是否处于动作特征色的HSV区间进行判断和处理，最后算法计算目标特征点在所有选定像素点中的占比，若H、S、V三通道的输出交集结果超出事先设定的动作发生阈值，则判断该动作发生。图5示出了判断算法的运行界面。

3.3 防错系统判断处理

动作轨迹防错系统根据PLC信号选择与当前机型对应的标准动作轨迹后，判断员工是否按标准轨迹完成所有规定位置的操作步骤，作业过程合格即输出放行信号到PLC，准许该发动机流向下一工位。

當员工操作与标准轨迹不符时，程序报错提醒并在后台记录发生错误的时间、班次、机型、错误工步等信息，且输出错误信号至PLC禁止该台发动机放行，当员工确认错误提醒，重新进行该工步调整，经视觉防错验证通过，解除PLC锁定并继续进行下1个步骤的判断。图6示出了动作错误提醒。

3.4 生产质量问题追溯

程序具有扩展性，可以在不进行代码编写的情况下适应生产变化，造成检测内容、检测位置的变更和移动，并且能够通过增加硬件，在其他工位类似场景下配置出新的动作轨迹跟踪、检测、指示功能。

4 动作轨迹防错系统功能验证

4.1 功能验证清单

功能验证清单如表1所列。

4.2 试点工位选择

为了验证防错程序对于复杂操作步骤的检测防错能力，研究人员选定1个复杂工位作为试点工位，该工位包括24个操作位置;取、拧、握、塞等多种动作形式。按机型不同，单次调整最少30个动作步骤。动作形式多样，动作内容复杂，作业位置切换频繁，适于进行技术验证。

4.3 验证结论

验证结论如表2所列。

经过对200台发动机的试验验证，动作轨迹防错系统的功能及可靠性得到了验证，能够满足检测需求。

针对正确操作判断为错误2%误判率的问题，研究人员可通过重新优化算法判断阈值及改进工艺参数的进行解决。

对于体积细小工具的类型识别和手部细节动作识别，研究人员采用1个检测框对1个目标进行细节特征的检测，如需要进一步提高辨识精度，可以通过增加检测框，提升图像处理设备算力及更新像素较高工业相机的方式进行解决。

5 结语

在工业生产过程中，相对于传统检测方法，应用机器视觉技术的动作捕捉防错系统对人工作业过程可进行快速、准确、可靠的控制把关，对提高产品一致性，降低工人劳动强度及推进企业智能制造进程等工作具有相当大的助推潜力。该项技术经验证可行，有较强推广价值。

研究人员后续会进行将正确操作误判为错误问题发生率压降，以及复杂装配场景下动作轨迹捕捉技术的推广应用研究工作。

参考文献

[1]HOY D E P. On the use of color imaging in experimental applications[J]. Experimental Techniques，2010， 21（4）：17.19.