多型号复杂轮廓零件视觉识别技术在汽车制造业中的应用

王良涛

摘要：考虑到多型号、多变形、相似度高的零件，针对如何实现设备自动防错，提出使用视觉检测系统，通过多模式串行的检测逻辑设计和阈值设计，让设备实现零件自动检测具有防错功能，设备不但自己动起来还能自动判断产品是否合格，真正意义上实现自动化。根据检测硬件需要结合生产实际条件，搭建检测系统，设计检测方案、HMI界面和软件程序。经过实际应用验证该系统状态稳定，防错功能可靠，有效解决了困扰汽车行业的多型号、复杂轮廓、高相似度零件自动防错的难题。

关键词：多型号；多变形；相似度高；视觉检测系统；复杂轮廓

形形色色各式各样的汽车，其零件结构以及制造过程千变万化。相同产品族，不同型号产品的零件外观千变万化，按照装配方式可分为自动装配，半自动装配和手动装配，无论哪种装配方式，都面临着零件混装的问题，尤其是有着相似外观的零件，混装更是很难有效避免。

以汽车加速踏板为例，一般专业制造商至少有200多个总成型号，每个型号的差异主要在于踏板面和踏板臂的方向，不同客户不同车型，由于法规和安全规范要求，踏板面避让的角度和位置都不相同。同时部分客户高低配车型不同，踏板面要求不同颜色区分，如金属亮银色对应高配车型，纯黑色做低配车型。然而超过两百种型号的踏板臂，很难从设计上做到不重样，实际很多型号零件相似度极高。装配时如何保证不同型号的踏板不会混装就是摆在制造部门面前的一大难题。

国内外研究现状

在汽车制造业中，为防止出现错装混装，丰田汽车公司Shingo[1]等人提出POKA YOKE的理念，通过防错技术代替人工识别错误型号的零件，在一些特定场合应用非常有效。实际生产中，防错装置根据其防错原理可以分为以下几类。

（1）颜色识别防错  不同型号的零件设计不同的颜色，设备上设计颜色检测传感器，装配前设备自动触发颜色传感器，通过传感器检测颜色是否正确来防止不同型号零件混装，如不同型号的弹簧、密封圈设计不同的颜色。

（2）机械防错  对于一些结构简单，变形不多的零件，可以选择产品制造必经工艺路线上，通过工装上制作仿形轮廓，装配时如果零件无法准确进入到仿形轮廓中，或中途无法通过运输路径，设备不触发装配动作，如此可以实现不同型号零件防止混装。这种防错一般还需要借助磁性传感器或者按触时尺寸检测传感器进行检测，以实现设备自动检测，自动报警功能，这种检测稳定性可靠性最高，成本比较低。

（3）零件特征检测防错  对于一些体积小的零件，本身容易出现漏装，或者装配后由于运动可能会掉落的情况，通常在小零件装配到封闭结构前，设计防错装置检测零件的特殊特征或者尺寸，从而防止漏装或混装缺陷产品的流出。有无检测可以是接近开关、有无传感器、光纤传感器及位移传感器等多种传感器。

（4）读码防错  对于型号比较多、重要度高的零件，或者一旦混装造成不可接受的损失情况，一般可以在零件上印刻代表其型号的二维码或者条形码，设备上设计读码头，在PLC中设置对应的解码逻辑，每次装配前，设备先读码并解码，将解码信息与程序中的解码信息正确的字符段进行匹配，如果成功匹配则型号正确，可以进行后续装配工作，反之则异常报警，如此可以实现混装的情况。

（5）数量防错  一些对数量敏感的工况，可以采用计数器的方法进行防错。计数器配合简单的PLC控制系统，当数量达到某个设定值时，设备开始报警。如电阻点焊工艺，焊点质量对电极帽的累计焊接点数非常敏感，为了确保电极帽得到及时更换，常常在焊枪上设计焊点计数器，当一对电极帽累计焊接点数达到其额定寿命90%时，计数器开始报警要求员工更换电极帽。如果没有更换，当焊点数达到最大寿命时设备连续报警不进行焊接动作。其他防错方法如重量防错也有应用，应用场景不多，随着数值化制造的推广逐步被替代。

（6）视觉防错  视觉防错目前研究比较多，应用落地比较少，但应用增长的趋势明显加快，如视觉识别无序抓取、人脸识别、文字识别等，随着研究的深入人们正日益赋予其更强大的能量，在汽车制造业必将日益普遍。如北京奔驰汽车有限公司，应用视觉检测引擎盖轮廓，实现不同配置汽车引擎盖的防错[2]。此外，合肥工业大学实现了视觉检查差速器卡簧漏装防错的检测[3]。

存在问题

对多型号、高相似度的零件快速识别，目前在业内还存在一定的盲区，尤其是体积较大但特征差异较小的零件，视觉检测存在一定难度。以加速踏板为例，踏板零件最长400mm，最短200mm，且不同型号弯曲的角度和翘起的高度存在较大差异，对于视觉检测来说，意味着焦距是不确定的。加上生產线节拍很快，留给检测时间≤3s，这段时间要求将踏板放置在工装上，设备完成夹紧。因此，要求检测系统必须有快速识别检测的功能。

多型号相似零件自动识别技术实现

踏板零件由于一端是悬空的，另外一端装在工装固定位置，悬空部分每个型号均有所差异，很难通过接触式防错技术实现不同型号之间的放错，非接触式防错技术才是最佳选择。随着视觉技术的研究深入，实际选择了相机图像识别防错技术，可以实现多型号复杂轮廓变形踏板之间的防错识别，满足实际汽车制造过程中高效自动识别的要求。

1.相似踏板的特征分析

加速踏板每个型号特征各异，但都有一个装配面（见图1），是平台化设计，每个型号平台部分完全一样，因此在制造过程，针对性的设计一个通用工装，每个零件都将其公共部分放置在此通用工装上，为了防止因供应商制造差异，工装上还设计倒钩爪，当踏板放在工装上时，倒钩爪将踏板从底部倒钩在工装最前端，同时设计的侧向气缸会将踏板从两侧固定，如此保证了每个踏板在工装上固定的位置是唯一的，剩下的变化完全是踏板悬臂长短、偏移以及高低的变化。

根据相似踏板外观对比，可以将相似的踏板分为踏板面条纹差异、踏板面大小和踏板臂偏置差、踏板悬臂弯曲角度差异以及踏板面颜色差异，如图2所示。

2.总体方案设计

考虑到不同踏板臂弯曲方向翘起高度不相同，相机检测机构和光源的固定就十分讲究了。首先要求相机视野可以兼容半径为400mm 的圆形范围，可以通过制作合适的相机固定支架来实现。其次，为了防止外部坏境对检测效果的影响，相机检测踏板时必须要设计合适的辅助光源，如此外部环境的变化不至于影响图像采集的RGB值和色相饱和度。经过多轮实验验证，发现环形光源比较合适，周围的环境光对检测系统的影响最小，如图3所示，依次布置了相机固定支架、相机和环形光源。

安装这些光学器件的时候每个器件位置需要固定，需保证即使设备震动，系统各器件位置稳定。同一条生产线所有产品兼容性靠相机的镜头高度和位置保证，确保要检测的产品需要检测的部位在相机视野内，如图4所示。

3.检测方法

视觉检测系统搭建完毕后，需要将相似型号的产品集中收集，对相似型号的零件寻找差异，结合视觉检测系统中图片细分参数的差异，从差异位置入手，将差异位置设定为评价区域，并设计检测参数。如果是颜色差异则从差异部分设定检测色相RGB值的阈值，如差异在于尺寸，则设计检测差异特征尺寸阈值。本文使用康耐视相机以及其配套的软件In-sight，完成整套系统的搭建和差异化参数的设计。

当产品特征轮廓差异明显如图2a所示的产品，踏板面条纹差异明显，可以通过判断差异区域特征纹理防错，操作方法也比较简单。第一步选择检测范围，要将所有的评价的内容框选在指定的目标框内，如果只评价其中一部分则可以选择产品的一部分区域。

设定好评价区域后，多次触发相机检测，记录检测的相似度数据，根据数据统计结果使用3δ原理计算其下界限，上限不会超过100%，可以不做修改。为了模拟实际生产过程，可以人工反复装新零件，通过到位检测传感器给出的信号让相机自动触发，人工将每次检测的数据统计分析，得到相似度的下限，如此可以降低生产中的误报警率。这种方法也适用于如图2b所示的产品特征场景。

如果相似型号产品无大面差异，悬臂部分方向差异明显，则可以通过相机检测不同型号细小位置的尺寸差异，来实现型号防错。如图2c所示踏板大面完全一样，仅仅踏板臂偏置的方向和尺寸有轻微差异，但相机也足以识别细小的轮廓边，此时可以通过找到不同型号零件之间的结构尺寸差异，然后选择对应差异位置两个特征直边进行相位位置度检测对比。如选择评价一小段线，通过对比两条直线的相对位置度就可以实现防错。因为不同型号由于结构和尺寸的差异点，甚至无法在相机下找到对应的曲线，当另外一种型号在相机设定的范围内找不到对应的特征，则相机会自动判断不合格。在相机程序中所检测的每一特征线在其内部以向量的形式存储，在软件输出表格中以向量的形式显示，不同的小轮廓，不同的线段在表中的向量不同，因此通过检测两个零件上两个有差异点的轮廓上的线段，可以有效实现不同型号的防错。

选择好评价的线段后，需要在“Dist”一行中设置合理的阈值范围，程序通过计算检测的向量数据是否在阈值范围内，实现自动判断正确型号与错误型号。这里不光需要设置上限也需要设置下限，在实际操作过成中，一般让员工连续不断上下料，模拟实际生产时产品的上下料状态，设备自动计算相对位置参数，人工收集不少于50组数据，可以通过3δ原理计算得到上下界限值，将判据界限值输入到对应位置。当正确型号产品放入检测系统内时，其检测的数据必然在阈值公差内，异常型号产品放入检测系统时，相机检测不合格，自动触发报警，实现不同型号产品的防错。这种防错检测方法也适用于如图2b所示的产品特征场景。

对于如图2d所示有颜色差异型号的零件，也可评价零件颜色差异部位，通过评价颜色对比度差异实现相似型号的防错。在相机程序里可以通过“Hist”工具，选择两个产品颜色差异大的位置参加评价，不同检测区域检测结果对应的对比度不同。因此，选择差异点明显的区域进行评价，也会很容易实现不同型号的防错。

实际生产中为了防错性能稳定安全可靠，往往三种方法结合串行使用，即使个别条件出现变差，设备仍然能够有效防错。三种方法串行使用时，需要设置三套阈值参数。

实际生产过程中的工程验证

实际生产中产品零件型号众多，需要PLC与相机实现通信，设备自动PLC控制面板选型，在设备PLC中设计与防错系统的通信，决定是否启动防错功能，如某型号产品需要启用防错功能，则PLC调用相机的对应程序。如未建立防错程序，则PLC无法调用，设备相机无法调用相应的程序，可以设计调用一个空程序，由于空程序没有建立检测阈值规范，则检测设备100%报警。通过PLC联动控制，可以使得整个设备不进行装配动作。在多样的产品生产中，一个工位可能会有多种型号零件，因此在相机程序中按照序列号存储不同的程序参数，每个产品型号调用对应相机中的序列号即可实现不同产品型号程序的调用。

在生产中为了快速调试，往往设计有应急程序，同时为了保证如程序损坏或者相机检测系统硬件损坏，不至于停线，PLC控制面板设计了是否启用选项，当启用时表示程序调用相机防错程序，当选择关闭时则设备不调用相机防错程序，自动跳过相机检测流程。

在连续生产中设计好的程序，随机放入其他型号的相似零件，设备可以有效探测型号异常并自动报警，如生产A型号产品，放入B型号的踏板，设备自动报警如图5所示。

结语

随着工业化大生产的逐步推进，自动化、数字化和智能化进一步推广，工业相机的应用会越来越多，应用的场景也会越来越广泛。如相机与机器人联动自动检测自适应无序抓取：零件在上料震动盘上处于无序状态，相机通过拍照后，将数据传递到工控机中，对应的分析程序计算后可实现零件位置和角度的识别和定位，机器人夹爪自动调整位置和姿势，实现复杂零件的无序拾取。

在自动装配领域视觉引导也有非常多的应用，如某产品打紧6个螺钉的过程。由于产品结构特点，难以精准定位，每次上料位置难以保证完全一致，同时零件发生塑性了变形，每个产品变形量是随机，因此螺钉孔位置准确度比较差，传统的使用伺服定点打螺钉，由于定位不稳和零件变形，导致螺钉孔位不确定，零件螺钉孔损伤和未打入缺陷比例很高。为了解决这个为题，引入了视觉引导拧紧技术，根据零件螺钉孔的位置自适应调整螺钉枪的位置。首先在伺服的带动下，相机在零件两端的定位点拍照，通过系统内部程序计算，得到6个螺钉孔的相对位置，然后伺服带着螺钉枪，在指定位置吸取螺钉，在计算好的螺钉孔位置打紧螺钉，每打紧一个螺钉，设备界面上白色指示点变绿色，直到6个螺钉全部打紧，所有点位全变为绿色后，设备自动动松开夹爪如图6所示。

1）视觉相机除了防错和视觉引导，其衍生出来的视觉技术，在物料分拣方面的应用，也有着迅速发展趋势，不同型号不同样式的物品，通过视觉自动分拣，如锂离子电池组的装配和分拣，物流快递的分拣。

2）3D视觉成像算法系统和3D视觉姿势算法，会逐步导入到工业大生产中，尤其是半导体产品制造生产领域，部分工业相机逐步出现交钥匙工程，不同种类相机模块化标准化细分程度越来越高。

3）视觉相机在自动驾驶领域也是有非常广阔的应用前景。在云计算和大数据的浪潮下，电动汽车逐步向智能汽车转变是必然的趋势，智能汽车最重要的标识就是大数据和云计算框架下的自动驾驶，各大厂商的竞争点将由性能指标转向可靠性、稳定性、性价比等指标。激光雷达与视觉协同应用的方案有望成为未来自动驾驶的最优方案，激光雷达和视觉技术很难单独使用在L4的方案中，更多的是视觉+激光雷达方案，在提升主动驾驶技术的同时，必然将驾乘安全作为最高优先级。

参考文献：

[1] Shingos.Zero quality control：source inspection and the POKA-YOKE system [M].Port land，ore USA：Productivity press，1986.

[2] 宋宏偉.白车身外观件轮廓激光信号处理技术的装配防错检测方案[J].汽车制造，2022（3）：47-55.

[3] 任永强，杜瑞，李军.基于机器视觉的差速器卡簧装配防错检测研究[J].制造技术与机床，2018（1）：31-34.