基于视觉技术的汽车制造智能装备文献综述

刘科，伍力

（1.瑞松北斗汽车装备有限公司，广东 广州 510760；2.东南大学机械工程学院，江苏 南京 211189）

基于视觉技术的汽车制造智能装备文献综述

刘科1，伍力2

（1.瑞松北斗汽车装备有限公司，广东 广州 510760；2.东南大学机械工程学院，江苏 南京 211189）

机器视觉是近20年新兴起来的一项工程技术，涉及到成像技术、图像处理、传感器技术、硬件技术与接口技术等。随着视觉技术的逐步完善和发展，其在工程上得到了越来越广泛的运用。文章就视觉技术的组成、机器视觉在智能装备上的运用以及机器视觉在焊接线上的运用展开了综述，在总结文献的基础上对汽车生产焊接线上使用机器视觉技术进行了展望。

机器视觉；智能装备；焊接线

KCLC NO.:U461Document Code:AArticle ID:1671-7988 (2017)03-21-04

1、视觉技术

机器视觉是指利用利用计算机等设备代替人眼视觉的技术。机器视觉系统通过摄像机获取图像，将图像输入计算机，经系统对图像的处理和分析，得到相关的信息，对所拍摄的对象所处的状态进行判断。在对图像进行处理的之前，图像会先经过预处理，通过A/D转换后输入处理软件，处理软件会根据输入的数据提取出图像的像素分布、颜色、亮度等信息，并据此提取图像特征，做出判断，输出给后续的控制、执行机构[1]。

完整的机器视觉系统包括光源系统，图像采集，数字图像处理模块，智能判断决策和机械执行模块[2]。每一个部分对视觉系统的效果都有着至关重要的影响。光源的选择需要考虑拍摄对象的材质、反射系数、折射系数、所处环境等等条件。在选取光源时，需要考虑光源的亮度、颜色以及照明方式。按照照明方式的不同，又可以分为前向照明、背向照明、结构光和频闪光照明[3]等。前向照明是将光源和摄像机安装在一侧，这种照明方式的优点是安装方便；背向照明光源和摄像机安装在拍摄对象的两侧，这种照明方式的优点是获得的图像对比度高；结构光照明利用光栅或者点光源投影到拍摄对象上，使其产生畸变，再解调出对象的三维信息；频闪光照明主要运用于拍摄高速运动的物体，利用高频率的光脉冲，使得拍摄频率和光源的频率一致，则可以实现高速摄影。

图像采集部分主要由光学镜头和相机两部分组成。光学镜头或多或少地会存在成像畸变的问题，不同质量的光学镜头的差别就在于畸变的大小，太大的畸变会对图像的识别带来较大的困难。图像采集部分的有效视场是指镜头成像畸变较小的部分。光学镜头有定焦和变焦之分，定焦镜头只有在焦距处才能清晰成像，而变焦镜头在焦距附近一定范围内均能清晰成像。但是同档次的变焦镜头成像效果不如定焦镜头[4]，因此选取何种光学镜头要视具体情况而定。相机是一种光电转换设备，其将输入的光信号转换成电信号输出，一般由光电转换器件、外围电路、I/O接口组成。这其中光电转换器件是核心。上世纪90年代新兴一种新的光电传感器，CMOS（Complementary Metal Oxide Semiconductor互补金属氧化物半导体），使用这种光电传感器的相机为CMOS相机。CMOS传感器起步较早，但是由于当时的工艺水平的限制，CMOS传感器有着成像质量差、分辨率低、噪声高和光照灵敏度低的缺点[5]，这大大限制了CMOS传感器的发展。近年来CMOS传感器的缺点已逐步有了解决的方案，但是还处于研发阶段。此外，CCD图像传感器由于其成像质量高、分辨率高、噪声低和光照灵敏度高的优点，得到了广泛的运用。CCD相机按照CCD器件的不同可分为线阵CCD相机和面阵CCD相机。线阵CCD相机一次只能获得图像的一行信息，面阵CCD相机一次可以处理整幅图像的信息[4]。CCD相机目前使用较广，技术也比较成熟。

图像数字处理部分是视觉系统的核心。功能类似于人的大脑。图像处理的目的是对图像进行降噪、增强、复原、分割和特征提取操作，以提高图像的视感质量，提取图像中所包含的信息，对图像进行变换、压缩、编码，使得图像便于存储、传输[6]。评价图像处理水平的一个重要指标是处理速度。随着机器视觉技术的发展，对机器视觉系统的实时性要求越来越高。图像采集、图像处理以及I/O接口的传输都会影响系统的实时性。实时性有两种级别，分别是硬实时和软实时。硬实时在数量级上要求是微秒级甚至更短；软实时则相对宽松很多，要求为10毫秒甚至百毫秒级别[7]。当前数据处理水平还无法达到硬实时的级别。在数字图像处理发展前期，多基于PC系统进行图像处理，依赖于软件和算法，缺少硬件支持，处理速度慢，效率低，随着嵌入式系统的发展，逐渐发展起来专门用于处理图像的嵌入式系统[8]，大大提高了图像处理的速度。

2、视觉技术在智能装备上的运用

机器视觉与观测对象之间没有接触，不会对被观测对象造成损伤。在一些危险的条件下，机器视觉系统可以替代人工进行观测，大大降低了工作人员的工作风险。视觉系统可以持续不间断地进行观测，不会因为疲劳而产生观测精度的下降。正是由于这些优点，机器视觉技术能够有很好的应用前景[9]。虽然机器视觉技术与上世纪80年代才开始发展，现在很多领域都有着广泛的运用。

国外的机器视觉技术发展较快[9]，应用范围也比较广。国外早期使用机器视觉技术的行业主要是半导体行业以及电子行业，主要用于检测PCB印刷电路、SMT表面贴装以及电子生产加工等等[1]。随着视觉技术的发展，在机械工业生产中也逐渐得到了广泛的运用。机器视觉可以运用于定位。文献[10]介绍了利用机器视觉实现工件的定位安装的方法，该方法将机器视觉技术与坐标测量结合起来，确定工件的位置；文献[11]利用3D视觉系统，在三维空间中再现了观测对象的位置，实现了观测对象的定位。视觉技术还广泛运用于检测方面。文献[12]介绍了在数控铣床加工过程中，引入机器视觉技术对工件的水平和垂直两个方向进行测量以获取加工数据，对加工过程进行监控和检测；文献[13]介绍了一种运用视觉技术，对图像进行灰度处理、去噪处理后，与预设好的模板进行比对，最终实现SDM设备喷嘴零件的检测；文献[14]将视觉技术和神经网络相结合，使用激光测距仪获得图像，对灰度图像信号进行2维傅里叶变换，获得塑造和磨削加工得到的零件表面粗糙度信息，经神经网络训练后，对所有零件的表面粗糙度信息进行评估，从而实现零件的100%在线检查。机器视觉由于其观测的非接触性，使得在很多需要利用状态监测进行过程控制的情况下有着广泛的运用。文献[15]介绍了在装配过程中运用视觉技术。通过分析装配过程，自动识别哪些信息是需要提取分析的，再利用激光测距仪进行装配过程监测。文献[16]介绍了机器视觉系统在冶金工业中运用。在冶金工业金属焊接过程中，通过对表面温度的测量，建立温度场图像，视觉系统通过处理图像对整个过程进行在线控制。

我国的机器视觉技术起步较晚，发展也较为缓慢。目前视觉技术在国内多应用在农产品质量的检测与评级、食品药品的检测上，主要功能是代替人工进行挑拣，提高生产效率，节约生产成本。在工业上的应用主要是产品质量检测与分拣[17-19]。

文献[20]介绍了在包装行业中视觉技术的使用情况。以药品包装生产线为例，在未引入视觉技术之前，使用的多是光电传感器和人工抽检相结合的方式对产品进行检测，检测项目主要是药品碎片、残片、标签破损、标签污染等项目，检查速度慢，且不能实现全部产品的检测。引入机器视觉技术之后，全部的检测均可以在生产线上完成。视觉系统线阵CCD配合药品包装的一维运动，可以实现对药品信息、编号信息的识别。在包装过程中，可以及时识别出药品残片、碎片以及包装的漏装等等，及时剔除不合格的包装产品，提高生产效率，生产质量，降低人员工作负担。

文献[21]介绍了工程机械中机器视觉技术的应用。文中介绍了运输车在搅拌站装在混凝土时，由于运输车的停靠具有一定的随机性，因此需要增加引导运输车与搅拌站下料口对接的工序。引入视觉技术之后，机器视觉系统识别运输车的位置，引导运输车驾驶，节省了对接时间，提高了工作效率。同时，视觉系统可以识别料仓中料位位置，实现料位检测。

文献[22]和文献[23]介绍了视觉技术在螺纹检测中的运用。传统的螺纹检测方法是利用成像系统，将螺纹放大，然后由人工进行测量检验。虽然传统检验方法中也利用了成像系统，但是缺少后续的图像处理和判断模块，因此不能称之为视觉系统。文献中分别提出非均匀照明的十字窗图像边缘检测算法和图像降噪算法对图像进行预处理，之后对处理后的图像边缘进行最小二乘拟合，完成边缘提取，在此基础上计算中径、螺距、牙型角等螺纹参数。

3、机器视觉在焊接生产中的应用

焊接产品由于工作环境的不确定以及加工过程的不可控的影响，产品质量难以得到严格的保证，因此，焊接件的质量检测十分重要。国内外对于焊接质量的检测和焊接在线检测开展了一系列的研究，目前有很多焊接件质量检测的方法。文献[24]中对激光焊接情况下的焊接质量检测方式进行了介绍。常见的检测方式有可听声信号AS（Audible Sound）检测方法，声发射AE(Acoustic Emission)检测方法，紫外辐射UV(Ultraviolet)和可见光（Visible）检测方法，红外辐射IR(Infrared Radiation)检测法，电信号PCS(Plasma Charge Sensor)检测法等等。但是上述方法均有不可避免的缺点。如：可听声信号检测方法是一种非接触式检测方法，但是其受环境噪声影响较大；声发射信号检测方法需要将超声波信号发生器靠近被检测件，且其检测结果正确率依赖缺陷分类方法。

在焊接过程中使用视觉技术，就是要用机器视觉系统代替人眼观察焊接过程。在实际焊接过程中，焊工需要根据实际焊口的情况对焊接过程进行一定的调整，如调节焊枪高度等等。文献[25]介绍了一种基于视觉系统，弧焊机器人自适应焊缝位置的定位技术。该技术利用结构光三点定位技术，在批量生产过程中，机器人可以根据不同位置的工件自动调整机器人姿态。

文献[26]介绍了利用视觉技术，实现焊炬对焊缝轨迹的跟踪。视觉系统的输出控制轮式移动焊接机器人在球罐表面移动的轨迹，系统能保证焊炬与焊缝的跟踪精度在±0.5mm，满足一般焊接工艺要求。

机器视觉在焊件质量检测领域同样有着广泛的运用前景。目前在焊接生产线的后一工序之前，需要有人工对每一个焊件进行检测，剔除焊接不合格的产品。完全依赖人工检测，主观性很大，难以保证长时间工作情况下检验的正确率。文献[27]提出一种基于视觉技术的焊接件检测系统。系统采集焊件的图像信息，对图像进行恢复、降噪等预处理之后，将图像信息进行分离，将焊缝、背景、工件等区域区分开，在对图像进行判断，决定是否有焊接缺陷，最后在大量数据的情况下建立专家系统，对后续的缺陷进行自动分类。

4、结论

综观机器视觉技术发展及其在各个领域的应用，机器视觉技术虽然兴起较晚，但是发展迅速，在机器定位、表面质量检测、智能识别等方面都开始有着一定的运用。目前视觉技术在国外使用较多，在工业上的运用探索也比较多，目前在PCB印刷板、食品药品包装检测、印刷品质量检测等领域运用较多，也较为成熟。机器视觉在国内的使用多在农林业、包装业以及一些较为低端的制造业，特别使用较多的是农业产品质量检测、食品药品包装检测以及分拣，在制造业中也是在造纸业、印刷业等领域中，使用最多的也是对产品质量的检测。

在高端制造业中，目前国内国外几乎都处于研究探索阶段，在生产中，机器视觉技术的运用也多是完成一些简单的工作，如计数、状态异常报警等等。在焊接自动生产线中，视觉技术多用来识别焊缝，完成焊枪自动定位以及焊接质量检测等等，但目前仍处于研究阶段，投入生产一线的较少。

[1] 郭亚峰.基于机器视觉的产品表面缺陷在线检测系统的设计[D].苏州∶苏州大学,2014.

[2] 赵五一,赵强松,王东云.机器视觉的现状及发展趋势[J].中原工学院学报,2008,19(1)：9-10.

[3] 刘焕军,王耀南. 机器视觉中的图像采集技术[J].电脑与信息技术,2003(1)∶18-21.

[4] 唐向阳,张勇,李江有等.机器视觉技术的关键技术现状及应用展望[J],昆明理工大学学报(理工版),2004,24(2)∶36-37.

[5] 王旭东,叶玉堂. CMOS与CCD图像传感器的比较研究和发展趋势[J], 2010, 18(11)∶178-181.

[6] 齐霁. 应用于工业自动化的机器视觉系统中的EDA及数字图像处理技术的研究[D].吉林：吉林大学,2012.

[7] 张磊,罗翔,史金飞.机器视觉实时问题的对策与研究方法综述[J].制造业自动化，2006,28(06)∶28-32.

[8] 白颖杰. 基于机器视觉的图像处理与特征识别方法的研究[D].重庆∶重庆大学,2010.

[9] 范祥,卢道华,王佳. 机器视觉在工业领域中的研究应用[J].现代制造工程,2007,6∶129-131.

[10] Subramanian Rajesh, De James St Germain H., Drake Samuel. Integrating a vision system a coordinate measuring machine to automate the datum alignment process[J]. American Society of Mechanical Engineers, 2005, 11(6)∶ 655-661.

[11] C.Harris.Geometry from visual motion, In A.Blake and A.Yuile, editors, Active Vision, MIT press, 1992∶264-284.

[12] EIadawi A E, GadeImawIa E S, EIewa I M ，AbdeIShafy A A . An application of computer vision for programming computer numericaI controI machines［J］. Proceedings of the Institution of Mechanical Engineers—Part B—Engineering Manufacture, 2003, 217(9)：1315 - 1324.

[13] Wonho Lee, Chunkee Jeon, Chijung Hwang. Implementation of the machine vision system of inspecting nozzle[C]//Artificial Intelligence Association. Third International Conference on Convergence and Hybrid Information Technology. New York∶IEEE Computer Society, 2008∶ 111-116.

[14] Tsai Du-Ming，Chen Jeng-Jong,Chen Jeng-Fung . Vision system for surface roughness assessment using neural networks［J］. International Journal of Advanced Manufacturing Technology, 1998,14(6)∶412 - 422.

[15] Miura J，Ikeuchi K. Task-oriented generation of visual sensing strategies in assembly tasks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(2)∶126 - 138.

[16] Fabrice Meriaudeau,Anne,Ciaire Legrand. Machine vision systems in the metallurgy industry［C］. Proceedings of SPIE. San Jose，2000(3966)∶228 - 237.

[17] 刁智华,王会丹,魏伟.机器视觉在农业生产中的应用研究[J].农机化研究,2014,3：206-208.

[18] 赵鹏. 基于视觉的药品包装检测技术研究[D]. 长沙：湖南大学,2009.

[19] 李明. 运动食品机器视觉的识别与定位技术的研究[D]. 哈尔滨：哈尔滨商业大学,2014.、

[20] 朱作付,徐超,葛红美. 机器视觉技术在包装领域的应用[J].包装工程,2010,31(3)：125-127.

[21] 胡永彪,杜成华,李西荣,等. 机器视觉技术在工程机械上的应用[J].工程机械,2009,40：53-55.

[22] 左建中,刘峰,张定昭. 机器视觉技术在螺纹检测中的应用[J]. 机械设计与制造,2006,4：113-116.

[23] 景敏,陈曼龙,杨帆. 基于机器视觉的螺纹参数综合测量系统的设计[J]. 测控技术,2013,32(11)∶35-37.

[25] 孔宇,戴明,吴林.机器人结构光视觉三点焊缝定位技术[J]. 焊接学报.1997, 18(3)∶188-191.

[26] 王军波, 孙振国, 等.基于CCD传感器的球罐焊接机器人焊缝跟踪[J] .焊接学报, 2001, 22(2)∶31-34.

[27] 郭俊磊. 基于机器视觉的焊件外观缺陷检测系统的设计[D]. 南京∶南京航空航天大学，2014.

Literature Review of the Visual Technology Used in Automotive Intelligent Equipment

Liu Ke1, Wu Li2
( 1.Guangzhou RISONG HOKUTO Automotive Equipment Co., LTD, Guangdong Guangzhou 510760; 2.School of Mechanical Engineering, Jiangsu Nanjing 211189 )

Machine vision is a engineering technology developing quickly in nearly 20 years, involves the imaging technology, image processing, sensor technology, hardware and interface technology, etc. With gradually perfect and development of visual technology, it got more and more widely used in engineering. In this paper, the composition of visual technology, the use of machine vision in the intelligent equipment and machine vision in the use of the welding line are introduced ,and on the basis of summarizing the literature, machine vision technology used in welding line of car production is prospected.

Machine vision; Intelligent equipment; The welding line

U461

A

1671-7988(2017)03-21-04

10.16638/j.cnki.1671-7988.2017.03.009

刘科，男，（1984.4-），2007年7月毕业于广东机电职业技术学院， 汽车制造预装配专业，现任广州瑞松北斗汽车装备有限公司制造部部长。从事高端装备制造领域研发与制造9年，2007年-2009年期间主要负责质量部工作；2010年-2014年主要负责项目，曾担任过广汽三菱总拼自动生产线项目经理，以及广汽丰田、广汽本田等多个项目的负责人；2014-2016其间全面负责整个制造以及质量的工作。期间有多项发明专利获得授权。通信作者：伍力，男，（1992.2-)，硕士研究生，现就读于东南大学机械工程学院。