智慧工厂机器视觉感知与控制关键技术综述

王耀南　陈铁健

摘要：认为发展智慧工厂和智能制造装备的关键技术是环境感知和智能控制技术。结合智慧工厂特点，提出了一种机器视觉感知控制系统原理方案，并对各个关键核心技术进行分析。还提出了一种基于云计算的机器视觉感知控制系统方案，用于解决各种视觉控制应用的高实时性需求与计算复杂度极高之间的矛盾。该方案中还有一些技术需要进一步研究，包括先进工业成像技术、云计算平台负载平衡技术、云计算平台中的自动化图像处理流程设计等。

关键词：智慧工厂；机器视觉；感知控制；云计算

Abstract： The key technology in smart factory and intelligent manufacturing is environment sensing and autonomous control. In this paper， a machine vision perception and control system design is proposed， and key technologies are also analyzed. Additionally， the cloud computing-based machine vision perception and control system design is also proposed， which is utilized to solve the conflicts between real-time requirements and high computing complexity of image processing. In this design scheme， some techniques need to be further studied， including advanced industrial imaging technology， cloud computing platform load balancing technology， process design of automated image in cloud computing platform and so on.

Key words： smart factory； machine vision； perception and control； cloud computing

当前，全球制造业格局面临着重大调整，新一代信息技术与制造业深度融合，正在引发影响深远的产业变革，形成新的生产方式、产业形态、商业模式和经济增长点。

各国都在加大科技创新力度，制订了多个智能制造产业发展计划，包括德国的“工业4.0”计划[1]，美国的“制造业回归”计划，中国的“中国制造2025”计划[2]，日本的“2015制造白皮书”等。在最具代表性的“工业4.0”计划中，提出了第4次工业革命的概念。在该智能制造模式中，信息物理系统（CPS）[3-5]通过将物联网、服务网络、社会网络有机结合，实现智能机器、存储系统、生产设施、物流和定制服务等各个生产-消费要素相互独立地自动交换信息、触发动作和控制，从根本上改善包括制造、工程、材料使用、供应链和生命周期管理的工业过程，生产出智能产品，大幅度提高服务质量，降低设备闲置率、生产时间、能源消耗和制造成本。

工业4.0的核心在于智慧工厂，它是实现高质量定制产品和智能产品的关键[6]。在工业4.0框架下，发展智慧工厂和智能制造装备需要解决多个关键技术难题，诸如精密机构设计、高性能材料、高速网络通信、云计算平台、环境感知和智能控制等信息处理方法、系统可靠性等。其中，环境感知和智能控制技术作为智慧工厂高适应性、高精度、智能化作业的根本保障，是必须首先解决的关键技术难题。在工业4.0框架下，智慧工厂的感知和控制技术必须具备高速、高精度、模块化、智能化、无损感知等特点，能够根据不同的任务实现自主配置和自适应调节，满足定制和个性化产品的自适应制造，然而传统的感知控制技术无法满足上述需求，因此研究适应智慧工厂需求的新型环境感知和智能控制技术十分必要。

1 机器视觉感知与控制

关键技术

机器视觉感知与控制技术是解决智慧工厂环境感知和自主控制这一技术难题的关键。机器视觉检测与控制技术是采用机器视觉、机器手代替人眼、人脑、人手来进行检测、测量、分析、判断和决策控制的智能测控技术[9]，是人类模仿自身视觉感知能力实现自动化测量和控制的重要手段，能够同时满足智慧工厂环境感知和自主控制的多项需求。机器视觉感知控制技术可用于智慧工厂中的精密制造自动化生产线、智能机器人、在线检测装备[10]、细微操作、工程机械、虚拟现实产品设计[11]等多个领域，在提高航空航天[12]、军工、汽车、电子、精密仪器等行业自动化加工制造水平，保障产品质量等方面发挥巨大作用。因此，机器视觉感知控制技术是工业4.0框架中不可或缺的重要组成部分。

1.1 智慧工厂中的机器视觉感知控制

系统方案

智慧工厂属于复杂系统，应用环境特殊，对机器视觉感知控制技术的准确率、实时性、重复性有着极高的要求。针对这一难题，我们提出了如图1所示的智慧工厂机器视觉感知控制系统方案。在该系统方案中，根据应用需求，首先设计智能视觉成像系统和自动化图像获取机构，自动获取检测对象的高质量图像；获取的图像经过去噪增强、分割、配准融合、拼接等图像预处理步骤，改善获取图像质量；然后采用目标定位与分割算法、目标检测与识别算法，智能分类与判别等图像处理过程，实现对检测对象的识别、检测、分析、测量。同时，从图像处理中得到的目标位姿信息可用于基于视觉的高速运动精确位置与恰当力的优化控制。

1.2 工业成像系统的关键技术

工业成像系统包括光学、成像、处理3部分。其中，光学部分由光源、光学系统构成，光源主要用于在成像对象表面上产生光场，常用的光源包括发光二级管（LED）光源、结构光等；光学系统主要实现光路控制，并将光信号聚焦到成像平面上。成像部分主要由图像传感器构成，将入射光转化为电信号，并经过放大、调理、A/D转换和读出，就可以得到数字图像[13]。处理部分由通信电路、图像处理器和处理算法构成，获取的图像通过通信电路和协议传输到图像处理器中，并采用图像处理算法进行实时处理，提取出视觉信息用于智能制造装备的检测和控制。

1.3 自动图像获取的关键技术

精密成像机构是自动图像获取的关键，它可以实现对成像位置、视角、分辨率、质量、数量等参数的精密控制。为适应不同成像对象和装备机械结构，多种自动图像获取方法和精密成像机构被提出，主要包括：高速运动序列图像获取、位置触发成像、显微成像、眼手图像获取、全方位图像获取、立体视觉成像[14]、线扫描成像、点云成像等关键技术。

1.4 图像预处理的关键技术

图像预处理方法主要包括去噪、增强、配准、融合、拼接，通过图像预处理可提高图像质量，降低图像识别和分类的难度，从而保证检测控制的精度。

图像去噪增强主要用于消除获取图像中包含的盐椒、高斯等多种噪声，并通过特征结构增强改善可能存在的对比度低，边界模糊和运动模糊等现象[15]。常用的去噪方法包括空间域滤波方法、变换域滤波方法、基于偏微分的图像去噪方法、 基于相似性的图像去噪方法、全变分图像去噪等。常用的图像增强方法包括直方图均衡化、匹配、校正，图像锐化方法[16]，基于视觉模型的增强方法[17]，运动模糊去除方法等。

多源图像融合可以去除冗余信息，提高单幅图像所包含的信息量。图像融合[18]主要基于图像分解和重构，其中多分辨率图像分析是最常用的图像分解方法，包括小波变换、金字塔形或树状小波帧变换、几何分析小波，以及稀疏表示等；在重构过程中，根据统计模型或其他融合规则对图像分解系数进行融合，经过逆变换得到融合图像。

对不同位姿获取的图像进行配准，可以将多幅图像对齐到单个图像坐标系下，实现多幅图像拼接，还可以实现图像偏差测量。在图像配准过程中，输入多源图像经过特征检测、匹配、变换模型估计、图像重采样和空间变换，得到相同目标在不同图像中的匹配关系，最后根据变换模型对图像进行空间变换和重采样，获得配准后的图像。

1.5图像定位分割的关键技术

在成像过程中由于运动控制方式和机械电气误差，图像中对象位置并不固定，因此需要进行目标定位和检测区域分割。

对于背景简单、特征明显对象，可以利用目标边界、几何形状特征等先验知识， 实现目标定位和检测区域提取。对于复杂背景下且特征模糊对象，可采用基于图像分割的定位和检测区域提取方法[19]，如阈值分割方法、区域生长法、分水岭分割算法、聚类分割方法、基于图的分割方法、基于主动轮廓的分割方法、神经网络图像分割方法等关键技术。

1.6 图像识别检测的关键技术

通过图像识别检测，可实现目标识别和分类、缺陷检测、视觉测量等功能，从而满足智慧工厂多样化的应用需求。

图像识别可通过对分割后图像特征分析，序列图像运动分析和模式匹配等方法实现。识别目标多表现为灰度或纹理均匀的闭合区域，利用检测对象轮廓等不变性特征和形状、面积、灰度、纹理等先验信息，对分割后图像进行特征分析，即可实现图像识别。在基于模式匹配的识别方法中，模式可以用点集、轮廓、骨架来表示[20]，匹配过程可采用动态规划、最优化、最大似然、图匹配方法、Patmax方法等[21]，得到对象位移、旋转、尺度、形变等参数。

图像检测可实现对缺陷、特定结构及特征的检测，由于检测目标在尺寸、灰度、纹理等特征方面与背景差异较大，因此图像检测主要通过特征分析实现。针对不同应用，多种特征分析方法被提出，主要包括基于纹理分析的检测方法、基于局部特征的检测算法、基于模板匹配的缺陷检测方法等。

图像分类是实现图像识别、检测、决策的关键，其精度直接决定最终检测识别结果。常用的分类方法包括模糊方法、神经网络方法、支持向量机、极限学习机、深度学习等机器学习方法。机器学习方法能够模仿人的学习能力，处理非线性等复杂问题，提高图像分类决策的智能化程度。然而当前主要问题在于图像分类精度不理想，特别是对于复杂高维数据、非均衡数据集等，同时图像空间域与特征域的建模也是一大难点。

1.7 视觉伺服与优化控制的关键技术

智慧工厂根据视觉检测识别和位姿测量结果，引导精密伺服运动控制系统可控制机器人完成定位、抓取、分拣、组装、灌装、装配等复杂自适应作业。视觉伺服运动控制基本原理如图2所示，视觉控制率根据视觉误差产生控制量，驱动机器人的关节运动，完成给定作业。其中视觉误差定义为给定特征向量和视觉信息反馈之间的差值。

在反馈环节，通过成像参数、控制对象模型等信息，将当前图像特征的测量值转化为与给定特征向量同类型的测量值。根据特征向量类型，可分为基于位置的视觉伺服（PBVS）、基于图像的视觉伺服（IBVS）、混合视觉伺服和直接视觉伺服等[22-23]。其中PBVS采用机器人末端空间位姿作为反馈，IBVS将图像特征作为反馈，而混合视觉伺服则将一种扩展图像坐标特征作为反馈。针对传统方法未充分利用图像信息这一不足，直接视觉伺服方法将整幅图像作为反馈，通过最优化方法得到视觉伺服中的位姿信息，改善视觉伺服的精度和鲁棒性。与其他控制方法相比，视觉伺服控制的主要难点在于视觉反馈信息的测量和视觉控制率的确立。

在智慧工厂中，智能制造系统需要自动化生产线上多种智能制造装备协同工作，是一种典型的高阶、非线性、强耦合的多变量系统。针对这一难题，可采用多机器人手眼协调控制，将机器人逆运动学分析、轨迹规划、多机器人协同控制、力/位混合控制、多感知控制等智能控制技术用于视觉伺服中，实现多机器人关节空间的协同视觉伺服控制，提高控制精度和智能化程度。

2 智慧工厂机器感知控制

的云计算平台设计

在智慧工厂中，机器感知控制技术主要用于解决特定的制造作业，如目标识别和位姿测量，产品质量和缺陷检测、物理量测量、目标三维建模、视觉伺服作业等。在这些应用中，由于实时获取的图像本身数据量较大，且图像处理过程通常较为复杂，导致整个信息处理过程计算量复杂度极高，采用传统的装备侧运算资源难以满足上述应用对于实时性的要求。针对这一难题，在工业4.0框架下，智能制造过程中获取的实时图像数据通过高速通信网络传输到云计算平台中，利用云端极强的运算能力和计算负载平衡方法，可以满足各种机器感知控制算法应用的实时性、检测控制精度、稳定性极高的需求。

智慧工厂中的机器视觉感知控制的云计算平台可采用如图3所示的系统方案，该云平台主要有3部分构成[23]，分别为装备抽象层、机器视觉感知控制算法层和智能制造数据库。装备抽象层主要对各种制造装备进行抽象，得到装备的成像系统模型、控制系统模型等，作为环境感知和自主控制的基础。算法层主要包括各种图像去噪增强、配准融合、目标定位、检测区域分割、目标识别、特征检测、机器学习、视觉伺服控制等信息处理方法，实现从获取的图像中提取出目标的位姿、特征、类型等信息，满足智慧工厂各种应用对于信息服务的需求。智能制造数据库主要包括感知和控制目标数据库、图像处理流程数据库等，主要用于存储、配置和统计制造过程中的物流、制造参数、信息处理流程等，是实现柔性制造和高质量定制产品制造的关键。

与传统的机器视觉感知控制系统相比，上述基于云平台的实现可以大幅度提高系统的可扩展性、可重构性等，同时也降低了系统开发的难度和成本，有利于在智慧工厂中普遍推广应用机器视觉感知控制技术，提高环境感知和自主控制的智能化程度。

3 总结与展望

智慧工厂是一个复杂系统，通过智能制造装备、大数据、云计算平台和信息物理系统的应用，可满足极其复杂的制造过程协同控制的需求，大幅度提高制造过程的智能化和自主化程度。机器视觉感知控制技术是解决智慧工厂环境感知和自主控制这一难题的关键，而云计算技术则能够解决各种视觉应用高实时性需求与图像运算复杂度极高之间的矛盾，因此发展机器视觉感知控制云计算平台对于智慧工厂来说十分重要。针对这一难题，我们分别对机器视觉感知控制技术进行综述，并提出了一种机器视觉感知控制云计算平台设计方案，在该方案中有以下关键技术难题有待进一步研究：

（1）先进工业成像技术。当前采用的成像技术大多局限于可见光成像，导致在某些应用中获得的图像特异性差，不能够全面体现被检对象特征。为此需要从光源频谱控制、先进阵列感知、信号调理等方面全面研究成像技术，探索不同类型对象与电磁波相互作用和成像的新现象、新原理、新方法。将多种先进成像技术，如高光谱成像、激光扫描成像、干涉/衍射成像、层析成像、太赫兹成像、电容成像等应用于工业视觉检测和控制，丰富视觉感知手段。

（2）云计算平台负载平衡技术。图像大数据与其他信息不同，具有流数据的特点，如何在云计算平台中实现对制造过程获取的图像大数据进行实时处理一直是困扰智能制造的一个技术难题。因此，研究云计算平台中的负载平衡技术，将图像处理步骤分散到各个节点中，结合流数据处理特点，实现并行图像处理，成为解决这一难题的关键。

（3）云计算平台中的自动化图像处理流程设计。图像处理过程通常由多个图像处理步骤构成，而每个步骤都可以采用多种处理算法，同时由于不同应用图像特征和任务目标各异，造成图像处理流程设计困难。为解决这一难题，需研究自动化图像处理流程设计方法，首先分析不同图像处理算法的特点，以及达到的处理效果，并分析参数对于图像处理结果的影响，然后根据任务、先验知识和图像特征，选择最优图像处理算法和参数，实现自动化图像处理流程设计。

（4）智慧工厂机器鲁棒感知控制的高稳定性、高可靠性和适应性研究。由于机器感知图像信息属于非线性多维信息，在应用中存在多种不确定性，限制了智慧工厂制造装备的稳定性和可靠性。为此需要研究机器感知应用的稳定性、可靠性控制方法，以及误差控制方法，消除不确定性，提高智慧工厂的自适应能力。

（5）智慧工厂机器深度学习技术研究。建立智能化工厂是企业未来发展的需要。不论是食品行业还是其他行业，最初的生产都是大批量生产，随着技术及时代的发展，市场上产品同质化越来越严重；另一方面客户的个性化需求逐渐增强，迫使企业由大批量生产转向多品种小批量生产，更进一步，将逐步转向个性化定制生产。市场需求的变化使得各行各业逐步开始进行转型升级，要求生产线具有高度的柔性，能够进行模块化的组合，以满足生产不同产品的需求。与此同时，为了响应客户的需求，需要及时对客户的信息进行收集、处理及反馈，也促使企业开始关注自己的数字化、信息化建设，各种实用的系统逐步上线；更进一步为了提升生产效率，使得设备与设备之间、设备与人之间要有信息互通和良好的交互，又要求利用相关技术实现互联。在工业4.0概念中对于智能化要求的描述是设备自适应柔性制造、信息感知及端到端沟通，并具有预警和自诊断能力。为此需研究深度学习的机器感知、机器认知，以提高智慧工厂的自适应柔性制造能力。

参考文献

[1] 德国联邦教育研究部. 德国工业4.0战略计划实施建议[R]. 2013

[2] 中国国务院. 国务院关于印发《中国制造2025》的通知[R/OL].（2015-05-19）[2016-05-09].http：//www.mof.gov.cn/zhengwux inxi/zhengcefabu/201505/t20150519_1233751.htm， 2015. Online； accessed 19-Mar.-2016

[3] SHETH A， ANANTHARAM P， HENSON C. Physical-Cyber-Social Computing： An Early 21st Century Approach [J]. IEEE Intelligent Systems， 2013， 28（1）：78-82. DOI： 10.1109/MIS.2013.20

[4] ILIC M D， XIE L， KHAN U A， et al. Modeling of Future Cyber-Physical Energy Systems for Distributed Sensing and Control[J]. IEEE Transactions on Systems， Man， and Cybernetics-Part A： Systems and Humans， 2010， 4（40）：825-838. DOI： 10.1109/TSMCA.2010.2048026

[5] DERLER P， LEE E A， VINCENTELLI A S. Modeling Cyber-Physical Systems [J]. Proceedings of the IEEE， 2012， 100（1）：13-28. DOI： 10.1109/JPROC.2011.2160929

[6] PEREZ F， IRISARRI E， ORIVE D， et al. A CPPS Architecture Approach for Industry 4.0[C]// Proceeding of Emerging Technologies & Factory Automation （ETFA）， 2015 IEEE 20th Conference on. USA： IEEE， 2015， 1-4

[7] WANG F Y. The Emergence of Intelligent Enterprises： From CPS to CPSS [J]. IEEE Intelligent Systems， 2010， 25（4）：85-88. DOI： 10.1109/MIS.2010.104

[8] CHENG F T， TIENG H， YANG H C， et al. Industry 4.1 for Wheel Machining Automation [J]. IEEE Robotics and Automation Letters， 2016， 1（1）：332-339.DOI： 10.1109/LRA.2016.2517208

[9] 王耀南， 陈铁健， 贺振东，等. 智能制造装备机器视觉感知控制方法综述[J]. 控制理论与应用. 2015： 32（3）： 273-286

[10] 张辉， 王耀南， 周博文. 基于机器视觉的液体药品异物检测系统研究[J]. 仪器仪表学报， 2009， 30（3）：548-553

[11] SAMPIGETHAYA K， POOVENDRAN R. Aviation Cyber-Physical Systems： Foundations for Future Aircraft and Air Transport [J]. Proceedings of the IEEE， 2013， 101（8）：1834-1855. DOI： 10.1109/JPROC.2012.2235131

[12] GATTULLO M， UVAA E， FIORENTINO M， et al. Legibility in Industrial AR： Text Style， Color Coding， and Illuminance [J]. IEEE Computer Graphics and Applications， 2015， 35（2）：52-61. DOI： 10.1109/MCG.2015.36

[13] YADID P O， ETIENNE C R. CMOS Imagers： from Photo Transduction to Image Processing [M]. Germany： Kluwer Academic Publishers， 2004

[14] 余洪山， 赵科， 王耀南， 等. 融合2D/3D 摄像机的方法与获取高精度三维视觉信息的装置[J]. 控制理论与应用， 2014， 31（10）：1383-1392

[15] BUADES A， COLL B， MOREL J M. A Review of Image Denoising Algorithms， with a New One [J]. Multiscale Modeling & Simulation， 2005， 4（2）：490-530

[16] POLESEL A， RAMPONI G， MATHEWS V J， et al. Image Enhancement via Adaptive Unsharp Masking [J]. IEEE Transactions on Image Processing， 2000， 9（3）：505-510

[17] RAHMAN Z U， JOBSON D J， WOODELL G A. Retinex Processing for Automatic Image Enhancement [J]. Journal of Electronic Imaging， 2004， 13（1）：100-110

[18] 王耀南， 李树涛. 多传感器信息融合及其应用综述[J]. 控制与决策， 2001，16（5）：518-522

[19] SEERHA G K， KAUR R. Review on Recent Image Segmentation Techniques [J]. International Journal on Computer Science and Engineering， 2013， 5（2）：109

[20] SILVER W M， MCGARRY E J， HILL M L， et al. Method for Fast， Robust， Multi-Dimensional Pattern Recognition [P]： 7016539. 2006-03-21

[21] CHAUMETTE F， HUTCHINSON S. Visual Servo Control. I. Basic Approaches [J]. IEEE Robotics &Automation Magazine， 2006， 13（4）：82-90

[22] CHAUMETTE F， HUTCHINSON S. Visual Servo Control. II. Advanced Approaches [J]. IEEE Robotics & Automation Magazine， 2007， 14（1）：109-118

[23] DRATH R， HORCH A. Industrie 4.0： Hit or hype？[J]. IEEE Industrial Electronics Magazine， 2014， 8（2）：56-58