机器视觉在测量领域的应用专利技术综述

国家知识产权局专利局专利审查协作天津中心，天津 300304

一、概述

机器视觉（Machine Vision，MV）也称为计算机视觉，是一种以机器视觉产品代替人眼的视觉功能，利用计算机对机器视觉产品采集的图像或者视频进行处理，从而实现对客观世界的三维场景的感知、识别和理解的技术。

机器视觉系统以计算机为中心，一般由光源、图像传感器、图像采集装置、图像处理系统组成。图像传感器是整个机器视觉系统的感觉部分，主要包括光学成像系统、光电转换装置和摄像机控制系统三个部分。图像采集装置由专用视频解码器、图像缓冲器和接口控制电路构成，主要是将图像传感器生成的视频信号实时地转换成便于计算机处理的数字图像信号。图像处理系统主要由专用图像处理模块和计算机构成：专用图像处理模块是计算机的辅助处理器，主要是实时高速地完成各种底层计算机图像处理功能，例如图像的缩放、滤波、增强、边缘提取等；计算机作为整个机器视觉系统的核心，不仅要控制整个系统的各个模块的政策运行，还承担着机器视觉系统最后结果的运算和输出[1-3]。

机器视觉技术起源于20世纪50年代，发展至今主要经历了五个阶段[4-5]：

20世纪50年代，统计模式识别的兴起，标志着计算机视觉技术研究的开始，研究工作主要集中在二维图像的分析、识别和理解；

20世纪60年代，开始了以理解三维场景为目标的三维机器视觉的研究；

20世纪70年代，出现了机器视觉应用系统，并首次提出了较为完整的计算机视觉理论；

20世纪80年代，提出了主动视觉理论框架、基于感知特征群的物体识别理论框架、视觉集成理论框架等方法；

20世纪90年代以后，主要向人工智能方向发展。

随着技术的发展，机器视觉的各种研究理论与研究方法层出不穷，已广泛应用于工业自动化生产线、各类检验和监视、视觉导航、图像自动解释、人机交互与虚拟现实等各个领域，研究方向主要包括照明方式、图像处理、图像分割、摄像机标定、单目视觉、双目视觉以及多目视觉。

在专利申请方面，机器视觉主要还是国外大公司专利申请较多，近些年中国专利申请逐渐增多，主要集中在高校，而且主要的申请方向是机器视觉的应用以及图像处理方向。

在国际竞争中，欧美跨国企业通过设置知识产权壁垒，对我国企业进行阻击，薄弱的技术积累和知识产权的欠缺，使我国许多企业在融入经济全球化的过程中处于明显劣势。

本文针对测量领域机器视觉的专利申请情况，对其专利整体趋势、技术要点进行技术分析。通过深入分析测量领域中机器视觉行业专利申请年度分布、申请地区分布和申请技术主题分布，从时间、空间及技术三维的角度勾勒出该行业专利布局特点[6-8]，并在总结该行业专利策略基础上，对我国机器视觉行业提出启示及建议。

二、专利整体情况

1、专利申请量趋势

在CNABS, CPRSABS, VEN数据库中，分别以机器视觉、单目视觉、双目视觉、多目视觉、machine vision、robot vision、monocular vision、binocular vision、multi-vision等中英文关键词，结合分类号G01B11/+、G01B9/+、G01B21/+等进行检索，统计的专利申请数据截止2016年12月，在此期间，我国在测量领域关于机器视觉的专利申请749篇，除中国以外的其他国家申请403篇。自1982年至2016年的专利申请分布如图1所示。

由图1可以看出，机器视觉的发展在国内和国外并不同步，国外从1982年开始就不断在这个领域进行专利申请，并且申请量的总体趋势是逐年增加的，我国在此领域申请比较晚，直到2000年左右才开始逐年增加，并且增长趋势与全球总体的增长趋势一致。在2010年前后，机器视觉的专利申请量大幅增加，进入高速发展期，将机器视觉用在各个方面的测量的专利都大幅增加。出现这种情况主要有三个原因：一是这个阶段以移动互联网为主的互联网经济在急速发展，对人工智能的需求，自动控制的需求量急速增加，而机器视觉正是人工智能中最重要的测量端，所以这个阶段增长迅速；二是摄像头、相机在这个阶段有较好的发展，关键技术有所突破；三是我国在这方面的投入加大，各个高校加快了机器视觉相关的研究。

虽然我国在该领域起步较晚，但是增长速度更快，从2010年以后，涉及到机器视觉的中国专利申请已经占据了全球专利申请的绝大部分，这也反映出我国对此领域的研究越来越重视，专利布局也越来越完善。

2、不同国家专利申请量分析

对不同国家的专利申请量进行统计如图2所示。

由图2可以看出，中国专利申请量最多，占总量的40%以上，说明我国在这一方面的研究较为广泛，一方面由于机器视觉属于比较新型的领域，我国虽然起步晚一些，但是在随后几年大力投入和发展，特别是各个高校的不断投入，逐渐呈现出赶超之势，另一方面也说明近年来我国对于专利保护意识逐步增强。除中国以外，美国、日本也有一定数量的专利申请，分别占到了总量的20%、10%，这两个国家在计算机图像处理和摄像头领域处于全世界领先的地位，特别是一大批机器视觉相关的公司均在这两个国家，因此这两个国家在机器视觉领域专利申请量大，核心专利多。

3、主要申请人排序

在该领域中，全球申请量排名前十位的申请人排序见图3，中国申请量排名前十位的申请人排序见图4。

从图3可以看出，在排名前十位的申请人中，包括4个美国公司，1个日本公司，以及中国的4所高校和1家公司。国外的申请主体相对集中，均为企业，这是因为国外大公司发展历史比较久，有实力投入更多的研发资金，而中国科研机构则主要集中在高校。从申请人的排名来看，排名第一位的是日本的三丰公司，该公司成立于1934年，向全球范围内的广大市场提供千分尺、卡尺等量具以及三坐标测量机、形状测量系统、视像测量系统及光学仪器，是测量领域的国际领先企业，长期专注于三坐标测量和机器视觉的开发。而美国上榜的四个公司是康耐视、施耐宝、亨特、AT&T，其中康耐视公司是专门研发机器视觉产品的公司，成立于1981年，拥有多项核心专利。

从图4可以看出，中国国内排名前十位的基本都是高校，没有个人申请，这也与机器视觉这一领域门槛较高有关，需要大量的资金投入和多个科研人员合作才能完成，而国内高校有完善的研究机构和人才培养体制，又能获得较大的国家支持，因此，在这方面研究比较多也比较完善。

三、机器视觉在测量领域的专利技术分析

机器视觉在测量领域具有广泛的应用，通过对检索到的专利申请初步分析，选择机器视觉的以下技术主题进行分析。

1、相机校准

由于针孔成像的原理，所以会使得相机摄入的图片出现扭曲和偏移，所以我们需要相机校准来恢复图片，相机校准是机器视觉中必要的一步，对相机校准的精度直接关系到整个机器视觉系统测量的精度。

1997年，专利US5978080A[9]公开了一种方向、像素宽度以及高度的校准方法，该方法用于图像参考面和测量对象移动参考面的校准，采用基准点进行校准。

2004年，专利US6798925B1[10]公开了一种对图像获取系统进行校准的系统，该系统采用具有精确尺寸的基准点和工具去测量尺寸来校准图像获取系统。

2008年，专利CN101216296A[11]公开了一种利用球形靶进行相机校准的方法，如图5所示。

2009年，专利CN102782721A[12]公开了一种用于相机在运行中的校准的误差的测定方法，该方法通过三个相机对同一对象进行测量，进而通过测量结果判断相机的校准误差，该方法解决了以往需要脱机对相机进行校准的问题，可以在线自动测定自动校准。

2013年，专利CN104048674A[13]公开了一种利用不准确的校准靶进行校准的方法，通过移动校准靶的位置并采集不同位置的多个图像，然后得到位移与长度的比例，利用这一比例校准相机，解决了标准靶较为昂贵的问题。

从上述对相机校准的专利中可以看出，随着新技术的出现和不断发展，对于相机校准不仅仅局限于采用标准靶进行校准，还进一步提出了对运行中的相机进行校准，采用非标准靶进行校准等新的方式，使机器视觉的使用范围更加广，适应不同苛刻环境的能力也大幅提高。

2、图像处理

图像处理时用计算机对图像进行分析，相机获取的图片或者视频需要经过图像处理才能得到有用的测量信息，一般采用去噪声、增强、复原、分割、提取特征等处理的方法和技术。图像处理近几年得到迅速的发展，主要有三个因素：计算机的发展、数学的发展、应用需求的增长。

2001年，专利US6173070B1[14]公开了一种对获得的图片进行特征点确定的方法，该方法通过同一对象的多个图片和确定的特定的平面确定特征点，该方法可以快速获取特征点，进而对目标对象进行分析。

2004年，专利CN1527024A[15]公开了一种机器视觉检测系统，其采用多种颜色的光源，每采集一幅图片就更换一个光源的颜色，然后再对图像处理，提高了图像处理的精确度。

2005年，专利CN101002229A[16]公开了一种用于自动视觉事件检测的方法和装置，该方法采用相机捕获多个帧，多个帧中的每个帧包括其中事件发生的二维视场的图像，事件包括预定对象的移动；利用响应于多个帧的视觉分析计算多个事件检测权重，每个事件检测权重分别对应于多个帧中的每个帧，并包括视场中事件正在发生的证据；从多个帧中选择多个事件帧，多个事件帧对应于多个事件检测权重的子集；响应多个事件检测权重的子集的事件分析，检测事件是否已经发生，该方法可以快速辨识出被测物体的变化，进而输出控制信号。

2011年，专利US2011/0317906A1[17]公开了一种用于探针标志检查的系数确定方法，该方法采用先前确定的图片向量和现有采集的图片进行比较，进而确定检查系数。

2012年，专利CN103105193A[18]公开了一种在运行模式中执行连续的图像获取的方法，该方法在第一阶段，扫描将具有连续图像获取流的部件程序的部分以寻找图像获取操作，并确定用于获取图像的最有效的顺序，之后开始图像获取过程；然后在第二阶段，在执行图像获取过程中，再次扫描部件程序的该部分，然后执行图像分析操作。该方法实现连续图像获取部件程序的更高效、直观和灵活的编程和编辑。专利CN103175469A[19]公开了一种增强型边缘的聚焦方法，该方法在划定区域中对特征点极值进行分析，进而实现边缘增强，具体流程参见图6。

2013年，专利CN104065891A[20]公开了一种机器视觉3D线扫描图像的获取及处理方法，该方法将若干组控制信号施加到像素元件的行，每一行的像素元件共享控制信号，针对每一组控制信号，根据控制信号聚合像素元件的列的基于第一像素信号的输出信号，及对像素元件的列的经聚合输出信号中的每一个进行数字化，解决了常规机器视觉中必须由相机捕获由系统形成的物理坐标中的每一个及每一行像素元件的实质大小的二维强度图像的问题，提高了图像处理速度。

从上述图像处理的专利可以看出，图像处理是近几年的热点，这也是关乎视觉处理速度和准确度最重要的因素，从特征点的确定到图像变化的识别，最后到图像处理速度的优化都有进一步的研究，未来图像处理方向也会继续成为机器视觉领域的关键点。

3、具体应用

机器视觉的应用特别广泛，而且相关专利中大多数均是对机器视觉的具体应用，特别是我国的专利，正是这些应用将机器视觉的优点充分发挥出来。

2002年，专利CN1376258A[21]公开了利用机器视觉系统测量车辆滚动半径的方法，通过测量汽车行进前后的图像，进而求取车轮的滚动半径。

2003年，专利CN1464970A[22]公开了一种多相机视觉测量系统，利用视觉系统对被测物体进行定位。专利CN1566900A[23]公开了一种空间圆几何参数的视觉测量方法，采用视觉测量系统拟合空间图像进而实现对被测物体的测量。

2004年，专利CN1581457A[24]公开了采用视觉系统进行自动化检测焊球高度的方法。首先根据被测对象的尺寸和测量高度的要求，由光学成像原理和几何关系确定侧面CCD摄像机安装的极限角度，以此为基准，对安装角度进行微调，原则是安装角度尽可能的接近极限角度，又能得到每一排焊球的高度信息。确定安装角度以后，进行系统标定。将侧面CCD捕捉图像信息进行分析，由标定参数和图像与空间被测器件的几何对应关系即可得焊球的高度信息。

2005年，专利CN1734228A[25]公开了采用视觉系统进行电路板的检测，通过用于指示缺陷指示的置信度的置信度分数值来确定被测电路板是否合格，提高的检测效率和精度。专利CN1758020A[26]公开了采用条纹投射的视觉检测系统，由正弦条纹投射装置向被测物表面投射多幅正弦光栅，由图像传感器获取一系列不同相位的图像送至图像采集部分，再经过计算机系统进行图像处理，得到带有物体三维信息的相位图，可快速改变投射条纹的间距、相位和对比度，适合于不同曲率的被测面的在线测量，自适应能力强；同时测量系统结构简单，测量精度高，抗干扰能力强。专利CN1804541A[27]公开了一种利用视觉系统测量三维位置姿态的方法，以双圆合作目标的公切点以及不同公切点连线的交点作为目标特征点，根据所建立的摄像机透视投影模型和运动模型，计算摄像机的三维位置和姿态，并可以进一步求出摄像机的线位移、角位移、线速度以及角速度等参数，具体参见图7。专利CN101040184A[28]公开了一种利用视觉系统测量岩石颗粒成分的方法，用于自动分析从矿石、岩石、砾石、天然、人造或回收的骨料等中选择的多个样品物体的尺寸和形状。

2009年，专利CN101561262A[29]公开了一种利用视觉系统测量表面粗糙度的方法，根据视觉图像利用算术平均偏差法和灰度共生矩阵法得到表面特征量，建立环境光、表面特征量与表面粗糙度关系模型，利用模型确定的函数计算表面粗糙度。

2010年，专利CN101881598A[30]公开了一种利用机器视觉进行植物测量的装置，利用图像采集模块采集玉米果穗旋转一周的每一行籽粒的图像，并将图像实时传送至控制处理模块；旋转称重模块在接收到信号后测量待测玉米果穗的重量并带动待测玉米果穗旋转，并在开始旋转时向控制处理模块发送已旋转信号；控制处理模块向旋转称重模块发送旋转信号及称重信号，在接收到已旋转信号的同时，向图像采集模块发送图像采集信号，并对图像进行处理，获得待测玉米果穗性状参数并实时显示。

从上述具体应用的专利可以看出，机器视觉被应用的范围越来越广，不仅有对物体的尺寸的检测，也有对物体位置的检测，不仅对平面图像进行处理，还能构建立体图像。而且机器视觉还应用在导航、材料分析以及农业等方面，大大拓展了测量范围，从根本上改变了传统的测量手段，提高了测量精度。

四、总结

通过对机器视觉中的相机校准、图像处理和具体应用的技术发展过程进行梳理和比较，可以看出，在相机校准和图像处理方面，国外的公司发展较早，而且一直处于不断研发过程中，特别是图像处理方面，一直是研究热点也是研究重点。一方面由于国外特别是美国和日本在图像处理具有领先优势，另一方面也说明图像处理未来将是机器视觉的重点发展方向。在机器视觉的具体应用方面，我国明显具有优势，这表明我国能充分利用国外的先进测量技术，也说明我们对机器视觉的认识和重视程度都有很大的提高。我国未来几年应该重点在图像处理上有所突破，通过对专利的分析可知，近几年图像处理主要是在速度和准确度两个方向发展，我们应该在提高图像处理速度和准确度两个方向加大研究，争取早日实现弯道超车，在这个领域掌握重要的核心技术。