基于自动拟合标注与图像点线检测的尺寸测量系统研究

叶 小 华

(黎明职业大学通识教育学院， 福建 泉州 362000)

越来越多的工业企业，出于对成本、效率的考虑，亟需通过导入自动化的测量设备取代人力，从而达到降本增效的目的，而自动化的测量设备被广泛应用在视觉引导、缺陷检查、读码和尺寸测量等方面[1-2]。其中，尺寸测量被广泛应用于各个细分领域。过去，企业更多地是采用人眼去测量和记录工件的尺寸。为了提高效率，市场上出现了人机交互式的测量软件和测量设备，但大部分测量软件和设备，还是需要人工现场确认，并记录下数据，这种模式很难推广。因此需要基于图像算法和软件工程，开发出自动化的测量系统，达到降低测量成本、提高测量效率和测量准确度的目的。

在尺寸测量方面，国内研究人员已经取得了一定的研究成果，如王建新[3]提出的基于k-means的零件图像分割方法，对于划痕的伪边缘，在矩形边缘检测区域内利用轮廓法线信息，测量边缘尺寸。该研究仅考虑了图像的边缘特征，忽略了其他有效数据，使其测量精度有待提升。朱丹丹[4]提出的基于CCD获取零件图像，实现圆度测量，达到测量目的，但该研究未考虑软件工程交互落地的问题，在实际项目中缺乏现场可操作性。陈家茜[5]提出的利用采集到的实物图像，基于图像分割技术，通过计算目标面积进行图像测量。但是分割技术是依据经验参数来完成的，而且未考虑算法与软件系统兼容的问题，在定制化场景中，限制了算法测量的准确度。

为了提高目标尺寸的测量精度，通过结合自动拟合标注与图像点线检测，设计并实现了一套尺寸测量系统。该系统测量对象是电子器件或工件图像，通过借助软件技术，完成自动化拟合标注，从而获得被测物的尺寸信息。研究主要解决2个问题：(1) 实现自动拟合标注，即鼠标在工件目标轮廓外围画标注线，通过相应的算法来寻找其边缘，画上去的线自动贴着工件轮廓，从而精准地定位工件轮廓，进而测量出工件的尺寸信息；(2) 基于软件工程，将测量工具进行高度封装，实现模块化。

1 测量系统设计

图像测量在实际应用中，分为离线测量和在线测量。离线测量，由工作人员操作软件，对工件图像进行精准测量，耗时较长；在线测量，不需要人员参与，耗时较短，但是存在测量误差。此次研究的测量系统为离线测量，主要达到减少用时、提高测量精准的目的。该系统需要先开发自动拟合标注，即人员操作鼠标，鼠标边动边计算周边信息和寻边，定位在最近的边缘，工作人员只需要沿着工件目标的外轮廓走位，即可实现快速精准地寻边，达到自动拟合标注的目的。然后根据自动拟合标注的结果，进行点线测量。针对测量系统中的关键步骤，设计如图1所示的系统流程框架。本研究基于设备工业相机，完成工业缺陷图像的采集。首先，采集工业领域待测图像，开发基于自动拟合标注的检测算子，完成前期图像检测。其次，基于人机交互方式，利用开发的距离测量工具对图像进行最终测量，从而完成系统性的测量作业。最后，基于QT框架下的C++语言，开发出软件系统和视觉测量工具。图2为待测量图像，图像中上部方框的外侧距离为待测距离，后续用所设计的系统对其进行测量和讨论。

图1 测量系统流程框架

图2 待测量图像

1.1 图像自动拟合标注算法

标注的目的是为了定位工件外观轮廓，为后续的测量做准备，标注分为3种：全自动标注、半自动标注和纯手动标注。半自动标注是基于一些参数的设置和调整，来达到标注的目的，具有看图调参数的功能，但难以快速推广应用。纯手动标注，即雁过留痕的形式，鼠标画到哪，标注线就画到哪，没有识别功能，完全依靠人眼和手的配合，具有很强的主观性，很不稳定。此次主要研究全自动拟合标注，涉及到的子算法主要有阈值分割和边缘检测。

阈值分割，目标与背景的关系：

1=wa+wb

(1)

式中：wa是目标像素比例；wb是背景像素比例。

在式(1)中，目标灰度均值、背景灰度均值与整体灰度阈值的关系[6-7]：

u=ua×wa+ub×wb

(2)

式中：u是阈值；ua是目标均值；ub是背景均值。

最后，计算方差最大值[8-9]：

g=wa×(u-ua)2+wb×(u-ub)2

(3)

式中：g是方差最大值。

在阈值分割基础上，进行Canny处理：

(4)

式中：G(x，y)为图像边缘梯度幅值；Gx为x方向梯度；Gy为y方向梯度[10]。

拟合校准的本质就是权值乘以输入值加上偏移值。为了实时校准拟合效果，设计系统采用嵌入校准函数：tanh、ReLU，经过实验验证，更适合此次研究中的拟合需求，各校准函数为：

tanh=tanh(x)

(5)

ReLU=max(0，x)

(6)

式中：x为输入值。

全自动拟合标注算法流程主要为：阈值分割、边缘检测、最近点确定、标注拟合。先用阈值分割，分割出包含目标轮廓在内的二值图，该图存在一定量的杂质和干扰。因此，引入边缘检测，对二值图的目标轮廓，作进一步边缘处理，得到目标的边，同时也排除了杂质的干扰。在人机交互的鼠标标注过程中，鼠标轨迹在不断更新，以鼠标所在坐标为中心点，取256×256区域图像进行阈值分割和边缘检测处理，既达到了计算、分析、处理的目的，又达到了速度实时性要求。最近点确定，以边缘检测结果中距离鼠标所在点最近的坐标作为拟合的结果坐标。在鼠标移动过程中，计算出来的点通过连线达到拟合的目的。

系统的全自动拟合标注采用特定标准差来初始化起始拟合位置，在拟合标注过程中不断调整。前期调研了3种实现语言，即C++、C #和Java，并进行了实验，因为考虑到效率，本平台软件选择用C++语言实现。全自动拟合标注框架如图3所示。

图3 全自动拟合标注框架图

1.2 目标尺寸测量

系统的图像测量对象有很多，包括点到点、点到线、线到线，目标轮廓内、外侧，这些都属于距离测量。另外还有面积测量、角度测量、计数等等。限于文章篇幅，在此重点介绍距离测量工具。首先对目标进行校准，用标定板放在相机下面采集图像，找到物理距离与图像距离的关系、转换比例等。在得到物理坐标与图像坐标的对应关系后，再进行尺寸计算。结合上述自动拟合标注的轮廓信息，只需将距离测量工具放在工件上，通过调整测量工具，即可测量轮廓外侧。为了提高测量精度，本系统对图像作了很多测量前的预处理：频域增强、空间域增强和直方图增强。以直方图增强为例，进行直方图均衡化：

(7)

式中：histo(k)为像素灰度值是k的像素个数；H、W分别为图像的高、宽。

(8)

建立一个均衡化方程式[11]：

(9)

式(9)为累加直方图模型，q值为：

(10)

进行图像矩阵化处理：

(11)

式中：O为输出像素值；I为输入像素值。

此次的尺寸测量主要为：边到边、点到边和点到点。边到边，即寻取两条边上距离最近的两个点之间的距离，即边到边的距离。点到边，即寻取边上距离点最近的一点，求两点距离，即点到边的距离。点到点较为简单，在此不予以赘述。

系统的图像测量技术主要基于OpenCV和自主C++函数实现。首先，将图像转换为矩阵，将起始坐标与终点坐标进行对比，对每个像素之间的差异进行汇总，结合校准得到的物理距离与图像距离关系，完成尺寸的测量。如图4所示，图像中的目标尺寸测量完成后，测量结果直接显示在界面上，193即为像素个数。

图4 待测量图像的测量结果

2 实验与讨论

本次实验是基于QT平台下的C++开发实现的，对电脑配置没有特殊要求，无需显卡。为了突出设计系统的优势，将该系统对待测图像的测量结果，分别与文献[3]和文献[4]中方法对待测量图像的测量结果进行了比对。

待测量的图像如图5a所示，待测量的目标为中间区域的黑色芯片盖，周边背景较为复杂，为全自动拟合标注带来了较大的干扰。此次设计的系统主要是耦合了全自动拟合标注、图像点线检测和软件工程技术，具有较好的视觉界面，如图5b所示，该界面简单实用，包含着大量的测量工具。3种测量方法的测量结果见图6。文献[3]中的基于k-means的零件图像分割方法，对于划痕的伪边缘，在矩形边缘检测区域内利用轮廓法线信息，测量边缘尺寸，但其仅考虑了图像的边缘特征，忽略了其他有效数据，使其测量精度不高，如图6a所示，算法标注标记的区域过大，不准确。文献[4] 中利用CCD获取零件图像，实现圆度测量，达到测量目的。但其采用的分割技术是借助经验参数来完成的，而且其未考虑算法与软件系统兼容的问题，在定制化场景中，限制了算法测量的测量准确度，如图6b所示，算法标注标记的区域不准确。

图5 待测量图像和本文测量系统的软件界面

如图6c所示，本文技术能够自动拟合标注目标，整个标注区域精确地围绕着黑色芯片盖，能够准确给出标注轮廓线。

图6 3种测量方法的测量结果

3 结 语

为了解决当前图像测量不准确、不稳定的问题，分别从自动拟合标注、软件工程和系统集成等方面，结合图像信息和算法算子，设计了一套健壮的图像自动测量系统。研究基于传统图像处理算法和软件交互技术，对图像目标物边缘、特定点位、点线距离、线间距离进行精准测量，提高了尺寸测量精度。下一步要解决的问题是将算法从较复杂场景迁移到复杂场景，同时保证算法的效率和精度。