图像识别在移印检验技术研究及应用

蔡建武，吴平，吴自然

（温州大学物理与电子信息工程学院，浙江温州325000）

随着科技的日益进步，各个产品的生产都趋于自动化以此节约人力资源。印刷品因为自动化印刷可能会产生各种缺陷，导致产品的说明不再精确，而人们对于说明书的质量要求越来越高，因此这部分有缺陷的电器应当需要被归于不合格产品，人工检测所有产品浪费了过多的人力资源，我们需要自动检测系统来代替这部分的人力资源以实现生产线的自动化。

在目前的印刷工业环境下采用CCD等图像采集设备中由于受到光照的影响，图像的像素会有偏差，灰度不一。也因为机器的震动，流水线的抖动，图像可能会出现偏转。使得后续的工作难以顺利完成，因此必须对经过采集的待处理图像进行预处理，其中预处理部分由于庞大的像素点，会对算法的效率有着巨大的要求，同时物体的旋转匹配的准确率也会直接影响到整个系统的误判率，如果简单的对于采样图像进行多次旋转匹配无疑会减小整个系统的效率，而遍历的本身的精度更是取决于系统逐次遍历的角度，精度的提升都会降低系统效率。本文提出了采用ORB[1]算法去匹配偏差角度角度，解决图像配准时的角度精度矫正并提高系统效率。

目前图像采集的光照影响我们可以采取非自然光来保证24小时的统一光照元素，以此来保证灰度图的统一。借此一个高效的旋转匹配策略就成了系统的核心问题。

1 低压电器移印检测

1.1 旋转匹配的方法

为了满足实时性的要求，因此采用了ORB[1]算法。ORB[1]算法是构建在Fast以及BRIEF[2]算法基础之上。Fast特征点不具有尺度不变性和方向，所以通过构造了具有尺度不变性的高斯金字塔，在每一层金字塔图像上检测角点，以此来实现尺度不变性。同时ORB[1]的论文中提出了一种利用灰度质心法来解决这个问题，灰度质心法假设角点的灰度与质心之间存在一个偏移，这个向量可以用于表示一个方向。ORB[1]选择了BRIEF[2]作为特征描述方法，BRIEF[2]不具有旋转不变性，因此需要使用邻域方向θ和对应的旋转矩阵R，构建矩阵，邻域方向即为我们在Fast上所求得的主方向。

1.2 邻域检测的方法

对已经进行过裁剪，配准后的图像进行差分图像二值化进行区域划分，由于单个不具有连续性质的像素点不会对产品说明产生偏差，因此需要对拍摄图像进行邻域检测，根据最大邻域所占图像百分比进行误差判断。根据情况采用了八邻域的检测方法即该点周围正方形8个像素点统一为同一邻域并以此连接。基于对效率和通用性的考虑参考了文献[3]提出了基于递归的二值图像连通域像素标记算法[3]，对图像从整体进行扫描标记并且得到等价表，从而得到一份图像的邻域值。

2 低压移印检测方法

低压移印检测即将每次通过摄像头的图像进行采样，通过ORB[1]算法检测出图像由于在流水线运输中而产生的角度偏差，通过旋转角度的计算，双线性插值和归一化，校正图像角度以及减小采样图像和模板的光照差异。由于观察移印的误差，需要通过模板匹配算法剪裁出重点图像减少后续处理时间，最后通过差分以及连通域检测得出移印部分的邻域大小判断采样产品是否标准，这种方法的参考了OpenCV[4]的处理代码。

检测具体步骤参考图如图1所示。

2.1 图像的采样以及ORB算法检测

图1 低压移印检测总体步骤图

图像的采样时间通过传感器控制CCD摄像头拍摄传输至电脑，将采样图像进行ORB[1]算法检测，图2中圆环所经过的点即为采样点。

图2 ORB描述示意图

检测步骤如下：

1）从采样图像的左上角（3，3）开始，将该点转换为灰度值，考虑周围16个点，如果改点与周围16个有连续N个点差值大于一定阈值就认为该点为一个角点；

2）如果该点为角点则采取BRIEF[2]算法描述该点特征即将该点周围R内为一圈，选择N对作为该特征点的描述，描述见公式（1）；

3）由于BRIEF[2]算法描述特征时不具有旋转不变性因此无法单纯的选取N个固定点作为该点的描述，此处描述点采取特殊方法，先求出质点Q，再以该点为圆心建立坐标轴，对于整个圆的整体进行整体的描述见公式（2），（3）；

4）重复 1）～3）步直到输入图像的右下角，获取图像角点；

5）获取角点后与样本角点进行匹配，特征点对比结果如图3所示（右侧为样本点）。

图3 特征点对比结果图

2.2 图像的旋转插值计算

由于图像是离散的点，若想求得旋转后图像的像素值，可以利用双线性插值方法，最大程度还原图像像素。

取出对应像素点最邻近的左下，左上，右下，右上像素点值分别为W11，W21，W12，W22。X1，X2为左右坐标，Y1，Y2为下上坐标。

计算X方向的插值：

然后利用X方向插值计算Y方向的插值：

求得的Q即为新图像的该坐标点的像素点，以此填充旋转后图像的所有的坐标的像素点得到旋转图像。

2.3 图像的模板匹配

由于图像并不关心除产品说明部分的其他区域，因此需要把产品说明单独提取出来，根据OpenCV[4]提出的6种方式进行了实验比较，采取TM_CCOEFF_NORMED。

1）作为最后的算法公式（7）其中T为模板图像，I为样本图像，x，y为样本匹配起始点，X'，Y'为采样图像偏移值且匹配步骤如下：

2）从采样图像的左上角（0，0）开始，切割一块标准模板的临时图像；

用临时图像和模板图像进行对比，对比结果公式（7）记为C（匹配度）；

3）切割输入图像从（0，1）处开始切割一块标准模板的临时图像再次对比，与记录匹配度的最大值比较，大则取代并记录该坐标作为最佳匹配点；

4）重复1）～4）步直到输入图像的右下角；

5）将匹配度最高部分切开进行灰度化然后二值化进行比较（采样图及切割灰度采样图见图4，图5）。

图4 采样图片

图5 切割结果图

2.4 图像的连通域检测

将已经灰度化的采样图片与样本图做差并且二值化可以得到二值图，并对二值图进行连通域检测。连通域检测步骤如下：

1）第一行扫描时只关注是否与左边有白块若有白块则与白块标记相同，若无白块则为新的标记；

2）下行扫描时先关注白块的左侧是否有白块，若有则改点白块标记值与左侧相同，依次检测该白块的左上，上，右上若有相同的模块则检测是否已经记录这两个标记值为连通域，否则记录这两个标记值为连通域，直至图像右下角；

3）处理记录两个标记值为连通域的数组，将所有连通数组标记为一个数组（参考动态规划，或者迭代处理，本算法使用了迭代处理）；

4）将所有一个连通域内的像素点相加，按照最大值排序。考虑到图像对人体视觉影响的差别，我们对于一张待处理图像连通域最大值在阈值以上的标记为不合格产品；

5）考虑到对于后续的检测，因此所有处理的数据通过python的xlrd库和xlwt库将所有的数据处理入EXCEL表格中。

处理后差分二值图详见图6。

图6 图像差分二值图

3 实验结果

为了验证算法的可行性，利用实际物体进行旋转每0.1°拍摄一张图片且考虑到工业中产品在运输线上产生的偏差角度在-2°至2°之间在且工业条件下光照基本一致，由于图像手动进行旋转所以拍摄的图像有一定的误差性，同时将采样样本备份再随机在移印位置进行涂抹或增加污渍以此模拟负样本。将处理好的正负样本输入至算法中与标准样本匹配检测算法可行性，将实验结果以及处理时间输入至表格中。

图7 正样本最大连通域检测结果图

正负样本的误判率基本保持在98.4%，且每张采样图片判断的运行时间成本保持在2 s以内，因此可以提高系统效率以及系统整体的准确性。

图8 负样本最大连通域检测结果图

4 结束语

本文提出一种基于OpenCV[4]开源库开发一套基于嵌入式系统的低压电器移印检验算法，借鉴OpenCV编程入门[5]以及python核心编程[6]入门并参考了文献[7]中对于图像匹配提出的见解开发一套算法，并对大量采样样本进行配准平均每个采样图片的配准检测只需要耗时3 s以内且在偏转角度较小时正确率可以达到97%以上。由于ORB算法的开源节约了为ORB算法支出的成本，实现了一套低成本的算法开发，为低压电器制造行业提供技术服务，为自动化和智能化的做出贡献。