基于相机标定和最大连通区域算法的指针式仪表读数识别

徐遵义 韩绍超

摘  要： 针对现有指针式仪表判读技术很少利用摄像机标定参数，自动判读准确度较低，无法满足工业生产实际需求的现状，提出将摄像机标定技术应用于圆形指针式仪表的自动判读，极大地减少了摄像机自身在图像采集过程中产生的误差;提出基于最大连通区域的仪表轮廓识别方法，提高了圆形仪表轮廓检测速度。利用SIFT算法进行仪表图像的关键点提取，利用模板匹配的方式实现图像中仪表的倾斜校正。实验结果表明，该方法的检测精确度可以达到95%以上，检测效率较传统方法提高了30%左右。

关键词： 指针式仪表; 摄像机标定; 特征提取; 模板匹配; Hough变换; 最大连通区域

中图分类号： TN911.73?34; TP216                  文献标识码： A                   文章编号： 1004?373X（2019）09?0046?05

Pointer instrument reading recognition based on camera calibration

and maximum connected region algorithm

XU Zunyi， HAN Shaochao

（School of Computer Science and Technology， Shandong Jianzhu University， Jinan 250101， China）

Abstract： The camera is rarely used in existing automatic reading recognition technologies of pointer instrument for parameter calibration， and the low accuracy of automatic reading recognition can′t meet the actual needs of industrial productions. Therefore， the camera calibration technology is proposed for the automatic reading recognition of the circular pointer instruments to greatly reduce the camera′s error generated in the process of image acquisition. The instrument′s contour recognition method based on maximum connected region is presented to improve the detection speed of the circular instrument contour. The SIFT algorithm is used to extract the key points of the instrument image. The template matching method is adopted to correct the instrument tilt in the image. The experimental result shows that the detection accuracy of this method can reach up to 95%， and the detection efficiency is improved by about 30% than that of the traditional method.

Keywords： pointer instrument; camera calibration; feature extraction; template matching; Hough transformation; maximum connected region

0  引  言

指針式仪表是一种重要的工业测量仪表，以结构简单、灵敏度高、受外界环境影响较小而广泛应用于电力、冶金等工业领域[1?2]。但指针式仪表没有数据传输接口，不能将测量值直接传入计算机等设备进行处理，因此，在对工业生产中数量庞大的指针式仪表进行数据采集时，存在劳动强度大、读数误差大等问题[3]。在许多工业生产领域如电厂，由于存在严重的电磁辐射等影响因素，数字式仪表的使用受到诸多限制，在未来相当长的时间内大量指针式仪表在工业生产领域仍然是主要的测量传感器。

为解决指针式仪表自动读数识别问题，基于机器视觉的指针式仪表自动判读技术被广泛采用[4?5]，目前采用的主要算法有：经典的检测圆的Hough变换算法[6?8]，检测直线的Hough变换算法[9?10]、最小二乘法[3]、总体最小二乘法[11]、Bresenham画线法[12]以及基于区域生长的算法[13]等，在实验室环境下其识别准确率可以达到90%以上。此外，基于模板匹配和查表法的仪表读数识别方法也取得了比较高的识别精度[14]。但由于工业环境下相机误差、拍摄角度、光照等因素的影响，采集到的仪表图像带有不同程度的畸变和模糊，严重影响了识别准确率和识别效率，仍然不能满足工业生产中高精度和实时性的要求。

针对相机畸变误差，本文提出将相机标定技术引入到指针式仪表判读中。通过对相机进行标定求取相机内外参数，利用得到的相机参数对原始仪表图像进行畸变校正。并提出基于最大连通区域的仪表轮廓识别方法，提高圆形仪表轮廓检测速度和精度，从而提高最终的读数识别效率和精确度。

1  基于相机标定技术的指针式仪表自动读数

空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的，几何模型参数即为摄像机参数。由于相机镜头制作材料及制作工艺的不同，采集到的图像通常带有不同程度的畸变。对于指针式仪表图像，畸变会使图像中的仪表轮廓以及指针线发生不同程度的变形，并且越靠近仪表图像边缘，变形越明显，导致获取到的仪表图像存在不同程度的扭曲。为了提高仪表轮廓以及指针线检测的精确度，尽量减少仪表图像畸变至关重要，因此，本文将相机标定技术引入指针式仪表自动判读。

基于相机标定技术的指针式仪表自动判读技术工作流程为：首先对相机进行标定，获取其内外参数;其次使用该相机采集指针式仪表图像并进行预处理;然后利用该相机参数进行图像畸变校正，利用SIFT算法提取关键点并进行模板匹配实现旋转校正;最后利用机器视觉相关算法检测出仪表轮廓和指针线，根据指针线角度以及仪表刻度信息计算出当前仪表读数。完整的读数识别过程如图1所示。

图1  基于相机标定的指针式仪表自动判读流程图

用[Mx，y，z]表示世界坐标系中的某点，[mu，v]表示图像平面上的对应点，它们的齐次坐标分别表示为[Mx，y，z，1]和[mu，v，1]，则摄像机成像模型可用式（1）表示[15]：

式中：[ax]，[ay]分别表示[u]轴和[v]轴的尺度因子;[γ]表示[u]轴和[v]轴的不垂直因子。相机标定的目的就是求得内参数矩阵[A]、旋转矩阵[R]以及平移矩阵[t]，利用这些参数值实现图像中目标物体的校正。

目前，摄像机标定方法主要有：基于3D立体靶标的相机标定、基于径向约束的相机标定和基于2D平面靶标的相机标定等。本文采用基于二维标定板的标定方法，即张正友标定法。所采用的二维标定板如图2所示，利用同一相机在不同角度对标定板进行图像采集，首先计算出外参数矩阵，然后利用极大似然估计法求得内参数矩阵。

图2  二维标定板

经过该标定过程，可以很容易地获取到摄像机的内参数矩阵[A]、旋转矩阵[R]以及平移矩阵[t]，利用这些参数对该相机所采集的仪表图像进行相应参数的逆变换，达到对仪表图像畸变校正的效果。

2  最大连通区域法检测轮廓

为了确定指针线位置，仪表轮廓的检测是指针式仪表自动判读技术的一个重要步骤。在二维图像平面中检测圆形物体常用的是Hough变换算法。但是由于执行Hough变换算法时，需要对图像中的每个像素点进行转换处理，因此会消耗大量的计算时间和内存空间。本文根据圆形指针式仪表表盘结构特点，提出基于最大连通区域的仪表轮廓识别方法。

图像中感兴趣的物体是由一系列像素点组成的。为了获取物体所在区域，本文利用8邻域法分析两个像素点是否连通，即判断该像素点是否位于另一像素点的8个邻域方向上[16]，8邻域法如图3所示。

图3  8邻域法像素点关系图

本文采用深度优先搜索算法进行仪表图像的8邻域法搜索以获取仪表轮廓的像素点集合。具体算法为：反复搜索图像中未被处理的像素行，当判断出该行中某个像素点属于物体的轮廓像素点后，接着搜索与此像素点交叠的上下两个像素行，利用8邻域规则判断搜索行中的每个像素点是否属于参考像素点的邻域点，执行该过程的伪代码如下所示：

算法：最大连通区域搜索算法框架

1.输入指针式仪表二值图像。

2.逐行扫描每一个未经处理的像素点，对于每一个未经处理像素点，逐行搜索其上下两行，按照8邻域规则判断所扫描像素点的像素值是否属于参考像素点所在连通区域几何的元素，若是，加入该集合并继续搜索;否则，不加入并继续搜索。

3.通过所得的多个像素点的集合，计算其中所含像素个数最多的像素集合，由此得出最大连通区域所在的像素点集合。

4.输出最大连通区域所在像素集合。

通过最大连通区域搜索算法，可以获取到仪表二值化图像中表盘所在的圆。最大连通区域算法的检测效果及提取出的仪表感兴趣区域如图4所示。

图4  最大连通区域识别效果及ROI

3  仿真实验

基于相机标定的最大连通区域算法的圆形指针式仪表自动判读技术处理过程如图1所示，其中关键点提取与模板匹配、读数识别是主要处理过程。

3.1  关键点提取与模板匹配

由于拍摄角度以及相机位置等原因，图像中的儀表通常会带有一定的旋转角度，导致计算出的指针线角度存在误差。为了降低检测误差，需要进一步对图像中的指针式仪表进行旋转校正。本文通过提取仪表图像的关键点，利用关键点将待测仪表图像与模板图像进行匹配的方式实现旋转校正。

首先分别检测模板图像与待校正图像中的关键点，即对于位置、尺度、旋转等均不变的特征点。将模板图像与待测图像中的对应关键点分别表示为向量形式，形成每个关键点的特征向量，通过匹配特征向量校正待测图像。待测图像与模板图像的匹配效果如图5所示，待测图像校正前与校正后的效果如图6所示。由此可见，圆形指针式仪表图像的旋转校正对识别指针线角度计算读数阶段的精确度具有较大影响，因此，指针式仪表旋转校正可以极大地提高识别精确度。

图5  待测图像与模板图像的匹配效果

图6  待测图像校正前后效果

3.2  指针线角度计算及读数识别

当前常用的检测指针线的方法是Hough变换算法，该方法利用笛卡尔坐标空间与极坐标空间的对偶性。但考虑到仪表中的指针线可能较粗，直接进行直线检测时会出现偏差，甚至检测到多条直线，因此本文首先对指针线区域进行细化操作，提取出指针线的骨架，其基本原理可用式（3）表示，而后利用Hough变换算法检测指针所在直线。原始图像与检测效果如图7a），图7c）所示。

图7  仪表图像细化结果

4  实验结果分析

4.1  实验结果

本文分别对相机畸变校正、圆形仪表旋转校正、改进的Hough变换算法以及指针线细化等进行相关实验，并与其他传统检测方法进行对比，其检测精确度均有很大提高。

首先利用相机标定的内部参数（见表1），对原始仪表图像进行畸变校正，并且利用图像方差评估畸变大小，如表2所示。实验结果表明，尽管当前摄像机制作水平已相当成熟，但仍然存在较小程度的畸变。通过标定过程消除畸变，可以更加准确地定位表盘圆心及半径。

表1  相机内参标定结果

表2  图像标定前后误差对比

为了消除仪表旋转角度，使读数更精确，通过匹配待测仪表图像以及模板图像中关键点的方式进行仪表旋转校正，将校正后的仪表图像的检测读数与未经校正的仪表读数进行识别精确度的对比，结果如表3所示。可以看出，当仪表存在较大旋转角度而不进行旋转校正时，识别精确度会出现很大偏差。

表3  旋转校正结果对比

针对传统的Hough变换算法检测效率较低的问题，本文提出基于最大连通区域的圆形仪表轮廓检测方法，具体检测数据如表4所示。实验证明，该检测方法对识别精确度有较好的鲁棒性，检测效率明显提高。

表4  连通区域法与Hough变换法结果对比

最后本文对采集到的三幅仪表图像进行自动判读实验，并将判读结果与传统判读方式进行精确度与识别效率的对比，如表5所示。实验结果证明，该判读方法具有很高的精确度，并且基本可以达到实时检测的效果。

表5  三组仪表图像实验效果对比

4.2  误差分析

经实验验证，本文提出的圆形指针式仪表自动判读方法具有很高检测精确度与检测效率。产生判读误差的原因主要是：本实验尚未充分考虑仪表曝光问题，所用实验数据均采集于自然光照條件下，导致对仪表进行预处理时，难以控制阈值的选择。后期可以通过控制曝光时间和光照饱和度来采集更加清晰的指针式仪表图像，以获得更高的识别精确度。

5  结  语

本文通过对相机进行标定获取相机参数，对仪表图像进行畸变校正。利用SIFT提取关键点并进行模板匹配实现仪表的旋转校正。提出最大连通区域算法，进行仪表轮廓的识别与提取，较传统的Hough变换算法，检测圆形轮廓在效率上有了很大提高。进行指针线检测时，首先对指针区域进行细化操作，避免了由于指针线较粗而增大检测误差的问题。最后利用指针角度法计算出当前仪表图像中的仪表读数。

由于本文尚未充分考虑图像采集时的曝光时间和曝光强度，因此在进行轮廓和指针线检测时仍然存在少量误差，后期可通过设定曝光时间与强度，获取到更加清晰的指针式仪表图像进行处理，进而得到更高的识别精确度和效率。

参考文献

[1] ZHENG C， WANG S， ZHANG Y， et al. A robust and automatic recognition system of analog instruments in power system by using computer vision [J]. Measurement， 2016， 92： 413?420.

[2] HAN J， LI E， TAO B， et al. Reading recognition method of analog measuring instruments based on improved Hough transform [C]// 2011 IEEE International Conference on Electronic Measurement & Instruments. Chengdu： IEEE， 2011： 337?340.

[3] YANG B， LIN G， ZHANG W. Auto?recognition method for pointer?type meter based on binocular vision [J]. Journal of computers， 2014， 9（4）： 787?793.

[4] 李勇.指针式表盘的自动识别技术研究及实现[D].郑州：郑州大学，2015.

LI Yong. Analog dial indicator automatic identification technology and its realization [D]. Zhengzhou： Zhengzhou University， 2015.

[5] 王欣.智能变电站指针式仪表自动识别方法的研究[D].沈阳：沈阳工业大学，2016.

WANG Xin. Intelligent substation pointer instrument automatic identification method [D]. Shenyang： Shenyang University of Technology， 2016.

[6] 陶冰洁，韩佳乐，李恩.一种实用的指针式仪表读数识别方法[J].光电工程，2011，38（4）：145?150.

TAO Bingjie， HAN Jiale， LI En. A practical method of pointer meter reading identification [J]. Opto?electronic engineering， 2011， 38 （4）： 145?150.

[7] GUAN Y， ZOU Y， HUANG B， et al. Pointer?type meter rea?ding method research based on image processing technology [C]// 2010 IEEE the Second International Conference on Networks Security Wireless Communications and Trusted Compu?ting. Chengdu： IEEE， 2010： 107?110.

[8] 朱桂英，张瑞林.基于Hough变换的圆检测方法[J].计算机工程与设计，2008，29（6）：1462?1464.

ZHU Guiying， ZHANG Ruilin. Circle detection based on Hough transform [J]. Computer engineering and design， 2008， 29（6）： 1462?1464.

[9] 王欣，孙鹏.智能变电站中指针式仪表图像自动识别方法[J].电气技术，2016，17（5）：7?10.

WANG Xin， SUN Peng. An automatic identification method of pointer instrument image in intelligent substation [J]. Electrical technology， 2016， 17（5）： 7?10.

[10] 李祖贺，刘嘉，薛冰，等.面向自动校验系统的指针式压力表读数识别[J].计算机工程与应用，2016，52（23）：213?219.

LI Zuhe， LIU Jia， XUE Bing， et al. Reading identification of pointer pressure gauge for automatic verification system [J]. Journal of computer engineering and applications， 2016， 52（23）： 213?219.

[11] WANG Q， TANG X， DING C， et al. Automatic alignment system based on center point recognition of analog measuring instruments dial [C]// 2013 Annual Conference of the IEEE Industrial Electronics Society. Vienna： IEEE， 2013： 5532?5536.

[12] BELAN P A， ARAUJO S A， LIBRANTZ A F H. Segmentation?free approaches of computer vision for automatic calibration of digital and analog instruments [J]. Measurement， 2013， 46（1）： 177?184.

[13] LIU J， LIU Y， YU L. Novel method of automatic recognition for analog measuring instruments [C]// 2015 International Conference on Manufacturing Science and Engineering. [S.l.]： Atlantis Press， 2015： 67?74.

[14] 莫文雄，裴利强，黄青丹，等.基于模版匹配和查表法的高精度指针式仪表自动检定系统研制[J].电测与仪表，2017，54（12）：100?105.

MO Wenxiong， PEI Liqiang， HUANG Qingdan， et al. Deve?lopment of automatic verification system of high precision pointer instrument based on template matching and look?up table [J]. Journal of electric instruments and devices， 2017， 54（12）： 100?105.

[15] ZHANG Z. Flexible camera calibration by viewing a plane from unknown orientations [C]// Proceedings of the Seventh IEEE International Conference on Computer Vision. Kerkyra： IEEE， 1999： 666?673.

[16] STEGER Carsten，ULRICH Markus.机器视觉算法与应用[M]. 杨少荣，吴迪靖，段德山，译.2版.北京：清华大学出版社，2009：155?159.

STEGER Carsten， ULRICH Markus. Machine vision algorithms and applications [M]. Translated by YANG Shaorong， WU Dijing， DUAN Deshan. 2nd ed. Beijing： Tsinghua University Press， 2009： 155?159.