基于颜色特征的数字式仪表读数定位方法

雷海军，谢莲花，何业军，李灵敏

(1.深圳大学计算机与软件学院，广东 深圳 518060;2.深圳大学信息工程学院，广东 深圳 518060)

0 引言

近年来，数字式仪表因其精度高、读取方便、易设置、功能全等优点，被广泛应用于各种工业测控领域［1］。虽然目前较高档的数字仪表已具有了无线通信接口，但在相当一部分应用环境下如科学实验、测量控制、电表计费等，仍需要对仪表读数进行人工记录，然后再转录到计算机中进行处理。这种方法不仅费时费力、工作效率低，而且容易因人为因素导致读数出错［2］。因此利用图像处理及识别技术，对数字式仪表读数的自动提取进行研究具有较高的应用价值。

在仪表读数定位方法研究中，现有的数字式仪表读数区域的定位方法主要有2种，一种是基于视频图像［1-2］，根据仪表的示数在一定时间内会发生变化的特点，采用帧间差求得变化区域从而定位仪表读数，但这一方法显然不适用于静态的仪表图像定位;另一种则是从灰度图像出发［3］，利用字符串的边缘细节进行定位。但这种方法只适用于仪表表盘较为简洁的情况，在实际使用中，许多仪表在其表盘中存在大量用来说明仪表的规格、参数等信息的字符，这些字符信息会形成许多边缘细节，可能对字符串区域的定位形成较大的干扰，从而影响定位精度。因此无法应用于表盘背景较复杂的情况。数字式仪表的一个明显的特征是采用液晶屏(liquid crystal display，LCD)作为读数显示区域，而现有的2种方法均跳过了对液晶屏区域的定位，直接对仪表读数字符进行分割。虽然减少了一个环节，但因实际仪表图像中读数的细节特征如投影特征等并不明显，且易受复杂背景干扰，所以导致定位失败。针对这一问题，本文提出了一种基于颜色特征的数字式仪表读数定位算法。

1 液晶屏显示原理及颜色特征分析

液晶屏是以液晶体为材料制成的显示屏。常见的液晶屏主要有:扭转式向列型(twisted nematic，TN)、超扭转式向列型(super twisted nematic，STN)以及薄膜式晶体管型(thin film transistor，TFT)。在工业用数字式仪表中，因为表盘设计上不存在统一的标准，不同的生产厂家使用的液晶屏也各不相同，所以电表液晶屏的颜色并无明确而统一的特征。不过基于成本、显示功能、耗电量、技术成熟度等因素的考量，各厂家多采用TN或STN型单色液晶屏用于数显式电表的读数显示，而且均采用正向显示模式，即其背景显示为某种较淡的色彩，而所显示的内容则呈现为黑色。

TN型以及STN型液晶屏的显示原理均是基于一种被称为扭转式向列场效应［4］的物理现象。液晶屏的内部结构如图1所示，液晶屏主要由垂直与水平方向的偏光板［5］、具有细纹凹槽的配向膜、液晶分子和导电的玻璃基板组成。偏光板上下各有一层，且其偏振的方向相互垂直，液晶分子则沿着配向膜的方向排列，从上至下旋转90°。在不施加电场的情况下，光线从上层的偏光板进入液晶层，并沿着液晶分子的排列方向逐渐旋转90°，离开液晶层时恰好与下层偏光板方向一致，因此能顺利穿过。此时液晶屏呈明亮的颜色。而当施加电场时，液晶分子排列方向迅速变为与电场方向平行，不再具有旋光的能力，光线在穿过液晶层时，其方向与下层偏光板方向互相垂直，无法穿过，此时液晶屏也就呈现为黑色。

受扭转式向列场效应以及液晶体材料本身颜色和光线干涉现象的影响，TN型液晶屏背景显示的色调以淡绿色、灰绿色和橘黄色为主，又因为液晶屏本身并不发光，因此在外部光照正常的情况下自身亮度较低。而在液晶屏外，数显式电表的表盘多采用白色、银灰色等较为明亮的色彩来区分表盘与液晶屏。由色饱和度的定义可知，电表液晶屏区域的色饱和度较高，而电表表盘的色饱和度则较低。

图1 液晶屏显示原理图Fig.1 LCD displaying elementary diagram

2 数字式仪表读数定位算法

本文提出的仪表读数定位算法主要包括2个步骤，首先是对液晶屏进行定位，即粗定位。然后通过一系列预处理得到液晶屏的二值图，并在此基础上利用仪表读数字符串的投影特征对其进行定位，即精确定位。通过对液晶屏进行定位，大量的非读数字符干扰将被排除，使得仪表读数的边缘及投影特征得到凸显，明显提高仪表读数定位的准确性，因此液晶屏定位结果对仪表读数的精确定位具有决定性影响。

2.1 液晶屏定位算法

由前述分析可知，仪表液晶屏的色饱和度较高，且呈现为偏绿或橘黄的色彩。因此利用液晶屏的这一颜色特征，将仪表彩色图像从RGB彩色空间转换到特定的颜色空间，即可将液晶屏与表盘大部分区域区分开来，再结合液晶屏的形状、尺寸等特征，即可实现对液晶屏的粗定位。该算法实现过程如下。

步骤1 对输入图像IMA(x，y)进行采样。输入图像一般有上百万的像素，直接对其进行处理会使计算量过大，时间复杂度过高，因此需首先对图像进行采样处理。

步骤2 对图像IMA1(x，y)进行特征变换。变换函数Fi(x，y)为

(1)式中:S(x，y)为图像的色饱和度，可用(2)式求得;k1，k2为变换系数，满足条件k1+k2=1，本文取k1=k2=0.5;Ti为R，G，B分量所满足的条件;fi(x，y)为基于RGB空间的变换函数;变换次数i控制变换函数fi(x，y)与条件Ti的选择。在本文中，根据常见仪表所用液晶屏的颜色种类，最大变换次数N=2，在绝大多数情况下，液晶屏呈现淡绿色与暗灰色，因此可计算电表图像的绿色特征值。此时，变换函数与条件分别为

当i=2时，适用于液晶屏为橘黄色的情况，此时的变换函数与条件分别为

(5)式中，系数k用于调节黄色的变换范围。当k较小时，部分偏红或偏绿的淡黄色区域也会被认定为黄色而凸显出来。考虑到液晶屏本身可能存在老化或者受拍摄时光照的影响，k的值需设定为较小的值，本文设定为0.7。

步骤3 对变换后的图像进行二值化和形态学滤波。

步骤4 对二值图像进行连通区域标记并对标记过的连通区域进行筛选。虽然各种电表所用的液晶屏尺寸因仪表种类和生产厂家的不同而存在区别，但均为矩形，宽高比大于1，再结合矩形区域的宽、高与图像的宽、高之比等先验知识即可完成连通区域的筛选。

步骤5 判断筛选结果，若筛选后有且仅有一个连通区域，则定位成功，进入下一步预处理;若筛选后没有符合条件的连通区域，变换次数i加1，返回步骤2。若变换次数i大于2，则说明图像中不存在液晶屏区域，跳出定位流程。

2.2 仪表字符串的定位

在完成液晶屏的定位之后，可根据文献［6］的预处理方法将液晶屏区域转变为二值图像。为便于数据的读取，仪表中的读数字符串一般位于液晶屏中心的位置，或者其字符尺寸明显要大于其余字符。因此可以采用下述步骤来实现仪表字符串的精确定位:首先对图像进行水平投影，通过水平投影获得字符串的行起始位置，在此基础上再利用形态学滤波和连通区域分析方法确定字符串的列起始位置。

3 实验结果及分析

本文实验所用的计算机系统，其硬件配置主要包括主频为2.2 GHz的INTEL Core2中央处理器以及2条1G 800 MHz DDR2内存条，软件配置则包括Windows XP SP2操作系统以及Matlab 7.0。

为使所选择的图片集能较好地测试所提出的定位算法的准确度，本文选用深圳市供电局提供的抄表工人在实际工作场景中采集的110张数显式电表图像作为实验图像，图像尺寸均为2 304×3 072。这些图像中包含国内主要电表生产厂家的近10种不同类型的数显式电表，而且各图片拍摄的角度、外部光照、液晶表盘反光等情况各有不同。本文以其中一张图片为例，分析本文提出的定位算法的实现过程。

图2给出了一幅对实际抄表过程中采集的电能表图像直接进行二值化处理和边缘提取处理后得到的结果。在图2a中可以看到所采集的电表图像表盘存在着大量的字符、条码等背景，而且由于闪光灯的影响，存在光照不均匀的现象。因此从图2b和图2c中可以看到，在直接二值化的图像中，液晶屏区域受自身亮度不高和外部不均匀光照的影响，与周围的表盘区域结合在一起。而在边缘特征图像中可以看到，表盘下方的非读数字符边缘较为丰富，而仪表读数区域的边缘细节反而较为稀少，边缘特征不明显。因此无法通过直接进行二值投影或者边缘投影对具有复杂背景的仪表读数进行精确定位。

图2 原始图像及2种图像处理后的结果Fig.2 Original image and the results processed by the two kinds of methods

图3则给出了本文提出的仪表读数定位算法及各个步骤的结果。从图3中可以看到，通过颜色特征变换，仪表的液晶屏区域与表盘的其他区域被很好地区分，液晶屏的边界较为清晰，而且液晶屏区域的灰度值基本均匀，说明特征变换较好地将液晶屏区域与表盘其余部分区分开来，同时避免了光照不均匀现象的干扰。图3c则说明经过二值化以后，更多的非液晶屏区域的细节被进一步过滤，使得液晶屏区域的尺寸及形状特征更为凸显。因此从图3c－e中可以看到，在实现液晶屏准确定位和二值化处理以后，由于仪表设计的特点，仪表读数具有较为明显的特征，通过水平方向和垂直方向的二值投影即可以实现读数的精确定位。

图3 本文提出的定位算法的各个步骤的处理结果Fig.3 Results of each steps of proposed locating algorithm

对110幅现场采集的图像进行定位实验，其定位效果数据如表1所示，实验结果表明直接用二值投影或者边缘投影几乎无法对具有复杂背景的仪表读数进行准确定位，而采用本文算法可以对108幅图片中的仪表读数进行准确定位，定位准确率达到98.2%。另外本文还对定位耗时进行了测试，考虑到文章篇幅，本文只列出了前10幅图像的定位耗时情况，见表2。在对总共110张电表图像的定位测试结果中，定位耗时最短为0.5 s，耗时最长为0.78 s，平均耗时为0.576 s，在可承受的范围之内。因此先利用颜色特征将仪表中的液晶屏区域分割出来，然后对液晶屏图像进行二值化，最后利用读数字符串的投影特征对字符串进行精确定位的数字式仪表读数定位方法是有效并且必要的。

表1 增加粗定位前后的定位效果数据Tab.1 Comparison of the effect data before and after the coarse location

表2 数字式仪表图像定位算法测试耗时情况Tab.2 Location time of the digital meter by the algorithm

4 结论

通过对数字式仪表所用液晶屏的显示原理以及颜色特征进行分析，本文提出了一种基于颜色特征的数字式仪表读数定位算法，该方法将定位过程分为对液晶屏的粗定位和对屏内读数的精确定位。通过对液晶屏的定位，有效避免了表盘内各类字符所产生的投影或边缘细节的干扰，从而凸显了仪表读数的投影特征，为屏内读数的精确定位奠定了基础，实现了静态图像中仪表读数的准确定位。同时利用现场实际采集的仪表图像对该算法进行了实验。实验结果表明，该算法能较好地避免拍摄现场不均匀光照的干扰，对复杂背景具有较好的适应能力，具有较高的定位准确率。

［1］张海波，段会川，谢术富，等.一种数字仪表显示值识别的预处理算法［J］.计算机应用研究，2005(2):240-242.ZHANG Hai-bo，DUAN Hui-chuan，XIE Shu-fu，et al.A Preprocessing Algorithm for Meter Display Value Recognition［J］.Application Research of Computers，2005(2):240-242.

［2］尹传历，刘冬梅，宋建忠，等.基于视频图像的数字仪表读数自动识别［J］.微计算机信息，2008，24(10)，219-221.YIN Chuan-li，LIU Dong-mei，SONG Jian-zhong，et al.An Auto-Recognition Method for Digital Characters Based on Video Images ［J］. Microcomputer Information，2008，24(10):219-221.

［3］陈家祥，龙剑忠，陶青川，等.数字仪表显示值的快速识别方法［J］.中国测试技术，2006，32(6):49-51.CHEN Jia-xiang，LONG Jian-zhong，TAO Qing-chuan，et al.A rapid recognition approach for the display value of digital meters［J］.China Meas Urement，2006，32(6):49-51.

［4］申小阳，姜伯军.多个数字仪表字符串区域的定位和识别研究［J］.苏州科技学院学报，2005，22(4)，43-45.SHEN Xiao-yang，JIANG Bo-jun.A Research on String Region Location and Recognition of Multi-Numeral Instruments［J］.Journal of University of Science and Technology of Suzhou.2005，22(4):43-45.

［5］刘启能.一种新型优质光子晶体偏振滤波器的设计［J］.压电与声光，2010，32(4):642-645.LIU Qi-neng.Design of Novel Kind of Polarization Filter on High Grade Photonic Crystal［J］.PIEZOELECTECTRICS ＆ ACOUST OOPT ICS，2010，32(4):642-645.

［6］LEI Hai-jun，LI Ling-min，ZHANG Pan-pan，et al.A Binarization Algorithm for Digital Meter Image Based on Gray-scale Morphology［C］//2010 3rd International Congress on Image and Signal Processing.Yantai China:［s.n.］，2010:2427-2429.