李祥,姜程亮,徐宗泽
(1.中国电子科技集团公司第二十八研究所,南京 210007;2.海军指挥所,北京 100841 3.南京捷敏信软件科技有限公司,南京 210000)
军队标号草书标绘识别技术研究与实现
李祥1,姜程亮2,徐宗泽3
(1.中国电子科技集团公司第二十八研究所,南京 210007;2.海军指挥所,北京 100841 3.南京捷敏信软件科技有限公司,南京 210000)
展现战场敌我双方态势的物理沙盘逐渐被电子沙盘取代,针对在电子沙盘上快速调整战斗进展情况和标绘首长战斗决心图的应用需求。提出通过手(或手写笔)描绘标号轮廓,使用图像识别算法进行军标识别的军队标号草书标绘方法。通过示例程序验证表明,此方法可有效实现电子沙盘自然、快速地草书标绘需求。
军队标号;手绘;识别;Shape Context算法
随着信息技术的发展,展现战场敌我双方态势[1]的物理沙盘逐渐被电子沙盘所取代[2],电子沙盘应用触控设备和技术实现用户对电子沙盘软件的干预操作。如何在电子沙盘上快速调整战斗进展情况,快速标绘首长战斗决心图,是电子沙盘实现必须解决的重要课题之一。战斗进展情况和首长战斗决心通过军队标号(简称“军标”)表现,基于鼠标键盘操作的电子标图软件发展已经比较成熟,广泛应用于各类指挥信息系统,使用触控手势实现军标标绘的研究目前较少,比较常见的方法是通过手势模拟鼠标操作来实现军标标绘[3-4],操作繁琐且不自然。本文提出通过手(或手写笔)描绘标号轮廓(简称“草书标绘”,此类军标定义为“手绘军标”),使用图像识别算法进行军标识别的军队标号草书标绘方法,实现电子沙盘军标的自然、快速标绘。基于点状军标形状固定(线面军标形状不固定)的特点,本文研究如何识别手绘点状态军标并转换为矢量军标的方法。
1.1 算法选择
手绘军标识别的主要思想是将手绘的图像与军标样本库进行相似度匹配,得出相似度最高的军标。在图像识别领域,有许多算法可以实现手绘图像识别,如感知哈希算法[5]、SVM算法[6]和Shape Context算法[7]等,这些算法能够有效识别出输入图像与样本图像库中相似的图像。因每个算法均有其特点和局限性,适用场景不同,下面结合军标的特征,分析选择手绘军标识别算法。
感知哈希(Perceptual Hash Algorithm)算法是哈希算法的一种,将图像的主要特征提取出来,生成一组指纹,然后对指纹进行比较,比较算法主要运用汉明算法。指纹重合越多,图像的相似度越高,越高相似度的图像越可能是需要识别出的图像。该算法运行速度快,忽略图像细节只保留主要部分,对图像的大小和颜色没有要求,可以运用在相似图像搜索领域。该算法不能解决图像在旋转情况下的识别问题,军标有方向,因此手绘军标不适合使用感知哈希算法识别。
SVM(Support Vector Machine,支持向量机)算法是一种机器学习算法,是一个有监督的学习模型,通常运用在模式识别、分类以及回归分析。其优点是:可以解决小样本下机器学习,解决了高维和非线性问题;缺点是:SVM对大规模训练样本难以实施,处理多分类问题比较困难。军标样本库中图像比较多,不适合使用该算法。
Shape Context(形状上下文)算法是由Serge Belongie,Jitendra Malik以及Jan Puzicha在2002年提出的基于轮廓点集的形状匹配算法,该算法在数字识别、基于图像内容的检索以及基于形状匹配方面具有较高的识别率,因而引起人们广泛关注。现在该算法已经在多个应用领域得到良好发展,能够解决手绘军标的识别问题。
1.2 Shape Context算法原理
Shape Context算法是一种良好的轮廓形状识别器,它可以有效地识别出两个图像的相似度,是一种常用的轮廓识别算法。该算法的最终思想是将图像形状之间的匹配转换成特征点点集之间的匹配。
若一幅图中有N个点,某点P与其余的N-1点均存在关系,即产生N-1个向量。这些N-1个向量描述丰富的信息,决定了目标形状特征。如果N越大,信息量越多,描述图像越准确。在边界提取之后,进行对数极坐标变换,求出对数极坐标直方图。对数极坐标直方图代表此基准点与其他离散轮廓点之间的空间位置关系。所以,Shape Context算法关注的是每个点对应的其他所有轮廓点的全局的空间分布信息,这有助于查找两个图像的对应点。
如图1所示为指挥所军标的识别示例,(a)是原始的二值图像;(b)是均匀的选取边缘轮廓上的若干个点,选取点数根据图像特征确定,(c)是某点P和其余点组成的向量关系图;(d)是对于边缘上的任意一个点P,构建类似于雷达扫描系统的极坐标系,它将整个区域划分成5×12=60个区域,统计落入每个区域中边界点的个数;(e)以θ为横坐标,lnr为纵坐标建立的形状直方图,(f)根据二分图最大匹配算法(最大流或匈牙利算法)找出对应点的最大匹配。
军标是指标示军事情况的图形语言,由一些规则和不规则图形组成。在对手绘军标识别时,转换成对军标样本库中军标图像相似度进行判断,通过相似度进行排序,选取相似度最高的几个图像供用户确认选取。因此,手绘军标识别问题转换为两个图像的相似度计算问题,本文使用Shape Context算法进行图像相似度计算,具体分为六个步骤,分别为:预处理、边缘提取、对数极坐标转换、对数极坐标直方图转换、归一化和对应点匹配。
图1 Shape Context算法主要步骤
2.1 预处理
预处理是将军标图像转成灰度图像。灰度处理可以去除军标的颜色属性,获取轮廓形状,减少处理信息大小。
2.2 边缘提取
对军标图像预处理后,提取出军标边缘轮廓点,具体分两步,一是使用Canny算法边缘检测,二是轮廓跟踪。Canny算法检测出边缘,提取出边缘信息的二值图像;然后用轮廓提取算法获得二值图像的轮廓,在将轮廓中寻找能够体现轮廓形状的点,选择点的数量越多,匹配效果越精确,但相应的时间复杂度会增加。经过对军标结构特性分析,为保证高识别率和低时间复杂度,本文选取80个点描述二值图像轮廓的形状。图像轮廓点应根据轮廓曲率合理选择,轮廓曲率越小(如直线),取点间隔应越大,轮廓曲率越大,取点间隔应越小。经过试验验证,本文取出的轮廓点可以很好的体现出军标轮廓的形状,同时运算复杂度在可接收范围内。
2.3 对数极坐标转换
对数极坐标转换的方法是:先将军标图像轮廓点的位置用笛卡尔坐标表示,再将笛卡尔坐标转换成极坐标。假设图像上某一点笛卡尔坐标用(x,y)表示,在极坐标上用(r,θ)表示,笛卡尔坐标转换成对数极坐标的映射方程是p(x,y)=lnr,q(x,y)=θ。
在笛卡尔坐标中,点坐标(x,y)相对于原点坐标发生变换时,若军标图像发生放大r0,军标图像角度旋转θ0,坐标(x,y)的变化在极坐标中表示为(r+r0,θ+θ0),在对数极坐标中表示为p(x,y)=lnr+lnr0,q(x,y)=θ+θ0。
笛卡尔坐标系中,军标图像的缩放在对数极坐标系中表现为图像的水平位移,军标图像的旋转在对数坐标系中表现为图像的垂直位移,这些特性称为对数极坐标映射的二维不变性。Shape Context算法便是利用对数极坐标二维不变性特性,很好地识别出有角度或缩放过的军标。
2.4 对数极坐标直方图转换
将军标图像转换为对数极坐标直方图。假设手绘军标图像某一点的坐标为pi,对应的对数极坐标直方图的步骤如下:
(1)以pi为坐标原点进行对数极坐标变换;
(2)求落在每一格里的点数;
(3)进行归一化处理,获得直方图。
如图2所示,(a)图是根据轮廓边缘提取的轮廓点集,(b)图是分成5×12个区域的对数极坐标变换图,(c)为(a)图中某一点在对数极坐标上的直方图。
图2 对数极坐标直方图转换
2.5 图像归一化
归一化目的是将数据按比例缩放,使之落入一个小的特定区间,由于信用指标体系的各个指标的度量单位不同,对指标进行规范化处理,就可以让指标参与评价计算中。
Hx(1,…,n)、Hx(1,…,n)分别是2个数集,使用经验密度函数hx和hy来归一化:
2.6 对应点匹配
综上所述,轮廓上的一个点可以用一个对应形状的直方图表示。因此,可利用两个形状的直方图之间的相似度来衡量对应点的相似度。图3中(a)、(b)分别表示在字母中选取的边界点,而(c)、(d)、(e)分别表示(a)中a点、(b)中b点和(a)中c点三个边界点所对应的形状直方图。
图3 图像边界点的形状直方图表示
直方图代价公式为:
在识别匹配过程中往往选取匹配代价最小的点作为离一点最近的对应点,这样就将两个点集转换成二分图最佳匹配问题,处理二分图最佳匹配问题往往采用匈牙利算法或最大流算法,本文采用的是匈牙利算法解决最佳匹配问题。
3.1 程序设计
为了提高工程应用中手写军标识别的速度,尽量减少识别样花费在时间,本程序先对军标样本库中的样本军标图像进行特征点集提取并保存,在每次对军标识别时,无需再对样本图像进行特征点集提取,可有效节省识别时间。同时,为了进一步减少识别时间,本程序利用多线程处理。
3.2 程序实现
验证程序使用VS2010开发环境,C++程序实现,并应用了OpenCV库(Open Source Computer Vision Library,开源计算机视觉库,2.4.9版)。
如图4所示为验证程序主界面,包括手写区域、图像显示区域和操作指令区。手写区域供用户手绘军标,通过点击“确认选择”按钮完成手写并在图像显示区显示;重绘图像按钮是将绘制好的进行清除,清除后,手写区域变成白色,可以再次在该区域进行手绘操作;匹配结果按钮是获取军标样本库中与手写图像相似的军标,并且显示出4个最相似军标的名称,路径以及相似度指标距离,如图5所示(因特殊原因,部分文字和图像模糊处理)。
图4 验证程序主界面
每个军标显示信息包括军标图像、名称、路径以及SC距离。SC距离是判断相似度的标准,SC距离越小,说明两者之间的相似度越高。相似越大的样本军标排在最前面,最终选取4个与输入图像相似的军标,尽量排除在手写时绘图不准确对识别结果带来的干扰。
为了能减低时间复杂度,本程序利用多线程处理,进过反复试验,选取12个线程用时比较小。
3.3 效能分析
在双核CUP(主频3.46GHz)和4G内存的计算机上运行示例程序,手绘军标,在800个样本军标中找出相似标准军标,平均消耗时3秒以内,识别准确率平均达85%,能够满足电子沙盘草书标绘应用需要。
图5 图像显示结果
军队标号草书标绘识别技术解决了电子沙盘应用中军标标绘的技术难题,实现了军标的自然、快速录入。但是,该技术仅解决了具有一个定位点的点军标标绘问题,对于具有多个定位点的线面军标(线面军标形状不定)草书标绘识别无法解决。后续将进一步研究线面军标草书绘制方法和识别技术,实现线面军标的自然、快速录入。
[1]程晓雪.海战场综合态势构建与同步方法[J].指挥信息系统与技术,2016,7(3).
[2]吴振锋,赵克俭.未来指挥所发展展望[J].火力与指挥控制,2005(4).
[3]陆锡高.军交指挥空间用户操作模型应用研究[硕士学位论文].国防科学技术大学,2008.
[4]张宏宇,李祥.基于实时战场态势的电子白板系统研究与实现[J].现代计算机,2015,11(上).
[5]牛夏牧,焦玉华.感知哈希综述[J].电子学报,2008(7).
[6]Franois Poulet.SVM and Graphical Algorithms:a Cooperative Approach[C].IEEE International Conference on Data Mining(ICDM'04),2007
[7]Z.Y.Wang,L.Bin,and Z.R.Chi.Leaf Image Classification with Shape Context and SIFT Descriptors[J].Proceedings of International Conference on Digital Image Computing Techniques and Applications(DICTA),6-8 Dec 2011,pp.650-654.
Research and Implemention of Handwriting Military Symbols Recognition
LI Xiang1,JIANG Cheng-liang2,XU Zong-ze3
(1.The 14th research institute of China Electronic Technology Group Corporation,Nanjing 210007;2.Naval Command Post,Beijing 100841;3.Nanjing JMX Software Technology Co.Ltd.,Nanjing 210000)
The physical sand table is replaced by the electronic sand table for showing the whole battlefield situation.For solving how to plot combat process and combat determination of the commander in an electronic table quickly,proposes a handwriting military mark marking method which has three steps.Firstly,the military mark outline is depicted by hand.Then,the outline is recognizing by an image recognition algorithm.Finally,the outline is replaced by the real military mark.It is proved that the method can solve the problem of how to plot military marks by hand naturally and quickly.
Military Symbol;Handwriting;Recognition;Shape Context Algorithm
1007-1423(2016)33-0042-05
10.3969/j.issn.1007-1423.2016.33.009
李祥(1985-),男,江苏南通人,硕士,工程师,研究方向为数据可视化与展现技术
姜程亮(1983-),男,北京人,本科,工程师,研究方向为军事指挥学及指挥自动化技术
徐宗泽(1990-),男,江苏淮安人,硕士,工程师,研究方向为图像处理与识别技术
2016-09-27
2016-11-15