张开生 韦逸野
(陕西科技大学电气与信息工程学院,陕西西安,710021)
数字化纸张是指采用数字化的形式来表征纸张的功能信息,将特定字符信息镶嵌在非织物成形过程中,形成具有特定功能的专用纸张[1]。目前的研究主要为基于点阵图形的纤维成纸方法[2],其对纸张本身进行了内嵌式的加密,信息镶嵌于纸张纤维之中。但在对数字化纸张进行抄造时,需要对抄纸设备进行改造,耗费人力物力,如果方案不完善,势必还会造成更大的经济损失。为了完善数字化纸张的理念,为数字化纸张的实际抄造及信息识别提供理论指导,本文从数字化的角度出发,根据纸张特性使用Unigraphics NX软件进行纸张数字化信息图像建模,运用软件的仿真性能,获取纸张图像,并在此基础上研究纸张功能数字化信息的识别方法。
目前,对图像进行识别处理的主流方法有基于图像灰度值[3]和特征提取两种。基于图像灰度值的模板匹配方法虽然对图像尺寸敏感、不具备旋转不变性,但其简单易行、定位精度较高、匹配速度快。基于特征提取的匹配方法[4]主要有尺度不变特征变换(Scale-Invariant Feature Transform,SIFT)、加速稳健特征(Speeded Up Robust Features,SURF)和基于FAST特征提取和BRIEF特征描述的算法(Oriented FAST and Rotated BRIEF,ORB)等,这几种算法应对图像旋转、亮度变化和尺度变化等有不同的效果。文献[5]在SURF特征匹配阶段利用Hessian矩阵迹的正负性来提高特征点匹配的速度,采用随机采样一致算法(Random Sample Consensus,RANSAC)提高匹配精确度。文献[6]通过快速最近邻搜索算法得到初匹配点,再进行双向匹配,最后采用渐进抽样一致性算法(Progressive Sample Consensus,PROSAC)进一步剔除误匹配点对。文献[7]针对ORB算法,在FAST特征检测时,建立多尺度空间金字塔,在计算描述符时,采用精简的快速视网膜特征描述。文献[8]则通过双直方图哈希算法进行模板匹配,缩小ORB特征提取范围,节省了特征提取的时间,从而提高算法速度。
在图像识别方面,本文针对实际识别中对实时性需求较强的特点,提出一种改进的ORB算法。采用速度较快的ORB特征提取来获得特征点和特征描述符,并结合随机采样一致性算法筛选特征点来保证图像识别的精确度,通过快速最近邻逼近搜索函数(Fast Library for Approximate Nearest Neighbors,FLANN)加快描述子匹配的匹配速度。最后使用透视变换来寻找已知物体,实现模拟纸张的信息识别。
Unigraphics NX是一个交互式计算机辅助设计与计算机辅助制造系统(Computer Aided Design/Computer Aided Manufacturing,CAD/CAM),功能强大,可以轻松实现各种复杂实体及造型的建构。通过虚拟产品设计软件Unigraphics NX首先形成3D的数字化纸张模型,在纸张模型上生成文字或者图形,通过拉伸求差的方法使得文字与图形产生嵌入纸张模型内的效果,再通过真实渲染完善纸张建模。
首先进行基础纸张建模,在Unigraphics NX中选择纸张形状为长方体,进行纸张原点定位来确定模拟纸张的位置。然后进行模拟纸张的尺寸设计,假设其为普通登记单及发票大小,即190 mm×265 mm。为了展示方便,模拟纸张的厚度设置为1 mm。由于单纯的纸张模型不需要进行布尔运算,所以布尔运算选项为无。
在模拟的基础纸张构建后,则进行文字信息“陕西科技大学”的创建。文字信息需要放置在虚拟纸张正面上的位置,放置方法选择面上的曲线,锚点位置与参数百分比默认选择与模拟纸张一致。接下来为了实现信息内嵌的效果,需要对文字信息进行立体的拉伸以及嵌入。选定文字“陕西科技大学”后使用软件的“拉伸”功能来产生文字立体感,即方向矢量选择纸张模型向内,结束值设置为1 mm使之契合纸张参数。此时就需要用到布尔运算中的求差使得立体文字与模拟纸张结合,至此数字化信息植入的模拟纸张构建完成。
磁性点阵编码控制器形成的纸张特点是点阵图形的颜色由磁性纤维所决定,磁性纤维具有无色和有色两种。所以在模拟纸张图像时,有色磁性纤维形成的点阵图形应该具有不同颜色,且具有颜色的点阵图形存在于纸张的正反面。无色磁性纤维形成的点阵图形可以通过特制的装置采集得到图像,其图像中信息的颜色应为显像磁粉的颜色。
为了产生由磁性点阵编码控制器作用于磁性纤维形成的纸张模型,需要复制基础纸张模型进行填充。同时在进行真实渲染时,选定符合真实纸张效果的白色亮泽对纸张模型进行着色处理。假设该模拟纸张嵌入的文字信息使用了红色磁性纤维,所以将嵌入的文字信息“陕西科技大学”选择为红色纹理,同时编辑复制后的纸张模型的颜色为淡粉色。这是因为红色磁性纤维存在纸张中,所以编码控制器形成的文字信息处红色磁性纤维密集,颜色较深显示为红色。其他红色磁性纤维稀疏的纸张部分显示为淡粉色,产生了红色磁性纤维加密纸张正面模型(见图1)。蓝色磁性纤维创建同上,创建完成后选定模型后进行模型旋转,则产生蓝色磁性纤维加密纸张反面模型(见图2)。
图1 红色磁性纤维加密纸张正面
图2 蓝色磁性纤维加密纸张反面
模板匹配是一项在一副图像中寻找与另一幅模板图像最相似部分的技术。模板匹配并不是基于直方图的,而是通过在输入图像上滑动图像块,对实际的图像块和输入图像进行匹配的一种匹配方法。基本思路为:用已知的图像模板和原图像中同样大小的一块区域去对比。最开始的时候,模板左上角与原图像左上角重合,然后拿模板和原图像中同样大小的一块区域对比并平移到下一个像素,仍然进行同样的操作,如此循环至所有位置都对比完成后,原图像中差别最小的那块位置区域就是要找的目标。
2.2.1平方差匹配法(TM_ SQDIFF)
这类方法利用平方差来进行匹配,最好匹配为0。若匹配越差,匹配值则越大。
2.2.2归一化平方差匹配法(TM_ SQDIFF_ NORMED)
2.2.3相关匹配法(TM_ CCORR)
这类方法采用模板和图像间的乘法操作,较大的数表示匹配程度较高,0表示最坏的匹配效果。
2.2.4归一化相关匹配法(TM_ CCORR_ NORMED)
这类方法将模板对其均值的相对值与图像对其均值的相关值进行匹配,1表示完美匹配,-1表示糟糕匹配,而0表示没有任何相关性(随机序列)。
其中:
T′(x′,y′)=T(x′,y′)-1/(w·h)·∑x″,y″T(x″,y″)
I′(x+x′,y+y′)=I(x+x′,y+y′)-1/(w·h)·∑x″, y″I(x+x″,y+y″)
2.2.6化相关系数匹配法(TM_ CCOEFF_ NORMED)
通常,随着从简单的平方差到更复杂的相关系数,匹配结果也会越来越准确。但同时也会使得计算量越来越大。在实际应用时,应进行不同的实验测试,以便方案同时兼顾速度和精度。
ORB为ORiented Brief的简称,是基于FAST特征检测和BRIEF描述子改良的算法。BRIEF是Binary Robust Independent Elementary Features的缩写,主要思路就是在特征点附近选取若干点对,将这些点对的灰度值大小组合成一个二进制串,并将这个二进制串作为该特征点的特征描述子。BRIEF的优点在于速度快,而缺点也相当明显:不具备旋转不变性、对噪声敏感、不具备尺度不变性。
ORB算法则是试图解决上述缺点提出的一种新概念,但并没有试图解决尺度不变性。由于ORB算法执行速度较快,所以ORB算法一般应用在实时的视频处理中。
3.2.1特征点提取
首先用FAST特征检测方法,设置像素中心和圆环中心的强度阈值。以待测特征点为圆心,比较待测点和圆周上所有点的灰度值的大小,若差值足够大并超过强度阈值,该待测点则为特征点。结合图像尺度金字塔,一共N层,与SIFT不同,每层仅有一幅图像,在每一层图像计算需要提取的特征点数N,根据Harris角点响应值排序。接着根据灰度质心法,计算角点的灰度和质心之间的偏移向量的方向作为特征点方向。
3.2.2特征点描述子
图像在进行高斯平滑后,对于检测到的每个特征点,考虑其31×31邻域内的某个点的5×5灰度平均值来代替某个点对的值,进一步来比较点对的大小,这样更加具备抗噪性。相关5×5的像素图像块描述子分段函数τ定义为:
根据均值与0.5的距离对测试排序,形成矢量T;进行贪婪搜索,将第一个测试值τ加入结果矢量R中,同时将其从T移除;再从T中取出下一个测试值τ将其与R中的所有测试值比较,相关系数大于设定的某一个阈值,则将其删除,反之加入矢量R中。重复以上步骤直到R中有256个测试值τ,形成描述子,若少于256个,则提高设定的阈值,继续测试。
3.2.3特征匹配
提取出ORB的特征点和特征点描述子后,求出两个关键点之间的最短和次最短的汉明距离。(在信息论中,两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数。换句话说,它就是将一个字符串变换成另外一个字符串所需要替换的字符个数),当两个汉明距离的比例小于0.8且汉明距离小于50时,认为两个关键点是匹配的。
在获得ORB特征点后,需要保证特征点匹配的精确性,使用随机采样一致性算法来减少误配,得到鲁棒性较强的图像变换模型。
它是一种从数据集合中估计模型参数拟合的迭代方法。其筛选特征点的核心思想是将所有数据分为“局内点”和“局外点”,通过构造一个能够解释局内点的目标函数模型,反复提取与迭代来得到符合该函数模型中的初始值,这样的值也认为是局内点。经过多次随机采样评估局内点与模型的错误率,直至找到所需的函数模型,符合最后函数模型的局内点即为匹配点。
对ORB描述子进行匹配时,使用快速最近邻逼近搜索函数从大规模的数据集中寻找匹配的向量对,在随机一致性算法保证鲁棒性的前提下,加快匹配速度。该方法基于K均值树所实现的,可以根据数据集的分布特点来推荐索引类型和检索参数,在高维空间内最近邻查找不受局部敏感影响。核心思想在于使用欧式距离来找到描述子的近邻。具体匹配流程为:先找到模板图像中描述子x1在原图像中具有最小距离D的匹配点对(x1,x2),之后根据所有匹配点对的最小距离来设置一个阈值。若单个最小距离小于阈值则该匹配点对(x1,x2)成立,否则继续寻找并剔除原描述子x1。
欧式距离按下式计算:
式中,xn和xn′分别为每对匹配描述子的特征向量。
最后,使用透视变换直接通过得到特征点与描述子最佳匹配求出变换矩阵,对模板图的边缘点进行变换,在原图中框出模板对应的部分,达到准确识别的效果。
透视变换(Perspective Transformation)是将图片投影到一个新的视平面,也称作投影映射。设两幅需寻找透视变换关系的图像I1、I2中的相似性最好的特征点为p(a,b)和q(m,n),透视变换过程中的关系为:
其中Y=(m,n,1)T,X=(a,b,1)T,A为两幅图像间的变换矩阵。
实验选用的计算机配置为Intel(R)Core(TM)i5- 3230M CPU@2.60GHz 2.60GHz,内存为 4.00GB,操作系统为WIN7 64位,实验使用的工具为Visual Studio 2013配置OpenCV_2.4.10。选取的图像为磁性编码器形成的模拟纸张图像。由于该种纸张在实际中使用光照条件恒定的特制装置进行图像采集,所以只比较了模板匹配、ORB以及改进ORB在面对尺度变化和旋转变化的效果。
平方差匹配法、归一化平方差匹配法、归一化相关匹配法、系数匹配法和化相关系数匹配法的匹配结果一致,其正确匹配效果如图5所示。图6为相关匹配法的错误匹配效果图。从实验结果表1中可以发现,虽然相关匹配法的运行速度最快,但是匹配结果是错误的。其余方法中同时考虑精度和速度,归一化相关匹配法的效果最好。当模板发生尺度变化或旋转变化时,效果如图7、图8所示,模板匹配的结果出现极大误差。
原图像大小为822×435,模板图像大小为490×109,尺度变化模板大小为251×58。
图3 磁性纤维的模拟纸张图像
图4 模板图像
图5 正确匹配效果图
图6 错误匹配效果图
图7 尺度变化匹配效果图
图8 旋转变化匹配效果图
匹配方案匹配坐标匹配耗时/s平方差匹配法(168,203)0.161618归一化平方差匹配法(168,203)0.104564相关匹配法(332,324)0.067831归一化相关匹配法(168,203)0.080988系数匹配法(168,203)0.083077化相关系数匹配法(168,203)0.106765
使用随机采样筛选特征点,快速最近邻逼近搜索函数库实现快速高效匹配,用细线条连接匹配对应点,用粗线条框出检测到的物体,并可以输出检测到匹配角点的精确坐标值。由图中可以看出,两种算法在进行纸张信息的匹配时,得出的结果都是准确的。
通过表1、表2中数据分析可以得出:在速度方面,模板匹配最快,改进后的ORB算法与原算法相比快了1倍左右。从图7与图8中可以看出,在图像发生尺度变化和旋转变化时,模板匹配的结果是错误的,明显不能识别。从图10和图11中可以看出,改进后的ORB算法与原算法相比较,匹配点数量减少导致稳定性略有减弱但其实时性大大加强。说明改进后的ORB算法在保留识别精度的前提下,提高了识别效率,符合数字化功能信息纸张的图像识别需求。
图9 ORB及改进ORB算法原图匹配效果图
图10 ORB及改进ORB算法尺度变化匹配效果图
图11 ORB及改进ORB算法旋转变化匹配效果图
匹配方法匹配特征点匹配耗时/sORB改进ORBORB改进ORB原图匹配 186671.675810.96904尺度变化匹配134211.167520.53281旋转变化匹配159261.326890.71398
本研究针对纤维成纸过程中,基于点阵图形的数字化纸张信息的产品进行了建模,在信息植入的早期,运用软件的仿真功能,为数字化纸张的实际抄造提供理论指导。然后选取目前图像识别领域中的主流方法并改进,将ORB特征提取与随机采样一致性、快速最近邻逼近搜索函数结合,得到一种新的算法。从实验结果中发现,改进后的ORB算法与模板匹配以及原算法相比,提高了运行速度,面对尺度变化和旋转变化也具有较好的鲁棒性。
参 考 文 献
[1] Zhang Kaisheng, Hou Xingang. The Discussion on Digital Encryption Method for Papermaking[J].Transactions of China Pulp and Paper 2016, 31(3): 42.
张开生, 侯新刚. 纤维成纸过程中数字化加密方法探讨[J].中国造纸学报, 2016, 31(3): 42.
[2] Zhang Kaisheng, Li Zhijian, Zhang Xin. A Digital Encryption Method Based on Dot Pattern for Fiber Forming Process, China: CN201210224813. X[P].2012- 11- 07.
张开生, 李志健, 张 馨. 一种基于点阵图形的纤维成纸过程的数字化加密方法, 中国: CN201210224813. X[P].2012- 11- 07.
[3] Li Qiang, Zhang Bo. A Fast Matching Algorithm Based on Image Gray Value[J].Journal of Software, 2006, 17(2): 216.
李 强, 张 钹. 一种基于图像灰度的快速匹配算法[J].软件学报, 2006, 17(2): 216.
[4] Suo Chunbao, Yang Dongqing, Liu Yunpeng, et al. Comparing SIFT, SURF, BRISK, ORB and FREAK in Some Different Perspectives[J].Beijing Surveying and Mapping, 2014(4): 23.
索春宝, 杨东清, 刘云鹏, 等. 多种角度比较SIFT、SURF、BRISK、ORB、FREAK算法[J].北京测绘, 2014(4): 23.
[5] Gao Suqing, Tan Xunjun, Huang Chengxia, et al. Improved algorithm of image registration based on SURF[J].Journal of PLA University of Science and Technology: Natural Science, 2013, 14(4): 372.
高素青, 谭勋军, 黄承夏, 等. 一种基于SURF的图像配准改进算法[J].解放军理工大学学报: 自然科学版, 2013, 14(4): 372.
[6] Zhao Lulu, Geng Guohua, Li Kang, et al. Images matching algorithm based on SURF and fastapproximate nearest neighbor search[J].Application Research of Computers, 2013, 30(3): 921.
赵璐璐, 耿国华, 李康, 等. 基于SURF和快速近似最近邻搜索的图像匹配算法[J].计算机应用研究, 2013, 30(3): 921.
[7] Zhang yang, Lv Qiang, Lin Huican, et al. An Improved Image Matching Algorithm Based on ORB for Visual SLAM[J].Journal of Academy of Armored Force Engineering, 2016, 30(6): 82.
张 洋, 吕 强, 林辉灿, 等. 一种基于改进ORB的视觉SLAM图像匹配算法[J].装甲兵工程学院学报, 2016, 30(6): 82.
[8] Qiu Lijun, Tang Jiashan. A New Fast Two-step Image Matching Algorithm[J].Computer Technology and Development, 2015(8): 67.
邱丽君, 唐加山. 一种快速的两步骤图像匹配新算法[J].计算机技术与发展, 2015(8): 67.