一种基于区域划分的改进ORB算法

2020-11-07 12:38孙浩王朋
北京航空航天大学学报 2020年9期
关键词:图像匹配像素点灰度

孙浩,王朋

(山东交通学院 信息科学与电气工程学院,济南 250357)

基于特征的图像匹配算法越来越受到人们的青睐,特别是在视觉SLAM(Simultaneous Localization and Mapping)[1]和视频监控领域更是成为了一项关键技术。随着多媒体信息技术的发展,视频监控技术被用于公共区域的视频监控,以提高公共区域的管理和监控能力。在公共区域视频监控系统的设计中,需要对公共区域的视频监控图像进行准确的检测和监控,提取公共区域视频监控的目标特征,提高公共区域的管理能力,消除公共区域的危险性。在公共区域除害追踪监测方法的研究上具有十分重要的意义,而且在公共安全管理和刑事侦察领域具有良好的应用价值[2]。根据图像匹配方法的基本思想可将图像匹配方法分成两大类,即基于区域的匹配方法和基于特征的匹配方法。两类方法相比而言,基于特征的匹配方法有计算量小、鲁棒性好、对图像形变不敏感等优点,所以基于特征的匹配方法成为目前研究的热点。基于特征的图像匹配方法主要包括3步:特征提取、特征描述和特征匹配。当前常见的特征点提取算法有SIFT(Scale Invariant Feature Transform)[3]、SURF(Speeded-Up Robust Features)[4]以及ORB(Oriented FAST(Features from Accelerated Segment Test) and Rotated BRIEF(Binary Robust Independent Elementary Features))[5]。

ORB算法由Rublee等在2011年提出[6],该算法通过FAST[7]算法提取特征点,通过BRIEF[8]计算得到描述子,使得系统对于噪声具有更高的鲁棒性。与之前的算法相比,ORB算法在计算速度上具有绝对的优势,在计算速度上是SURF的10倍,是SIFT的100倍[9],能满足实时性要求,但是其鲁棒性不如SIFT,且不具备尺度不变性,在图像匹配中容易造成误匹配[10]。文献[11]对传统ORB算法进行了改进,提出了一种基于模块化区域分割的ORB算法,算法虽能保证特征点均匀提取,但无法按照实际要求改变特征点的提取数量,且提取速度也要慢于传统ORB算法。文献[12]针对ORB算法不具有尺度不变性和匹配精度低的问题,提出了一种结合SURF算法和BBF(Best Bin First)算法的思想对ORB算法进行改进,算法虽然提高了匹配精度,但提取速度相较于传统ORB算法却慢很多,无法保证系统的实时性。

本文提出了一种全新的基于区域划分的ORB算法,在保证特征点提取速度的同时,使得后续的特征点匹配精度也得到了提高。

1 ORB算法原理

1.1 特征点检测

图像特征点能够简单理解为图像中更重要的点,如轮廓点、较暗区域的高光点、较亮区域的暗点等。ORB算法运用FAST算法来寻找特征点,FAST的核心思想是找出那些突出的点,即将一个点与周围的点进行比较,如果与周围的大多数点不同,则可以将其挑选出来作为一个特征点。图1为FAST特征点的提取示意图。

FAST具体计算过程如下:

步骤1从图1中挑选一个像素点P,判断它是否可以作为特征点。首先假设它的灰度值为Ip。

图1 FAST特征点提取示意图Fig.1 Schematic diagram of FAST feature point extraction

步骤5遍历所有图像区域,直到提取的特征总数∑nj达到条件数量时,结束提取。

步骤3以像素点P为圆心,挑选出半径为3的圆上的16个像素点。

步骤4分别对挑选出的点对进行T操作,将得到的计算结果进行组合。

步骤5为了更高效地检测出特征点,可以增加一项预判操作,这样可以快速地筛选掉大部分不是角点的像素点。通过直接检查邻域圆上的1、9、5和13这4个位置的像素点灰度进行预判。首先检查1和9,看它们是否和P点相同,如果是,再检查5和13。只有当这4个像素点中的3个同时大于Ip+t或者同时小于Ip-t时,P点才被认为是一个角点。如果不能满足上述条件,则不能作为角点,直接排除。通过该操作可以获得3种不同的点,如下:

2.2 药物敏感试验 GBS菌株对9种常见抗生素药物敏感试验见表2。红霉素耐药率从2014年的58.8%升至2016年的59.8%;克林霉素耐药率从64.6%升至71.0%;四环素耐药率从86.1%升至90.2%;左氧氟沙星耐药率有所下降,由32.1%降至21.0%。

式中:Sp→x为第x个点提取到的点集;Ip→x为圆上16个点中的第x个点的灰度值;a为圆上比P点暗的点;b为圆上与P点相似的点;c为圆上比P点亮的点。

1.2 计算特征点描述子

ORB使用改进的BRIEF算法计算一个特征点的描述子。其核心思想是在特征点P的周围以特定模式选取n个点对,把这n个点对的比对结果组合起来作为描述子[13]。

“在这半月里,我才真知道人民革命军真是不行,要干人民革命军那就必得倒霉,他们尽是些‘洋学生’,上马还得用人抬上去。他们嘴里就会狂喊‘退却’。二十八日那夜外面下小雨,我们十个同志正吃饭,饭碗被炸碎了哩!派两个出去寻炸弹的来路。大家来想一想,两个‘洋学生’跑出去,唉!丧气,被敌人追着连帽子都跑丢了,‘学生’们常常给敌人打死。……”

计算描述子具体步骤如下:

针对我校研究生培养过程中遇到的问题,开展了基于GDP导师团队指导模式下燃气轮机性能分析课程教学活动设计及实践的研究,提出以小组设计项目(GDP)为载体,以导师团队指导为保证的基于GDP导师团队指导模式下的研究生培养研究模式,不同小组针对本专业基础知识选择不同的燃气轮机设计题目,由学生自主讨论安排研究计划,学习燃气轮机专业相关设计理论,掌握压气机、燃烧室和涡轮等不同部件的设计方法和设计软件,激发学生创新能力,建立知识体系与工程应用的关系,为工程实际需要培养创新型人才。

步骤2在圆O内选取n个点对。为了便于描述,令n=4。如图2所示,将挑选出的4个点对分别标记为:P1(A,B)、P2(A,B)、P3(A,B)、P4(A,B)。

图2 描述子计算示意图Fig.2 Schematic diagram of descriptor calculation

步骤3定义操作T。

式中:Iα和Iβ分别为A和B的灰度值。

步骤4假如这16个像素点中有连续的l个点的灰度都大于Ip+t或者都小于Ip-t,那么P就可以被认为是一个角点。这里l设定为12,若有至少12个点超过阈值,则认为P是特征点;否则,认为P不是特征点。

假如:

则最终的描述子为:1011。

由于FAST算法无法检测到特征点方向信息,在ORB算法中,利用矩来确定特征点的方向,通过计算特征点附近的图像灰度质心[14]来表示。在一个小的图像块B中,定义图像的矩为

式中:p,q=0,1,2,…;I(x,y)为(x,y)点处的灰度值。通过式(3)可以得到零阶矩m00、一阶矩m10和m01。

通过矩可以计算其质心为

目前,东营市不少农民合作社都是白手起家,社员数量少,生产规模小,经济实力较弱,在资金融通、技术引进、设施改造、市场开拓上面临很大困难,导致带动辐射能力弱。

由于BRIEF描述子不具备旋转不变性,在对其增加方向信息后,在(xi,yi)的位置,对n个点对定义矩阵A为

变换矩阵利用特征点的方向角θ与旋转矩阵Rθ进行变换:

式中:Aθ为 旋 转 后 的 特 征 点 对 矩 阵;Rθ=

BRIEF中点对灰度值的比较值又叫做binary test值,其定义为

算法具体步骤如下:

步骤1在构建图像金字塔时,将图像均匀分割成M×N个大小相同的区域,M 为分割的行数,N为分割的列数,在这些区域中,特征点会随机分布。将区域按照先行后列进行排序,表示为{h1,h2,h3,…,hM×N}。

得到改进的描述子后,再进行搜索,在像素块中挑选n个点对作为最终的描述子[15]。

国内磷肥产能过剩仍然严重,落后产能退出加快,未来磷肥产能将集中在有资源优势的区域。国家环保政策的不断出台对行业影响较大,部分企业生产暂时受影响,但长远来看能加速行业洗牌,规范市场竞争。随着行业自律效果逐渐显现,磷铵供应趋紧,加之出口市场转好,今年秋季磷酸二铵价格稳中见涨,也是对行业改革发展的行动给予积极回应。市场供应量不足将推动价格上涨,出口的稳定走势能帮助消化国内过剩产量,环保压力持续则有利于规范市场,将不达标的小企业淘汰出局,维护市场的健康规范。

2 改进ORB算法

ORB算法使用FAST算法检测图像特征点,获得的特征点分布密集,存在冗余。一般来说,特征点越多,则获得的图像匹配越准确,但特征点密集分布对后续的特征描述十分不利,并且会影响图像匹配精度[16]。本文提出一种基于区域划分的ORB算法,通过对每个区域分别进行特征点提取来解决上述问题。同时,设置自适应阈值,当提取的特征点数量达到条件数量即需要提取的特征点总数时,提前结束来减少特征提取的时间。改进ORB算法流程如图3所示。

步骤1以特征点P为圆心,以d为半径做圆O。

多模射频前端的实现包括硬件电路的搭建以及FPGA对射频链路的配置,其处理框图如图5所示。多模射频接收链路配置模块主要包括:各芯片写控制模块,射频混频参数查找表模块及指令接收模块。

图3 改进ORB算法的流程图Fig.3 Flow chart of improved ORB algorithm

式中:p(x)和p(y)分别为点x和点y处的像素灰度值。随机选择n个点对(xi,yi)就可以生成一个二进制字符串,则生成的特征描述子可以表示为

于是,改进后的描述子为

步骤2设置阈值j。式中:需要提取的特征点总数Tf与ORB算法提取的特征点总数相同,一般为500,使得特征点能够更加均匀地分布,而且可以节省筛选最佳特征点的时间。

步骤3对每个区域分别进行特征点检测,将每个区域在阈值等于t时检测到的FAST特征点的个数nj与j进行比较,若nj不小于j,则选取j个最佳点;若nj小于j,则降低提取FAST特征点时的阈值t,重新检测。由于只有当两点之间的灰度值之差的绝对值大于阈值t时,才能认为2个点是不同的,才可以进行下一步检测。因此,通过降低阈值t,能够增加灰度值之差的绝对值大于阈值的点的个数,从而可以检测到更多的角点以供筛选。

步骤4经过步骤3的检测,有些区域的特征点数会超过需要的特征点数,容易造成检测出来的点彼此相邻,无法成为最佳特征点,需要筛选掉这一部分点。本文采用非最大值抑制的方法。假设P和Q两点相邻,分别计算两点与周围16个点的差分和,去掉差分和最小的点,直到剩下的点与所需要的点数一致时停止筛选,剩下的即为最佳点。差分和计算公式为

无论在当下还是未来,AT变速器一定还是要走多挡位路线,AT变速器作为最为传统类型的一款有级自动变速器,已经有超过100多年的历史,而电子控制技术也有近40年的历史。现如今AT变速器挡位数已经达到10个前进挡位,因此无论是低端家庭用车还是中高端以上车型,我们都很难再看到新车搭载4AT或5AT的变速器。2018年5月,吉利和广汽与全球知名的自动变速器生产厂家日本爱信签约,为满足市场小排量低端车型的需求,将爱信公司生产的一款6AT生产线拿到国内进行量产,从这一信息来看,未来几年国内低端小排量车型,在AT变速器选择上一定

式中:Sbright为16个邻域像素点中灰度值大于Ip+t的像素点的集合;Sdark为灰度值小于Ip-t的像素点的集合。

步骤2设值一个合适的阈值t(比如Ip的20%),当2个点的灰度值之差的绝对值大于t时,可以认为这2个点不相同。

It is an interesting manuscript on important topic. The paper is well-written.

由于FAST特征点不具有尺度不变性,可以采用SIFT高斯金字塔来实现,高斯金字塔的构建分为两部分:对图像做不同尺度的高斯模糊和对图像做下采样[17]。

高斯模糊常被用来模拟物体在人眼中的快速远近效应。其核心是利用高斯函数对输入图像进行模糊模板解卷积运算,去除图像的高频成分,实现图像的模糊化。高斯函数一维和二维表达式分别为

通过姿态检测系统来实时检测车身姿态及运动状态,并根据姿态信息对小车进行控制.目前多重技术方案都可以实现倾角检测,Column-Bot采用微机电系统(Micro Elector Mechanical System,MEMS)陀螺仪和MPU6050加速度惯性传感器构成的姿态检测系统,可以实时、准确地检测两轮自平衡移动底盘的倾角.使用PID中的双闭环控制控制算法、卡尔曼滤波算法,对陀螺仪和加速度惯性传感器采集的数据进行融合,使测量角度更加真实稳定.

式中:x、y分别为原点到x轴、y轴的距离;σ为高斯函数G的标准差。

本文中通过设置一个比例因子scaleFactor和金字塔层数nlevels,将原图像I按比例因子缩小成nlevels幅图像。缩放后的图像I′为

3.4.1 有关医疗部门规定,但凡接触过患者体液的物品均被视为污染,凡是污染物均需进过相应处理后才能废弃或再利用。由此可见,棉布也不是完全环保的,其在清洗过程中会产生废水,这些废水若处理不当同样会造成环境的污染。而一次性无纺布不重复使用,直接焚烧处理。焚烧产生的废气只要处理得当,将大大减少对环境的污染。另外,随着环保意识的增强,对聚丙烯制品的回收再利用成为目前日益关注的焦点,一次性无纺布虽为医疗废弃物,但只要经过消毒处理同样可以成为再生的能源[6]。

分别对nlevels幅不同比例的图像通过本文算法提取特征点,提取的特征点总数作为这幅图像的FAST特征点以解决ORB算法不具有尺度不变性的问题[18]。

长期以来,广播电视对自已定位于党和人民的喉舌,关注较多的是其政治属性,但是,在全球经济一体化的新形势下,应当而且必须正确认识到广播电视的多种属性,将新的思维和办法,应用到节目生产的每个环节,这是新形势下提升广播电视节目质量发展的必由之路。

本文中高斯金字塔一共生成8层不同尺度的图像,图像金字塔示意图如图4所示。图中L0~L7分别为第1幅~第8幅下采样图像。

4.企业责任。在生产建设的同时,积极参与社区建设,时刻心系群众,关心群众生活,为当地村民提供劳动就业机会,解决就业难题。要与当地村民组织建立定期、不定期协商磋商机制,共同研究制定因矿业开发造成群众利益损害的有关补偿条件、补偿标准和补偿办法,对当地群众提出的损害补偿诉求经认定属实的,按共同约定的补偿条件、补偿标准和补偿办法及时协商解决。要通过矿地和谐建设,及时化解矿山开发与当地群众的矛盾,营造企业与社区共同发展、人与环境和谐融洽的良好局面。

图4 图像金字塔示意图Fig.4 Image pyramid illustration

3 实验结果与分析

本实验在Linux系统+Opencv3.4.1平台上实现,原始图像如图5所示。

图5 原始图像Fig.5 Original images

传统ORB算法和本文算法提取的特征点分别如图6所示。图像匹配结果分别如图7所示。

它是对一个问题的指称,以及对一种不确定性的指称。这种不确定性既是对视觉机制(视觉艺术、视觉传媒、布展和观展的行为)与语言机制(文学、语言、话语、听、说、读写的行为)之间不规范、不固定的边界的描述。......

图6 不同算法提取结果Fig.6 Extraction results of different algorithms

图7 不同算法匹配结果Fig.7 Matching results of different algorithms

从图6可以看出,相较于图6(a),图6(b)的特征点分布更加均匀,大大减少了重叠特征点的数量,说明本文算法提取的特征点更具有代表性,后续的图像匹配也更加准确稳定。匹配准确率对比如表1所示。

通过表1可以看出,本文算法在匹配精度方面较ORB算法提升了3.4%,较文献[12]改进的ORB算法存在一定差距,通过该数据指出了本文算法未来的优化方向。

表1 匹配精度对比Table 1 M atching accuracy com parison

另一方面,算法运行速度是衡量一个算法优劣的重要标准,在平台相同的情况下,若匹配结果基本相同,则速度越快的算法越好;若运行时间基本相同,则匹配结果越好的算法越优秀。本文将10次实验结果取平均值,实验运行时间的部分截图如图8所示,算法运行时间和匹配时间比较如表2、表3所示。

图8 不同算法运行截图Fig.8 Screenshot of running of different algorithms

从表2可以看出,本文算法在提取速度方面比传统的ORB算法提升了16%,较文献[11]改进的ORB算法速度提升了55%,较文献[12]改进的ORB算法速度提升了84%。从表3可以看出,在匹配算法相同的前提下,本文算法在匹配速度方面比传统ORB算法提升了9%左右。本文算法不仅提升了特征点提取速度,也使得所提取的特征点分布更加均匀,匹配速度也得到了提升。

表2 算法运行时间比较Tab le 2 Com parison of algorithm running tim e

表3 算法匹配时间对比Tab le 3 Com parison of m atching tim e

4 结 论

1)针对传统ORB算法提取的无效特征点较多且不具有尺度不变性的问题,本文提出了一种基于区域划分的改进的特征点提取算法。

2)算法将图像进行区域划分,提取的特征点都是在区域中表现最佳的点,通过设置自适应阈值,在特征点提取速度方面获得了较大提升,在图像匹配精度较ORB算法得到了提升,但对比文献[12]改进的ORB算法还存在一定差距。在接下来的工作中,可以通过以下方法对该算法做进一步的优化:在构建图像金字塔时,可以对图像信息进行计算,并自动调节尺度信息,以保证图像的尺度信息更加合理,使算法在尺度不变性方面得到进一步提升。

猜你喜欢
图像匹配像素点灰度
采用改进导重法的拓扑结构灰度单元过滤技术
基于灰度拉伸的图像水位识别方法研究
基于局部相似性的特征匹配筛选算法
基于5×5邻域像素点相关性的划痕修复算法
基于canvas的前端数据加密
一种用于光照变化图像匹配的改进KAZE算法
基于最大加权投影求解的彩色图像灰度化对比度保留算法
基于逐像素点深度卷积网络分割模型的上皮和间质组织分割
基于灰度线性建模的亚像素图像抖动量计算
挖掘机器人图像匹配算法研究