基于改进ORB的低照度岩心荧光图像拼接技术*

张　潇　熊淑华　卿粼波

(四川大学电子信息学院　成都　610065)



基于改进ORB的低照度岩心荧光图像拼接技术*

张潇熊淑华卿粼波

(四川大学电子信息学院成都610065)

传统的ORB算法对于特征信息丰富的图像拼接已经有了不错的效果,但是对于石油地质勘探中的岩心图像,特别是低照度岩心荧光图像,现有ORB算法误匹配率较高,从而导致不能有效地进行后续的图像拼接。针对该问题,论文分析了原ORB算法的缺陷,采用基于人眼视觉系统的FREAK描述算子改进了原ORB算法,并命名为IORB(Improved ORB)算法。实验结果表明,改进算法对于荧光图像的拼接在保证时间代价的基础上得到了理想的正确匹配率,并提升了后续拼接过程的拼接效果。

岩心荧光图像拼接; ORB; FREAK

Class NumberTP391.41

1　引言

在石油地质勘探中,岩心是评价地层油气水和研究地质结构最直观的参考资料[1]。但由于岩心扫描仪中线阵CCD成像范围的限制,需多次采集岩心小图,再运用图像拼接技术形成一张完整的岩心大图[2]。传统基于SIFT算法和基于SURF算法的图像拼接技术应用到岩心图像上已经取得理想的拼接效果,但是由于采集到的单幅岩心样本图像尺寸比较大的缘故,上述两种算法时间代价非常大,特别是SIFT算法,这在石油地质部门的实际应用中是首要解决的问题,因此本文引入了Ethan Rublee等于2011年提出的ORB[3]算法。

该算法在特征信息明显的图像匹配中已经表现出可观的时间性能,并且得到了较为不错的匹配效果。但是当运用到岩心荧光图像上时,由于算法中描述算子在特征点描述过程中的局域缺陷问题,从而不能达到足够高的正确匹配率,最后导致拼接效果不理想甚至拼接失败。

针对上述问题,本文提出了一种ORB算法的改进算法,该算法在图像尺度金字塔上通过FAST算子检测特征点,然后通过FREAK算子来建立描述符,最后采用汉明距离进行特征点粗匹配。通过IORB算法匹配特征点之后,采用RANSAC算法剔除误匹配点[4],并运用多分辨率融合算法[5]对拼接缝做平滑处理并进行图像融合,最后得到了理想的拼接效果。

2　ORB特征点匹配算法

在ORB算法中,首先建立尺度空间图像金字塔,然后在图像金字塔中使用FAST角点检测子定位关键点,再通过BRIEF描述算子在图像金字塔中描述不同尺度中的关键点特征,最后通过汉明距离进行特征点粗匹配。

2.1特征点检测

在ORB算法中,首先构建图像尺度空间金字塔,然后在每层金字塔图像上采用FAST算子检测特征点[7],并且给特征点加上主方向信息,构成oFAST(oriented FAST)。

FAST检测特征点的步骤为：从图片中选择一个点P,并设其灰度值为Ip;将该点与以其为中心的圆周上的16个点相比较,若这16个点中有N(本文实验中N取值为9)个连续点的灰度值都大于或小于中心点P的灰度值,那么该点就是一个角点[8]。然后利用Harris角点检测,从FAST特征点里面选出角点响应值最大的N个点。最后给角点添加主方向信息。对于任意一个特征点P来说,可以设点P邻域像素的灰度矩为

(1)

其中,I(x,y)为点(x,y)的灰度值。灰度矩心设为

(2)

由此可以得出特征点主方向为

(3)

2.2特征点描述

ORB采用BRIEF算法来计算一个特征点的描述子,最后将参与计算BRIEF特征的像素点旋转到角点方向,这种描述子称为rBRIEF(rotated BRIEF)。

rBRIEF描述子是在图像高斯平滑后大小为31*31像素块内,选取服从N(N一般取256)组高斯分布随机测试点,对这N组测试点对进行二进制差异检测,其中每个测试点是一个5*5的子窗口[9]。对于一个图像块p,定义二值化检测为

(4)

其中,p(x)是点x处图像块p的平均灰度值。当选取N组测试点对时,求得的描述子为

(5)

rBRIEF使用上文的特征点主方向θ给描述子添加主方向信息,最后得到描述子为

gn(p,θ)=fn(p)|(xi,yi)∈Sθ

(6)

2.3特征点匹配

当计算出描述子后,通过比较描述子的相似性便可实现特征点匹配。ORB中采用汉明距离来表示描述子的相似性。在本文实验中,采用最近邻距离和次近邻距离的比值T来进行特征点粗匹配。当T小于阈值w(一般在0.6～0.8之间取值)时,便认为最近邻距离对应的特征点即为粗匹配点对。

2.4本实验中ORB算法的缺陷

局部图像特征描述的核心问题在于不变性和可区分性。由于本文针对的是低照度岩心荧光图像,采集头水平移动所采集到的多幅荧光样本小图尺寸一致,并且不涉及到图像旋转,同时考虑到样本图像所具有的特征点信息相似度高的特性,局部图像的特征描述应该侧重于可区分性。

然而特征描述子可区分性的强弱往往和不变性是矛盾的,也就是说,一个具有较高不变性的特征描述子,它区分局部内容的能力就稍弱,ORB算法中的BRIEF正是这样一个描述子。该算法通过构建尺度空间金字塔以及添加灰度矩方向的方法分别提升了BRIEF描述子的尺度不变性以及旋转不变性,而描述子的可区分性表现较差。同时BRIEF描述子是以图像块为基础的采样模式,远近距离测试均等,而近距离测试具有更好的局域性质。因此当该算法应用到低照度岩心荧光图像上时,出现了误匹配率较高的现象,并且由于荧光图像中特征信息相似度极高,在通过RANSAC算法剔除误匹配点后仍然存在误匹配点对,严重影响到了后续的拼接效果。

因此本文利用FREAK描述子来进行原ORB算法的改进,该描述子采取了更为接近于人眼视网膜接受图像信息的采样模型。

3　改进的IORB特征点匹配算法

考虑到上述原ORB算法在当前应用背景下的缺陷,本文采用了FREAK描述子来进行特征点描述,该描述子选取了人眼视网膜接受图像信息的采样模型。

3.1FREAK描述算子

人体视觉系统的视网膜中存在感受光线的区域,其中感受域被分为：中央凹、旁中央凹、远中央凹和周边区[10]。在识别物体时,感受域的四个区域完成不同的功能：中央凹区获得高精度图像信息,周边区获得低精度图像信息。FREAK描述子便是Alexandre Alahi等于2012年基于此原理而提出来的。在FREAK特征描述中,采样模式选取了人眼视网膜拓扑结构。从图1中可以看出,离特征点越近,采样点越密集,反之采样点越稀疏。每个采样点先要进行高斯平滑处理,从一定程度上削弱了噪声的影响。

图1　FREAK描述子采样模式

FREAK中通过采样点和高斯核卷积之后比较强度值来构造描述符算子。假设F是二进制描述符,那么：

(7)

(8)

2) 然后计算矩阵D中每列元素的均值,由于矩阵D中的元素都是0/1分布,所以如果计算某列均值越接近0.5则表明该列具有越高的方差。方差越大表示特征描述信息越多[10];

3) 再利用上面求得的每列的均值进行排序,选取均值最接近0.5的那列排在最前面,均值与0.5相差越远排在越靠后,由此来构造新的描述符。选取排序后的前Q(本文实验中Q取值512)列作为新的二进制描述符算子。

经过上面的三步后,便可得到了Qbit的二进制描述符,这种描述符按照高方差到低方差排列。由于FREAK描述算子同心圆采样结构使其本身具有了一定的旋转不变性,它抛弃了FAST检测算子中灰度矩的方向,同时对每个采样点进行高斯模糊,也使其具有一定的抗噪性能,最后基于视网膜的采样模式令其克服了BRIEF描述子采样模式的局域缺陷。由此生成的FREAK特征对于岩心荧光图像的特征匹配具有较强的局部可区分性。

对于由上面的步骤得到的Q(Q一般取512)bit的二进制描述符,在特征点匹配时采用了一种叫做扫视搜索的匹配方法：先选取描述子的前128bit即16bytes进行汉明距离的匹配,构成第一级匹配,若特征点最近邻距离和次邻距离的比值T小于设定的阈值w就进行第二级的比较,以此类推[11]。运用这种方法,可以使90%以上的误匹配描述算子通过前128bit便可筛除。

3.2IORB算法

改进后的IORB匹配算法的流程图如图2所示。

图2IORB算法流程图

4　实验结果与分析

4.1原ORB算法的图像匹配

在本文实验中,实验所用计算机处理器为Intel(R) Core(TM) i5-2300 CPU @ 2.80GHz,内存为4GB。在特征点匹配这一步骤,分别选取四个不同的阈值w(0.80、0.75、0.70、0.65)进行对比实验,同一组对比实验中阈值w保持一致。图3、图4分别是两组岩心荧光图像a、b(a、b的尺寸分别为3004*1740、5184*3456)在w=0.75时的图像匹配情况。

图3　w=0.75:ORB算法找出49对匹配点,正确23对(图像a)

图4　w=0.75:ORB算法找出57对匹配点,正确18对(图像b)

4.2改进后IORB算法的图像匹配

改进后的IORB算法依旧采取了0.80、0.75、0.70、0.65四种不同的阈值w进行特征点匹配对比实验。图5、图6分别是在w为0.75时的图像匹配情况。

图5　w=0.75:IORB算法找出54对匹配点,正确48对(图像a)

图6　w=0.75:IORB算法找出39对匹配点,正确32对(图像b)

4.3实验分析

另外几组阈值的实验数据以表格的形式呈现在表1中。

从表1可清楚看出,ORB算法和IORB算法都具有很快的计算速度,这是传统SIFT算法和SURF算法不能够达到的。而且从四组对比实验中可以看出改进后的IORB算法整体正确匹配率都要比原ORB算法高很多。实验结果有效地表明了IORB算法对于低照度的岩心荧光图像的图像匹配具有很好的时间性能与正确匹配率。

表1　特征点匹配对比实验结果

在本文实验中,对于上面的实验结果采用RANSAC算法对提取到的匹配点进行再次筛选,得到表2中的RANCAC精确匹配结果。

表2　RANSAC匹配结果

从表2可以看出,使用原ORB算法进行特征点匹配后,然后再采用RANSAC剔除错误匹配对,但是结果显示四种不同的阈值实验中基本上都会存在错误匹配点对,影响了后续对拼接变换矩阵的求解,从而不能达到理想的拼接结果。但是使用本文实验中的IORB算法进行特征点匹配之后,再采用RANSAC算法剔除错误匹配对,四种不同的阈值w均可以达到100%的正确匹配率,进一步证实了改进后的IORB算法对于匹配率有了明显的提高。

最后采用多分辨率融合算法对图像进行平滑拼接,得到了图7的图像拼接结果图。

图7　IORB算法的拼接结果

从图7中可以看出,运用本文IORB图像匹配算法得到了一个很好的拼接效果。

5　结语

针对ORB算法对于岩心荧光图像匹配有着较高误匹配率的问题,本文采用基于人眼视网膜成像模型的FREAK描述子替换原ORB算法中的BRIEF描述子,在保证时间性能的基础上,大幅度提高了特征点的匹配率。从整体上来看,运用本文中的IORB算法不仅弥补了SIFT算法和SURF算法时间代价大的不足,对于图像的匹配也能保证理想的正确匹配率,这对于特征信息相似度较高的低照度岩心荧光图像的匹配拼接有着重要的实际应用意义。

[1] 杨玉臣,马玉忠.岩心图像扫描技术的开发及应用[J].录井技术,2002(2):43-46.

YANG Yuchen, MA Yuzhong. Core scanning technology development and application[J]. Mud Logging Technology,2002,13(2):43-46.

[2] 王丹,卿粼波,滕奇志,等.基于SURF-球面模型的岩心图像拼接[J]. 科学技术与工程,2014,36:217-221.

WANG Dan, QING Linbo, HE Haibo. The core images stitch based on SURF-surface model[J]. Science Technology and Engineering,2014,36:217-221.

[3] Rublee E, Rabaud V, Konolige K, et al. ORB: an efficient alternative to SIFT or SURF[C]//Proceedings of IEEE International Conference on Computer Vision. Los Alamitos: IEEE Computer Society Press,2011:2564-2571.

[4] 胡明,王正勇,卿粼波,等.一种稳健的低照度岩心样本图像拼接算法的实现[J].四川大学学报(自然科学版),2015(3):547-556.

HU Ming, WANG Zhengyong, QING Linbo, LIU Yue. The realization of a robust stitching algorithm for low illuminated core sample images[J]. Sichuan University(Natural Science),2015(3):547-556.

[5] 刘跃,吴晓红,王正勇,等.基于多分辨率图像融合算法的岩心图像拼接[J].太赫兹科学与电子信息学报,2014(2):290-294,298.

LIU Yue, WU Xiaohong, WANG Zhengyong, KONG Ziyang. Core Images Stitching Based on Multi-Resolution Image Fusion Algorithm[J]. Terahertz Electronics Science and Information Technology,2014(2):290-294,298.

[6] Alahi A, Ortiz R, Vandergheynst P. Freak: Fast retina keypoint[C]//Proceedings of the Computer Vision and Pattern Recognition. Providence, USA,2012:510-517.

[7] 张云生,邹峥嵘.基于改进ORB算法的遥感图像自动配准方法[J].国土资源遥感,2013(3):20-24.

ZHANG Yunsheng, ZOU Zhengrong. The remote sensing image registration method based on improved ORB[J]. Remote Sensing of Land and Resources,2013(3):20-24.

[8] 佘建国,徐仁桐,陈宁.基于ORB和改进RANSAC算法的图像拼接技术[J].江苏科技大学学报(自然科学版),2015(2):164-169.

SHE Jianguo, XU Rentong, CHEN Ning. The stitching technology of image based on ORB and improved RANSAC algorithm[J]. Jiangsu University of Science and Technology (Natural Science),2015(2):164-169.

[9] 曾世聪,郭太良,林志贤.基于ORB和角点方向夹角约束的快速图像配准方法[J].电视技术,2015(9):75-79.ZENG Shicong, GUO Tainiang, LIN Zhixian. Fast image registration method based on ORB and corner angle constraint direction[J]. TV Technology,2015(9):75-79.

[10] 王灿进,孙涛,陈娟.基于FREAK特征的快速景象匹配[J].电子测量与仪器学报,2015(2):204-212.

WANG Canjin, SUN Tao, CHEN Juan. Fast scene matching based on FREAK feature[J]. Electronic Measurement and Instrument,2015(2):204-212.

[11] 王宇霞,赵清杰,赵留军.基于FREAK和P3CA的鲁棒目标跟踪[J].计算机学报,2015(6):1188-1201.

WANG Yuxia, ZHAO Qingjie, ZHAO Liujun. Robust tracking based on FREAK and P3CA[J]. Journal of Computers,2015(6):1188-1201.

[12] 索春宝,杨东清,刘云鹏.多种角度比较SIFT、SURF、BRISK、ORB、FREAK算法[J].北京测绘,2014(4):23-26,22.

SUO Chunbao, YANG Dongqing, LIU Yunpeng. Comparison of a variety of angles of SIFT、SURF、BRISK、FREAK algorithm[J]. Beijing Surveying and Mapping,2014(4):23-26,22.

Stitching Technology of Low Illuminated Core Fluorescence Images Based on Improved ORB

ZHANG XiaoXIONG ShuhuaQING Linbo

(College of Electronic and Information, Sichuan University, Chengdu610065)

The traditional ORB algorithm for image stitching has good effect. But for core image of petroleum geology exploration, especially low illuminated core fluorescence image, existing ORB algorithms has higher rate of mistake matching, resulting in not valid for subsequent image stitching. For this problem, this paper analyzes the shortcomings of the original algorithm ORB, and improves the original algorithm ORB by using FREAK description operators what based on the human visual system, and it is named IORB(improved ORB) algorithm. Experimental results show that improved algorithm for image stitching fluorescence gets the ideal correct matching rate in the guaranteed time on the basis of the cost and enhances the effect of the subsequent stitching process of stitching.

stitching of low illuminated core fluorescence images, ORB, FREAK

2016年4月6日,

2016年5月26日

张潇,男,硕士研究生,研究方向:多媒体通信与信息系统。熊淑华,女,博士,副教授,研究方向：通信与信息处理。卿粼波,男,博士,副教授,研究方向：信号与信号系统、图像处理、图像通信。

TP391.41

10.3969/j.issn.1672-9722.2016.10.036