谭克,邹丽娜(杭州应用声学研究所声纳技术国防科技重点实验室,浙江杭州310023)
正态分布转换算法在声纳图像处理中的应用
谭克,邹丽娜
(杭州应用声学研究所声纳技术国防科技重点实验室,浙江杭州310023)
摘要:根据声纳图像匹配处理的实时性需求,研究了正态分布转换算法。该方法基于对图像中目标点的概率分布进行匹配,不需要提取图像的几何特征或灰度特征,可有效缩短匹配时间。通过对均值滤波法、中值滤波法、小波去噪法、形态学平滑法4种图像去噪和迭代阈值法、最大熵法、一维Otsu法和二维Otsu法4种分割算法,进行仿真并对比,选出符合实时性处理的方法,即中值滤波法和一维Otsui法。基于美国德州仪器公司的数字信号处理芯片,将图像去噪、分割和匹配算法在硬件上实现,硬件实现结果和仿真结果一致,实现了声纳图像匹配的实时处理。
关键词:声学;图像匹配;数字信号处理器;声纳图像处理;正态分布转换算法
声纳图像处理在水下信号研究领域具有重要地位,在经济、军事上有着重要的研究价值。图像匹配技术是图像处理技术中的重要组成部分,常常作为其他图像处理应用的前处理步骤来使用。最近十几年里,国内外的许多学者提出了各种各样面对许多不同领域、不同要求的匹配算法,力求在各个领域中,加快图像匹配算法的速度,提高匹配精度,而且许多算法都具有良好的通用性。如David[1]提出基于尺度不变特征的图像匹配方法,Anuta[2]提出了快速傅里叶变换互相关图像匹配方法,高晶等[3]提出新的基于角点检测的匹配算法,韩冰等[4]提出基于一种快速归一化积相关算法,刘佳等[5]提出了一种基于改进尺度不变特征变换算法的图像匹配方法,等等。
图像匹配技术的应用越来越广泛,如飞行器导航、武器的末端制导、指纹识别等。而这种技术在声纳图像处理上的应用还不多。本文选用Biber等[6]提出的正态分布转换(NDT)算法,结合匹配步骤前的一些预处理算法,实现声纳图像去噪、分割和匹配这一过程。选用蛙人图像,对4种预处理算法进行分析对比,选出了符合实时性要求的预处理算法。使用NDT算法对预处理后的图像进行匹配处理,并将该处理流程在硬件上实现,可用来实时地匹配连续两幅蛙人图像,为后续蛙人图像识别和图像融合奠定了基础。
NDT算法已经在移动机器人定位中有一定的应用,但在水声领域中应用较少。NDT算法的基本思想是:在匹配过程中无需查找点或者其他几何特征之间的对应关系,把二维图像中的像素点集合转换成为分段连续可微的概率分布,对基准图像和待匹配图像的概率分布进行匹配[7],可以快速地完成图像匹配。
用连续可微的概率分布对二维的图像进行表示,其步骤如下:
1)对二维图像进行区域划分,按照一定的大小规则,分成相同的小格。
2)对含有像素点的小格,以概率密度的形式进行描述,通过正态分布概率密度函数来表示栅格中每一个像素点,如(1)式~(3)式所示。
式中:q为每个小栅格中包含像素点样本的坐标平均值所构成的矩阵;∑为协方差矩阵;r为像素点坐标;ri为第i个像素点的坐标。
成像声纳所拍摄的两幅不同图像坐标系的关系为
式中:(tx,ty)T是两幅图像坐标系的相对平移量;φ是图像间的旋转角度。
基于NDT的匹配算法步骤如下:
1)选一帧图像作为基准图像,建立该图像数据的NDT;
2)给坐标变换参数设置一个值,也就是对其进行初始化(可以用“0”作为初始坐标参数);
3)根据坐标参数,将待匹配图像中的像素点映射到基准图像中去,用基准图像的坐标来对待匹配图像中的像素点进行表示;
4)每一个映射点对应于一个小栅格内的概率密度函数,计算这个点的正态分布;
5)对每个点的概率密度求和,做为本次匹配过程的分数值;
6)对本次的分数值使用Hessian矩阵法进行优化,得到新的坐标参数;
7)回到步骤3,直到满足收敛条件。
设坐标变换参数为p=(tx,ty,φ)T,则评价在该坐标变换参数下匹配效果的分数值为
式中:r′i为r根据变换参数p映射到基准图像上的在基准图像坐标系下的坐标;∑i是r′i对应的协方差矩阵;qi是 r′i的均值。NDT算法就是寻找使得score(p)最大的坐标变换参数,对于图像匹配,该参数就是在NDT算法下的最佳匹配位置。
因为NDT算法是一种基于概率模型的匹配方法,在匹配过程中不需要对图像的灰度、边缘特征或者点特征进行提取和计算,NDT算法仅仅是计算一幅图在另一幅图上的映射点概率密度之和,能使概率密度之和最大的点即为匹配点,所以,该方法运算速度快,易于实现。
由于海洋环境中存在随机噪声,舰船本身也存在自噪声,以及受不同海洋环境(如海底地形、水温等)的影响,得到的声纳图像往往不是最适合进行匹配的图像,所以在进行匹配之前,对待匹配图像进行图像预处理是非常重要的,图像预处理也是图像匹配过程中不可缺少的环节[8]。在图像匹配前对图像进行降噪处理,将一些基本的图像去噪方法应用于声纳图像,包括均值滤波法、中值滤波法、小波去噪法和形态学平滑法。本文使用的均值滤波法和中值滤法的遍历窗大小为3×3.
NDT算法是对图像中目标像素点的坐标值进行计算,而与灰度值无关,所以,在对图像进行匹配之前,先对图像进行分割处理,将图像中的目标和背景分开,为下一步的图像匹配算法做准备。本文对4种分割算法进行了分析和仿真,分别研究了迭代阈值法、最大熵法、一维Otsu法和二维Otsu法[9]。
2.1去噪算法仿真
原始图像选用蛙人图像,对其加入高斯白噪声,噪声的均值为0,标准差 σ分别为0.1、0.2、0.3、0.4,分别利用均值滤波法、中值滤波法、小波去噪法以及形态学平滑法,对加入高斯白噪声的图像进行噪声去除。然后计算出峰值信噪比(PSNR)和均方误差(MSE),以这两个值来进行比对,评价去噪算法的好坏。图1是不同去噪方法对σ=0.4的噪声图像进行处理的效果对比,表1为σ=0.4时不同算法的运算时间以及峰值信噪比和均方误差,表2为去噪算法去噪效果对比。
图1 噪声图像去噪方法对比Fig.1 Comparison of several image denoising methods
表1 去噪算法时间对比Tab.1 Time of image denoising
表2 去噪算法去噪效果对比Tab.2 Parameters of image denoising algorithms
由表1和表2可知,从时间上看,利用均值滤波法和中值滤波法对蛙人图像进行噪声去除所用的时间要比小波去噪法和形态学平滑法所用的时间短,根据峰值信噪比,可以看出均值滤波法和中值滤波法较另外两种算法要高一些,而均方误差也是均值滤波法和中值滤波法较小。从对声纳图像进行噪声去除的实验结果来看,形态学平滑法和小波去噪法对噪声的去除效果最好,但同时也模糊了图像,同均值滤波法相比,中值滤波法能在对图像进行去噪的同时更好地保留一些边缘信息。同小波去噪法和形态学平滑法相比,中值滤波法实现起来较为简单方便,而且运行时间短,适合实际应用。经过上述分析比较,选用中值滤波法作为本文的图像预处理算法。
2.2分割算法仿真
对原始声纳图像分别使用迭代阈值法、最大熵法、一维Otsu法和二维Otsu法进行分割处理,结果如图2所示。
由表3可以看出,一维Otsu法和迭代阈值法运行所需时间要比一维熵法和二维Otsu法短。从分割阈值选择上来看,一维熵法选择的阈值最大;从图像的分割结果可以看出,蛙人的一部分边缘被归为背景类,存在一定程度的过度分割。选取不同的分割方法会对下一步图像匹配的效果造成影响,在考虑分割效果的同时,还要考虑算法实现的实时性,也就是运行速度,综合考量后决定选用一维Otsu法。
2.3NDT算法仿真
NDT算法的仿真结果如图3所示。
图2 不同分割算法的结果对比Fig.2 Processed images of image segmentation methods
表3 不同分割算法的阈值和时间Tab.3 Time and threshold of image segmentation methods
图3(b)和图3(d)分别是基准图像和待匹配图像经过一维Otsu法分割后的图像,两幅图中用不同颜色对目标进行渲染,图3(e)中白色的区域是两幅图像匹配重合区域,不同颜色的其他小区域分别为两幅图中没有匹配的区域。从图3中可以看出,两幅图像区别较大的区域是图像上方的一部分,由于NDT算法的基本思想是基于概率密度之和最大化的匹配过程,在匹配过程中上面小区域占的概率比重小,而且两幅图上部区域包含的像素点位置不同,所以基本上没有匹配,而蛙人区域所包括的像素点多,概率比重大,所以大部分都有匹配。
图3 NDT算法的仿真Fig.3 Matlab results of NDT
用于NDT算法实现的数字信号处理器(DSP)开发平台是以美国德州仪器公司产TMS320C6713[10]为核心的处理单元,软件开发平台选用CCS3.3.CCS不能读取通用格式的图像文件,利用Matlab软件来实现对声纳图像数据的读取,将图片保存为“.dat”格式的文件。在CCS中将.dat文件像数据下载到DSP的外围存储器(SDRAM)中,然后再对图像数据做下一步的处理。
对NDT算法进行C语言编写,实现了整个图像匹配过程,主要包括对声纳图像的去噪、图像分割算法和图像匹配算法。图4为DSP实现的软件流程图,图5为开发平台的硬件实物图,图6~图8为去噪、分割和匹配算法的硬件实现结果。
图4 图像匹配算法程序流程图Fig.4 Flow chart of image matching processing
图5 硬件实物图Fig.5 Hardware
图6 3×3中值滤波DSP硬件运行结果Fig.6 3×3 median filtering on DSP chip
为满足声纳图像匹配的实时性需求,本文研究了NDT算法,该算法在匹配过程中无需对灰度特征或其他几何特征进行运算,而是对基准图像和待匹配图像中目标点的概率分布进行匹配,运算速度快,更易于硬件实现。经过比对分析,在匹配前选用中值滤波法和一维Otsu法对图像进行去噪和分割处理,最后将图像匹配处理全过程在DSP芯片上实现,并对蛙人图像进行了实时的匹配处理,DSP实时处理结果与仿真结果一致。实验结果表明NDT算法可实时地对声纳图像进行匹配处理,具有良好的应用前景。
图7 分割算法DSP硬件运行结果Fig.7 Image segmentation on DSP
图8 NDT算法的DSP硬件运行结果Fig.8 NDT image matching algorithm on DSP chip
图像配准计算量大,如何在保证匹配质量的同时,提高匹配速度仍然是图像匹配领域面临的主要问题,可以从以下两个方面进行深入研究:1)结合算法特性,选择性能更优越的DSP处理器,这样可以大大加快算法运行过程中的运算速度;2)对NDT算法进行优化。NDT匹配算法是基于图像的概率模型匹配,在匹配之前需要给图像分成小栅格,然后用概率密度函数对图像进行表示。可以尝试根据图像长宽比来改变小栅格的形状,来判断是否可以得到更好的匹配效果。
参考文献(References)
[1] David G L.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.
[2] Anma P E.Spatial registration of multispectral and mutitemporal digital image using fast Fouerier transformation technique[J]. IEEE Transactions on Geoscience Electronics,1970,8(4):355-368.
[3] 高晶,吴育峰,吴昆,等.基于角点检测的图像匹配算法[J].仪器仪表学报,2013,34(8):1717-1725. GAO Jing,WU Yu-feng,WU Kun,et al.Image matching method based on corner detection[J].Chinese Journal of Scientific Instrument,2013,34(8):1717-1725.(in Chinese)
[4] 韩冰,王永明.基于一种快速归一化积相关算法的图像匹配研究[J].兵工学报,2010,31(2):160-165. HAN Bing,WANG Yong-ming.Research of image matching based on a fast normalized cross correlation algorithm[J].Acta Armamentarii,2010,31(2):160-165.(in Chinese)
[5] 刘佳,傅卫平,王雯,等.基于改进SIFT算法的图像匹配[J].仪器仪表学报,2013,34(5):1107-1112. LIU Jia,FU Wei-ping,WANG Wen,et al.Image matching based on improved SIFT algorithm[J].Chinese Journal of Scientific Instrument,2013,34(5):1107-1112.(in Chinese)
[6] Biber P,Strasser W.The normal distributions transform:a new approach to laser scan matching[C]∥2003 IEEE/RJS International Conference on Intelligent Robots and Systems.Las Vegas,US:IEEE,2003:2743-2748.
[7] 蔡则苏,洪炳镕,魏振华.使用NDT激光扫描匹配的移动机器人定位方法[J].机器人,2005,27(5):414-419. CAI Ze-su,HONG Bing-rong,WEI Zhen-hua.Localization of mobile robots by NDT laser scan matching algorithm[J].Robot,2005,27(5):414-419.(in Chinese)
[8] 陈明生.图像配准技术研究与应用[D].长沙:国防科学技术大学,2006. CHEN Ming-sheng.Research on the image registration technology and its application[D].Changsha:National University of Defense Technology,2006.(in Chinese)
[9] Otsu A.Threshold selection method from gray-level histogram[J]. IEEE Transactions on Systems,Man,and Cybernetics,1979,9(1):62-66.
[10] Texas Instruments Incorporated.TMS320C6713B floating-point digital signal processor[M/OL].[2005-08-12].http:∥www. ti.com/lit/ds/symlink/tms320c6713.pdf.
中图分类号:TB56
文献标志码:A
文章编号:1000-1093(2016)06-1052-06
DOI:10.3969/j.issn.1000-1093.2016.06.012
收稿日期:2015-11-16
基金项目:国家“863”计划项目(2011AA09A107)
作者简介:谭克(1990—),男,助理工程师,硕士。E-mail:tanke6353064@163.com;邹丽娜(1976—),女,高级工程师,博士。E-mail:zoulina0717@163.com
The Application of Normal Distribution Transformation Algorithm in Sonar Image Processing
TAN Ke,ZOU Li-na
(Key Laboratory of Sonar Technology for National Defence,Hangzhou Applied Acoustics Research Institute,Hangzhou 310023,Zhejiang,China)
Abstract:For the requirements of the real-time processing of sonar image matching processing,the normal distributions transform(NDT)algorithm and its application in the sonar image processing are studied.The NDT algorithm is based on probability model.The coordinate of target point is calculated instead of the gray value of image,which speeds up the calculation speed of the NDT algorithm.Several methods of image denoising and segmentation are compared to give the results and analysis of each method.Based on TI DSP chip,the NDT image matching algorithm is achieved.
Key words:acoustics;image matching;digital signal processor;sonar image processing;normal distribution transform algorithm