基于声纳与图像双传感融合系统的设计✳

王茂森，朱兆亮，戴劲松

（南京理工大学 机械工程学院，江苏 南京 210094）

0 引言

现如今传感融合技术以其更全面的信息获取能力，得到对被感知对象更精确的描述，成为国内外研究的热点，得到广泛的重视与应用［1-2］。

目前市场上基于单一的图像或者声纳技术的产品很多，但是总存在着一些单一技术的通病，不能很好地实现对物体信息的识别。基于声纳和图像的双传感融合系统，是一次大胆的尝试，将图像与声纳成功融合，将大大降低目标识别技术的错误率，这对于目标识别技术的扩展有着重要的科学意义和实用价值。

1 声纳与图像双传感融合系统整体结构

声纳与图像双传感融合系统的设计理念是从仿生学中蝙蝠眼睛的角度出发，如果蝙蝠眼睛和它的耳朵一样灵敏，那么它可以更好地感知外界事物。系统采用“FPGA+DSP”的实时数据采集与处理的方案。其中，FPGA选用Altera公司的EP2C5Q208芯片（以下简称FPGA），主要负责声纳信号，包括超声波源的发射以及回波信息的采集与预处理，并将预处理的数据发给DSP作进一步的算法处理；DSP采用TI公司的TMS320DM642芯片（以下简称DSP），主要负责图像信号的连续采集以及对采集到的图像信息和FPGA传递来的声纳信息进行特征值提取与算法融合；最终的处理结果再通过DSP传递给FPGA，并以盲人能够识别的模拟音频信号形式输出，通过人类大脑完成对特征的判断。声纳与图像双传感融合系统的结构与软件流程如图1、图2所示。

1.1 声纳信号与图像信号的采集

声纳收发模块包括波源的产生与回波的接收，采用仿生物一嘴两耳的经典结构布局。

图1 声纳与图像双传感融合系统结构

图2 声纳与图像双传感融合系统软件流程图

波源的产生采用直接数字式（DDS），是一种从相位概念出发，把一系列数字形式的信号通过DAC转换成模拟形式的信号的合成技术［3-4］。对波形进行采样，并将采样量化的数据点存入FPGA内部的软ROM存储器，通过存储不同量化的数据值，并经DAC器件转换输出不同的波形。在此我们采用的波形是仿蝙蝠超声波形设计的CTFM（Continuous Transmis-sion Frequency Modulated）［5］，采集的两路回波信号由传感器接收后，经过调理电路的处理，分别通过双路A／D传给FPGA，其中A／D的采样频率fmax=6MHz。

图像采集模块包括CCD摄像头、视频解码芯片、SDRAM和DSP。CCD模拟摄像头采集模拟的图像信号，通过解码芯片解码之后，经DSP的EDMA通道将数据存储在DSP外部SDRAM中，等待进一步处理［6］。

1.2 FPGA与DSP的数据传输

FPGA与DSP通信是通过DSP的EMIFA接口来实现的。C6000的EMIF支持各种外部器件的无缝接口，包括同步器件SDRAM和SBRAM、异步器件（SRAM、ROM 和FIFO等）以及外部共享存储器件［7］。考虑到不影响DSP正常的数据运算，采用DSP的EDMA通道进行数据的搬运。由于EDMA传输数据时传输频率（100MHz）远远高于声纳信号的采样频率（6MHz），因此要考虑到一个由低时钟域向高时钟域高速传输数据的问题。本系统采用FPGA内部建立异步FIFO实现FPGA与DSP的数据通信，异步FIFO还有利于解决系统跨时钟域数据传输引起的亚稳态问题［8-9］。FIFO本身具有“先进先出”的特性，还有读写指针，所以它不需要地址总线，这也为FPGA与DSP通信节省了不少I／O口，给后期二次开发提供了便利。

图3为FPGA与DSP的数据通信接口。其中，FIFO1与FIFO2是由FPGA向DSP传输的回波数据缓存器，写时钟、写请求由FPGA提供，读时钟、读请求由DSP提供。这里我们采用ping-pong操作技术［10］完成数据的无缝缓冲与处理，FIFO1和FIFO2共用数据总线，采集到的回波数据经过A／D写入，当FIFO1写满时，FIFO1发出满标志wrfull给DSP一个中断，促发DSP的EDMA通道进行数据传输，同时控制A／D对FIFO2进行写操作。

为了能够清楚地表达FIFO1和FIFO2之间的关系，调用QuartusⅡ下的SignalTapⅡ对ping-pong操作进行仿真，其仿真波形如图4所示。

图3 FPGA与DSP数据通信接口

由图4可知，一个FIFO在执行写操作时，另外一个FIFO执行读操作，通过标志位flag＿q区分FIFO1和FIFO2，如此依次循环完成对回波数据的传输。

1.3 声纳与图像信息处理与结果输出

当声纳数据与图像数据采集到之后，需要先分别对其进行数据分析与特征值的提取，其中声纳数据提取距离、物体的表面特征（包括软硬程度、粗糙度）等信息，而图像数据则提取物体的外部轮廓等，特征值提取之后通过算法处理得到人耳能识别的数据信号，并将数据通过FIFO3传送给FPGA，通过DAC输出人耳能够识别的音频信号。

图4 FIFO1和FIFO2仿真波形

为了节省管脚，FIFO3与FIFO1、FIFO2共用一个数据总线，在FPGA中将该数据总线设定为inout（输入输出）类型，assign data= （flag）？q：16’bz，通过设定标志位来决定该端口是input还是output。即当回波数据完成之后，flag为0，数据总线端口设为input端口；当从DSP传给FPGA的数据完成之后，flag置1，数据总线端口设为output端口，依次循环就可以实现FPGA与DSP之间的数据实时读取。

2 实验与分析

本实验以教研室一盆景作为对象，采集到的实物声纳数据和图像信息如图5所示。

为了能够直观地比较实验数据，现将采集到的图像原始数据通过CCS导出在显示屏上显示，将声纳头和CCD摄像头面向显示器盆景图像，进行数据采集，采集到的数据如图6所示。

比较图5与图6两组数据，我们不难发现，图5（c）和图5（d）与图6（c）和图6（d）之间的差别很难分辨，除了分辨率以及图片亮度以外，其他外边轮廓特征基本没有什么区别，即单一的图像传感器对于实物与图像的区分度很低，在特定的环境下，完全可以以假乱真。如果我们在系统中加入了声纳传感器部分，通过图5（a）和图5（b）与图6（a）和图6（b）的比较可以发现，经过实物反射回来的声纳波形与经过显示屏照片反射回来的声纳波形的区别很容易分辨，无论是信号的电压幅值还是有效信号的宽度都有极大的差别，并且相比较于多图像传感器系统，声纳与图像传感器所包含的信息更多，特征更明显。单一的声纳传感器系统在某些方面依旧存在着不足，以同样大小的不同封面的书本为例，单一的声纳传感器对其探测的回波信号基本没有差距，而如果使用图像传感器，却可以轻易地将两本书的封面区分开来。综合声纳与图像信息就像我们人类利用我们不同的感官去感受这个世界一样，我们可以对所需要探测的事物有更全面的认识。

图5 采集到的实物声纳数据和图像信息

考虑到我们的系统应用于导盲，经DSP算法处理后的结果最终将以音频的形式输出，处理后的信号既保留了反射目标的物理特征信息，又适合于人耳接收，随着被探测物体的距离远近，以及物体表面特性以及轮廓的改变，反映在耳机里面声音的强度和频率也会不同，以此来告知盲人前方的具体信息。

3 结束语

本系统基于声纳与图像传感融合系统，采用FPGA与DSP配合完成了对前方物体的探测和识别，具有较快的采样速率与数据处理能力，可以使盲人快速准确地完成对前方障碍物特征的判断。将图像与声纳结合起来，依据某种准则来进行组合，两者之间相辅相成，将大大降低目标探测与识别技术的错误率，通过对相关算法的更改，提取不同的特征值融合处理，该技术可以用于多种场合，如民用预警、军用无人机目标探测等。

图6 采集到的图片声纳数据和图像信息

［1］ Pohl C，Van Genderen J L.Multisensor image fusion in remote sensing：concepts，methods and applications［J］.International Journal of Remote Sensing，1998，19 （5）：823-854.

［2］ 夏明革，何友，黄晓冬.多传感器图像融合应用评述［J］.舰船电子对抗，2002，25（5）：38-44.

［3］ 白居宪.直接数字频率合成［M］.西安：西安交通大学出版社.2007.

［4］ 万天才.频率合成技术和发展［J］.电子产品世界，1999（9）：51-52.

［5］ Politis Z，Probert P J.Modeling and classification of rough surfaces using CTFM sonar imaging［C］／／International Conference on Robotics &Automation Detroit，Michigan：［s.n.］，1999：2988-2993.

［6］ 张永光，张晓蕾，徐健健.DM642图像数据传输的实现和优化［J］.科学技术与工程，2007，7（17）：4484-4486.

［7］ 许永辉，杨京礼，林连雷.TMS320DM642DSP原理与应用实践［M］.北京：电子工业出版社，2012.

［8］ Clifford E Cummings.Simulation and synthesis techniques for asynchronous FIFO design［D］.USA Sunburst Design，Inc，2002：3-15.

［9］ 胡波，李鹏.异步FIFO在FPGA与DSP通信中的运用［J］.电子科技，2011，24（3）：53-55.

［10］姚远，李辰.FPGA应用开发入门与典型实例［M］.北京：人民邮电出版社，2010.