侧扫声呐探测数据管理系统设计与实现

2011-09-25 03:58韩春花张俊明梁建峰殷汝广
海洋通报 2011年2期
关键词:声呐原始数据管理系统

韩春花,张俊明,梁建峰,3,殷汝广

(1.国家海洋信息中心,天津 300171; 2.北京正航科技有限公司,北京 100039; 3.南开大学计算机系,天津 300071)

侧扫声呐探测数据管理系统设计与实现

韩春花1,张俊明2,梁建峰1,3,殷汝广1

(1.国家海洋信息中心,天津 300171; 2.北京正航科技有限公司,北京 100039; 3.南开大学计算机系,天津 300071)

侧扫声呐调查获得的数据是一类格式特殊、类型多样、结构复杂、数据量庞大、包含信息丰富的数据,设计和建立侧扫声呐数据管理系统是数据深层次应用和共享的前提。针对侧扫声呐数据的特点,本文将侧扫声呐获得的完整数据体系规划为原始数据层、标准化数据层、目标数据层和元数据层4个层次,设计并开发了侧扫声呐数据管理系统,整个管理系统包括原始数据管理模块、数据预处理模块、数据处理模块、质量评价模块、数据库管理模块和数据成果集成展示与服务模块。各个模块既可独立运行,相互之间又有关联,形成一个相对完整的管理系统,实现了对侧扫声呐原始数据及各类成果数据多样化有效处理与管理。该系统已经应用于我国近海海洋综合调查与评价专项中的全部侧扫声呐调查数据的管理,并取得了较好的效果。

侧扫声呐数据;数据管理;数据体系;管理系统

Abstract:Side-scan sonar data is characterized by special format, large amount and rich information.It is necessary to design and implement the side-scan sonar data management system for these data’s sharing and reusing.Aiming at the characters of side-scan sonar data, the data system is divided into four layers: raw data, standard data, aim data, and metadata.A massive side-scan sonar data management system is designed to manage the data system.There are six modules in this management system.That is, raw data management, data preprocessing, data processing, data assessment, database and data display & service.They can not only operate individually, but also be associated.So a unitary management system comes into being to realize the effective management of both raw data and product data.It has been applied to manage all the side-scan sonar data of Comprehensive Inshore Investigation and Assessment, and good effect has been acquired.

Keywords: Side-scan sonar data; data management; data system; management system.

侧扫声呐融合了声学、数字信号处理、导航定位和计算机等多种技术,是利用声波来揭示水体环境下介质结构和性质的有效系统,为人们提供了一种新型的海底面状数据源,在海底目标探测、海洋地质勘探、海洋工程、港口及航道疏浚等方面具有广泛的应用[1-7]。侧扫声呐探测所获取的数据是一类格式特殊、类型多样、结构复杂、数据量庞大、包含信息丰富的数据。对这类数据的管理与一般的二维数据表有所不同,目前,测量单位对于这类数据的管理普遍采用文件管理的方式,即不同类型的文件分散存放,使用时再利用不同的软件进行数据回放。这种管理方式虽然简单,但是数据查询、调用比较繁琐,数据利用率及可视化程度都较低,且不方便说明各种类型数据之间的关系,随着数据量的与日俱增,数据管理、检索和使用变得极为困难。

1 侧扫声呐数据分析

侧扫声呐以栅格数据记录环境声学特征,输出图像产品。通过图像的人工解译,获取海底地形地貌特征,并进一步揭示地质现象和地质作用过程。分析大量的侧扫声呐数据,发现其数据特点如下:

(1)格式的特殊性:侧扫声呐原始数据需要特定的软件才能读取,普通编辑软件是无法读取的。

不同型号的侧扫声呐系统,存储的探测数据格式不同;各设备使用者,由于探测环境的差异,采用的参数设置不同,数据的采集和存储记录方式没有统一的标准,导致数据结构和存储方式差异较大,不利于数据的标准化、统一化管理。

(2)数据类型和结构复杂:侧扫声呐调查获取的数据类型较多,既有以不同格式记录的侧扫声呐原始数据、导航数据、水深数据等原始文件,航迹图、侧扫声呐声学影像图等图件文件,还有现场质量控制的各类班报记录等文档说明材料,以及后续的调查报告(包括航次报告)、加工后处理的各类数据-栅格数据、矢量数据、属性数据等。这些数据和材料种类繁多,数据类型复杂但它们又相互联系。

图1 侧扫声呐数据体系Fig.1 Side-scan sonar data system

(3)数据量庞大:侧扫声呐的数据是海量的,且数据的增长和更新的速度也越来越快。单就我国近海海洋综合调查与评价专项而言,就已经获取了近2TB的侧扫声呐数据。

(4)包含信息丰富:侧扫声呐数据中记录了导航、水深、温度、压力等各类丰富的信息,对这些信息进一步加工利用,将大大提高数据的价值。

可见,建立侧扫声呐数据结构体系并构建数据管理系统对数据的再利用是十分有意义的。

2 侧扫声呐数据体系

按照侧扫声呐数据特点,将整个数据体系自下而上分为4个层次,即:原始数据层、标准化数据层、目标数据层和元数据层。采用这种分层次管理数据的方式,可以满足不同人员、不同研究目标的需求。

原始数据层:包括原始的航次报告、现场测量班报、室内处理班报、资料处理与质量评价报告等文档材料;原始的导航数据、仪器现场记录的不同格式的原始数据;标准化数据层:按照有关标准和格式,具有标准命名、标准格式、修正了明显讹误的数据、从原始数据中提取或统计计算出的数据(如航迹数据、时间数据、测线长度、测线走向等信息)、解编后的数据等。

目标数据层:主要包括可直接利用的成果数据,包括镶嵌图数据、目标图像数据、目标解译信息和成果图件等。

元数据层:元数据基本信息、概要信息、详细信息[8]。

3 侧扫声呐数据管理系统设计与实现

针对侧扫声呐数据的特点及数据体系管理要求,笔者及相关人员组织开发了大规模侧扫声呐数据管理系统,本系统运行Windows平台,编程工具采用Visual Studio 2008,全部代码由C++实现。整个管理系统包括6个模块,分别为:原始数据管理模块、数据预处理模块、数据处理模块、质量评价模块、数据库管理模块和数据成果集成展示与服务模块。各个模块既可独立运行,相互之间又有关联,形成一个相对完整的管理系统,既可对原始数据进行管理,也可对原始数据进行加工处理,生成标准化数据、目标数据、提取元数据,并对各层数据进行有效管理。整个数据管理系统与数据体系的关系如图1所示。

3.1 原始数据管理模块

该模块主要是管理原始数据层数据,各类原始数据采用文件形式存储,不做任何改动,以保证数据的原始属性。通过原始数据模块提取原始数据的元数据信息,作为索引信息,方便数据的查询检索。该模块功能主要是可自动生成电子资料的清单目录,包括:文件名、文件大小、文件类型、创建时间、修改时间、访问时间、文件所在目录等信息。

3.2 数据预处理模块

数据预处理的目的是形成一套具有标准命名、格式统一、修正了明显错误的数据(如异常定位点的删除),为数据处理作准备。数据预处理模块的功能包括数据重命名、格式转换、数据修正等。

3.2.1 数据重命名 各调查单位的数据命名规则不统一,为方便管理和计算机自动批处理,按照统一的命名规则(资料类型代码+项目代码+单位代码+区块名称+序号),对原始数据进行重命名,并将原始命名与标准命名的一一对应关系同时存储到数据库中,方便查找对应,数据重命名界面如图2所示。

图2 数据标准化重命名Fig.2 Standardized rename of data

3.2.2 格式转换 由于侧扫声呐原始数据格式不统一,包括:Q-mips、.SDF、.JSF、.XTF等多种格式,在数据应用时,统一采用目前通用的海底声学勘探数据组织格式XTF文件格式。目前可参考的文献中大部分格式转换是将原始的侧扫声呐数据(Q-mips格式、XTF格式、JSF格式)转换成通用的tif、Geotiff 或BMP格式[9-11]。本系统不但实现了上述格式转换功能,还根据不同数据格式标准,实现了由Q-mips、SDF、JSF向XTF格式转换功能。图3与图4所示为Q-mips格式向XTF格式转换的实例,数据转换后并没有丢失任何信息。

3.2.3 数据修正 数据修正功能主要是对导航数据的修正,在原始数据中,往往会出现导航点偏移、剧烈跳动的情况,对导航数据进行必要的修正,并将修正后的导航数据重新写入XTF文件中。

图3 Q-mips格式数据回放效果Fig.3 Display of Q-mips data

图4 转换成XTF格式数据后的回放效果Fig.4 Display after conversion

经过数据预处理模块的处理后,产生的是一套具有规则的标准命名、格式统一、去除了讹误的原始数据。

3.3 数据处理模块

为更好的利用数据,还需要从数据中提取出必要信息,数据处理模块基本实现了这一功能。该模块功能主要包括XTF文件解编、统计信息提取与计算统计、侧扫声呐图形显示及处理、镶嵌图制作等功能。

3.3.1 XTF文件解编 XTF文件由文件头和Ping数据包组成,分别读取头文件中的文件头结构、通道信息结构,读取Ping数据包中的Ping头结构信息和通道信息,即可解编XTF数据,解编后的XTF数据为明码的.txt文件,可以直接从中读取头结构与每一Ping的数据信息。

3.3.2 信息提取与统计计算 XTF文件全部解编后,便可深入到数据内部,提取与统计计算所需要的信息。可提取航迹信息:包括每一Ping数据的经度、纬度、时间;计算统计信息:包括采样设备、记录程序、数据标准、Ping间隔、采样点个数、总Ping数、测线长度、斜距量程、覆盖面积、作业始、终时间、测线用时、测线始、终点的经纬度、测线走向等信息。

本系统可实现XTF文件解编、信息提取与统计计算批量同时进行。如处理99.xtf 文件时,同时生成一个99_trace.txt(航迹信息)(图5)、99_info.txt(xtf解编文件)(图6)和 99.cvs(信息统计计算文件)。

3.3.3 侧扫声呐图形显示及处理 在此模块中可以实现侧扫声呐数据的瀑布图显示、增益和调整[12]、斜距校正(图7,图8)及镶嵌图制作[13]等功能,可直观的浏览XTF格式数据,并可对其进行各种操作。

图5 提取后的航迹信息Fig.5 Trace data extracted

图6 解编后的XTF文件Fig.6 Extended Triton Format data released

图7 原始图像显示Fig.7 Display of raw data

3.4 质量评价模块

根据实际工作经验,选取了XTF数据中的定位数据、时间数据、信号强度、船速、测线平直度及数据完整性6个要素作为质量评价指标,可批量地对原始数据进行数据质量评价。可详细查看每条测线的数据质量情况,同时可输出质量评价报告。上述的6项评价参数,既评价了当时现场施工时的工作情况,如资料完整性、测量船速,又评价了测线文件的质量情况,如信号强度。且实现了计算机批量的自动评价,大大节省了人力,且提高了评判的质量。

图8 斜距校正后的图像显示Fig.8 Display of the data after the Slant Range corrected

图9 数据质量评价模块Fig.9 Data assessment module

3.5 数据库管理模块

整个侧扫声呐数据库包括:侧扫声呐原始数据库、资料管理信息数据库、声纳图像目标库、元数据库4个部分。

3.5.1 侧扫声呐原始数据库 侧扫声呐原始数据量庞大,该类数据的数据库存储一般采用数据库中存放索引信息,数据并不存储在数据库中的方式,这种方式简单,但是不利于随时查看数据。本系统成功运用了关系型数据库存储大规模的侧扫声呐原始数据。一个测区使用一个数据库,该测区中的测线使用数据库中的表存储,原始文件中每一Ping或者每一包的信息使用数据表中的一条记录存取,由此化整为零。这种方式加快了数据库响应速度,虽然数据库中的表增多,但每个表中的记录行数和数据规模不会很大,一般 10万余条数据和4GB空间基本足够。数据加载入库后,可调用数据处理模块中的图形显示功能,可直观的进行数据查询。

3.5.2 资料管理信息数据库 存放了资料目录清单、航迹数据、统计信息数据,使用时可方便地查询检索。

3.5.3 侧扫声呐图像目标库 采用腾惠忠等人(2003年)提出的在侧扫声呐数据库管理设计时建立声纳图像目标库的思路。声纳图像目标库以原始数据格式记录图像,保留原始图像的所有信息,给今后的目标图像比对分析和处理留下空间,同时实时记录图像的处理方法和分析说明,并提取图像的特征信息[14]。海底地貌声纳图像是走航式的条带图像,根据目标管理思想,截取典型的侧扫声呐图像进行单独存储,将有利于资料的使用。

3.5.4 元数据库 存放数据的元数据信息,分为元数据基本信息、概要信息、详细信息,方便用户查询检索,有关元数据的内容在这里不再详述。

3.6 数据成果集成展示和服务模块

数据集成展示和服务是大规模数据处理与管理的重要手段,也是实现处理结果图形化检索的用户接口。用户通过这种方式既可以直观的在地图上浏览处理成果,也可以直观的从海量的数据文件中直接调取原数据。TrueGIS系统是成果展示基础平台的主要组成部分,是基于地理空间的存储管理核心。系统的基础包括大地计算模块与基本几何库、计算几何库。主要内容包括基本空间数据的组织管理、二维呈现、三维可视化、空间分析等内容(图10)。采用Windows Server 2008R2 64位操作系统作为开发平台,完成了TrueGIS的研究开发。在整个成果集成展示与服务系统上,将处理系统中处理的航迹、调查信息、镶嵌图等信息加载入该系统,就可直观的看到航迹的分布与演示与海底地貌等(图11)。

图10 TrueGIS系统总体框架Fig.10 Frame of TrueGIS system

图11 图形化成果显示Fig.11 Display in graphics mode

4 结 语

笔者根据实际的侧扫声呐数据管理工作经验,划分了侧扫声呐数据体系,并通过侧扫声呐数据管理系统成功实现了海量侧扫声呐数据的高效管理,该系统已经在国家海洋信息中心数据平台运行,实现了对我国近海海洋综合调查专项中的全部 28个区块近2TB的侧扫声呐数据的管理,收到了较好的效果,尽管整个管理系统还需要进一步完善,但该类数据管理系统的设计与实现具有较大的理论和实践意义,具有较广泛的应用前景。

致谢:国家海洋信息中心孙思军参加数据处理工作,评审老师为文章修改提出宝贵意见,中国海洋大学杨荣民教授也为文章修改提供帮助,在此一并致谢。

[1]蒋立军, 文萍, 许枫.侧扫声呐回波信号的增益控制 [J].海洋测绘, 2002, 22(3): 6-8.

[2]李军峰, 孟庆敏, 胡平.侧扫声呐在香港海洋物探工程调查中的应用 [J].物探与化探, 2004, 28(4): 369-372.

[3]杨振林.便携式侧扫声呐在探测海底地物中的应用 [J].水运工程, 2002, 10: 28-30.

[4]李鲜枫, 张铁军, 黄永军.侧扫声呐与多波束测深系统在大连“五七”空难搜救中的应用 [J].气象水文海洋仪器, 2005, 3: 33-37.

[5]蒋俊杰, 汤民强, 郑西来.侧扫声呐系统在海底管道悬空调查中的应用 [J].中国科技信息, 2008, 14: 49-51.

[6]潘国富, 付晓明.侧扫声呐在海底光缆维护工程中的应用 [J].工程地球物理学报, 2004, 1(5): 389-394.

[7]鱼京善, 成二丽.侧扫声呐系统在海洋环境监测和保护中的应用[J].海洋测绘, 2004, 24(2): 63-66.

[8]苏天赟, 刘保华, 翟世奎, 等.海底空间数据的集成与管理方法[J].高技术通讯, 2005, 15: 89-92.

[9]李军, 腾惠忠.侧扫声呐的格式转换及应用 [J].海洋测绘, 2002, 22: 36-38.

[10]于杰.侧扫声呐原始信息转换及其应用 [J].水雷战与舰船保护, 2009, 17: 56-59.

[11]邓雪清, 巩丹超, 罗睿.侧扫声呐图像地理编码技术研究 [J].海洋测绘, 2002, 22: 14-17.

[12]李胜全, 腾惠忠, 凌勇, 等.侧扫声呐图像实时增强技术 [J].应用声学, 2006, 25: 284-289.

[13]李廷桓.论旁扫声纳图像镶嵌技术.海洋与湖沼 [J].1991, 22: 583-588.

[14]腾惠忠, 邓雪清, 郭思海.侧扫声呐数据库管理设计 [J].海洋测绘, 2003, 23: 27-30.

Design and implementation of side-scan sonar data management system

HAN Chun-hua1, ZHANG Jun-ming2, LIANG Jian-feng1,3, YIN Ru-guang1

( 1.National Marine Data and Information Service, Tianjin 300171, China; 2.Beijing TRUNCOM SYSTEM CO.LTD, Beijing 100039, China; 3.Computer department of Nankai University, Tianjin 300071, China)

P714+7

A

1001-6932(2011)02-0188-06

2010-09-06;收修改稿日期:2010-11-10

我国近海海洋综合调查与评价专项(908-03);国家海洋局青年基金项目(18104002C)。

韩春花(1979-),女,硕士,主要从事海洋地质信息管理、侧扫声呐数据管理等方面的研究。电子信箱:hanchunhua2008@126.com。

收稿日期:2010-03-03;收修改稿日期:2010-11-14

基金项目:科技部基础性工作专项(2006FY220700);国家海洋局第三海洋研究所基本科研业务基金(海三科2009031, 海三科2009008);国家海洋局青年海洋科学基金(2009130);国家海洋局908专项(908-01-BC07)。

作者简介:王雨(1981-),男,硕士,助理研究员,从事海洋浮游生物生态的研究,电子邮箱:wy2007607@126.com。

林茂,研究员,电子邮箱:lm3011@126.com。

猜你喜欢
声呐原始数据管理系统
探索大洋的“千里眼”——声呐
GOLDEN OPPORTUNITY FOR CHINA-INDONESIA COOPERATION
基于James的院内邮件管理系统的实现
受特定变化趋势限制的传感器数据处理方法研究
一种便携式侧扫声呐舷侧支架的设计及实现
声呐
基于LED联动显示的违停管理系统
全新Mentor DRS360 平台借助集中式原始数据融合及直接实时传感技术实现5 级自动驾驶
海盾压载水管理系统
COTS技术在声呐装备中的应用