海洋底质标准化处理系统设计与开发

刘志杰，梁建峰

（1.中国海洋大学 青岛市 266003；2.国家海洋信息中心 天津市 300171）

海洋底质标准化处理系统设计与开发

刘志杰1，2，梁建峰2

（1.中国海洋大学 青岛市 266003；2.国家海洋信息中心 天津市 300171）

介绍海洋底质标准化处理系统的开发背景、总体结构、功能及特点。该系统基于海洋底质标准化数据记录格式，解决了数据格式转换繁琐和不规范等问题，具有代码及格式维护、转换规则配置、数据格式转换、文件浏览和错误日志生成等功能，在实现人机交互和高度集成的基础上，具有灵活性和可扩展性。应用结果表明，该系统操作简单、使用方便、运行稳定，是海洋底质标准化处理的一种有效工具。

海洋底质 标准化处理 系统设计

随着我国“海洋开发战略”的实施，海洋调查项目日益增多，海洋数据的积累呈加速态势，海洋底质数据也不例外。如何实现大量不同时期、不同来源的数据统一和科学管理是资料管理工作者面临的一个首要任务。为满足数据整合需求，海洋数据标准化是实现数据科学管理的一个重要环节。海洋数据标准化处理就是指将海洋数据从多源、不同数据格式的文件通过格式变换、代码转换、字段添加、异常处理等操作转变为统一、标准的数据文件的过程。

一直以来，底质资料标准化处理缺乏规范的处理软件。底质分析数据类型众多，包括沉积物粒度、碎屑矿物、沉积物化学成分和化学元素、工程物理力学性质以及古生物等十多种数据类型[1]。然而，由于分析手段和测试方法的不同，即使同一类型数据，不同单位汇交格式也不尽一致。因此，在进行标准化处理之前，需要进行预处理，将原始资料整理成格式相对固定或一致的格式，然后才能通过程序进行判读、转换和数据库的加载。资料整理过程繁杂、各程序模块功能单一、相互独立、缺乏系统性，因此，难以保证数据处理效率，数据格式变换易存在误差隐患，难以满足数据处理业务工作的需要。

随着我国近海综合调查与评价项目的开展，底质调查数据作为一种重要的信息源，广泛应用于环境与资源评价和数字海洋建设中。为满足不同形式格式的处理，保持数据转换最大限度的灵活，以海洋基础数据库平台创建为契机，在底质标准数据格式基础上，设计开发数据标准化处理系统是当前业务工作所需。该系统为底质数据标准化处理提供了一种快捷、方便的使用工具，从而使繁杂的数据整理工作得以简化，提高了数据处理的效率和标准化程度。

1 软件系统设计与开发原则

系统以Microsoft Visual Studio.NET 为开发平台，以面向对象程序设计语言 C# 和 XML作为开发工具[2,3]。总体设计以需求为导向，采用构件设计思想，实施“总体规划、分模块实施”的策略。通过转换规则配置（字段自动查找与匹配、站位匹配、代码匹配与转换）、数据格式转换、错误日志的生成、文件浏览等功能的开发，实现系统的功能及性能需求，另外还需满足系统更新和扩展需要。为保证设计目标的实现，系统在设计和实施过程中主要遵循如下原则：

(1)一致性：在系统的设计和建设过程中，以现有的底质标准数据记录格式为设计基础，力求标准化、规范化和统一化。软件应具有统一的结构化组织、界面风格和操作模式，对变量的设置、模块的调用块间的相互关系等问题应做出统一安排。

(2)扩充性：采用面向对象和模块化开发的设计思想，保证用户的需求发生变化时，使系统代码和数据修改量减到最小。

(3)通用性：底质数据标准化处理系统要处理多种类型底质数据，各不同类型数据均采用通用的处理模块，且不受操作系统限制。

(4)实用性：系统设计充分考虑到海洋底质数据标准化处理的实际需要，在设计中构造灵活的体系结构，便于更改。软件系统的人机交互界面友好、操作简便，能满足使用者的要求；另一方面，尽可能将用户所需要的操作包含在同一界面内。

2 系统结构与功能介绍

底质数据标准化处理系统采用菜单操作和界面选择结合方式，方便用户的使用。主界面包括菜单区、目录区、配置区、转换规则区、文件浏览和错误日志区（见图 1 ）。菜单区包括浏览源/目标文件夹、标准格式维护、代码表维护、站位信息浏览及目录设置等功能。系统结构设计如图 2 所示。

图1 底质标准化处理系统主界面

系统维护功能包括标准记录格式的维护和代码表维护。标准数据文件是数据入库的重要接口，为使数据库查询检索方便和数据格式规范，对于一些公共信息，标准数据集中一般用代码来替代字符。根据用户的需要，标准数据记录格式需要定期维护更新，比如字段长度的增加，字段类型的添加等等，代码也会不断增加和完善。系统为标准数据记录格式配置和代码维护提供了接口，各类代码通过 ACCESS 数据库存储管理，标准数据记录格式通过 Excel 文件进行维护。用户可以根据实际需要增加、修改或删除字段，无需修改程序代码，增加了数据处理的灵活性。

图2 系统结构图

系统配置功能主要包括系统目录设置、表头字段的配置、转换规则设置和特殊转换配置。系统配置的目的是快速完成标准数据格式的转换。以往在资料处理过程中一般采用程序读取源文件字段，然后将其转换到标准格式中相应的位置。由于源文件格式不统一，转换程序也需要不断调试修改，降低了工作效率。为解决这一问题，该软件采用系统配置功能，通过人机交互方式让源文件表头字段自动与标准格式字段查找匹配，根据匹配结果再进行个别字段匹配修改。转换规则的设置包括直接转换、不转换、代码转换和站位匹配 4 个规则，系统默认为直接转换，用户可以根据字段格式的要求进行选择。此外，对于一些源文件中不包含的特殊字段，需要在处理过程中增加，也可以通过人机交互界面选择的方式来完成。这样可以减少对源文件处理的步骤，且转换过程中不易造成字段的遗漏。

数据格式转换功能是指对选定的源文件转换为标准化文件。数据格式转换是标准化处理的关键一步，就是根据标准格式设计将原来不规则的源文件格式转成统一的、规范的文本文件的过程。处理程序功能实现主要步骤如下：用户首先要从左侧类型目录区选择所要处理的资料类型，然后设置源文件和转换后文件存放路径及文件名（转换后的标准数据文件名会自动记忆源文件名，仅后缀发生改变）；读取相应数据标准记录格式；根据字段配置，输入特殊转换规则；最后通过格式转换命令完成格式转换。

系统错误提示功能可以随时记录数据处理过程中出现的一些错误信息。源文件在录入或处理过程中会不可避免地出现一些错误，一般很难通过人工审查发现。出现的错误类型主要包括字符串长度越界、站位不匹配、代码转换不匹配、数值转换异常等几种。错误日志可以将错误的字段名称、所在行号以及数值和错误类型给出，方便用户查找和修改，减少程序调试的麻烦。

文件浏览功能可快速地帮助用户查看源文件及标准数据文件，无论文件存放在几级目录下，都能直接找到目标文件。结合系统错误提示功能，可以快速查找、处理错误信息，方便对源文件的预处理。

3 系统特点

3.1 系统集成性

底质资料类型众多，涉及沉积物粒度、碎屑矿物和化学成分等十多种数据类型，针对每一种数据类型进行程序设计工作量庞大，且系统不够优化。考虑到底质各类数据格式的共同特点，采用高度的集成方式是系统开发的一大特点。源文件输入、标准数据文件输出、数据存储结构设计、各种要素字段的转换、错误日志的输出和转换规则的匹配都采用集成统一的程序模块。

3.2 系统灵活性和可扩展性

根据底质源数据特点，基于Excel 文件读取数据，是系统开发灵活性考虑的一个方面。用户可以直接对Excel文件进行操作，无需再将源文件转换成文本格式后进行处理，减少处理环节，方便了用户的使用。系统的配置功能也极大地增强了系统的灵活性，用户可以通过数据表头字段的自动匹配，转换规则设置和代码自动转换来实现格式转换过程，从而提高了数据处理的效率。此外系统还具有很强的可扩展性，比如在调整字段个数、字段长度或位置等标准数据记录格式改变的情况下，仅需要调整标准数据记录格式配置文件，无需对源程序进行修改。

3.3 系统交互性

系统提供了友好的人机交互界面，改变过去传统的后台程序运行的模式，极大地方便了用户的使用。系统结构设计合理，操作流程简单，资料处理的整个过程都提供可视化的人机交换操作界面，并很好地解决了处理过程中的流程控制和异常控制。

4 结论

海洋底质标准化处理系统基于海洋数据处理的业务工作实际需求设计开发，解决了长期以来的海洋底质数据格式不规范的问题。系统根据海洋底质标准数据记录格式设计，具有字段配置、转换规则设置、代码及格式维护、数据格式转换、文件浏览和错误提示功能。软件系统高度的集成性、灵活性、适用性以及可视化人机交互的操作界面，使繁杂的数据处理过程变得简单易于操作，能够快速、准确完成底质数据的标准化处理，应用前景广阔。经测试和应用检验证明：软件运行稳定、使用方便，提高了数据标准化处理效率和质量。目前，该系统已应用于海洋底质数据标准化处理工作中。

[1]国家海洋局908办公室. 海洋底质调查技术规程[S].北京：海洋出版社，2006.

[2]Benny Johansen. Windows应用程序高级编程——C#编程篇[M]. 北京：清华大学出版社，2003.

[3]Didier Martin. XML高级编程[M].北京：机械工业出版社，2001.

[4]高莹，陆建华，狄建华.上海洋山港水文数据处理系统的建立[J]. 交通科技，2007(5)：115-116.

2011年4月14日

国家海洋局908专项(18070609C)