一种面向船舶平台设备的数据管理系统设计与实现∗

马 辰 李 玮 薛 松 韩世杰 曹宁生

（1.中国舰船研究院 北京 100192）（2.北京计算机技术及应用研究所 北京 100854）

一种面向船舶平台设备的数据管理系统设计与实现∗

马 辰1李 玮1薛 松1韩世杰2曹宁生1

（1.中国舰船研究院 北京 100192）（2.北京计算机技术及应用研究所 北京 100854）

论文从数据处理、数据库和数据类型等三个方面分析船舶平台设备对数据管理系统的需求，在此基础上设计并实施一种新型的船舶数据管理系统，并实现多源多类型数据的存储与展示功能。

机电平台；数据管理系统；大数据；数据库

1 引言

全舰计算环境（total ship computing environment，TSCE）是新一代舰载集成技术，对舰艇平台信 息 化 具 有 重 要 的 意 义 和 影 响［1～2］。 美 军 在DDG-1000中，实现了TSCE，引起了国内众多研究人员的关注［3～5］。与传统的舰载信息系统相比，TSCE需要支撑通用显示系统、传感系统、武器系统、平台系统、训练系统、指挥系统和外部通信系统等诸多分系统［5～6］。

相关专家对未来我国船舶的信息技术也进行了规划和展望。文献［7］对我军的全舰计算环境的任务作出规划，提出在传感器信息管理域、平台控制域和武控通道管理域都要基于TSCE。因而，在数据管理中，需要考虑各领域对数据需求的不同带来的差异。文献［8］详细的对比了舰载信息化装备和通用信息系统的区别，指出舰载信息化装备的主要目的是控制、驱动物理传感器和武器，报文类型较少，格式确定，实时性要求高等特点，其中数据约大部分具备时效性，短时间有效。

未来的船舶信息系统，集成了各类信息系统，在其使用中，产生了大量的报文、图像、音频、视频等多类数据，需要进行统一采集、存储和管理。大数据时代的到来，为数据管理系统提出了新的要求。目前，数据只有部分是结构化的，适用于传统数据库；而许多数据如协议、文本和图像等是半结构化和非结构化的，需要有合适的数据存储机制来存储和检索［9］。并且大数据架构也提供了多种数据分析方法，使得对数据进行多维度的分析成为可能［10］。

本文对船舶数据管理系统进行描述，从数据处理、数据库和数据类型等三个方面对船舶数据管理系统进行分析，并设计出一种基于分布式集群的数据管理系统（Data Management System，DMS），在此基础上进行软件开发，实现了软件仓库和机电监控大屏两个应用。

2 数据需求概述

数据管理系统为用户提供数据存储、检索和处理等功能的综合管理系统。由于船舶所涉及专业对数据使用的目的、范围、时延等要求不同，因而在DMS中需要根据不同的专业分析其数据处理特点，进行差异化数据管理。在本文中，根据数据管理的逻辑结构，由上至下，将其分为数据处理、数据库和数据类型三层，如图1所示。

图1 数据管理系统架构图

2.1 数据处理

数据处理可分为联机事务处理过程（On-Line Transaction Processing，OLTP）和联机分析处理过程（On-Line Analytical Processing，OLAP）。 其 中 ，OLTP也被称为面向交易的处理系统，由前台、应用和数据库共同完成，基本特征是前台接收应用的数据可以立即传送到计算中心的数据库中进行处理，并在短时间里给出计算结果。由于OLTP处理速度快，响应及时，因而也被称为实时系统。OLAP主要适用于数据的分析和挖掘，使分析人员或管理人员能够从多维度对数据进行快速、一致、交互地存取，从而获得更多有效的数据分析信息。OLAP是数据仓库中的主要应用，支持对数据复杂分析操作，并提供多样化表示的查询结果。由于OLAP具有灵活的分析功能、直观的数据操作和分析结果可视化表示等突出优点，用户对基于大量复杂数据的分析变得轻松而高效，能够迅速做出正确判断。

在船舶平台中，各控制类专业应用以OLTP为主，例如导航、动力等专业，主要是实时的数据检索与记录，时延要求比较高；而在综合决策的专业中，需要查阅大量历史数据，并分析其规律，为指挥人员提供决策依据，例如路径规划、海况感知等，大多数此类应用属于OLAP类业务。OLTP和OLAP的对比如表1所示。

表1 数据处理对比表

2.2 数据库

数据库有多种分类方法，数据模型角度上可以分为关系型和非关系型数据库，计算机系统上分为嵌入式数据库和通用数据库，部署位置上又能分为单机数据库和分布式数据库。下面，本文主要从数据模型上对数据库进行对比分析。

关系型数据库（Relational Database）是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据，其数据类型主要是关系型数据。嵌入式数据库是一种特殊的关系型数据库。在嵌入式系统中，对数据库的操作具有定时限制的特性，这是把应用于嵌入式系统的数据库称为嵌入式数据库或嵌入式实时数据库系统（Embedded Real-Time Database System，ERTDBS）。可靠性要求是毋容置疑的，嵌入式系统必须能够在没有人工干预的情况下，长时间不间断地运行。同时要求数据库操作具备可预知性，而且系统的大小和性能也都必须是可预知的，这样才能保证系统的性能。嵌入式系统中会不可避免地与底层硬件打交道，因此在数据管理时，也要有底层控制的能力，如什么时候会发生磁盘操作，磁盘操作的次数，如何控制等。底层控制的能力是决定数据库管理操作的关键。嵌入式数据库是嵌入式系统的重要组成部分，也成为定制化应用进行开发和管理的必要手段。随着计算机技术的发展，嵌入式数据库已不仅仅局限于嵌入式系统，由于其具有资源需求少、处理速度快等优点，在个人机和服务器的轻应用中也得到了广泛的应用。

NoSQL（Not only SQL）泛指非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在处理web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。非关系型数据库一般分为键值（Key-value）存储数据库、列存储数据库、文档型数据库和图形数据库。非关系型数据库并没有一个明确的范围和定义，但是它们都普遍存在着无需预定义模式、无共享架构、弹性可扩展、分区和异步复制等共同特征，适用于数据模型比较简单、灵活性强、数据库性能要求高、数据一致性低并且可以映射复杂值的环境。

从部署方式的角度上来讲，分布式数据库（Distributed Database，DDB）通常使用较小的计算机系统，每台计算机可单独放在一个地方，每台计算机中都可能有DDB的一份或部分拷贝副本，并具有自己局部的数据库，位于不同地点的许多计算机通过网络相互连接，共同组成一个完整的、全局的逻辑上集中、物理上分布的大型数据库。分布式数据库是大规模并行处理系统（Massive Parallel Processing，MPP）的一个重要应用。在未来的船舶DMS发展中，有两个方向需要注意，一是集中使用若干台服务器用来存储海量数据；二是协调不同的服务器和边缘计算机之间的存储空间，优化存储方式。而这两类情况，均需要考虑数据库的分布式存储和备份。

数据库的对比如表2所示。

表2 数据库对比表

2.3 数据类型

随着船舶信息化和智能化程度的提高，数据管理系统需要处理的数据类型也越来越多样化，总体来讲可以分为结构化数据、半结构化数据和非结构化数据。

结构化数据能够用数据或统一的结构加以表示，如数字、符号。传统关系数据模型、行数据，存储于数据库，可用二维表结构表示，因而结构化数据的模型为二维表。在平台设备中，大部分的二维数据表格都是结构化数据。

半结构化数据是介于完全结构化数据（如关系型数据库、面向对象数据库中的数据）和完全无结构的数据（如声音、图像文件等）之间的数据，XML、HTML文档就属于半结构化数据。它一般是自描述的，数据的结构和内容混在一起，没有明显的区分。半结构化数据的模型为树和图。在平台中，导航路径一种典型的半结构化数据。在导航路径中，航路节点由若干只有经纬度的二维节点构成，是简单的叉树。

非结构化数据库是指其字段长度可变，并且每个字段的记录又可以由可重复或不可重复的子字段构成的数据库，用它不仅可以处理结构化数据（如数字、符号等信息）而且更适合处理非结构化数据（全文文本、图像、声音、影视、超媒体等信息）。非结构化数据无数据模型。在平台中，视频传回的图像和文本数据均以非结构化数据存在。

3 数据管理系统设计

基于船舶平台设备的数据需求，本文设计一种DMS，用来存储和管理船舶中的数据。

3.1 数据关系设计

在DMS中，首先要考虑数据之间的关系与流向，利用DDS消息中间件为船舶平台设备与各类数据库和处理架构之间的提供统一的传递通道，为船舶平台提供多种可以定制化的数据处理方式，其数据关系图如图2所示。

图2 数据关系图

船舶平台中各类传感器获取的数据可以直接送入任何一类数据库和分布式文件系统进行管理。嵌入式数据库在任务机中提供少量数据的快速存取；通用关系型数据库既为嵌入式数据库做备份，也可为容许毫秒级延时的业务提供数据存取；非关系型数据库依赖大数据分布式文件管理系统，存储和备份平台、嵌入式数据库以及通用关系型数据库的数据，并且为大数据的计算提供数据支撑；分布式文件管理系统，既可以为非关系型数据库提供支撑，也可以直接存入大容量文件。

在数据管理系统的顶层，由大数据组件的MapReduce、Spark等提供海量数据计算，并且支持应用中的数据挖掘、机器学习等智能化算法。在整个数据处理过程中，可以分别由不同的数据库提供图形、表格、动态显示等多种方式的数据展示。

3.2 软件架构设计

图3是船舶平台DMS的架构图。在本设计中，该系统分为数据库、数据管理系统和应用示例等三层。

图3 数据管理系统软件架构

在底层是数据库，包含了嵌入式数据库、通用关系数据库和非关系型数据库。嵌入式数据库应用于机电设备中，与设备的控制监测应用软件一同编译，能够有效地提高设备的实时控制效率。通用数据库在于各类控制台中，通用DDS消息中间件，实现数据的快速存储和检索。非关系型数据库存在于服务器中，能够对嵌入式数据库和通用关系型数据库中的数据实现汇集和备份，并为各类应用提供接口。中间是数据管理系统，由数据存储、数据管理、数据检索、数据展示、接口管理、硬件管理、用户管理和界面设计等八个模块构成，各模块功能如表3所示。最上层是应用实例层，可以分为实时应用、非实时应用、数据监控和决策分析等四种。实时应用中，部分应用与嵌入式数据库通过专业接口直接实现数据的增删改查，部分应用通过DDS消息中间件，实现与通用数据库的连通；非实时应用，例如软件仓库，其对数据的实效性管理不强，但是需要存储大容量的数据，此类应用可以分别与关系型数据库和非关系型数据库连接；数据监控，能够监测到实时监控、非实时存储以及实时计算等各类数据；决策分析主要指对数据库中的数据进行计算和管理。

表3 数据管理系统各部分功能表

3.3 系统部署环境

船舶平台的数据管理系统主要任务是实现多任务机（动力、电力、导航、推进等）之间数据传输、存储、处理和展示等功能，实现数据的优化管理，其部署如图4所示。

数据传输部分由若干台接入交换机、汇聚交换机和有线传输线缆组成。接入交换机负责将船舶平台设备中的任务机和传感器接入到系统中；汇聚交换机负责平台内部网络的通连。

图4 数据管理系统部署图

数据存储部分硬件由若干台任务机和两组服务器实现，软件由嵌入式数据库、关系型数据库、非关系数据库以及分布式文件管理系统实现，配置如表4所示，数据关系如图4所示。在任务机中，由于其数据实时性比较高，需要对数据快速的存储和查询，因而使用嵌入式数据库，其数据定时汇入平台系统数据管理服务器和综合大数据管理服务器中；由一台服务器，使用关系型数据库，组成船舶平台设备数据管理服务器，主要作用是为船舶平台系统提供数据存储和查询服务，其数据定时汇入综合大数据管理服务器中；两台安装大数据组件的服务器组成综合大数据管理服务器，其作用主要是为船舶平台系统提供数据资源的存储和备份，并支撑上层应用的数据挖掘。

表4 数据管理系统设备配置表

4 数据管理系统应用

4.1 软件仓库

软件仓库是基于船舶DMS的一款非实时应用，该应用的目的是用户能够在客户端实现软件的增、删、改、查以及自动部署。在软件仓库应用中，使用关系型数据库和分布式文件系统。在软件仓库中，首先有一张信息表存储软件的名称、版本等基本信息。软件通过两种方式存储，小于4G的软件以blob的格式存储在关系型数据库中；大于4G的软件以文件的方式存储于分布式文件系统中，并在信息表中存储软件在分布式文件系统中的索引信息。

图5 软件仓库示例

客户端和数据库通过DDS消息中间件进行控制信息和软件的数据传输。当用户需要存入一个软件时，可以在信息表中新建一条记录，并且根据软件的大小自动分配存储位置；当用户需要部署某一软件时，用户向数据库发送请求，将不同位置的软件发送至相关终端机的文件夹中。软件仓库的功能界面如图5所示，通过此示例，可以有效的验证数据管理系统对于非实时应用的支持。

4.2 监控大屏

在数据管理系统的基础上，我们做了机电系统的监控大屏，如图6所示。在该示例中，数据来源于不同方式的应用，其中左上图中的电流、电压数据来源于实时监控传感器，功率数据来源于实时计算；右上的电压监控图像，来源于传感器的实时监控；左下的负载数据，来源于通用数据库；右下的用电量分析数据，来源于非关系型数据库。屏中的数据均实现2s一次的刷新频率。通过该示例，能够有效地验证数据管理系统在数据处理和数据流向上，支持不同的数据应用。

图6 监控大屏示例

5 结语

本文首先分析船舶平台的数据需求，设计一种数据管理模型，从数据关系、软件架构和系统部署三个方面进行设计，并在此基础上开发了软件仓库和机电监控两个应用。这两个应用能够有效的验证所提数据管理系统的功能，实现多源数据的存储、管理与展示功能。

［1］张伟.美国海军全舰计算环境发展及关键技术［J］.舰船科学技术，2016，38（4）：148-152.ZHANG Wei.Total Ship Computing Environment Development and Key Technologies［J］.Ship Science and Technology，2016，38（4）：148-152.

［2］董晓明.新一代水面舰艇作战系统发展理念及途径［J］.中国舰船研究，2015，10（1）：1-6.DONG Xiaoming.Development Concepts and Approaches of the Next Generation Combat System for Surface Combatant Ship［J］.Chinese Journal of Ship Research，2015，10（1）：1-6.

［3］董晓明，石朝明，黄坤，等.美海军DDG-1000全舰计算环境体系结构探析［J］.中国舰船研究，2012，7（6）：7-15.DONG Xiaoming，SHI Chaoming，HUANG Kun，et al.Analysis on the Architecture of USN DDG-1000 Total Ship Computing Environment［J］.Chinese Journal of Ship Research，2012，7（6）：7-15.

［4］裴晓黎.美海军TSCE设计剖析及对我军信息系统集成模式的启示［J］.计算机与数字工程，2015，43（9）：1607-1614.PEI Xiaoli.Analysis of USA Navy TSCE Design and Enlightenment in Information System Integration Model［J］.Computer& DigitalEngineering，2015，43 （9） ：1607-1614.

［5］姜艳，杨心武，吴明，等.美海军DDG-1000舰任务系统关键信息技术分析［J］.舰船电子工程，2016，36（12）：14-22.JIANG Yan，YANG Xinwu，WU Ming，et al.Key Information Technologies of US Navy Ship DDG-1000 Mission System［J］.Ship Electronic Engineering，2016，36（12）：14-22.

［6］黄坤，石朝明，董晓明，等.面向服务的舰艇作战系统集成框架研究与原理验证［J］.中国舰船研究，2013，8（5）：1-5.HUANG Kun，SHI Chaoming，DONG Xiaoming，et al.A Service-Oriented Integration Architecture of Ship Combat Systems and Its Principle Verification［J］.Chinese Journal of Ship Research，2013，8（5）：1-5.

［7］徐勇.全舰计算环境及信息化总体概念方案研究［J］.舰船电子工程，2016，36（11）：12-20.XU Yong.Conceptual Scheme of Total Ship Computing Environment and Information System［J］.Ship Electronic Engineering，2016，36（11）：12-20.

［8］陆光宇，孔祥营，刘云飞，等.舰载信息化装备安全可信计算环境构建技术［J］.指挥控制与仿真，2015，37（6）：94-99.LU Guangyu，KONG Xiangying，LIU Yunfei，et al.Construction Technology of Trusted Computing Environment for Warship Information Equipment［J］.Command Control&Simulation，2015，37（6）：94-99.

［9］维克托·迈尔—舍恩伯格，肯尼思·库克耶.大数据时代——生活、工作与思维的大变革［M］.杭州：浙江人民出版社，2013.Viktor Mayer-Schönberger，Kenneth Cukier.Big Data a Revolution：That Will Transform How We Live，Work，and Think［M］.Hangzhou：Zhejiang People's Publishing House，2013.

［10］何健伟.基于Hadoop的数据挖掘算法研究与实现［D］.北京：北京邮电大学，2014.HE Jiangwei.The Research and Implement of Data Mining Algorithms based on Hadoop［D］.Beijing：Beijing University of Posts and Telecommunications，2014.11.

Design and Implementation of Data Management System for Devices of Ship Platform

MA Chen1LI Wei1XUE Song1HAN Shijie2CAO Ningsheng1
（1.China Ship Research and Development Academy，Beijing 100192）（2.Beijing Institute of Computer Technology and Application，Beijing 100854）

In this work，data management system（DMS）is analyzed by data processing，data base and data type of each field of the ship mechanical and electronic platform.And then，a new DMS for ship is designed and deployed with functions of multi-source and multi-type data restored and shown.

mechanical and electronic platform，data management system，big data，database

F926

10.3969/j.issn.1672-9722.2017.11.023

Class Number F926