面向船舶制造的统一数据库集成平台应用研究

卞德志，胡昌平，杨 哲，王 梦，单文金，宋飞飞

(1.中国船舶重工集团公司第七一六研究所 江苏 连云港 222006；2.中船重工信息科技有限公司 江苏 连云港 222006；3.南京医科大学康达学院 江苏 连云港 222000)

0 引 言

随着“中国制造2 025”、“海洋强国”等不断落实和推进，国内各大船舶制造企业积极响应国家号召，不断提升船舶制造过程中的信息化、数字化水平[1]。但是，目前国内绝大部分船舶制造企业由于长期依赖传统的建造加工方式，同时缺乏统一的信息化顶层建设规划，从而导致各业务系统建设步骤混乱[2]，“信息孤岛”现象长期存在，数据集成工作异常繁重，无法准确定位企业的运营状态，难以实现精细化管理[3]。同时，我国船舶设计还未实现自顶向下的全过程集成，现有系统的集成度较差，系统协同能力和柔性应对能力较弱，产品设计、制造、管理的信息化集成度低下，主线仍未贯通[4]。为了实时、准确掌握企业运营状态，尽可能降低企业集成成本，需要统一标准的数据库集成平台将各个异构数据库连接起来。如何科学管理各业务数据库以实现高效地分析利用是一个非常重要的任务。该任务的实现，对有效利用业务数据以减少不必要的工作，合理开展船舶建造业务，精准管理企业等具有重要现实意义。

船舶制造企业业务种类较多，覆盖船舶产品的前期研发、详细设计、生产制造、生产管理、日常经营和决策等过程。船舶企业数据集成工作就是将支撑企业生产运营的CAD，CAE，CAM，CAPP，PDM，ERP，MES 等系统的数据库有效连接起来，并对各业务数据进行关联和分析展示。

1 船舶制造异构数据库集成概述

1.1 船舶制造数据库集成现状

船舶制造是一个典型的多品种、小批量，多工种、跨专业，工作开展面广、交叉作业量大的系统工程[5-7]。这就导致船舶企业在建设信息化时的业务系统种类繁多，结构化、半结构化和非结构化数据大量存在，并且数据的集成度较低，无法满足企业实时了解生产经营情况的需求[8-9]。随着国内船舶制造企业信息化建设的不断推进，越来越多的企业认为数据集成工作迫在眉睫[10]。

国内船舶制造企业的信息化建设是分阶段进行的，在每个阶段都可能应用不同的开发平台和不同的应用标准，从而产生了大量的异构信息[11]。经过充分调研国内大中型造船厂的数据库集成工作，如大连船厂、沪东中华造船厂、外高桥造船厂、中远川崎船厂等，发现大部分企业仅仅进行了部分结构化数据库的集成，并未开展半结构化和非结构化数据集成工作。另外，大多数企业未对元数据、数据字典、信息分类与代码标准进行全面梳理，集成工作返工量较大，未按照标准的信息集成步骤进行。同时，由于绝大部分系统供应商在研发业务应用系统时未能提供标准的信息交换接口，造船企业自身的业务流程管理标准不统一等这些情况造成了企业数据库集成工作开展异常困难。

1.2 船舶制造异构数据库集成目标和任务

船舶制造异构数据库集成的目标是将异构的、分散的源数据抽取出来，并根据用户需要进行数据挖掘与分析，将分析结果呈现给用户，为企业生产运营提供有力支撑。

船舶制造异构数据库集成应解决以下5 个问题：

1）分布性。针对业务系统分散部署的特点，实现数据的集中与汇总。

2）异构性。分为系统异构和结构异构。针对源数据业务系统采用的操作系统、数据库管理系统的不同构成系统异构；各业务数据库的存储方式上不同构成结构异构。

3）自治性。对原有应用系统的数据库进行集成时，不能影响原有系统的正常运行。

4）扩展性。集成平台应具有良好扩展和适应性，对于数据源的数量可以灵活适配，同时适应内容及格式的调整。

5）可靠性。保证数据的可靠传输，适应不同软件、硬件以及网络环境中的系统通信问题。

切实解决以上5 点问题，并在此基础上运用大数据等技术聚焦船舶设计、计划、生产、服务等业务场景实现数据的挖掘与分析，基本可以完成船舶制造异构数据库的集成任务[12-13]。

2 统一数据库集成平台设计

2.1 设计思路

面向船舶制造的统一数据库集成平台以国内某大型船舶制造企业的业务数据为基础，汇聚船舶制造结构信息、图纸信息、报表信息、设计管理、进度管理、物资管理等各种数据以及外部相关数据资源，实现集成数据统一交换、存储和安全管理。

平台总体架构如图1 所示。主要分为网络层、数据源层、集成层、数据层和应用层等5 层架构，集成层采用兼容多种数据库的ETL 工具实时与各业务数据库进行集成，集成数据经过抽取、清洗、转换后，统一存储在数据层的统一数据库内。在统一数据库中根据不同船厂不同业务类别构建独立的厂级数据和主题数据库，结合业务场景采用大数据技术实现应用层的查询检索、数值分析、数据挖掘、生产决策等应用与展示。

图1 船舶制造统一数据库集成平台总体架构Fig.1 Overall architecture of unified database integration platform for shipbuilding

图2 船舶制造统一数据库集成平台技术架构Fig.2 Technical architecture of unified database integration platform for shipbuilding

平台技术架构如图2 所示。主要分为数据汇集子平台、数据治理子平台、数据共享子平台，提供实时数据和历史数据的集成、处理、分析与共享功能。数据汇集子平台主要将采集到的能源、物料、设备、场地、人员等实时数据或历史数据通过实时数据采集器或离线分析数据采集器发送至实时流处理与计算引擎，通过数据治理子平台进行数据预处理、装载、详单处理、明细数据处理同步和数据挖掘等处理操作，最终将计算结果上传至数据共享子平台供用户进行即席分析、分析专题、专题挖掘和门户集成等应用。

2.2 数据标准的建立

该平台数据标准体系由信息分类与代码、元数据、数据字典等3 部分组成，它们相互作用、相互依赖、相互补充。

1）信息分类与代码标准。根据业务和管理需求，科学合理的进行信息分类，建立标准代码，是信息处理、信息交换和资源共享的前提。船舶制造信息分类与代码构建示例如表1 所示。

表1 船舶制造信息分类与代码构建示例Tab.1 Information classification and code construction

2）元数据标准。明确哪些数据在统一数据库中，定义进入统一数据库的数据和从统一数据库中产生的数据，安排数据抽取的工作时间并进行数据一致性的检测。船舶制造元数据构建示例如表2 所示。

表2 船舶制造元数据构建示例Tab.2 Metadata construction for shipbuilding

3）数据字典。定义和说明数据流、数据存储、数据项，统一不同系统中对相同数据的定义。船舶制造数据字典构建示例如表3 所示。

2.3 关键技术

为解决异构数据的交换问题，本文进行了基于元数据的模式集成研究，通过构建元数据库统一管理各异构数据库中的元数据，并利用设定的模式信息和模式规则来解决异构数据库模式之间的结构冲突和语义冲突，最终实现各类数据库之间的共享与交互。本文重点介绍集成过程中的结构差异和语义差异解决办法，具体如下：

1）结构差异

相似结构差异。源表的多个属性能通过合并操作转成目标表的一个属性；源表的一个属性亦能拆分成目标表的多个属性，如表4 所示。

表3 船体区域数据字典构建示例Tab.3 Hull area data dictionary

表4 源表与目标表的属性结构冲突Tab.4 Attribute structure conflict between source and target table

针对表4 中的属性结构冲突，将设备信息库中的“通信地址”分裂为“地址、编码”，实现相似结构差异的冲突解决。

相异结构差异。相异结构差异可以分为5 种情况：值与属性的差异、值的差异、表的差异、属性与值差异、表与值差异。例如图3 中A 船厂中的日期与订单量，B 船厂中的日期与订单量可以合并为一个表。

图3 A 船厂与B 船厂相异结构差异解决示例Fig.3 A shipyard and B shipyard differential structure solution

2）语义差异

集成过程中的语义差异主要为属性的类型、格式、单位、精度、命名等的差异。如表5 所示，针对数据类型差异的冲突解决策略是将某种数据的类型统一转变成另一种数据的类型，使整体数据库的同种含义的数据保持类型统一。

表5 数据类型语义差异解决示例Tab.5 Semantic difference resolution for data types

3 统一数据库集成平台的实现

3.1 数据抽取与转换

通过统一数据库集成平台中的数据抽取功能将待转换的数据从源数据库中提取出来。首先用户要选择提取的源数据库，写入提取的SQL 及相应的字段，在参数设置一栏写明提取字段的对应转换字段名称及类型即可实现对数据库的数据抽取与转换操作。

3.2 数据同步策略

统一数据库集成平台中的任务调度模块提供管理员设置数据更新时间、更新频率（小时）、更新方式（全量/增量）。在平台建立与各业务数据库的连接后，首先对用户提供的业务数据库进行首次同步，将目标数据同步到统一数据库集成平台中并做批量索引和保存。针对业务数据的特点不同，提供3 种更新策略：全量更新、增量更新、混合更新。

1）全量更新。对于经常变化的数据源，管理员可以配置较低频率全量更新模式，即对全表进行重新抽取，在建立新的索引后，替换原有索引，更新速度可达到5 000 万～1 亿条/天。

2）增量更新。对于基本不存在内容修改的数据，管理员可以配置较高频率的增量更新模式，利用时间戳对前次处理时间与本次处理时间之间的数据进行抽取，同时建立增量索引。

3）混合更新。针对数据库中存在少量删除记录的情况，全文索引方式无法及时发现，采用高速频繁的增量更新与定期全量更新的方式满足此种情况。

3.3 数据集成可视化

本文研究的船舶制造统一数据库集成平台成功应用到国内某大型船舶制造公司的管件加工车间，集成了管加车间的MES，ERP，WMS，BCS，PDM，QMS 等系统的数据库，并将业务数根据用户需求搭建出了工程整体统计分析、工程实际配送量统计分析、工程库存量统计分析、工程车间交接量统计分析、工程计划下达量统计分析和工程总数量统计分析等业务应用场景，为该船厂的业务流程优化与领导决策管理提供有力支撑。

4 结 语

本文针对国内大中型船舶制造企业“信息孤岛”现象，提出面向船舶行业的统一数据库集成平台，分析船舶制造企业数据库集成的现状、目标与任务，研究平台整体架构与数据标准，实现了基于元数据的模式集成等关键技术，搭建了数据汇集子平台、数据治理子平台和数据共享子平台，进而完成了船舶业务系统的数据抽取、治理与共享。该平台已成功应用于国内某大型船舶制造企业的管件加工车间，为船舶管件加工车间透明化生产与管理提供可靠保障，对其他船舶企业异构数据库集成工作的开展具有现实借鉴意义。