数据代理同步方法解决矿山旧业务系统集成问题

冯治东 李雄怀 卢留伟(.榆林学院信息工程学院,陕西 榆林 79000；.中国神华神东煤炭集团公司信息中心,陕西 榆林 79000；.洛阳栾川钼业集团矿山公司，洛阳 栾川 47500)

矿山信息化建设往往面临着这样一个较为现实的问题：目标企业的信息化现状如何？从纵向上看，是否已有稳定运行的传感系统、控制系统、生产执行系统、经营管理系统和决策支持系统；从横向看，是否已有一些安全管理系统、采掘控制系统、物料运输系统、机电管理系统、通风解算系统、人员定位系统和人力资源系统等[1-3]。理想的情况是，该企业为新建企业，信息化建设人员可以从零开始规划、设计系统集成方案，如以SOA架构思路或以《GBT 26335—2010 工业企业信息化集成系统规范》[4]等标准进行规划，后续新进系统严格按照已有规范开发部署，这种信息化架构合理，思路明确，成功的可能性较大，是大多研究学者的主攻方向。然而，据不完全统计，目前为止，这类“零起点”矿山企业不足我国矿山企业总数的5%，大多矿山企业已耗费了大量的人力物力引进了一些并未遵循规范的“老系统”[5]，丢弃这些系统浪费损失严重，而改版这些系统又成本代价巨大。

据此，笔者长期以来思考这样一个问题：如何以最小的代价，最高效地集成已有系统。本研究从数据角度出发，提出“数据的单流入多分发”是老业务系统间集成的基本目标和原则，并在分析传统“流入分发”方法及新一代工业企业数据集成框架基础上[6-9]，提出了“数据代理模型”解决矿山老业务系统间的集成问题，该方法无需改动原有系统,原理简单，成本较低，且能够降低系统间耦合度，可作为同行研究人员的有效参考依据。

1 多业务系统集成的基本思路

认为“数据集成”是系统集成的关键内容之一，重点讨论多业务系统间的数据集成问题。系统间的数据集成问题的关键是在不新增原有系统功能的前提下，保证多业务系统的数据一致性，如同一员工的ID、姓名、岗位等信息在ERP、办公系统和生产执行系统等平台中需要保持高度一致。

为此提出使用“单输入多分发”方法：

(1)只保留一个信息输入点，屏蔽其他输入接口。通常情况下，旧的业务系统中的同一数据需要重复录入多次，不仅使得工作繁杂，且可能造成数据不一致。可以找出其中的一个业务系统为主输入系统，屏蔽其他业务系统的输入模块，如可以将人资管理系统作为人员信息的主输入系统，屏蔽掉请销假系统、入井登记系统、人员定位系统等其他子系统的人员录入接口(可以借助制度或适当的技术手段实现)。

(2)以保留下的主输入点所在的数据库为源点，以“屏蔽掉”的其他子系统数据库为目标点，将数据进行分发，实现主数据库和目标数据库的同步共享。

归类输入点和分发点需要具有一定的技巧性，建议根据业务系统的主业务进行。

2 传统数据集成方法

数据交叉访问模型是广泛应用的数据集成模型。该模型如图1所示，子系统1、子系统2和子系统3为3个较为独立业务子系统，其各自的主数据库分别为db1、db2和db3。应用程序除了直接访问自身数据库外同时按照各自所需访问着其他数据库。

图1 多数据源交叉访问模型Fig.1 Multi-data source cross-access model

数据交叉访问模型实现了数据的高度共享，保证了数据的实时性，但由于部分数据库被频繁查询，使得数据访问效率低下，同时各系统之间交叉访问使得整个系统的耦合度增加，给扩展升级带来较大的困难。因此，人们通常情况下在各子数据库中新增所需数据表，并借助同步软件工具实现数据库表的同步，使其中数据与源数据库数据保持一致，避免了各子系统间的直接访问，相对地降低了系统耦合度，称为“数据库同步式共享模型”，如图2所示。

图2 数据库同步式共享模型Fig.2 Database synchronization sharing model

该模型中的“同步”主要指源数据库(或表)到目标数据库(或表)的同步，前者是数据的生产者，后者是前者的拷贝，是数据的消费者。例如员工“职责”信息，其“源”通常是人力资源或ERP数据库，而其“目标”通常是考勤系统、定位系统和安全管理系统数据库等。

工业互联网的关键是“互联”[10]，而互联的关键是数据共享和同步，解决数据同步问题重点从以下3个方面考虑。

(1)实时性：要求源数据库的数据改变时，目标数据库同步的越快越好。

(2)耦合度：系统之间的链接越少越好，数据量的传递越少越好，辅助性变量和载体越少越好，同时尽量不改变原来的数据库结构，使得同步后的应用程序能够正常运行。

(3)资源消耗程度：尽量降低数据库中表的访问频率，不过多地增加表或部署额外服务器。

传统的数据同步主要有2种[11-13]：①触发式同步；②轮询查询式同步。触发式同步是通过在源数据库添加触发器，当数据发生改变时，自动触发存储过程或程序进程将变化的信息反映到目标数据库，这种方法及时性高，但需要改动源数据库结构模式，导致耦合度较大，于是工程师们倾向于实时性让步于耦合性的“比对数据同步”方法，其基本思想如图3所示，使用独立进程定时轮询比对源和目标数据记录，当两边记录相异时，便将变化的源数据同步更新到目标数据库中。由于数据库结构不做改变，且由单独进程实现数据的跟进，系统间的耦合度较低。

图3 传统数据同步模型Fig.3 Traditional data synchronization model

然而，由于每个目标数据库都需要根据自身业务需求建立同步软件进程实现数据集成，导致数据库中的同一张表被多个软件进程同时访问，随着目标数据库及其业务量的增多，资源消耗线性增长，导致原有系统瘫痪甚至奔溃。为解决此问题，本研究提出基于数据代理的数据集成方案。

3 基于数据代理的数据集成方法

定义1：基于数据代理的数据共享模型。使用代理进程实时监测各源数据库，当数据变化时，将变化了的数据信息分发到各目标数据库。即代理进程负责数据的同步分发工作，首先将源数据库、目标数据库、数据表等信息注册到代理进程，代理进程根据注册信息轮询源数据，并将变化信息反馈到目标数据库中。在这种模式下，由于有限代理访问数据资源，无论目标数据库及其业务如何增长，对源数据库的访问量并无变化。

具体而言，如图4所示，代理进程主要访问源数据库、日志库和代理列表库3类资源。其中日志库用于存储分发后的数据状态信息，代理列表库用于存储目标数据库的回调地址。代理进程根据日志库，发现有数据变化时，从代理列表库中查询所有目标地址实现更新，同时将新的数据状态记录到日志库中。

4 方法应用

本研究将数据代理同步方法应用于某大型矿山企业，尝试了一些基本同步应用。以办公自动化系统(业务协同系统)人员信息数据作为单输入点，以即时通信、人员定位、安全管理、生产执行和调度监控系统为分发点。并研发了同步软件工具，首先设计数据同步模型，如图5(a)所示，然后将模型进行作业调度，定时分发数据，如图5(b)所示。代理数据同步日志和统计分析如图6所示。软件运行1 a以来，数据的一致性和及时性都能达到预期目的，一些老业务系统得到了最大化利用，应用效果较好。

图4 基于数据代理的数据同步模型Fig.4 Data agent based data synchronization

5 结 语

本研究针对并未遵循设计规范的老业务系统最大化利用问题，以数据为中心，提出了“数据的单流入与多分发”的数据代理方法实现系统集成，其原理简单，无需新增原有系统功能,只需在代理列表库中注册目标数据库的接口定义及其地址即可方便地增加新的目标数据库，实现实时性、耦合度和资源消耗程度都较为理想的系统集成方案，可最大化地减轻矿山企业在信息化建设过程中的损失。

[1] Jay Lee.Industrial Big Data-the Revolutionary Transformation and Value Creation in Industry 4.0 Era[M].Bejing:China Machine Press,2015.

[2] Nguyen T H,Prinz A,Friiso T,et al.A framework for data integration of offshore wind farms[J].Renewable Energy，2013，60(4)：150-161．

[3] 冯治东.矿井突水平行应急管理方法研究[D].西安:西安建筑科技大学,2015.

Feng Zhidong.Study and Application on Parallel Emergency Management Method for Mine Water Incrush[D].Xi′an:Xi′an Univiersity of Architecture and Technology,2015.

[4] 中国国家标准委员会.GBT 26335—2010 工业企业信息化集成系统规范[S].北京:中国标准出版社,2011.

China National Standards Committee.GBT 26335—2010 Industrial Enterprise Information Integration System Specification[S].Beijing:China Standard Press,2011.

[5] 顾清华,卢才武,江 松,等.采矿系统工程研究进展及发展趋势[J].金属矿山，2016(7):25-33.

Gu Qinghua,Lu Caiwu,Jiang Song,et al.Technical progress and development trends of mining systems engineering[J].Metal Mine,2016(7):26-31.

图5 数据集成的设计与调度Fig.5 Design and scheduling of data integration

图6 数据同步日志与统计分析Fig.6 Data synchronization log and statistics

[6] 吴立新,汪云甲,丁恩杰,等.三论数字矿山——借力物联网保障矿山安全与智能采矿[J].煤炭学报,2012，37(3):357-365.

Wu Lixin,Wang Yunia,Ding Enjie,et al.Thirdly study on digital mine：serve for mine safety and intellimine with support from IoT[J].Journal of China Coal Society,2012,37(3):357-365.

[7] 何廷润.以数据为中心的智慧城市信息体系架构研究[J].移动通信,2013,37(21):13-17.

He Tingrun.Wisdom city information architecture research of data-centric[J].Mobile Communications,2013,37(21):13-17.

[8] 神华和利时信息公司.数字矿山蓝图汇报[R].北京：中国神华集团有限责任公司,2012.

Shenhua Helishi Informtion Company.Digital Mine Blueprint Report[R].Beijing：Shenhua Group,2012.

[9] IBM商业价值研究院.中国制造2025——构建以数据洞察为驱动的新价值网络[R].北京：IBM商业价值研究院，2015.

IBM Institute for Business Value.China Industry 2025：Build a New Value Network Driven by Data Insight[R].Beijing:IBM Institute for Business Value in China,2015.

[10] 田世明，栾文鹏，张东霞，等．能源互联网技术形态与关键技术[J]．中国电机工程学报，2015，35(14)：3482-3494．

Tian Shiming，Luan Wenpeng，Zhang Dongxia，et al.Technical forms and key technologies on energy internet[J]．Proceedings of the CSEE，2015，35(14)：3482-3494．

[11] 魏红雨.基于4G地学空间数据集成关键技术研究[D].长春：吉林大学，2014.

Wei Hongyu.Research on the Key Technology Based on 4G Geological Spatial Data Integration[D].Changchun:Jilin University,2014.

[12] 马小平，胡延军，缪燕子．物联网、大数据及云计算技术在煤矿安全生产中的应用研究[J].工矿自动化,2014(4):5-9．

Ma Xiaoping，Hu Yanjun，Miao Yanzi.Application research of technologies of internet of things， big data and cloud computing in coal mine safety production[J].Industry and Mine Automation，2014(4):5-9．

[13] 刘 歆.领域数据集成及服务关键技术研究[D].北京：北京科技大学,2016.

Liu Xin.Research on the Key Techonologyies of Domain Data Integration and Service[D].Bejing:University of Science & Technology Beijing,2016.