一种基于大数据的动态建模技术

胡辉，刘宇芳，蔡昭权，盛杰，刘江林，雷莉

（1.惠州学院，惠州516007；2.惠州市叠维科技有限公司，惠州516001；3.广东科学技术职业学院，珠海519090）

一种基于大数据的动态建模技术

胡辉1，刘宇芳1，蔡昭权1，盛杰2，刘江林2，雷莉3

（1.惠州学院，惠州516007；2.惠州市叠维科技有限公司，惠州516001；3.广东科学技术职业学院，珠海519090）

在如今大数据时代，企业由单一的小系统变成复杂的多系统并存的现状以及大规模数据的产生和应用，使得企业迫切需要解决不同数据源之间的结构性差异和数据指数增长所带来的瓶颈。提出一种基于大数据的动态建模技术，有效地解决了不同数据源之间整合和重构的障碍和面向大数据的拓展性问题。

大数据；数据重构；动态建模

0　引言

在过去，许多企业通过开发各种业务系统来提升自身的能动性、工作效率和业务水平，然而这些业务系统缺少前瞻性的设计，未能考虑到系统功能的拓展性和大规模数据增长带来的存储瓶颈，使得它们急需优化升级［1］。而不同业务系统之间数据的结构性差异给数据的整合和重构带来了极大的障碍［2］。如何解决数据整合和重构以及海量数据的增长性存储这两大难题成为了讨论的热点。

本文提出了一种基于大数据的动态建模技术，通过采用弹性的存储结构，将传统数据库中横向的字段转换为纵向的弹性增长，解决了数据结构的水平扩展问题。

1　建模技术研究

一般而言，数据库的数据建模主要可以划分为三个步骤，从概念数据模型到逻辑数据模型再到物理数据模型，反映的是设计过程中从抽象数据到确定数据结构之间的关系再到编码数据结构的流程［3］。

概念数据模型是指用户对数据的看法，是一种综合性的信息需求，反映具体项目中的数据需求，包含了实体与实体之间的关系，目标是统一业务概念，作为业务人员和技术人员之间沟通的桥梁，确立不同实体之间的层次关系。逻辑数据模型是指系统分析设计人员对数据的看法，是对概念数据模型的进一步分解和细化，是对业务与对象之间关系的规划，包含了实体的关系和属性，进行范式处理，详细的描述数据，力求数据集的构建更为规范、合理和高效。物理数据模型是在逻辑数据模型的基础上进行的数据库结构化设计，包含了表和列的设计，根据实际情况定义实体之间的键位关联，用以保存真实数据［4］。

人们在这三个步骤的基础上，总结出了不少规范性的方法和工具，如E/R图建模［5］、UML建模［6］等。

2　节点容器原理

在概念数据模型和逻辑数据模型设计的阶段，可以通过用抽象节点容器的方式定义数据结构，即若将系统中的一个子集看做是一个节点容器，而一个数据环境拥有多个子集，那么系统中的子集库就可以看做是一座由一个个节点容器构成的森林。

每个子集以节点容器的方式存储在系统数据库中，我们称之为原始节点容器。每个节点容器在使用时，一般是部分使用，不过会使用多次，且每次的使用内容都不一样。因此，要为原始节点容器定义对应的用途节点容器或显示节点容器。由于不同的情况下，同一个原始节点容器有不同的使用内容，因此一个原始节点容器需要对应定义多个用途节点容器。而这些用途节点需要根据时间、进程、大小或维度进行分类，当用途节点容器已经为实际使用情景完成了所有的分类定义，即可以将这些零散的使用通过建模方式串联起来，变成一个完整连续的使用过程，并在过程中通过对使用进程、内容的判断，决定在当前建模节点需要使用哪个用途节点容器。至于具体指向哪个用途节点容器，是由建模中的具体多重输入条件交叉定位决定的。

3　动态建模

多态系统中，所有的对象、组件、交互行为，都抽象为一个子节点容器，每个子节点容器都通过其根节点进行驱动。原型节点容器，是对所有实体对象、实体组件、实际交互行为的一种原型定义，主要是定义这些对象、组件、交互行为的维度、参数。所有实体对象都从原型对象节点容器继承而来，所有实体组件都从原型组件节点容器继承而来，所有实际交互行为都从原型交互行为节点容器继承而来。通过对原型节点容器的驱动，进行所有对象、组件、行为的定义驱动，然后通过对节点容器节点的各类操作，实现所有系统的实现驱动。

单通道建模链设计，是一种将实际数据进程逻辑转换为系统最简易驱动的系统建模逻辑的方法。该方法中是将一个复杂的数据进程逻辑，转换为多个单一的、固定方向的数据进程逻辑，通过节点的任意增加、删除，以及提交与驳回的自定义，实现数据的动态建模。

我们假设一个实际的数据进程图，这个数据进程图有两次判断，每次判断后，都会有多个分支，如下图1所示。

图1　数据进程图

第一步，将所有操作框从1开始顺序编号，开始框、结束框、判断框都不能编号，如图2所示。

图2　数据进程序号图

第二步，从开始框出发，按序号最小且可连接的操作框经过，直到结束框，将此路径经过的操作框顺序记录，即成为一个建模通道。第一个通道为0-1-3-5-Z，每个通道的标记为，从0开始，从Z结束，如图3所示。

第三步，去掉原建模图中独立的操作框，本步中为第2、第5框，如图4所示：

图3　建模分解图一

图4　建模分解图二

第四步，按第二步的方法，从开始框出发，沿着序号最小，且达连接的操作框前进，直到结束框，将此路径经过的操作框顺序记录，即为下一个建模通道，第二个建模通道标记为0-1-3-Z，如图5所示。

图5　建模分解图三

第五步：依此类推，如图6所示。

图6　建模分解图四

第六步：按操作框的序号顺序，自上而下排列到不同行道，对于相同编号的操作框，从0.1开始顺序标记子序号，如图7所示：

图7　建模分解图五

单通道建模链的优点，是将建模中需要判断、分支的逻辑去掉，单通链建模链中任何一个节点，要么提交前进到下一个节点，要么驳回到上一个节点，简化了程序的判断逻辑，也就简化了用户在配置建模时的逻辑。现有的工作流引擎，都为了满足建模与判断的灵活性，给每个节点都设置了条件参数的组合输入，但条件参数的组合，已经比较靠近IT程序员的思考逻辑，对于普遍的建模驱动用户来说，会难于理解且容易配置错误。而现有的工作流引擎在配置这种复杂的判断逻辑时，还没有一个真正成熟的子集与算法，导致实现自定义的同时，存在较多的程序漏洞与风险。因此，将工作流引擎逻辑简化为单通道建模链，一方面可以提升系统的稳定性，另一方面也能让普通的建模驱动员（没有IT背景）能直接理解与配置建模。

4　结语

通过对数据库设计原理的研究和节点容器的设计，提出了一种基于大数据的动态建模技术思路。本文提出了一种基于大数据的动态建模技术，通过采用弹性的存储结构，将传统数据库中横向的字段转换为纵向的弹性增长，解决了数据结构的水平扩展问题以及不同数据库数据在融合过程中出现的结构性差异带来的障碍性问题，从而实现了不同数据集成结构的数据整合和重构。

［1］涂炎钦.海南省国土资源业务系统统一组织架构研究［J］.国土资源信息化，2015，05:15-17+9.

［2］孟浩华，匡尧.电力企业信息系统数据库优化整合研究与实践［J］.电力信息化，2013，04:74-77.

［3］郝进义.数据库设计规范及设计技巧研究［J］.计算机光盘软件与应用，2012，12:176-177.

［4］李长海，郭颖，董广辉.浅析数据库设计［J］.数字技术与应用，2010，08:176.

［5］刘禹锋，朱云，曾晓勤.图文法EGG在ER图设计中的应用［J］.计算机工程与设计，2014，03:1071-1075.

［6］郭婧，吴军华.面向方面的UML建模［J］.计算机工程与设计，2011，32（12）:4260-4264.

Dynamic Modeling Technology Based on Big Data

HU Hui1，LIU Yu-fang1，CAI Zhao-quan1，SHENG Jie2，LIU Jiang-lin2，LEI Li3

（1.Huizhou University，Huizhou 516007；2.Huizhou Diewei Technology Ltd.，Huizhou 516001；3.Guangdong Institute of Science and Technology，Zhuhai 519090）

Generation and application of the status quo in today era of big data，enterprise from a single small system become more complex system coexist and large-scale data so that enterprises urgently need to address the structural differences between the data source and the data carried by the exponential growth to bottlenecks.Presents a technology based on dynamic modeling of big data，effective solution integration between different data sources and reconstruction of the obstacles and problems facing the expansion of big data.

Big Data；Data Reconstruction；Dynamic Modeling

广东省教科规划项目（No.11JXZ012、No.14JXN065）、广东省自然科学基金项目（No.S2013010013432、No.S201301001 5940）、广东省教育厅项目（No.2013LYM00874）、广东省高校优秀青年创新人才培养计划资助项目（No.2013 LYM_0087）、惠州市科技计划项目（No.2013B020015008、No.2014B020004026、No.2014B050013016、No.2014B02 0004023）、肇庆市科技计划目（No.2015B010902009）

1007-1423（2016）25-0008-04DOI：10.3969/j.issn.1007-1423.2016.25.002

胡辉（1979-），女，江苏盐城人，硕士，讲师，研究方向为计算机软件

2016-06-21

2016-08-26