基于通用评估系统环境下数据管理平台设计的研究及思考

冯济舟

(中国电子科技集团公司第三十八研究所 合肥 230088)

(ajizhou@163.com)

随着现代体系工程技术的发展，传统依靠人为对客体因素定性评估，完成最终部署和决策的方式已远远不能满足现代工程的需要，基于大量客体信息数据的智能化评估系统已成为当今工程部署及指挥的重要决策工具.通过智能化评估系统，可预先、快速、全面、准确地考虑到工程实施场景中所存在的各种因素及问题，为保障工程达到预期效果，具有积极意义.

然而，不同于游戏场景依赖于游戏玩家的操作熟练性和反应敏捷性，工程仿真场景中数据及效果存在理想性和模糊性.在现代体系工程中，随着现代化程度的不断发展，影响客体评估的因素越来越复杂，评估系统除了采信工程客体基本信息外，更需要考虑工程客体实施的地理位置、环境因素以及与同行业工程客体的对比，如先进性、指标和可靠性等，然而与这些因素相关的重要的数据是无法通过想象或询问的方式来获得精确数据，而直接采用理论数据又会使评估系统失去提供信息、辅助决策的意义，因此对于评估系统的基础数据而言，需要通过收集、整理而获得大量真实、可靠的实际数据基础上，反复挖掘(过滤、提取、比对、优化)、不断迭代，从而使评估系统符合实际需求具有辅助决策、战略布局的真正意义.从数据库中清理与集成数据，形成数据仓库，通过数据选择与转换，形成特定数据集，再数据挖掘形成模式，最后通过评估与表示，形成知识集，其过程如图1所示:

图1 具有反馈效应的评估系统基础数据迭代挖掘模型图

其中，评估系统基础数据清理是指清除评估系统基础数据的噪声，其中噪声指的是与评估系统无关的数据；评估系统基础数据集成是指对来自多种数据来源的评估系统基础数据进行聚类分析，将具有关联的数据组合到一起；评估系统基础数据选择是指从基础数据库中提取与所要分析的任务场景相关的数据；评估系统基础数据转换是将任务场景的相关数据转换为易于进行数据挖掘的表达形式；评估系统基础数据挖掘是利用智能方法，从转换的表达形式中分析出模式或规律知识；评估系统知识表示是根据一定的评估标准，从评估系统基础数据挖掘出的结果中筛选出有意义的模式或规律知识，并用可视化的知识表达技术向用户展示挖掘出的知识.

因此评估系统除了指标体系的合理、准确地建立之外，就是数据如何组织、管理和向评估系统提供服务.目前，国内以评估系统为背景的数据管理平台的设计方法还处于起步阶段，基本都集中在针对评估系统数据管理平台本身局部工作环节功能要求的研究，缺乏系统地从数据收集到平台实现完整的建模方法和解决方案.而且由各个基于数据管理平台局部工作环节功能要求研究所得出的最佳解决方案[1-3]，往往在组合成数据管理平台总体解决方案时无法达到全局最优的效果；其次，对于评估系统数据管理平台的架构设计直接套用当前比较流行的大数据、人工智能和数据挖掘技术框架，忽略了评估系统数据的封闭性、保密性和安全性[4-5].与大数据、人工智能和数据挖掘技术[6]获取的数据来源于互联网或者某种电子媒介的数据集不同，评估系统数据往往存在于各种媒介和各种资料中，只能通过人工的收集和整理来获得；再次，对于人工收集、整理的评估系统数据缺少有效的优化策略.对于人工通过各种资料形式整理获得的数据，即使是理论上有用或者以后可能使用的数据，都可能成为当前应用系统的噪声，但忽略这些数据项信息又不利于应用系统的完善和扩展，因此对于评估系统数据管理平台来说，需要有一种灵活、动态、智能化且可定制的数据集成策略；最后，当前的数据收集方法容易造成数据的失真性，缺乏对所收集数据的反馈、更新、迭代、改善的策略，将直接影响到评估系统的效果和客户使用应用系统的初衷.

本文基于评估系统环境下未来大数据量存储和应用趋势，提出了一种从数据收集到可动态智能化、可扩展、具有数据安全保障的数据管理信息平台系统设计和实现的完整建模方法和解决方案.不仅可以为评估系统提供数据服务，还可以保证数据在应用过程中的保密性、安全性和稳定性.

1 基于机器学习的评估数据收集方法

软件开发过程中的原型模型是指用户提出基本需求后，开发人员构建出一个符合用户基本要求的小型软件原型系统.用户通过对软件原型系统的使用给予评价并反馈意见，开发人员针对性地对软件原型系统的改进，促使软件原型系统不断接近用户期望的最终目标.随着上述过程的反复迭代，使原本模糊的需求细节逐渐清晰起来，根据需求的变更作出适应性调整，以此在确保满足用户需求的同时保障了最终产品的质量.

基于原型模型思想的评估系统数据(包括构成系统的被评估客体的基本信息数据、环境数据等)的收集流程如下：

1) 根据评估目标、评估模型建立的需求，快速收集真实数据，建立一个满足工程应用场景评估模型的最小数据子集；

2) 数据子集加入评估系统后，通过用户对系统的使用，获得数据相关评价，反馈到数据收集，为数据完善、确认、丰富以及改进提供指导；

3) 随着上述过程的反复迭代，使原本模糊的应用场景逐步清晰，指标体系合理性逐步完善，引导评估模型的变更；

4) 根据以上变更对数据收集范围作出适应性调整，保障最终评估系统与真实应用效果的一致性.

基于原型模型思想的评估系统数据收集方法的设计依据以下2个原理:

原理1.人的认识需要有一个认知过程，其模式为“实践—认识—再实践—再认识……”，原型模型过程符合这种认识规律，容易被人们接受，更能有效地对结果的合理性进行分析、验证，并达成共识.

原理2.原型方法采用模拟仿真的方法，引入基于数据的评估系统效果，避免由基础数据不准造成的系统评估不正确，从而影响后续对评估系统的算法、设计、实现的改进和优化.

根据数据基于原型模型思想的评估系统数据收集方法可分为以下2种：

1) 抛弃式评估系统数据收集法.用抛弃式评估系统数据收集法首先构造一个简单、质量要求不高且满足评估系统需要的数据，通过征求用户意见、与实际效果比对、迭代修改，实现对评估系统的验证.此时完成的系统和数据都不是最终产品，一旦达到对评估系统初步验证的目的便可抛弃.

2) 演化式评估系统数据收集法.使用已有的评估系统数据加入到评估系统后，通过用户使用系统获得数据的评价和反馈，从而确认、完善、改进、丰富评估系统数据，直至达到用户要求为止.这个过程具有高度重复性，每次重复的活动包括重新收集、重新筛选、重新分析和重新评价.

抛弃式评估系统数据收集法可以迅速地建立起系统所需的真实数据，快速地验证早期算法模型和系统软件的效果，然而抛弃式原型模型收集的数据收集投入时间较短，所收集的数据存在模糊性、理想性和不确定性，无法满足系统对于精确应用的需求，因此抛弃式原型模型收集的早期数据往往在验证完算法模型和系统效果后，常常在后续开发中直接抛弃，重新进行数据的收集工作.

演化式原型模型收集数据方法在建立系统所需的真实数据初期即考虑了数据的准确性、真实性和逻辑复杂性，建立起能够提供给部分系统正常运行的数据较慢，通过用户使用部分实现的评估系统数据，提出评价与补充意见，并逐渐修改、补充，直到满足用户需求为止.因此演化式原型模型收集的数据往往可以直接被系统使用.

因此，对于需要验证算法模型效果的评估系统，采用抛弃式原型模型收集数据方法收集数据；而不需要验证算法模型效果的评估系统，采用演化式原型模型收集数据方法收集数据.本系统采用演化式原型模型收集数据方法收集数据.

2 基于数据安全的数据管理平台的架构设计

评估系统数据由被评估客体的基本信息数据、环境数据等构成，这些系统参数信息的收集和录入可以通过第1节提出的数据收集方法完成.

参数信息完成后，改进、完善评估系统的方法，即：1)参数信息的导入和应用；2)用户根据实际需求调整一些参数(如环境数据)；3)启动评估系统，得到应用场景下的评估结果；4)通过与预期效果的对比进一步优化、完善评估系统.

因此，参数信息可按照是否与应用场景关联分为2类：1)非关联参数信息，即在系统执行中不发生变化；2)关联参数信息，是在评估过程中需要进行调整或新增的内容，基于此特点，将评估系统中的参数信息的数据管理平台建设成静态数据库和动态数据库2类数据管理库.

首先，地理位置信息、环境信息和被评估客体的基本信息等参数信息归入静态数据库，应用程序只有读取静态数据库中数据信息的权限，没有对静态数据库进行增加、删除和修改的权限；对于应用程序实现需要的与静态数据库关联用的数据标识和与应用场景相关的参数则存储到动态数据库中，应用程序对于动态数据库信息拥有增加、删除、查询和修改的权限.通过动、静2种数据库的分类管理和维护，可以极大保护静态数据库中其核心数据信息的保密性和安全性.通过动、静2种数据库的结合，即可以满足通用评估系统平台数据的需求，也可以灵活地保障不同评估系统对于数据的特殊需要，通过不同评估系统定制化地动态数据库，便可即时产生与其自身所要依赖的参数信息.基于评估系统数据管理平台的架构设计如图2所示：

图2 基于评估系统数据管理平台的架构设计图

3 基于数据安全的数据管理平台设计

3.1 动态数据库构造引擎设计

动态数据库构造引擎位于评估系统数据管理平台架构的中间层，是静态数据库和应用系统之间交互信息的桥梁.对应用系统而言，动态数据库构造引擎提供所需的数据服务；对静态数据库而言，动态数据库构造引擎可以从静态数据库中提取出应用系统所需的数据信息.

评估系统数据管理平台的动态数据库构造引擎由智能化、可定制动态数据库构造软件和动态数据库2部分组成.如图2所示.

智能化可定制动态数据库构造软件是面向顶层应用系统的可根据系统数据需求的动态数据库数据信息生成软件，此软件只需在应用系统第1次运行之前或者系统数据恢复为原始数据时使用.由智能化可定制动态数据库生成软件创建的动态数据库完成与应用系统间的交互，在顶层应用系统运行时，动态数据库结合应用系统运行过程中的数据服务需求，动态存取数据信息，结合系统运行过程中中间数据和临时参数信息，计算出评估应用系统结果.

建立动态数据库构造引擎有效地将静态数据库中核心参数数据信息与应用系统进行隔离，有效地控制了静态数据库数据信息的访问权限和知悉范围，从而保障了静态数据库核心参数数据信息的保密性和安全性.其次，建立动态数据库构造引擎可以针对应用程序需要，创建可定制化的动态数据库内容，提供了一种灵活适应各种系统需求的大数据基础平台的方法.此外，本文采用的数据库构造方法可以有效地促进对同类型、不同应用系统的静态数据库中核心数据信息进行积累，提高了数据的集中度和权威性，并可以灵活地提供给同类型、不同评估应用系统使用，保障有效、快速地形成战斗力.

3.2 数据库安全性设计

数据库的安全性毋庸置疑，本文除了常规数据库安全性考虑之外，针对评估系统对于数据的特殊要求在数据库关系模式、操作权限等方面均进行了相关设计.

3.2.1 数据库内部逻辑安全性设计

数据表的关系模式设计中采用了数据库范式理论的设计思想，符合关系数据库中的关系范式BCNF[7]，即在关系模式R(U,F)中，所有主属性和非主属性都不传递依赖于关系模式R中的任何候选关键字[8-11].遵循BCNF的优点包括：

1) 使数据库中数据表避免同一段数据存储在多个不同的数据表中造成的数据冗余；

2) 避免冗余存储给数据更新带来的复杂性，即更新存储地方越多需要更新的数目越大，出错概率就越大，从而造成数据库异常；

3) 避免出现数据表设计不合理的情况而导致缺少关键信息数据无法插入到表中造成的插入异常；

4) 避免了在需对数据表进行删除操作时，由于数据表之间的关联性考虑不全而造成需删除信息残留，出现删除异常，如建立一个数据库来描述设备的一些情况，需要存储的对象有名称、描述和载体，由此组属性而构成的关系表为{名称，描述，载体}，如果淘汰，在删除该信息的同时，把这种载体信息也丢掉了，出现了由删除操作造成的删除异常.

3.2.2 数据库操作权限设计

基于评估系统数据库管理平台的操作权限，设置为3级：1级即最高级，具有对静态数据库和动态数据库操作、静态数据和动态数据系统更改等所有操作权利；2级即次高级，可以对静态数据库和动态数据库进行删减、更新操作；3级即应用系统使用级，只允许对动态数据库进行删减、更新操作.

3.2.3 静态共享数据池安全策略设计

基于评估系统数据库管理平台在1级用户或者2级用户，即最高级和次高级用户，在对静态数据库进行增加、删除、更改等操作时自动对静态数据库进行备份，以防止在对静态数据库进行操作时可能造成的数据信息崩溃和丢失.

3.2.4 访问权限安全性设计

数据库操作权限账户保存在数据库中，为了防止非法用户通过SQL注入手段，窃取到更高级别账户操作应用系统的风险，基于评估系统数据库管理平台针对用户登录采取了预防SQL注入的策略.在应用系统实现过程中对于SQL进行参数化，因为使用参数化查询时，数据库不会将参数作为SQL指令一部分进行处理，而是在完成SQL指令编译后才套用参数运行，因此即使参数中含有恶意指令也不会被数据库运行，从而防止了SQL非法访问，在一定程度上可以预防SQL注入；在应用系统实现过程中增加对于字符串过滤，检查客户端提交的参数，对于含有SQL语言关键字信息、单引号、双引号、连接符、分号、括号、空格等特殊字符，如果用户输入含有这些字符参数要登录系统时，那么通过应用系统对用户输入进行字符串过滤后，对于输入中含有非法字符的一律不予以响应.

4 结 论

本文基于评估系统环境下，考虑未来数据存储和应用趋势，提出了一种可动态智能化扩展信息的数据管理平台系统设计和实现方法.其数据收集方法、系统数据管理平台的架构和系统数据管理平台的设计具有安全性、通用性和可扩展性，为数据的积累和后期不同仿真、评估平台的使用提供了接口，对现代评估系统的发展具有积极意义.