基于大数据挖掘的水库移民信息管控系统

周 海，张 星

(贵州省水利水电勘测设计研究院有限公司，贵阳 550002)

0 引 言

水库移民工作较为复杂，在移民中不仅涉及到土地问题，更多的是移民以及移民补偿等问题。除此之外，还包含较多的数据，这些数据量非常大，并且数据格式不同，具有较大的差异性。这些因素导致水库移民信息管控起来较难，针对这个问题，有较多学者开展了关于水库移民信息管控方法的研究。王茂洋等[1]研究了水电工程移民全生命周期信息化管理云平台，该平台进行多方面的精准计算，并对结构化数据与非结构化数据可视化展示与管理。张玉炳等[2]研究了水库群综合管理市级平台，平台中集成了异构数据资源和离散业务功能，实现了对水库移民信息的管理。

上述研究提出的平台虽然能够实现信息管理，但是仍然存在一定的不足。近些年，数据挖掘技术在各个领域中都得到较多的应用，这是一种处理数据的技术，在处理过程中能够从不完全的、有噪声的数据中提取到有价值的信息，并且数据提取过程是一个反复的过程，如果此次挖掘到所用信息则停止挖掘，如果没有提取到有用信息则会自行返回前面的步骤，重新调整并继续计算。基于大数据挖掘技术的这个优点，将其应用到水库移民信息管控系统中，以期全方位地对数据进行监测，为水库移民后信息管理提供参考。

1 水库移民信息管控系统硬件结构设计

基于水库移民信息管控系统的需求，将处理器作为系统的核心部分，主要框架见图1。

图1 系统硬件框架

在系统硬件的结构图中，系统的核心器件均为高速器件，所以采用高速PCB设计[3]方法，保证系统硬件设计的可靠性。

1.1 处理器设计

嵌入式处理器采用ARM720T，该处理器主要用来提供系统的处理速度。高速缓冲中包含一个4项的相连寄存器。该处理器中包含3个异步复位信号，包含外部时钟输入和片上PLL[4]。该处理器上还包含独立逻辑部分，每个都有自己的时钟频率要求，如果处理器是处于外部时钟的模式时，外围器件真实频率不同于PLL模式时的频率。该处理器还包含中断处理功能，主要包含两个中断类型，中断请求和快速中断请求[5]。

此外，其能够对6个分立的线性存储器或者扩展段解码，每个段中任何一个都能够配置成与传统SRAM接口一致的接口相连接，并支持页的模式存取[6]。 该处理器上内置点阵式键盘，具有以下特点：①在应用中，能够将列输出驱动成全低；②如果键盘发生中断能够唤醒系统；③允许任意组合按键；④可以采用人机交互或者现场调试的方法进行调试；⑤包含预扩键盘，在使用时可以将信号线引出作为接口。

同时还包含液晶显示模块，该模块包含LCD控制器，能够直接与复合LCD接口相连接，LCD控制信号见表1。

表1 LCD控制信号

在系统中有高4位数据时，将8位数据一起提供给显示器。

1.2 通信模块设计

配置以太网控制模块，采用CS8900A芯片为系统提供通信功能。该芯片主要包含ISA总线接口[7]，其具有以下特点：

1) 功耗低。因为该芯片内部集成RAM，并且片上包含滤波器，能够使隔离变压器的选择更为简单，还提供了许可的最小封装。

2) 性能高。在有大数据传输时，传输模式能够减少80%的中断，并能够缓解主机带宽的流通。

3) 功耗低并且噪音也较低[8]。

该芯片包含20根地址线，其地址映射和相应操作见表2。

表2 芯片地址映射和相应操作内容

为保证芯片正常工作，还需要外接一个20 M的晶振。

1.3 USB模块

USB总线是一种轮讯方式的总线，其能够对数据传输。USB中还包含特殊通道，即消息通道，主要为设备的设置、状况的查询以及输入信息的控制提供入口[9]。由于处理器上没有USB接口，所以需要通过外部USB主控制器扩展出USB设备接口。USB的接线简图见图2。

图2 USB接线简图

其具有两种时钟模式12 M和48 M，通过相应的控制线能够进行读写操作。

1.4 SDRAM模块设计

处理器中自带的控制器有以下特点：①支持2组外部SDRAM[10]；②具有可编程的总线宽度；③当CPU进入到就绪模式时，该控制器能够进入到自动更新的模式。

当系统有了SDRAM控制器后，就不需要外加控制器，采用合适的存储器芯片就能够实现与控制器的连接。

2 基于大数据挖掘的水库移民信息管控软件设计

2.1 水库移民信息并行处理

预先采用大数据挖掘技术对信息挖掘，过程见图3。

图3 数据挖掘流程

将采集的数据记作：

(1)

其中：i1、i2、in为采集的信息；v1、v2、vn分别为采集信息对应位置；Y11、Y1n、Yn1、Ynn分别为关联数据。

由于采集的数据较多，采用分布式存储技术存储相关数据，满足系统实时性与海量数据存储的要求。在此基础上，对数据进行并行处理，满足大数据处理需要，工作方式如下：

1) 建立中间文件。在节点上发送Map命令[11]在本地服务器上写操作，操作后获得相应的中间文件。

2) 数据容错处理。在大数据处理中，采用MapReduce模型处理，其具有较好的容错性能[12]，能够将故障节点数据发送到正常数据节点上进行。

移动互联网的便捷性，使得导师与学生间的交流不再困难，我们应充分利用如微博、微信、QQ等这些便利的交流方式，重视并提高交流互动的即时性。

3) 量化数据。为了量化处理数据之间的关系，将每个数据看作一个集合，对其相似度度量[13]，将相似度定义为：

(2)

式中：J(A,B)为一个0和1范围内的值，如果计算结果接近1，说明集合之间的距离越接近。

通过上述过程对水库移民信息预处理，为信息管控提供基础依据。

2.2 水库移民信息关联规则确定

在上述并行处理的基础上，采用大数据挖掘技术中的关联规则挖掘方法对水库移民信息关联规则挖掘[14]，过程如下：

1) 假设A⟹B，如果A发生，那么B也可能发生，前者是事实，后者是这个事实造成的后果。

2) 支持度，将项集A的支持度记作数据库中A的记录数目，将其记作SUP。将表明事务中包含的规则表示为：

SUP(A⟹B)=SUP(A∪B)=P(A∪B)

(3)

(4)

式中：W[i]为第i个对象的支持度；N为分析对象数量；∑prob为支持度稳定性变化参数。

3) 置信度，即规则A⟹B中包含A事务的比值[15]，如下所示：

conf(A⟹B)=sup(A∪B)/sup(A)

(5)

基于上述过程能够计算信息的关联信息，即计算获得水库移民的关联信息，减少数据冗余，以此完成水库移民信息管控。

3 实验对比

为验证水库移民信息管控系统在实际中的应用效果，对系统进行测试，并将水电工程移民全生命周期信息化管理云平台、水库群综合管理市级平台与所提出的系统进行对比，详细分析系统的使用情况。

3.1 实验环境

测试环境见表3。

表3 测试环境

水库移民信息管控系统中涉及多个功能部分，此次实验对各个功能查询，对比功能查询结果的准确性以及各个功能的查询时间。

3.2 信息查询效果测试

分别采用所提出的信息管控系统和其他两种平台对水库移民信息查询，查看其是否能够按照用户需求查询到相关信息。对比结果见表4。

通过分析表4能够发现，在10个查询内容上，所提出的查询系统没有出现查询错误的情况，准确率较高。信息化管理云平台与管理市级平台均出现错误查询的情况，较所提出的管控系统应用效果差。通过上述功能测试能够表明，所研究的系统达到了系统设计目标。

表4 信息查询效果分析

3.3 网络响应测试

在此部分实验中分为两个实验，一是简单验证在各个操作上的执行时间；另一个实验是对比在多并发数情况下信息的查询时间。其中信息查询时间对比结果见图4。

图4 信息查询时间

基于图4可知，在各个信息的查询上，所研究系统与其他两个平台花费的时间差距较小，但是所研究系统仍然比其他两种平台花费的查询时间少。

在此基础上，测试所提出的系统和其他两种平台有多用户操作下的响应情况，测试其稳定性。在实验过程中，模拟100位用户同时操作系统或者平台，各个操作事物的平均响应时间曲线见图5。

图5 多并发数下信息查询时间对比

基于图5能够发现，所研究的基于大数据挖掘的水库移民信息管控系统在各个事物操作上，响应时间均不超过3 min，在多并发用户查询下，花费的时间都较少，在预期范围内；而水电工程移民全生命周期信息化管理云平台在查询时，在移民信息、地名搜索上花费的时间较少，但是在移民影响分析、移民按指数查询、空间关系分析3个指标的响应上，花费的时间较多；水库群综合管理市级平台在集中信息查询上响应时间均较长，均超过所研究的信息管控系统。测试结果证明，所提出的水库移民信息管控系统在多用户查询的情况下也能够保持较快的查询速度，较其他两种平台的性能更为优越。

4 结 语

综上所述，本文基于大数据挖掘的水库移民信息管控系统获得了较好的应用效果，不仅提高了查询速度还提高了查询的准确性，达到了系统设计目标。同时证明，大数据挖掘技术应用到信息管理中后，能够客观、合理、科学地对信息管控，为后期移民相关政策制定提供了科学依据。