基于改进MulSim相似聚类算法的水利信息管控方法

李心愉，杨 恒

(山东省海河淮河小清河流域水利管理服务中心，山东 济南 250100)

随着我国水利水电技术的不断发展，水利工程的数量和规模不断扩大，工程项目中水利数据越来越多产生多维数据集合[1]。这些数据维度高、信息复杂，如何从高维水利数据中了解数据结构，并获取有用的水利信息就成为当前解决的技术问题[2]。针对该问题，文献[3]提出分层平行坐标可视化技术，用树形结构展示高维数据几何，虽然能够更好地分析隐藏信息，但分层平行坐标可视化时间复杂度较高，数据处理效率低下，获取有效数据能力滞后。文献[4]应用维度重排算法，可以调整温度间距，提高了可视化效果。但仅优化了维度关系，没有对高纬度数据集合进行处理。在数据处理时间时，无法实现高纬度信息降维处理。

针对上述技术的不足，本研究应用MulSim聚类算法实现水利多维数据信息的管理，该方法能够根据水利信息的属性值进行评估，将多维数据集划分为多个簇。利用BIM技术建立多维水利信息可视化管理系统，对水利工程各阶段数据进行采集，并对多维数据进行可视化显示，有利于直观了解工程信息并方便管理。下文对该技术内容进行详细描述。

1 水利信息管控系统架构设计

为了提高水利信息管控能力，设计了一套可视化管控系统，能够对水利工程结构受到的水压、水流流速、温度、地基沉降等因素进行信息分析，应用可视化管理系统使管理人员可随时对水利建筑结构、监测器状态、监测数据等信息进行添加、查询和修改。可视化管理系统架构示意图如图1所示。

数据库管理系统为目前主流的CS系统框架，可以在系统设计时在客户端和服务器之间进行任务分配，更好地提供数据管理服务[6]。由于服务器运行数据的负担较轻，再加上存储管理功能透明，能够实现客户端和服务器间的快速有效响应，使系统任务分配均匀。数据库管理系统以C#为主要编程语言，面向对象且运行于.NTE Framework之上，采用Microsoft Visual Studio 2013作为开发平台[7]。数据库服务器采用Microsoft SQL Server 2012，具有非过程化和统一化的命令集，能够完成各类数据库间信息的操作[12]。系统提出一种数据立方体结构Nanocubes，能够有效降低数据占用的内存空间，对高维多粒度的水利数据进行高效的存储和检索，可以支持多维度的实时聚合分析。系统的可视化框架采用MVVM架构模式，通过Controller实现可视化相关视图操作业务，视图模型ViewModel可重用、独立开发的特点，MVVM的视图层包含数据绑定和事件的主动视图层[8]。根据多维水利信息的不同功能，利用SQL技术对数据库进行设计，其中用户数据库中主要用来存储管理人员的账号信息，权限级别和账号可用状态等信息，监测数据主要用来存储不同类型监测器监测到的水利信息，包括水温、监测时间、设备编号、参数值等[9]。在数据库中选中编号可查看监测数据参数，直观显示了水利数据的最大值、最小值，增加了水利信息峰值读取和查询的准确性。

图1 水利信息管控系统架构示意图

2 可视化控制单元设计

多维水利信息可视化管理系统帮助管理人员实现水利工程信息的实时、动态可视化管理，根据采集到的信息做出正确、合理的安排。将重复的监测信息数据分析和处理工作简单化，只需将监测器采集到的水利数据传输到数据库管理系统，自动对各类水利信息进行整理和分类[10]。本研究系统的可视化控制单元使用STC89C51RC单片机作为控制模块，外部集成无线传输模块、电平转换模块和其他模块，可视化控制单元结构如图2所示。

图2 可视化控制单元结构

可视化控制单元使用了12MHZ的无源晶振，两个引脚与主控单元的XTAL1和XTAL2相连接，并在主控单元的下方连接一个30 pF的电容，用来消除电路工作时产生的谐波，提高控制单元的稳定性。在REST引脚经过一个10 kΩ的下拉电阻接地，在电源与复位引脚之间串联一个10μF的电容C1，电路开始工作时先给电容进行充电，充电完成后可以给REST引脚一个值为2μs的高电平，完成控制器初始化将寄存器清零。在控制单元的外围电路中设置有2个SPI通信接口，接口1用来进行芯片的调试，蓝牙模块以T1CC2540/41芯片作为处理器。蓝牙芯片的引脚1连接电源模块，引脚2接地，将引脚3连接一个10kΩ的电阻，设置为复位端用来控制模块的正常复位[11]。将通信端口21设定为控制单元芯片的串口发送引脚，并连接控制单元的RX4引脚，实现数据的传输和通信。主控制芯片的引脚连接无线传输模块和串口模块后，可以控制GSM模块和功能按键模块实现并联。在可视化控制单元的控制下，在主控制芯片和触控屏之间设置一个中间层，在中间层内设定一个串行通信模块，主控制芯片的串口0连接一个5 V的TLL电平微控制器，在显示模块的RS-232接口连接串行通信办卡的串口1。板卡电路的电源电压为3.3 V，显示模块的接口连接转换芯片的串口实现可视化控制单元的电平转换[12]。

在可视化控制单元硬件电路结构和监测器设备的支持下，采集到多利工程的多维数据，对应整合处理为3个维度的数据集合，数据集合可表示为：

(3)

其中X、Y、Z表示水利工程信息的维度。随着水利工程的不断建设发展，水利多维信息不断变化，更新处理多维数据，再进行平滑处理，可表示为：

(4)

其中Pd表示多维数据的滤波数值，i表水利工程数据邻域的更新参数。同步该滤波数据后，根据多维水利数据的时间状态，离散控制得到平滑数据，可表示为：

(5)

其中xk+1表示k+1时刻多维水利数据的状态参数，FK+1表示多维水利数据的变换矩阵，Bk+1表示控制输入的水利数据[13]。使用滤波迭代处理离散过程，计算多维水利数据的增益，可表示为：

(6)

其中Hk+1表示示k+1时刻多维水利数据的状态量，H′表示状态量的测量值，R表示滤波偏差。

以增益作为多维水利数据的转换量，以该转换值作为多维数据的标准变化区间，实现水利工程中不同维度数据的相互转换。使用可视化控制单元和数据管理系统，实现多维水利信息的可视化和数据管理。

3 基于MulSim单点与多点相似的聚类算法

基于上述技术的不足，为了能够在多维数据集中的情况下识别出形状、密度、大小不同的簇，本研究提出了MulSim聚类算法。聚类过程将多维水利数据集的点进行分组，簇内的点尽可能相似，簇与簇之间的点尽可能区分开，本研究相似度函数自动适应数据集密度变化[14]。设定x1,x2,…,xn表示多维水利数据集中的n个点，对于数据集中任意点xi，最相似的k个点被称为xi的k最近邻，表示为Nk(xi)，Nk(xi)⊆。

给定数据集中两个点xi和xj，当xi∈Nk(xi)且xj∈Nk(xi)时，xi和xj为互k最近邻，点xi的互k最近邻的集合为MkNN(xi)。对于数据点a、b，根据欧式距离获取两个点所有的kNN，并根据距离进行排序，得到两个点的排序位置，定义两点的相似性度量，可表示为：

biggerk(a,b)=bigger(oa(b),ob(a))

(1)

其中oa(b)表示b在a序列中的位置，ob(a)表示a在b序列中的位置，biggerk(a,b)的值为两个位置中较大的值[15]。两点之间biggerk(a,b)较小说明a是b的较近邻值，并且b也是a的较近邻值。

为了构件簇结构，引入阈值k，也是多维水利数据中每个数据点的kNN个数[16]。对于数据集中的两个点xi和xj，如果两个点相似，则biggerk(xi,xj)≤k。只有一个点与点xi相似时，且点xi的一个或多个个kNN点相似，才将这两个点放置在一个簇中。当数据点xi的MkNN和xj的MkNN的交集中点数大于给定数量时，才能将点xi和xj放置在同一个簇中[17]。如果点xi和xj中一个互k最近邻，xi和xj相似且同时与xi的m个最近邻相似，则：

|MkNN(xi)∩MkNN(xj)|≥m

(2)

其中k表示bigger的阈值，m表示聚类时需要xi的最近邻的数量，MkNN(xi)表示xi的互k最近邻，MkNN(xj)表示xj的互k最近邻[18]。多维水利数据聚类过程如表1所示。

表1 多维水利数据聚类过程

多维水利数据集中一个数据点与另一个相似，同时也与这个点的多个相邻点相似，根据相似度函数将这两个点分配到同一个簇中，并且在聚类的过程中能够自动适应数据集密度的变化。

4 应用测试

为验证本研究多维水利信息可视化管理系统的性能，分别使用文献[3]系统、文献[4]系统和本研究系统进行实验，对比三种系统的聚类效果和可视化时间。本研究实验利用VC编辑软件和OPENGL数据库，将OPENGL和可视化仿真结合，以多维水利数据为依据，依靠系统的数据处理能力和图形处理能力，对多维水利工程信息进行处理和可视化分析。实验环境如图3所示。

图3 实验环境

实验环境配置如表2所示。

表2 实验环境配置

在淮河流域中随机选择一处水域环境作为实验对象，实验水域环境如图4所示。

图4 实验水域环境

在实验水域环境中随机分布6个采集点，采集水利数据，经过系统处理分析后得到采集点的水利数据如表3所示。

表3 采集点水利数据

以表3中采集点的水利数据为实验样本数据，使用三种系统对实验数据进行聚类分析，得到的聚类结果如图5所示。

图5 聚类结果

观察三种系统的聚类结果可知，本研究系统的多维数据聚类算法对采集点水利数据的聚类效果最好，聚类得到簇的个数最多，并且检测到的异常数据点的个数最多。本研究系统能够根据不同阈值有效地处理异常点，阈值越大检测出的异常点的个数越多。其中对采集点4数据集进行聚类得到簇的个数最多达到13个，检测到的异常点个数为220个。

文献[3]系统对采集点3数据集进行处理，将数据集3最多分为9个簇，对采集点1进行聚类得到簇的个数最小仅为4个。检测到采集点4中数据的异常点个数最多，最高达到148个，对采集点5的水利数据检测到的异常点个数最少为72个。文献[4]对多维水利数据的聚类效果不好，得到簇的个数和检测到异常数据点的个数不多，文献[4]在对采集点2和采集点5中的数据进行聚类时得到簇的个数与文献[3]系统一样。对实验样本处理后得到簇的个数最多为8个，检测到的异常点数最多为135，最低为76个。

使用三种系统的可视化开发工具对采集到的多维水利数据进行可视化处理，在表2所示的相同的实验环境下，统计三种系统的数据可视化时间，可视化结果如图6所示。

图6 可视化结果

根据采集点的可视化时间变化可知，在相同的操作环境下三种系统对同一采集点数据集的可视化时间不同。本研究可视化管理系统对多维数据的可视化时间最短，6个采集点水利数据的平均可视化时间为42 ms。其中对采集点2的水利数据可视化时间最大为57 ms，采集点5的水利数据可视化时间最小为20 ms。文献[3]系统的平均可视化时间为75.8 ms，文献[4]系统的平均可视化时间为93.2 ms。文献[3]系统和文献[4]系统对6个采集点数据的可视化时间都大于本研究可视化时间，且都在60 ms以上。

5 结 论

分析水利数据特点，建立多维水利信息可视化管理系统，实现了多维水利数据的可视化表达，提高了信息管理效率，并降低了运营管理成本。提出了MulSim聚类算法, 单个点与多个点相似的聚类策略，具有更强的限制条件，能够检测出不同的簇数据结构。并引入合适的阈值k，且点xi的一个或多个kNN点相似，才将这两个点放置在一个簇中。使用STC89C51RC单片机设计可视化控制单元，并加入无源晶振和起振电容，消除电路工作时的谐波，并将采集到的多维水利数据整合为三个维度的数据集合。

本研究仍存在一些不足还需改进，由于监测器采集到水利数据量过大，将监测数据批量录入数据库管理系统的速度较慢，还需进行优化。