基于区块链技术的海量Web 数据关联存储系统设计

张益兵

（中国电力财务有限公司，北京 100005）

在数据传送过程中，对海量Web 数据加密是一种十分普遍的安全措施，其能有效地防止原始海量Web 数据被泄露。采用传统数据存储技术，能有效地保护海量Web 数据的唯一性和抗篡改性。然而，由于海量Web 数据传输量在不断增长，使得海量Web 数据在存储过程中很容易遭到其他应用程序攻击，导致数据存储不稳定。为了解决该问题，近几年研究的文献中设计了基于多属性的存储系统[1]和基于Kubernetes 的存储系统[2]，在此基础上，利用HDFS对Web 数据进行分类，解决了Web 数据的少量存储问题，并建立了基于HBase 的索引机制，达到高效存储Web 数据的目的；基于Kubernetes 的存储系统提供了一个统一的应用程序接口，通过建立面向对象的模型来实现大量网络数据的存储，并使用Kubernetes 的自动化工具，使得存储系统的部署更加方便。然而，由于海量Web 数据存在数据不对称的问题，使用上述两种方法不能有效解决该问题。区块链技术是一种利用非中心化、非信任的方式，能够安全、可靠地储存动态数据。为此，设计了基于区块链技术的海量Web 数据关联存储系统。

1 系统硬件结构设计

利用块链式结构来验证数据存储的安全性，利用分布式节点共识模式构建硬件结构，如图1 所示。

图1 系统硬件结构框图

由图1 可知，该硬件结构分为存储层、计算层和服务层。存储层负责存储原始具有结构属性的索引数据[3]；计算层主要由数据缓存模块、数据检索模块、数据统计模块和关联映射模块组成。该层根据海量Web 数据更新特点，建立了相应的更新模型，并对更新后的数据进行处理[4]；服务层的核心部分是数据检索和相关API 模块，为分析人员进行相关检索与统计提供API[5-6]，为后续分析提供基本服务，并建立了一个用户查询接口，以提供功能展示服务。

1.1 区块链集群监控模块

区块链集群监控模块是数据关联存储系统的核心运行结构，其结构如图2 所示。

由图2 可知，分布式开源监控代理客户机与代理管理机的下端相连，该代理主要有两种工作方式：主动式和被动式。主动式监控能够在网络环境下对海量Web 数据进行直接采集，并对相关的数据进行标签，并将其存入系统主机[7]；被动式监控要求利用geth 节点来观测Web 数据，并将其通过传送信道返回到分布式开源监控代理客户机[8]。主机集群不能主动向客户机发送消息，只有在被动的情况下才能执行其连接命令[9]。一旦服务监听接口和分布式开源监控服务器建立了联系，主机就会重新恢复其信息处理功能[10-11]。在此期间，分布式开源监控服务器将不会公开真实IP 地址[12]，因此，采用区块链集群监控结构可以避免被攻击。

图2 区块链集群监控结构

1.2 关联映射模块

区块链不能直接存储数据，其必须把数据转化成哈希函数的数字格式，然后通过编码构成一个字符串。构造一个关联映射模型，即把一个数据串映射到一个数据格式[13]。因此，采用区块链共识机制将新生成的块通过引用前一个块的散列值来锁定前一个块，后一个区块包含前一个区块点哈希值，通过共识机制确定有效块，进而确定主链，由此形成了区块链映射结构[14]。

在该模块中，使用哈希运算方式生成64 位代码，通过区块链映射结构封装全部映射数据并打包到区块链中。系统将关联映射的数据通过界面传输给服务器，并用哈希算法[15]进行加密，然后将其保存在数据库中，成为服务器。同时，服务器也会向系统提供最新的数据。在系统执行查询操作时，服务器会收到查询命令，并按照实时要求对系统进行响应。通过关联映射模块实现了数据记录和交互认证。

1.3 服务端

系统设计了一种服务端结构，该服务端主要包括数据库单元和服务单元两种结构。其中数据库单元在数据存储方面起到一定作用，当客户端采集到相关数据后，首先要对原始数据进行有效标记，然后通过哈希对前一块进行加密，从而产生新数据；服务单元在服务部方面起到的主要作用是作为“发报机”，其要求在资料库中建立一个数据指针，每一次都会自动地查看最近的数据，并从中挑选出最新的数据，并在拆解后进行选择[16]。

将服务端与区块链集群监控结构连接起来，使其变成一种具有针对性的服务结构，该服务以Windows窗口形式进行展现。由于服务端同时会与多个分布式开源监控代理客户机建立连接，一旦服务端开始运行就会占用大量资源，影响服务端与其他端口的通信效率，因此，将其与分布式开源监控代理客户机相连接，只需传送待存储数据即可。

2 系统软件部分设计

2.1 海量Web数据关联存储安全问题建模

根据海量Web 数据关联存储过程中面临的安全性问题，计算系统遭到攻击的概率，如式（1）所示：

式中，t为初始时间；Δt为时间间隔；pn(t)、pn+1(t) 分别表示在t时刻系统遭到第n、n+1 次攻击的概率。在没有遭到攻击的情况下，为了防止数据被篡改、伪造，需要从两个角度来保证数据安全。一是验证动态数据是否正确，从该角度避免存储的数据出现异常数据；二是跟踪动态数据操作模式，追溯历史操作行为，使系统具有一定的复原功能。

构建系统目标约束函数如式（2）所示：

式中，minc(t)表示系统在t时刻的最小运行风险；Pn(t+Δt)表示满足安全运行条件下，在t+Δt时间范围内系统遭到攻击的概率。该计算结果用于衡量一段时间内系统遭受攻击的情况，计算结果越小，说明系统鲁棒性越强。

2.2 基于区块链技术的数据关联存储

在已知海量Web 数据关联存储安全问题的情况下，海量Web 数据库的实体结构越大，系统存储数据也就越多。将消息头设置为区块链报文前缀，其表示海量Web 数据的真实储存地点。在很长一段时间内，数据存储受到关联主机影响，导致存储数据结构与实际存储结构存在一定差异。

设l表示海量Web 数据关联存储中的原始长度值，由此计算海量Web 数据关联存储加密结果，如式（3）所示：

式中，η表示区块链报文作用条件；smax表示最大信息输出量；λ表示对称密码编译系数；α表示与数据库主机匹配的关联存储系数。

对于区块链报文可表示为：

对于提交的区块链报文，需要验证提交结果是否合法，判断公式为：

在区块链报文的作用下，通过连接存储对象和系统功能，可在确保安全的前提下实现对海量Web数据的完整存储。

3 实 验

选择两台网络主机作为Web 数据的输出装置，分别在IEEE.165.127.5.0 和IEEE.165.127.2.0 协议网关影响下，对系统进行实验验证。

3.1 系统运行实例

以某台电能表计量实际Web 观测数据为例，操作实例如图3 所示。

图3 操作实例

由图3 可知，当输入操作指令为1 时，即增加电能表计量数据。在该操作实例下，客户端程序以go语言为实验环境，经过多次转译，创建存储参数表，如表1 所示。

通过上述创建的存储参数表，获取相关运行数据，如表2 所示。

将表2 中的数据作为实验标准数据，进行实验对比分析。

表1 存储参数创建表

表2 电能表计量实际观测数据

3.2 实验指标

以存储拥塞率为指标，其计算公式为：

式中，m表示待存储数据量；L表示存储通道；P表示排队系统中没有目标数据的概率。以该计算结果为标准，数值越小，说明系统存储效果越好。

3.3 实验结果与分析

分别使用基于多属性的存储系统、基于Kubernetes的存储系统和基于区块链技术存储系统，对比分析数据存储拥塞率，如图4 所示。

由图4（a）可知，Kubernetes 存储系统的拥塞率最高，其次是多属性存储系统，基于区块链技术存储系统的拥塞率最低，最低值为2%。由图4（b）可知，Kubernetes 存储系统的拥塞率最高，最高值为63%；其次是多属性存储系统，最高值为46%；基于区块链技术存储系统的拥塞率最低，最低值为7%。由图4（c）可知，虽然使用Kubernetes存储系统拥塞率最高，但在该功率因数下变化最大的是多属性存储系统，而基于区块链技术存储系统拥塞率仍然最低，最低值为7%。

图4 3种方法电流鉴定误差对比分析

4 结束语

该文设计了基于区块链技术的海量Web 数据关联存储系统，该系统利用区块链技术可以辅助关联存储系统安全地储存海量Web 数据，并且通过使用区块链的集群监控模块，简化数据关联存储的同时，避免了大量数据被恶意篡改。在后续研究进程中，应从存储时间角度优化系统，进一步缩短系统的存储时间。