异构环境下分布式数据共享机制的研究

谭海军

摘要：随着信息时代的来临，数据共享变得愈加重要。特别是在分布式产品信息的采集与可视化集成平台中，异构数据表现形式更为复杂。由于异构环境下不同数据管理系统的差异，数据共享变得更加困难。为此，文章对当前异构环境下数据共享机制的研究现状进行简要梳理，首先介绍数据共享的原理及基本框架，其次介绍了几种典型的数据共享机制，最后讨论了异构环境下分布式数据共享机制在各领域的应用。此外，文章还探讨了一种基于区块链的数据共享交互模型并对未来的数据共享的研究方向提出了展望。

关键词：异构环境；数据共享；数据匹配；信息交换

中图分类号：TP392; TP14  文献标志码：A

0 引言

异构环境指的是由不同硬件、操作系统、编程语言和数据存储系统构成的分布式系统［1］。在这样的环境下，数据共享面临着诸多挑战，如数据格式不兼容、数据安全性难以保障等问题。因此，数据共享的机制对于实现分布式系统的协同工作具有重要意义。为解决这些问题，研究者们提出许多数据共享机制，包括数据中介、数据整合、数据转换等方法［2］。本文将分析和比较不同的数据共享机制，在此基础上提出一种基于区块链的数据共享模型，以期为解决异构环境下的数据共享问题提供帮助。

1 数据共享的简介

1.1 数据共享

数据共享的过程从逻辑上由数据存储中心、数据交换中心、数据管理中心和应用服务中心组成。

数据存储中心包括多尺度基础空间数据库、基础数据库和专题数据库等，其目的是为实现实时数据、历史数据、基础数据、空间数据等数据的统一存储和管理。数据交换中心提供横向与同级虚拟数据中心的数据共享交换接口以及纵向与上/下级虚拟数据中心的数据交换接口，由中间层与数据库进行数据交换。数据管理中心负责数据库的安全性、完整性、备份与恢复、并发控制、版本管理等功能，保障数据库的稳定性和可靠性。应用服务中心是应用系统与数据存储中心和其他中间件之间的接口，由中间件和方法构成的中间层，为应用系统提供服务和支持网络分布计算。

1.2 数据共享存在的问题

数据安全和隐私问题。数据共享涉及数据的公开和共享，因此需要考虑数据安全和隐私问题。如何保证数据在共享过程中不会被泄露、篡改或丢失，是数据共享面临的重要问题。

数据质量和可靠性问题。共享数据的质量和价值直接影响数据共享的效果。如果数据质量不高或者存在错误或遗漏，可能会导致数据共享的效果受到影响。

数据共享权限和管理问题。数据共享需要保证数据的保密性和权限管理，只有授权用户才能访问共享数据，否则会导致数据泄露和滥用。

数据共享协议和流程问题。数据共享需要制定合适的协议和流程，以确保数据的规范和高效共享。例如：制定数据共享的规则和标准，确定数据共享的时间表和流程等。

数据共享的应用场景和限制问题。数据共享的应用场景和限制需要考虑，例如：数据共享的时间、地域、类型、权限等。如何在有限的资源和条件下实现数据共享，是数据共享面临的重要问题。

2 数据共享机制

2.1 数据虚拟化

数据虚拟化可以将异构环境中的各种数据存储系统虚拟化，统一进行管理和存储。数据虚拟化的原理是通过在中间层创建虚拟视图（Virtual View）来访问数据源。数据虚拟化的优点是将不同数据源中的数据整合成一个逻辑视图，提高数据整合的灵活性和  效率，并且减少物理数据复制带来的数据不一致问题。此外，通过使用虚拟化技术，可以动态访问数据源，更好地适应数据变化并支持大型数据管理任务的需求。

2.2 ETL工具

ETL工具可以将数据从异构的数据存储系统中进行抽取、转换和加载，使得数据能够在不同的系统之间进行共享。ETL工具作为一种数据管理和处理工具，它的重要作用在于实现数据共享、保证数据质量和数据可用性以及提供便于查询、分析和报告的数据分析种子。ETL工具可以解决数据集成、数据清洗、数据同步和数据加速等问题，帮助用户高效地管理和利用数据。

2.3 参与式网格计算

基于大规模分布式系统的框架，提供异构环境下的资源共享和计算能力，支持多种应用。参与式网格计算的核心原理是将计算任务分割成多个小任务，再将这些小任务分散到Internet上的许多个人计算机上，然后通过特定的分布式计算模型，把这些小任务的结果聚集，最终得到结果。这种模式可以利用大量的闲散计算能力，从而实现较快和高效的计算。

3 分布式数据共享机制的应用

3.1 多云存储

多个异构云存储环境下，设计安全的数据共享解决方案已成为热点研究话题。多云存储是一个异构环境，不同的提供商或私有化云，数据存储在不同的云平台上。为实现数据的跨云存储和分享，需要一种安全的分布式数据共享机制。余宇勁等［3］提出了一种BFT（拜占庭容错）共识算法，该算法确保在多个云平台上的数据共享时，不同云平台之间可靠和安全地共享和存储数据。

3.2 移动边缘计算

移动边缘计算是一种新型的计算模式，它所涉及的计算任务主要发生在网络边缘，而不是在传统的数据中心内部。分布式数据共享机制是实现移动边缘计算的重要技术之一。它可以将数据分散存储在多个边缘设备上，然后通过协调和共享机制，实现对数据的高效访问和共享。王欣怡［4］提出一种基于区块链技术的数据共享机制，旨在解决移动边缘计算下数据共享存在的一些挑战问题。该方案使用区块链来存储和管理数据，在区块链上记录每个数据块的hash值，保证数据的完整性和可追溯性。同时，使用智能合约来实现访问控制和共享策略的管理。

3.3 供应链管理

分布式数据共享机制可以应用于供应链管理中，使用该机制可以分散存储大量数据并确保数据的安全性和隐私保护。此外，该机制还可以保证数据的一致性和可靠性，优化网络带宽和延迟，并使用协调和共享机制实现高效数据共享和协同管理。这能够帮助企业实现高效的信息共享和协同管理，提高供应链管理效率。孙晓涵［5］提出了基于分布式数据共享架构的管理方案，这些方案将数据分散存储在多个节点上，并使用区块链技术来确保数据的安全性和不可篡改性。同时，使用智能合约来控制数据访问和共享。

3.4 醫疗保健

分布式数据共享机制可以应用在医疗保健领域，使用该机制可帮助医疗机构实现数据的共享、协同管理及Workflow的自动化。此外，还可以保护患者隐私，促进数据安全。这能够提高医疗保健服务的效率和质量，促进患者的医疗保健体验。拜亚萌等［6］提出了一种分布式数据共享框架，其中数据分散存储在多个节点上，并使用分布式哈希表实现高效数据查询和访问，同时采用加密技术保护患者数据的隐私不受侵犯。该方案可以帮助医疗保健机构实现高效的数据共享，同时更好地保障患者的隐私。

4 基于区块链的数据共享模型

区块链技术的优势在于其强大的灾备能力和数据防篡改机制，这意味着数据不会丢失或被修改。共享数据的交易会被记录在区块链的侧链上，而且共享数据存储和交易的结构是不同的，因此上传时不会出现上链错误。最终结果是，数据所有者存储和管理数据，即谁的数据谁控制。数据只能被许可的访问者访问，其他任何第三方无法获取数据。

本文介绍一种基于区块链的数据共享交互模型，消除了第三方网络服务器的参与，解决了数据信任问题。该模型通过透明记账的方式，确保数据供需双方能够以灵活、可靠的方式进行交互。为方便数据管理，将数据提供者划分为两个角色：数据源和数据所有者，表1具体列出了这些角色的划分。

基于区块链的数据共享交互模型如图1所示。

（1）将原始信息进行处理后，得到相关信息RT，RT由共享数据关键词、完整数据的访问路径 DAP（可以是 URL、URI 或其他访问路径）、数据所有者的公钥地址组成。

（2）数据所有者将RT在区块链上发布，RT以Data的形式存储。同时，ST被存储在分布式哈希表中，ST由数据关键词、数据访问路径的哈希值以及数据所有者的公钥地址组成。

（3）数据请求者通过分布式哈希表检索到所需的共享数据信息，并获取到数据所有者的公钥地址。

（4）数据请求者根据数据所有者的公钥地址向区块链网络发送请求QT，QT由共享数据的哈希值以及数据所有者的地址组成。

（5）数据请求者通过身份验证后，获得Autho List（能够对数据请求者进行身份验证）的授权，可以访问区块链上的存储信息Data。

（6）数据请求者使用解密后的Data中的路径信息，访问数据源，完成数据共享交互。

5 结语

总之，异构环境下的分布式数据共享机制可以帮助解决跨平台、跨系统的数据共享问题。现有的异构环境下的分布式数据共享机制存在着许多不足，例如：数据格式不一致，跨平台、跨系统的数据传输速度  较慢，难以确保数据的安全性等。未来改进方向可以包括：数据格式标准化、改进数据传输协议以提高传输速度，推出更可靠和高效的数据加密技术以保障数据安全，使用智能合约和区块链等技术实现数据共享和协议管理。

参考文献

［1］YAO X， HAN X， DU X， et al. A Lightweight Multicast Authentication Mechanism for Small Scale IoT Applications［J］. IEEE Sensors Journal， 2013（10）：3693-3701.

［2］ZHU H， LIN X， SHI M ， et al. PPAB： A Privacy-Preserving Authentication and Billing Architecture for Metropolitan Area Sharing Networks［J］. IEEE Transactions on Vehicular Technology， 2009（5）：2529-2543.

［3］余宇劲，凌捷.基于多云存储的Android密钥管理技术［J］.计算机应用与软件，2020（9）：286-290.

［4］王欣怡.面向边缘计算的智能电网数据安全共享研究［D］.南昌：华东交通大学，2022.

［5］孙晓涵.基于数据共享模式的供应链成本管理研究［D］.成都：西南财经大学，2022.

［6］拜亚萌，邓小飞.融合区块链和云存储的医疗数据安全存储和共享模型［J］.焦作大学学报，2023（1）：75-79.

（编辑 王永超）

Research on distributed data sharing mechanism in heterogeneous environments

Tan  Haijun

（Information Center of Yangtze Normal University， Chongqing 408100， China）

Abstract：  With the advent of the information age， data sharing has become increasingly important. In the integrated platform for collecting and visualizing distributed product information， heterogeneous data representation is more complex .However， due to the differences among different data management systems in a heterogeneous environment， data sharing becomes more difficult. Therefore， this paper briefly summarizes the current research status of data sharing mechanisms in heterogeneous environments， first introducing the principles and basic framework of data sharing mechanisms， then introducing several typical data sharing mechanisms， and finally focusing on the application of distributed data sharing mechanisms in various fields under heterogeneous environments. In addition， the paper also discusses the problems of distributed data sharing mechanisms in heterogeneous environments and proposes prospects for future research directions.

Key words： heterogeneous environment; data sharing; data matching; information exchange