大数据背景下高冗余数据压缩和存储优化算法的分析与研究

尹强飞

摘要：存储问题一直以来是人们对信息化高速发展而高度关注的。最近随着云存储自身具备的优势对传统存储引起的冲击也备受热议。对于云存储可以通过牺牲空间以及性能而实现数据压缩将会导致在解压时引起一定程度的损耗。为此，该文在高冗余数据压缩和存储算法中进行了优化处理，通过对传统遗传算法和数据压缩存储算法等进行优化从而解决高冗余数据存储和压缩等问题。

关键词：遗传算法；性能；压缩存储；冗余；云存储

中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2017）29-0271-02

1 背景

最近随着云存储自身具备的优势对传统存储引起的冲击，近年来存储问题是人们对信息化高速发展而高度关注。云存储指的是技术人员通过集群应用、网络技術等等将存在于计算机网络中数量巨大的不同数据类型的存储硬件通过软件来进行结合，一同向外部提供数据访问以及存储服务的一个系统。任何事物都是两面的，大数据对我们日常生活带来了很多好处，然而在存储技术层面上也面临的前所未有的挑战。如何保证在互联网环境下对数据存储安全和高效值得我们深思。云存储具有不受时间和地点等形式的限制，同时对于其扩展性和成本低等都是传统存储所无法比拟的。然而，对于云存储实现数据压缩将成为关键技术。

2 优化的遗传算法

遗传算法是使用遗传信息和策略来指导适者生存的搜索方向，因此不需要梯度并假设搜索空间是连续的和可区分的。遗传算法与参数空间中的多个点同时存在，因此具有高效的全局优化能力。遗传算法通过种群的选择、交叉和变异来模拟生物的自然选择和进化的核心演化机制。代码在解决问题的过程，通过一个可以识别的计算机代码来解决问题。选择编码可以给出初始种群的相应问题的解，通常所说的初始种群可以使用以下形式。

在遗传算法的选择算子在操作过程中称为复制或再现，其目的是防止在操作过程中缺乏有效的算法基因，通过选择算子可以使个体具有更大的生存概率，提高算法的搜索性能和解决方案的质量。 在传统遗传算法中，通常使用目标函数形成如下。

改进算法采用自适应函数，以个体适应度为基准，以总适应度为判别标准。当比例过大时，适应度从小到大的顺序序列号按比例直接作为复制概率。当比例适中，直接适应度的比例作为复制概率。当比例小时，按序列号指数比例作为复制概率。

3 优化的数据压缩存储算法

众所周知，为用户提供服务的计算机中相关文件所具有的服务操作。然而真正实现这些操作的是在服务器上运行程序中的文件流。由于用户操作是根据业务需求而要求不断的执行程序，这样频繁的操作就势必对服务器带来压力而给用户带来体验和服务时降低了质量。为此，需要对文件存储进行压缩处理。

如图1展示了大规模的数据压缩程序的显示。在本文中，以提高当前的数据压缩算法的整体性能，我们进行了研究高冗余数据压缩存储算法和遗传算法的并行计算。

模型是人们对客观世界的理解并对客观世界的近似描述，而数据模型是对现实世界的抽象。分布式文件服务器系统是系统组件企业应用的基础，本文在保证企业分布式部署对其他企业应用系统共享文件服务器组和非结构化数据管理的基础上提出了改进方案，并为企业维护提供了完整的解决方案，可以有效降低企业应用系统开发，部署和维护成本，提高企业应用系统服务质量。

存储节点集群：历史数据持久性的长期保存。块存储的数据源，通常是集群数据中设置的加载机器作为数据块单元的一次或几次。

元数据节点集群：用来协调整个集群和对整个系统的元数据信息工作提供需要。企业应用系统中存在大量的非结构化数据，通常企业组织使用基于web的分布式文件服务器维护非结构化数据，并授予企业应用系统中的访问权限。

4 结束语

本文主要研究基于遗传算法和并行计算的高冗余数据压缩存储的优化作用。优化传统算法和数据压缩不仅降低了系统维护和升级成本，同时耶提高了系统的健壮性。因此，优化的遗传算法和优化的数据压缩为云存储提供了更有力的发展空间，对云存储问题是十分必要和具有重大意义。

参考文献：

[1] 张娜. 基于遗传压缩感知的无线传感器网络数据压缩方法[J]. 计算机应用与软件， 2016， 2（4）：52-57.

[2] Patel， Himali， Unnati Itwala， Roshni Rana， and Kruti Dangarwala. Survey of Lossless Data Compression Algorithms[J]. International Journal of Engineering Research and Technology， 2015， 4（4）：133-138.

[3] 陈硕章， 刘海斌， 王春晖， 等. 基于LabVIEW和云数据库存储的远程测试系统设计[J]. 国外电子测量技术， 2016， 3（6）：45-48.

[4] 徐小龙， 周静岚， 杨庚. 一种基于数据分割与分级的云存储数据隐私保护机制[J]. 计算机科学， 2013， 2（2）：111-116.

[5] 陈杰. 大数据场景下的云存储技术与应用[J]. 中兴通讯技术. 2012， 5（6）：353-358.

[6] 辛刚， 罗香玉. 支持容错QoS的高效分布式文件存储算法[J]. 电脑与电信， 2014， 3（6）：102-109.endprint