基于群智仿生算法的大数据高效迁移策略研究

杜宇

摘  要： 为了提高大数据迁移的执行效率并降低存储需求，提出采用群体仿生智能算法中的人工鱼群算法完成大数据迁移过程。首先，根据鱼群活动状态对大数据迁移进行策略分析，并对数据记录及存储空间按照鱼群算法进行建模。然后，采用存储范围和迁移步长动态变化的策略完成大数据自动迁移。经过实验证明，相比LRU迁移算法，基于人工鱼群算法的数据迁移策略在存储空间及执行时间消耗方面优势明显，具有一定的推广价值。

关键词： 大数据迁移; 自动迁移; 执行效率; 存储空间; 群体智能算法; 人工鱼群算法

中图分类号： TN915?34; TP393                    文献标识码： A                     文章编号： 1004?373X（2019）19?0124?03

Abstract： In order to improve the execution efficiency of big data migration and reduce the storage demands， the artificial fish swarm algorithm in the swarm intelligence algorithm is proposed to complete the big data migration process. The strategy analysis of big data migration is carried out according to the fish population activity status， and the data record and storage space are modeled according to the fish swarm algorithm. The automatic migration of big data is completed by a strategy of dynamically changing the storage range and the migration step size. Experiment results show that， in comparison with the LRU migration algorithm， the data migration strategy based on artificial fish swarm algorithm has more obvious advantages in storage space and execution time consumption， and has a certain promotion value.

Keywords： big data migration; automatic migration; execution efficiency; storage space; swarm intelligence algorithm; artificial fish swarm algorithm

0  引  言

大数据平台用户众多，服务器所承载的数据资源与日俱增，当数据量的不断增多，随之而来的数据存储及服务器扩容等一系列问题也随之产生，特别是数据迁移问题成为大数据平台发展面临的重要问题。

数据迁移并不是简单的数据位置的变化，它涉及到数据迁移的平滑度，数据的完整度，还有迁移过程面临的数据量变大，迁移时间等问题。当前对数据迁移的算法主要有LRU和LFU算法[1?3]，这两种算法在数据迁移的效率方面优势并不明显，本文结合群体智能算法，将人工鱼群算法作为大数据迁移策略，提高了大数据平台数据的迁移效率。

4  结  语

本文采用基于人工鱼群算法的大数据负载迁移方法较好地完成了数据迁移，相比传统的LRU数据迁移算法，在执行效率和存储消耗方面优势明显，综上所述，人工鱼群算法在大数据迁移方面有较强的适用性。接下来会在过程简化和结合其他群体智能算法方面进行后续研究。

参考文献

[1] 陈作聰.基于灰色模型的海洋大数据迁移算法设计[J].广东工业大学学报，2018，35（3）：95?99.

CHEN Zuocong. Grey model?based algorithm design for ocean large data migration [J]. Journal of Guangdong University of Technology， 2018， 35（3）： 95?99.

[2] 王永超，鲁鸣鸣.面向金融行业的大数据迁移的研究与实现[J].计算机工程与应用，2018，54（13）：93?99.

WANG Yongchao， LU Mingming. Research and implementation of big data migration for financial industry [J]. Computer engineering and applications， 2018， 54（13）： 93?99.

[3] 梁双，周丽华，杨培忠.基于聚类分析分库策略的社交网络数据库查询性能与数据迁移[J].计算机应用，2017，37（3）：673?679.

LIANG Shuang， ZHOU Lihua， YANG Peizhong. Query performance and data migration of social network database based on cluster analysis and subdatabase strategy [J]. Computer applications， 2017， 37（3）： 673?679.

[4] 张水平，王碧，陈阳.基于逐层演化的群体智能算法优化[J].工程科学学报，2017，39（3）：462?473.

ZHANG Shuiping， WANG Bi， CHEN Yang. Swarm intelligence algorithm optimization based on hierarchical evolution [J]. Chinese journal of engineering， 2017， 39（3）： 462?473.

[5] ZOUACHE D， ABDELAZIZ F B. A cooperative swarm intelligence algorithm based on quantum?inspired and rough sets for feature selection [J]. Computers & industrial engineering， 2018， 115： 26?36.

[6] CHEN W， FENG Y Z， JIA G F， et al. Application of artificial fish swarm algorithm for synchronous selection of wavelengths and spectral pretreatment methods in spectrometric analysis of beef adulteration [J]. Food analytical methods， 2018， 11（8）： 2229?2236.

[7] ZONG X， JIANG Y， WANG C. Evacuation behaviors and link selection strategy based on artificial fish swarm algorithm [C]// International Conference on Cloud Computing & Big Data. Macau， China： IEEE， 2016： 62?67.

[8] 刘东林，李乐乐.一种新颖的改进人工鱼群算法[J].计算机科学，2017，44（4）：281?287.

LIU Donglin， LI Lele. A novel improved artificial fish swarm algorithm [J]. Computer science， 2017， 44（4）： 281?287.

[9] 汪开普，张则强，毛丽丽，等.多目标拆卸线平衡问题的Pareto人工鱼群算法[J].中国机械工程，2017，28（2）：183?190.

WANG Kaipu， ZHANG Zeqiang， MAO Lili， et al. Pareto artificial fish swarm algorithm for multi?objective disassembly line balance problem [J]. China mechanical engineering， 2017， 28 （2）： 183?190.