基于机会协作的动漫产业网络大数据处理系统设计

郭继联

摘 要： 在网络大数据处理技术的快速发展和广泛应用的前提下，提出基于机会协作的动漫产业网络大数据处理机制，通过研究、分析动漫产业发展需求，将机会协作机制引入到网络大数据采集过程，并设计动漫产业网络大数据处理、分析方案。利用网络大数据实现“技术+内容”的双轨发展，构建与动漫用户需求精确匹配的现代动漫产业发展体系。通过试验对动漫产业网络大数据传输、采集、处理进行测试，结果表明设计的基于机会协作的动漫产业网络大数据处理系统在数据吞吐率、传输可靠性和系统处理性能等方面表现出了更优越的性能，为其他产业网络大数据处理系统设计提供了参考依据。

关键词： 动漫产业； 大数据处理； 机会协作； 系统设计

中图分类号： TN958?34； TP391.4 文献标识码： A 文章编号： 1004?373X（2016）09?0041?03

Abstract： On the premise of the fast development and wide application of network big data processing technology， the network big data processing mechanism for animation industry based on opportunity cooperation is proposed. The opportunity coope?ration mechanism is introduced into the network big data acquisition process by researching and analyzing the needs of animation industry development. The network big data processing and analysis schemes for animation industry were designed. The network big data is used to realize the double?track development of ″technology+content″， and construct the modern animation industry development system satisfying the demands of animation users entirely. The network big data transmission， acquisition and processing of the animation industry were tested. The test results show that the designed system based on opportunity cooperation has perfect performances in the aspects of data throughput， transmission reliability， system processing， etc.， and provides the reference basis for the design of network big data processing systems of other industries.

Keywords： animation industry； big data processing； opportunity cooperation； system design

0 引 言

随着大数据时代的到来，动漫产业与网络大数据处理技术进一步融合，使得动漫创意、制作、传播、消费、服务构成的产业链条越来越依赖互动共生的网络生态系统，从而推动动漫产业进入跃迁发展新时期[1]。本文在大数据处理、分析技术的深刻影响下，提出利用大数据挖掘、深度分析与可视化结果重塑我国动漫产业。通过网络技术为动漫产业发展提供重要支撑和平台，是实现动漫产业大数据处理、分析的前提。

针对动漫产业在大数据采集、传输、处理等方面的问题，本文设计了一种适用于动漫产业的基于机会协作的大数据处理系统（OCA）[2]。本文的主要工作包括：基于机会协作技术建立了数据采集模型；分析了动漫产业互联网中节点到聚合点的大数据传输可靠性和处理复杂度规律，据此建立大数据处理系统。

1 动漫产业网络模型

为了有效提高动漫产业信息化水平，改善动漫产业综合决策，必须保证动漫产业相关数据科学化、精确化。利用网络技术，设计了一个动漫产业网络模型。该模型包括： 采集互联网数据、机会协作通信技术、数据处理、实时监控等功能，使得网络技术能够有机地结合动漫产业数据[3]。动漫产业大数据处理架构模型如图1所示。

本文设计的动漫产业网络模型包括物理层、协作层、大数据层和应用层。其中物理层由互联网中提供动漫数据的网络终端构成；协作层通过应用机会协作通信技术保障数据传输的可靠性、稳定性；大数据层由自适应控制数据处理模块和多样性应用数据处理模块构成，负责对汇聚的数据处理、分析[4]。同时在大数据层中建立不同类型数据库，以方便对不同类型数据多样性检索，进而提高数据挖掘效率和精度，数据多样性检索流程如图2所示。应用层通过多种网络传输方式为客户提供大数据分析结果。同时，本网络模型架构增加了跨层交互接口以实现更多形式的数据共享。

2 基于机会协作的大数据处理

2.1 机会协作机制

2.2 大数据处理机制与方法

基于构建的机会协作机制的数据传输、采集模型，建立多元化的数据处理、分析方案[6]。通过数据类型的感知特性制定不同的映射机制，以提高系统的数据处理能力。本系统采用的大数据处理流程如图3所示。

在实际大数据处理系统中，难以准确预测用户需要的数据库类型及数据映射。本文在不同数据处理作业之间建立缓冲区，用于存放多样性数据映射Hash二维矩阵，以便进行排序和最优化处理[7]。同时，在数据联合检索过程中采用数据作业流交互方式，以实现在数据替换时对检索频次高、检索次序合理、交互间隔代价最小的数据映射表项以及Hash元素的快速查找。

（1） 设定初始数值：[i=1，p=0，Pbit=0]。

（2） 对大数据进行机会协作算法处理，结合式（3）～式（5）得到[p，][Pbit，]然后更新Hash矩阵和处理作业编号[i]。

（3） 如果[μ<0.5，]则重新采用机会协作算法对数据流进行优化处理。

（4） 否则，继续进行数据转发和作业流处理。

（5） 如果处理作业编号[i>n]，则本次大数据处理结束；反之返回步骤（2）。

3 系统性能测试

通过2组实验对机会协作的大数据传输机制的可靠性以及动漫产业的大数据处理系统的性能进行验证与测试。

第一组实验对系统在传输数据吞吐量、丢包率和能效三方面进行测试，通过检测数据的数学分析和仿真验证分析基于机会协作技术大数据处理系统的性能，其中测试数据如表1所示，结果如图4所示。

通过对大数据传输性能测试结果曲线图研究、分析，表明基于机会协作技术的大数据传输方式相对于传统数据传输方式有效地提高了数据吞吐量，并且具有较好的可靠性、能效性。

第二组实验通过实时监测系统大数据传输流持续[100 min]，以实现系统对大数据的采集、检索成功率进行性能测试，实验结果如图5所示。通过对大数据读取性能、检索成功率测试结果曲线图研究、分析，表明该系统具有较强的数据读取和检索性能，满足动漫网络大数据处理需求。

4 结 论

针对网络数据传输的复杂性、高误码率和大数据多样性等特点，为保证动漫产业大数据采集的可靠性、高效性。本文提出基于机会协作的动漫产业网络大数据处理机制，通过研究、分析动漫产业发展需求，将机会协作机制引入到网络大数据采集过程，并设计动漫产业网络大数据处理、分析方案。通过实验对系统数据传输可靠性和大数据处理性能进行测试，结果表明，本系统在数据吞吐率、传输可靠性和系统处理性能等方面表现出了更优越的性能。

参考文献

[1] 孟小峰，慈祥.大数据管理：概念、技术与挑战[J].计算机研究与发展，2013，50（1）：146?169.

[2] 亓开元，赵卓峰，房俊，等.针对高速数据流的大规模数据实时处理方法[J].计算机学报，2012，35（3）：477?490.

[3] 田锐，孙利民，刘燕，等.CABRA：车载网络中基于协作的大数据传输增强机制[J].计算机研究与发展，2009，46（12）：2076?2084.

[4] Association for the Advancement of Medical Instrumentation. Testing and reporting performance results of cardiac rhythm and ST segment measurement algorithms： ANSI/AAMI EC57?2012 [S]. Arlington： Association for the Advancement of Medical Instrumentation， 2012.

[5] 林闯，陈莹，黄霁崴，等.服务计算中服务质量的多目标优化模型与求解研究[J].计算机学报，2015（10）：1907?1923.

[6] 贾晓丰.基于物联网的大数据量实时信息交换策略研究[J].电子政务，2011（4）：16?20.

[7] 王淑蓉，王长元，喻钧.基于服务计算的服务组合研究[J].现代电子技术，2012，35（12）：69?71.

[8] WIGAN M R， CLARKE R. Big data′s big unintended consequences [J]. Computer， 2013， 46（6）： 46?53.

[9] 敖莉，舒继武，李明强.重复数据删除技术[J].软件学报，2010（5）：916?929.