对大数据处理关键技术研究

石景泉陈耀武

（作者单位：1．陕西广电网络传媒（集团）石泉县支公司；2．陕西广电网络传媒（集团）镇坪县支公司）



对大数据处理关键技术研究

石景泉1陈耀武2

（作者单位：1．陕西广电网络传媒（集团）石泉县支公司；2．陕西广电网络传媒（集团）镇坪县支公司）

摘 要：21世纪，人类已经进入信息时代，大量数据的出现，传统的数据处理模式已难以实施处理大数据信息。怎样处理数据的存储、分析、实施等问题已经成为当下急需解决的问题。针对这些问题，本文主要对大数据的概念与特点进行了阐述，分析大数据面临着哪些核心问题，以及如何解决这此问题。

关键词：大数据处理；关键技术；核心问题

当今时代，数据已经成为增长最快的资源之一，据IDC统计，相比于2010年的信息量，2012年有了64.5%的增长率，达到80万PB，2013年全球信息量已达2.1ZB，预计到2020年全天数据总量将是2012年的两倍，伴随着数据规模的快速增长的同时数据类型也变得更为复杂。面对如此严峻的问题，当下的着手点是怎样挖掘数据中的价值。

1 大数据概念

通常所说的大数据指的就是海量的资料，指通过使用的软件以及其它工具来获取所需要的资料，然后对所获得的资料进行整理分析，处理数据的过程所花的时间远远超过了数据的有效时间。其定义就是对决策力、洞察发现力的提升以及流程优化能力的提升，以及对海量、多样化与高增长率的信息数据的处理能力的提升。

2 大数据特点

现今，大数据有以下4V特点：Value，Volume，Velocity，Variety。

2.1数据量大

按照IDC概念分析，如果需要分析数据至少需要100TB的数据，非常大的数据量就是大数据的基本属性所在。现今，大数据已经开始从TB级别迅猛增加到EB级别了。

2.2数据处理速度快

与传统的数据处理不同的关键点之一就是非常快的数据处理速度。当今时代，各种信息技术的飞速发展，数据的产生，公布也变得越来越简单了，新生的数据在不断的出现，因此，要求处理数据的速度也越来越快了，这样大数据大都够得到有效的应用。

2.3数据种类多

数据的分类可以划分为结构与非结构数据这两种。结构化数据需要把数据抽象出来，向方便于人类以及计算机存储、分析、处理的方向抽象出来。在这个过程中需要忽略一些不必要的细节，但对分析数据得出正确结论没有影响的问题，提取出需要的信息。而非结构化数据在结构属性上并没有相同的，将结构用表的形式表达出来可以说是非常的困难，对数据进行记录需要对数据结构也要进行记录，这是为了对数据处理的能力进行增加，同时也是为了将存储的难度进行提升。

2.4数据价值密度低

非结构话数据的重要属性就是通常所说的数据价值密度低。数据总量的大小是与价值密度的高低与成反比关系的。

3 大数据要处理面临的四大核心问题

3.1数据的收集

数据的收集就是获取数据，因此需要注重对数据的收集，大数据出现以前数据是人类需要分析具体的问题，经过采集样本，抽象等方法存储原始产生的数据，而如今随着互联网科技的发展，更多的信息都是通过人们在网络上上传信息。大量的数据信息也就因此产生了，数据信息并不是越多越好，而是尽可能的去获取一些有用的信息才是大数据的关键。处理非结构化数据需要是通过获得数据的方法实现的，需要根据具体的数据，需要获得有效数据，需要处理掉那些对数据分析有误导作用的数据。

3.2数据分析

数据分析是大数据处理中非常关键的一步，大数据本身是没有任何意义的，只有分析具体的事物或者应用，大数据才是有用处的。数据随处可用，但是最大的缺点是不能够有效的从数据中提取知识，对非结构话数据分析还没有找到很好的处理方法。大数据今后的发展趋势就是能不能从大量的数据中提取出有用的数据。然而现今对数据进行简单的概率统计就可以轻松的获得特定事物发展的大致趋势。

3.3数据可视化

数据可视化就是数据的显示，数据显示指的就是需要将数据经过处理后可以写或者可以读出来，这样便于用户轻松的得到他们想要的信息。传统的数据显示通常是直接现实、数据表以及各种统计图等形式来显示。而大数据处理的非结构化数据则主要是利用计算机图形和图像处理的可视计算机技术来处理，把数据转换成图形或图像，复杂的数据可以用三维形体来表示，对有形体的数据直接进行操作。

3.4处理数据的能力

大数据需要人们从大量的复杂的并与此专业相关的信息中查找出他们所需要的正确的内容。大数据与传统数据在很多方面存有差别，其中最大的差别就是他们的处理要求不同。传统的数据应用处理通常对时间要求不是很高，一两天之内的运行结果依然有效。而大数据的数据应用处理对时间的要求大部分需要在1秒钟内或瞬间内得到结果，要不然它所处理的结果就没有任何意义了。要对数据进行实际性的处理有三个方面的要求，即对实时数据的获得，理解分析，以及绘制这三个环节缺一不可。实时分析大规模数据是大数据急需解决的核心问题；计算机可视化的热点是及时的绘制数据，CPU的快速发展有助于将实时绘制变为现实。数据的绘制方式很重要，它的选取有两个参考条件，其一就是实际使用的条件，其二就是它本身所具有的硬件特点。

4 大数据面临的核心问题的解决

通过以上分析，知道大数据面临四个方面的问题：获取有用数据、数据分析、数据显示、处理数据的能力。在过去的一年中，市场上在云计算方面推出了需要产品（比如面向互联网高密度的数据中心、面向行业的大数据等都推出了大数据产品）。专家认为，为客户规划云计算需要按部就班不能一口吃成一个大胖子。而具体到对大数据的要求，相关专家一直认为一体化是解决大数据面临的四大核心问题的关键。一体化可以分为三个部分：第一个部分就是上文讲的数据的处理，从获取数据，存储数据，分析数据到最后数据的可视化的过程，都可以用一体化的方案来解决；第二个部分需要发挥现在硬件技术方面的优势，需要通过硬件与软件的结合来提升整体的综合性能；第三个部分就是整个解决方案的一体化，面对不同的行业（比如面对银行业的一体机等）来做整体的解决方案，也就是专家所说的一体化。

5 结语

21世纪是信息高速发展的时代，随着大数据技术的应用，物联网以及云计算的迅猛发展，数据量也在不断增加，大数据已经成为了一个当今必须解决的一个热门问题。当前大数据还有非常多的技术以及相关的概念没有形成统一的规定，面临着诸多挑战，但随着社会各界开始对数据的重视程度不断地提升，相信今后对大数据处理的技术也会不断发展与更新。这些技术将朝着便捷化、合理化、人性化方向发展。通过对这些技术的处理分析，大数据给人类社会带来非常多的好处。

陈耀武，本科学历，陕西广电网络传媒（集团）镇坪县支公司，工程师。

作者简介：石景泉，本科学历，陕西广电网络传媒（集团）石泉县支公司，工程师。