论当代大数据技术的探讨和分析

广东省广州工商学院软件专业 梁光华

一、引言

随着网络信息化的日益普遍，移动互联、社交网络、电子商务拓展了在互联网的应用领域，大数据是由人类日益普及的网络行为所伴生，它吸引了越来越多人。

美国互联网数据中心指出，互联网上的数据每年增长50%，每两年便将翻一番，而近几年世界上产生了90%以上的数据。它包含有工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度乃至空气中化学物质变化产生了海量的数据。

在这大数据的热潮中，微软公司生产了数据驱动的软件，通过跟踪取暖器、空调、风扇以及灯光等积累下的大量数据，捕捉如何杜绝能源浪费。这一款软件可以为世界节约40%能源。

据美国《纽约时报》报道，奥巴马政府将绘制完整的人脑活动图，全面解开人类大脑的思考、储存和检索记忆等思维密码作为美国科技发展的重点，美国科学家已经成功绘制出鼠脑的三维图谱。2012年，美国IBM计算机专家用运算速度最快的96台计算机，制造了世界上第一个“人造大脑”，电脑精确模拟大脑不再是痴人说梦。

二、大数据在国内外发展现状

大数据的火爆，也带动了国内学术界、产业界和政府对大数据的关注。2011年以来，科技部的《中国云科技发展“十二五”专项规划》和工信部的《物联网“十二五”发展规划》等都把大数据技术作为一项重点予以支持。

应用方面，中国三大通信运营商都在结合自身业务情况，积极推进大数据应用工作，并取得了较好的进展。电子商务企业阿里巴巴提出要做中国数据分析第一平台，通过掌握的企业交易数据，借助大数据技术自动分析判定是否给予企业贷款，全程不出现人工干预。目前阿里巴巴已经放贷300多亿元，坏账率约0.3%左右，大大低于商业银行。

2009年，联合国启动“全球脉动计划”，借大数据推动落后地区发展。美国从开放政府数据、开展关键技术研究和推动大数据应用三方面布局大数据产业。美国通过Data.gov开放37万个数据集，并开放网站的API和源代码，提供上千个数据应用。除了推动本国政府数据开放，美国倡导发起全球开放政府数据运动，已有41个国家响应。

快速发展的大数据成为IT领域的又一大新兴产业。据中央财经大学中国经济管理研究院博士张永力估算，国外大数据行业约有1000亿美元的市场，而且每年都以10%的速度在增长，增速是软件行业的两倍。我国2012年大数据市场规模大约4.7亿元，2013年增速将达到138%，达到11.2亿元，产业发展潜力非常巨大。

三、大数据的分析

（一）大数据的特性

1.数据量巨大

数据量巨大的表现之一是，它的容量的起步单位单位以TB、PB级别计量数据，而ZB、EB单位也越来越多出现。

2.数据处理速度快

大数据类型多、数量巨大，处理相对困难，但因大数据与决策紧密相关，所以对大数据的处理要求是以“1秒”为目标的实时处理成为重要特征。

3.数据价值密度高或低

待分析处理的大数据整体价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。但对于由大数据分析处理的结果而言，其数据价值密度相当高。

（二）大数据技术

是指以通过传感器数据、射频数据、网络交互数据等方式获得的各类结构化、半结构化及非结构化的海量数据经过专业技术处理获得的有价值的信息技术。解决大数据问题的核心就是大数据技术。

处理大数据主要有8种技术：数据采集，数据存取，基础架构，数据处理，统计分析，数据挖掘，模型预测，结果呈现等。

（三）大数据的处理流程概括为四步

1.采集

大数据的采集是利用多个数据库来收发自客户端的数据，用户能查询和处理这些数据库中的数据。

2.导入/预处理

首先将这些来自前端的巨量数据导入到一个集中的大型分布式数据库中或分布式存储集群中，并且在导入的基础上做一些简单的清洗和预处理工作。

3.统计分析

统计与分析主要利用分布式数据库或分布式计算集群的海量数据进行分析和分类汇总等，来满足分析需求。

4.挖掘

挖掘就是从大量的、不完全的、模糊的、随机的实际应用数据中提取隐含在其中的、但又是有用信息过程。

四、高校在大数据时代的任务

大数据技术已经渗透到每一个行业和各个领域使越来越多人意识到它的重要性。大数据的影响将推出一批新的岗位，如数据算法工程师、数据管理专家、数据分析师等。每个岗位都需要专业人员，因此，必须培养和造就一支掌握大数据技术、有大数据应用经验的专业队伍。

据盖特纳咨询公司预测大数据将为全球带来440万个IT新岗位和上千万个非IT岗位。麦肯锡公司预测美国到2018年需要深度数据分析人才44万—49万，缺口14万—19万人；需要既熟悉本单位需求又了解大数据技术与应用的管理者150万，这方面的人才缺口更大。

由于市场的强烈需求，作为人才培养的重要场所高校肩负着培养具有大数据建设专业人才的重大使命。

中国是人才大国，但能理解与应用大数据的创新人才资源是非常稀缺。而由于强烈的市场需求，高校也将逐步开设大数据相关的专业。

五、总结

汹涌澎湃的大数据浪潮的到来与互联网的发明一样，它不仅仅是信息技术领域的革命，更是在全球范围加速企业创新、引领社会变革的锐利武器。“大数据之大”，并不仅仅在于“容量之大”，更大的意义在于通过对数据的整合、分析和交换，来发现新的知识，创造出新价值，带来“大利润”和“大发展”。

在大数据时代，获取并挖掘有价值的信息就意味着巨大的投资回报。“大数据”能够提高政府各部门间协同办公能力，提高为民办事的效率，大幅降低政府管理的成本，最重要的是能为政府决策提供有力的支撑，源源不断的“数据智慧”将推动政府管理的整体水平。

“大数据”能够提升城市智能水平，让居民享受智慧生活。

大数据的发展前景是美好的，但数据是否有好的处理能力和技术，如何获得大量数据，培养精通“大数据”的专业人才是当今最重要的。

大数据的到来已在各行业掀起了变革的巨浪，促使人们对数据搜集能力、传输能力、存储能力和处理分析能力要快速提高，未来十年将是一个“大数据技术”引领的智慧科技时代。