网络大数据的应用现状与前景

范欣楠

0 引言

近年来，随着互联网、物联网、云计算、三网融合等IT与通信技术的迅猛发展，数据的快速增长成了许多行业共同面对的严峻挑战和宝贵机遇。因而信息社会已经进入了网络大数据时代。大数据不仅改变着人们的生活与工作方式、企业的运作模式，甚至还引起科学研究模式的根本性改变。国内外涌现出一大批依靠商业模式创新而创造辉煌的企业：苹果、IBM、Facebook、Google、亚马逊、阿里巴巴等，纵观这些商业模式创新的典范，可以看出这些企业的创新大都与无限接近消费者有关、与跨界有关、都直接或间接地与信息数字化技术和互联网有关，而大数据成为商业模式创新的基本时代背景。

对于大数据（Big Data），目前还没有一个权威的定义，其基本上应包括三层含义：一是，社会生活泛数据化，互联网化将受众的各种信息数据都暴露在网络之上；二是，数据规模及生成速度之大，数据信息传播方式也由单中心、单向传播向多中心、网状裂变转变，数据量呈爆炸式增长；三是，大数据技术之大，随着数据量级的飞跃，数据处理从关系型数据库到数据仓库、再到联机分析、数据挖掘、数据可视化等迅猛发展。在各种技术不断发展与演变的基础之上大数据专门技术出现。

1 网络大数据的应用

近几年，网络大数据越来越显示出巨大的影响作用，正在改变着人们的工作与生活。2012年11月“时代”杂志撰文指出奥巴马总统连任成功背后的秘密，其中的关键是对过去两年来相关网络数据的搜集、分析和挖掘。Ebay的分析平台每天处理的数据量高达100pb，超过了纳斯达克交易所每天的数据处理量。为了准确分析用户的购物行为，Ebay定义了超过500种类型的数据，对顾客的行为进行跟踪分析。而由阿里巴巴推出的“双十一”，现在已经毫不低调地潜入了全球各地，标志着“双十一”成功走向国际化。截至11日24时，全网总销售额1229.4亿，比2014年增长52.7%，产生包裹数6.8亿个。天猫“双十一”单日交易总额达到921.17亿元，再次取得突破性成功。这些应用的实现，得益于企业对其往年的情况，特别是用户的消费习惯、搜索习惯以及浏览习惯等数据所进行的综合分析。大体来说，网络的大数据的应用包括以下方面：

（1）大数据为企业获得消费者的真实需求提供可能。利用网络大数据，企业能够洞悉消费者的真实需求，对消费者进行准确细分，并将企业产品进行即时、精准、动态定位。零售业就是一个典型的数据驱动定制化的行业，目前在线零售商利用实时数据提供精准的商品推介已经十分普遍。

（2）企业业务活动的“大数据”化。比如，电子商务，就是将传统的商业流通交易流程用网络数据交换替换的结果。

（3）大数据带来的消费者对商品需求从拥有商品变成使用商品。出售模式改为出租模式，与此相对应的收益模式从一次性支付向微支付转变。在软件行业，应用软件泛互联网化改变了消费者获得和使用软件的方式，例如，开源软件模式、AppStore模式等。企业利用“门户化”建立排他性，提高客户粘性。

目前以数据产品为基本提供物的数据公司，按照其不同定位，可以分为三种基本商业模式：

（1）数据租售模式，是向客户提供原始数据的租售，对数据进行采集、传输和整理。例如，2010年在深圳中小板上市的四维图新公司，精准的导航数据是公司的核心产品，这家公司因此成为国内第一家上市的导航电子地图生产企业。

（2）信息租售模式，是向客户提供代表某种主题的相关数据集，诸如数据包租售等。例如，彭博（Bloomberg）公司，核心竞争力在于积累了丰富的金融行业数据和交易数据，拥有强大的专家和咨询网络，构建了整合专业服务与媒体服务的全球性服务平台。

（3）知识租售模式，为客户提供一体化的业务问题解决方案，其关键流程是将大数据与行业知识利用相结合，通过行业专家深度介入客户的业务流程提供业务问题解决方案。比如，为银行信用卡部门设计新的产品和营销方案，帮助保险部门确定寿险、车险等的赔率，帮助投行确定应该对哪些用户推出新的产品等等。

（4）应用租售模式。这一模式建立在“大数据”行业垂直整合的基础上，需要企业与客户进行深度合作，其价值主张是为客户提供一体化的问题解决方案。例如，IBM公司，已经由硬件供应商转变为服务提供商，提出为用户提供完整解决方案的价值主张。面对大数据的到来，又提出“智慧地球”的愿景，部署自己的“大数据”战略。通过收购SPSS、Cognos等公司，使公司业务极大扩展和丰富。

总之，网络大数据的应用是基于数据，基于互联网等技术的普及，和新技术在用户生活中的极大渗透，正如谷歌研究部主任彼得·诺维奇所说，“我们没有更好的算法，我们只有更多的数据”。

2 网络大数据带来的挑战

网络大数据面临着来自诸多方面的挑战：复杂性、不确定性和随机涌现性，而根本挑战在于其复杂性。复杂性造成网络大数据存储、分析、挖掘等多个环节的困难。

2.1 数据类型复杂性

信息技术的发展使得数据产生的途径不断增加，数据类型持续增多。相应地，则需要开发新的数据采集、存储与处理技术，给传统的文本挖掘带来很大的困难。另一方面，不同数据类型的有机融合给传统的数据处理方法带来了新的挑战。

2.2 数据结构的复杂性

传统上处理的数据对象都是有结构的，能够存储到关系数据库中，但随着数据生成方式的多样化，如社交网络、移动计算和传感器等技术的发展和应用，非结构化数据成为大数据的主流形式。目前相关的研究热点包括开发非关系型数据库（如Google的BigTable，开源的HBase等）来存储非结构化数据。Google提出了MapReduce计算框架，Yahoo！、Facebook等公司在此基础上实现了Hadoop、Hive之类的分布式架构，对非结构化数据做基本的分析工作。

国内各大公司和科研单位也启动了用于支撑非结构化处理的基础设施研发，如百度的云计算平台、中国科学院计算技术研究所的凌云（LingCloud）系统等。

2.3 数据模式的复杂性

随着数据规模的增大，描述和刻画数据的特征必然随之增大，而由其组成的数据内在模式将会以指数形式增长。这种面向多模式学习的研究则需要综合利用各个方面的知识。

3 大数据的发展前景

据著名咨询公司IDC发布的研究报告，未来10年全球大数据将增加50倍，管理数据仓库的服务器的数量将增加10倍以迎合50倍的大数据增长。网络大数据不仅数据量大、类型繁多，为未来的商业社会和个人生活提供了无限可能和机遇，同时也带来了诸多挑战。大数据将包括结构化数据、半结构化数据和非结构化数据。在现代互联网应用中，表现出非结构化数据大幅增长的特点。这些非结构化数据的产生往往伴随着社交网络、移动计算和传感器等新技术的不断涌现和应用。再次，网络大数据往往呈现出突发涌现等非线性状态演变现象。因此难以对其变化进行有效评估和预测。网络大数据还常常以数据流的形式动态、快速地产生，具有很强的时效性，用户只有把握好对数据流的掌控才能充分利用这些数据。

如果说上一轮网络大数据的应用是基于泛互联网化，那么新一轮的应用将要建立在超越互联网、超越大数据的思维之上。连接、跨界、融合，不仅带来许多新的商业模式，而且使行业边界呈现模糊化趋势。

【参考文献】

[1]王元卓，靳小龙，程学旗.网络大数据：现状与展望[J].计算机学报，2013年6月第36卷第6期.

[2]李文莲，夏健明.基于“大数据”的商业模式创新[J].中国工业经济，2013年5月第5期.

[3]http：//review.ec.com.cn（中国国际电子商务网）[OL].

[4]http：//www.china-cloud.com（中云网）[OL].

[责任编辑：王楠]