随着云计算、互联网和存储能力的发展,互联网进入了大数据时代。在移动互联网时代,大数据的挑战包括了数据搜集、云计算、数据挖掘和智能应用,每个阶段还有相当多的决策。
近两年,大数据这个词已经耳熟能详,异常火热。大数据其实就是所谓的信息海洋。移动互联网每天产生大数据,譬如中国联通每天会在移动互联网上产生600亿条的商业记录。数据速度、总量和种类都很有突破性。
移动互联网大数据的价值
如今都在谈大数据,那么相对而言小数据是什么呢?“人类的发展史其实就是小数据的挖掘史。比如牛顿的三大定律,其实就是从对小数据的分析得到的。名医华佗做的也是小数据挖掘,通过诊断一些病人,得到经验并总结规律。因此,人类的发展至今都在不断分析小样本数据,从中抽取一般性规律和一些大概率事件”,陈一昕解释说。
随着云计算、互联网和存储能力的发展,互联网进入了大数据时代。大数据必然对人类发展带来新的变革,为此陈一昕分析了大数据的三个创新点:
首先,当数据量非常大的时候人们对于数据的质量要求比较低,而数据非常多的时候则可以容忍数据中的“噪音”。第二,数据量越来越多的时候会出现更令人感兴趣的内容。也许可以通过一个大数据模型更好地发现更有价值的东西。所以小数据当中可以发现大概率事件,大数据可以发现小概率事件和突发性事件。突发性事件往往更有价值。比如金融危机、海啸、地震和金融欺诈等都是突发性事件。另一点很重要,在大数据时代人们更加关注数据间的关联性而不是因果性。”
移动互联网时代大数据的挑战
移动互联网运营商拥有大量数据,也有无限的应用,如何体现这些价值?
“作为运营商,我们主要的战略就在于把握大数据的仓库,因为我们掌握了一个金矿。作为电信企业,没有必要和其他的企业比拼如何打造金戒指,谁打造得更漂亮。我们要做的是把金矿管理好,把金条做好”,陈一昕打比方说道。中国联通目前开发的沃云就是大数据的支撑平台,同时也开发了移动上网的大数据平台,每天上网的数据会传输到大数据平台,并且对外开放数据挖掘的能力。
在移动互联网时代,大数据的挑战包括了数据搜集、云计算、数据挖掘和智能应用,每个阶段还有相当多的决策。比如,结构化和非结构化的数据如何整合,如何支持数据速度,处理能力能否满足数据速度,以及数据安全隐私问题等。
陈一昕强调大数据时代最大的挑战可能是人才。“美国麦肯锡全球研究院报告指出到2018年,具有深度大数据分析的人才缺口可能达到60%以上。大数据人才不光需要有理工科的知识和数学建模的知识,也需要了解企业和商业的痛点在哪里,并据此提出正确的模型。所以包括联通在内,现在都要打造这样一支团队。”