试论大数据时代竞争情报需要的转变

徐浩

摘要 2012年潜心研究数据科学数十年的技术权威维克托 迈尔-舍恩伯格（Viktor Mayer-Sch-nberger）出版了《大数据时代》（Big Data： A Revolution That Will Transform How We Live， Work and Think），大数据（Big Data）被提到的次数越来越多，人们用它来描述和定义海量数据信息爆炸的时代，并用他来命名与之相关的技术发展和技术创新。“大数据”时代的来临，给各行各业带来了数据使用方式的根本性变革。文章首先阐述了大数据的内涵和特征，认为大数据有利于提高竞争情报的真实性、精准性以及实时性。在此基础上，详细分析了大数据中数据量大、数据混杂、数据更新快的特点；大数据给竞争情报带来的挑战以及竞争情报学研究为了迎接这些挑战所需要做的转变。

【关键词】大数据 竞争情报 全数据 黑箱理论

1 什么是大数据

在大数据研究方面最具权威的三家机构麦肯锡、APPNET和IBM给了大数据不同的定义。麦肯锡给出的定义为无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合[1]。APPNET总结出大数据具有三个要素分别是Analytic（分析）、Bandwidth（宽带）、Content（内容）。IBM用四个“V”来概括大数据他们分别是Volume（数据量大）、Velocity（增长速度快）、Variety（数据类型多）和Veracity（真实和准确）。

2 大数据的特点

2.1 数据量大

使用所有的数据并不代表这项任务难度极高，因为大数据中的“大”并不意味着是绝对意义上的大，大数据是指不用随机取样，而是使用所有已掌握可掌握数据的方法。这里的“大”是相对意义上的大，也就是相对于所有数据而言，它的数量有很高的可信性。

2.2 数据混杂

当前人们存在一种普遍误解，就是“大数据”等同于数据量很大的数据，其实不然，人们在社会生活的很多领域都已经有能力得到非常多甚至是全部的数据，比如金融领域，但我们并不能将之称为“大数据”，因为其数据结构较为单一，可以用传统的方法进行数据的处理、分析和储存在这里我们也可以看出大数据的一个特点——数据类型较为混杂。

2.3 数据更新快

大数据要求快速处理，因为有些数据存在时效性。比如电商的数据，假如今天数据的分析结果要等到明天才能得到，那么将会使电商很难做类似补货这样的决策，从而导致这些数据失去了分析的意义。

3 大数据时代竞争情报的挑战

3.1 信息安全受到威胁

软件应用方面，大数据的收集方法很容易触及个人隐私，比如我们所使用的引动终端，它就可以搜集用户的位置信息；2013年年末，网络曝出7000万个qq群关系出现了重大泄露，人么可以在这些数据中知道一个人的年龄，性别。如何防止这样的事件的发生就会是很大的挑战。

3.2 非结构化数据增加

大数据时代企业竞争情报来源的结构发生了变化，据统计企业中非结构化和半结构化的数据为数据的主体，约占总量的 80%，而剩下的不到 20%的数据才是我们经常用到的结构化的数据。而且，非结构化数据的增长速率远远大于结构化数据，前者为 63%，网站上我们可以看到他可以为软件开发者提供定位，搜索及地图等功能，该功能为数十万款 APP提供了定位服务，根据其统计每天向其提出的位置服务申请高达 35亿次，这也就保证了该平台可以得到足够多的位置数据，使“百度迁徙”具有相当的可信性。

4 面对挑战应进行的转变--多使用“黑箱”思维

可以说大数据的引起的变化就是因量变而发生的质变，为了迎合这种质变我们需要对我们的一些思维及行为方式进行一些改变。

在小数据时代，很难证明由直觉而来的因果关系是错误的，现在，情况不一样了，将来，大数据之间的相关关系，会经常用来证明只觉得因果联系是错误的。最终也能证明，统计关系也未蕴含多少真实的因果关系，总之我们这种思维方式将会遭受各种各样的考验。

这就类似于中医针灸一类的“黑箱”，笔者认为在新时代竞争情报也可以使用黑箱方法来研究竞争情报。黑箱方法即在不直接影响原有客体黑箱内部结构、要素和机制的前提下通过观察黑箱中“输入”、“输出”的变量，得出关于黑箱内部情况的推理，寻找发现其内部规律，实现对黑箱的控制。

谷歌一直走在大数据研究的前沿。在甲型 H1N1流感爆发的几周前，互联网巨头谷歌公司的工程师们在《自然》杂志上发表了一篇引人注目的论文。它令公共卫生官员们和计算机科学家们感到震惊。文中解释了谷歌为什么能够预测冬季流感的传播：不仅是全美范围的传播，而且可以具体到特定的地区和州。谷歌通过观察人们在网上的搜索记录来完成这个预测，而这种方法以前一直是被忽略的。

5 结语

在信息社会，更好的信息等于竞争优势。在削减的响应时间和数据的需求呈指数级增长已经带来一年后的今年行业的一个关键挑战。大数据代表了一流的解决方案，使企业能够捕捉，分析和挖掘非常大的数据集来深入了解各种问题域，从顾客的喜好来做复杂的预测。

大数据技术的普及应用，正如当年互联网技术的普及应用一样，将渗透到各个领域，并逐渐影响着每一个人的生活。1993年，《纽约客》曾刊登了彼得·施泰纳的一幅漫画：“在互联网上，没有人知道你是一条狗。”这幅漫画轰动了全球，人们由此直观地认识到没有人知道到底是谁在向互联网发出信息。现在这个答案可以解决了，大数据技术不但可以让人们知道向互联网发出信息的是一条狗，还能够知道这条狗在什么位置、几点出去和主人一起遛弯、几点回来睡觉。每个用户在互联网上都会留下自己的“痕迹”。

尽管大数据问竞争情报的研究带来了种种挑战，但是应对好这些挑战会给竞争情报的研究带来巨大的变化。当今世界各地的几乎任何一个角落都有传感器的存在，其中也包括我们经常使用的智能移动终端，好好利用这里产生的信息，将会使企业获得更大的竞争优势。

参考文献

[1]严霄凤，张德馨.大数据研究[J].计算机技术与发展，2013，4（32）：4.

[2]张琳.五种生活中常见的“黑箱”及其应用[J].科教文汇，2010（24）：201-202.

[3]闫城榛，韩志国.应变大数据[J].中国传媒科技，2013（004）：28-33.

作者单位

南昌工程学院 江西省南昌市 330029