国务院发展研究中心 李泊溪
大数据与生产力
国务院发展研究中心 李泊溪
大数据开启了新时代,它正在改变我们的思维与生活以及理解世界的方式,成为创新生产和服务的源泉。当我们研究未来我国生产力发展的时候必须要考虑大数据的影响。有专家指出“大数据与云计算是一个问题的两面,一个是问题,一个是解决问题的方法”。因此,要认识大数据必须要认识云计算。可以说,云计算是大数据时代的系统工程。
本文研究了大数据的概念和特征,分析了大数据云计算的通用技术属性,论证了大数据对生产力的影响、表明了大数据促进各行业生产力发展的方面,在全面分析的基础上,提出了我国发展大数据—云计算的思考等几部分。本文对大数据对生产力的影响做了概括的论述。
大数据;云计算;生产力
大数据与云计算是相互密切关联的事,又不是一回事,本文所提到的大数据,往往意味着包含与密切相关的云计算,因为云计算是支撑大数据的平台。
数据及其分析处理在现代社会的地位越来越重要,越来越多的政府、企业等机构开始意识到数据正在成为组织最重要的资产,数据分析能力正在成为组织的核心竞争力。
在学术界,大数据这一概念的提出相对较早。2008年9月,《自然》杂志就推出了名为“大数据”(big data)的专刊。2011年5月,麦肯锡全球研究院发布了名为《大数据:创新、竞争和生产力的下一个前沿》(Big data:The next frontier for innovation,competition,and productivity)的研究报告,指出大数据将成为企业的核心资产,对大数据的分析将成为竞争的关键,并会引发新一轮生产力的增长与创新,对海量数据的有效利用将成为企业在竞争中取胜的最有力武器。
2012年,联合国发布大数据政务白皮书,指出大数据对于联合国和各国政府来说是一个历史性的机遇,可以使用极为丰富的数据资源,来对社会经济进行前所未有的实时分析,帮助政府更好地响应社会和经济运行。在美国,大数据上升到了国家竞争的战略层面。2012年3月29日,奥巴马政府发布了《大数据研究与发展计划倡议》,宣布启动对大数据的研发计划。
在IT领域,企业已经意识到大数据是隐藏的金矿,纷纷针对大数据领域进行布局。
1.亚马逊一直非常强调数据驱动的管理思想,其早在2009年就推出了亚马逊弹性Map Reduce的编程模型,用于大规模数据集(大于1TB)的并行运算。
2.IBM则提出,上一个十年,他们抛弃了PC,成功转向了软件和服务,而这次将远离服务与咨询,更多地专注于因大数据分析软件而带来的全新业务增长点。
3.EMC公司是信息存储和管理系统、软件、服务和解决方案领域世界领先的公司。2011年EMC组建中国研究院。EMC中国研究院下设三个实验室:大数据实验室、云基础构建实验室、云平台与应用实验室。
4.2009年以来,已有多起针对大数据领域的收购兼并,涉及的企业包括EMC、IBM、Oracle和HP。
5.在国内,百度和阿里巴巴等企业已经致力于开发自己的大数据处理和存储系统;腾讯也提出目前已经到了数据化运营的黄金时期,如何整合这些数据成为未来的关键任务。
6.国内的行动——有的地区超前建立园区。
大数据(big data),或称巨量资料,指的是所涉及的资料量规模巨大到无法通过目前主流软件工具,在合理时间内到达获取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
根据维克托·迈尔-舍恩伯格和肯尼斯·库克耶的《大数据时代》,大数据指的是人们在大规模数据的基础上可以做到的事情,这些事情在小规模数据的基础上是无法完成的。
“大数据”的经典定义是可以归纳为4个“V”:海量的数据规模(volume)、快速的数据流转和动态的数据体系(velocity)、多样的数据类型(variety)和巨大的数据价值(value)。
《大数据时代》的作者认为,大数据开启了重大的时代转型,它促进了人们思维方式的三个转变。首先,人们将利用所有的数据,而不仅仅是依靠一小部分的数据(数据采样)。其次,大数据通常用概率说话,不再以高昂的代价来追求精确性。最后,大数据关注的不是因果关系,而是相关关系。
云计算(cloud computing)是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。广义云计算指服务的交付和使用模式,指通过网络以按易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关,也可是其他服务。它意味着计算能力也可作为一种商品通过互联网进行流通。
Wiki定义:云计算是一种通过Internet以服务的方式提供动态可伸缩的虚拟化的资源的计算模式。
云计算服务代表一种新的商业模式,SaaS(软件即服务)、PaaS(平台即服务)和laaS(基础设施即服务),三者都是服务,是这种商业模式的代表表现形式。
云计算得到企业的重视。2006年谷歌推出了“Google 101计划”,并正式提出“云”的概念和理论。随后亚马逊、微软、惠普、雅虎、英特尔、IBM等公司都宣布了自己的“云计划”。
大数据的出现,为云计算提供了释放能量的空间,云计算为大数据提供了解决问题的手段。大数据的指数级增长使得数据的存储、管理以及分析具有很高的复杂性,因此大数据对云环境有着很高的依赖,以云计算为基础的信息储存、分享和处理手段,可以便宜、有效地对大数据进行分析、计算和预测,使决策更为准确。
可以说,大数据是隐藏的宝矿,云计算是开矿的工具。没有大数据的云计算,就失去了发挥作用的舞台;没有云计算的大数据,将成为没有价值的资料。
大数据—云计算是否能全面影响生产力和国民经济的发展,关键取决于它是否为通用技术,由于大数据的应用要通过云计算,因此只要表明云计算是通用技术,那大数据—云计算就具有广泛意义。
云计算能否对整体经济产生较大的影响,关键在于它是否能成为一种通用目的技术。根据其定义,一项通用的技术至少应包含如下几个特征:第一个特征是渗透性,应用范围非常广阔,最终实现向经济体多个产业领域的持续扩散。第二个特征是发展性,一项通用目的技术会不断发展进步,而且用户成本将呈现出不断下降的趋势。各个应用领域的产出绩效得到改善。第三个特征是激发创新,通用目的技术的应用往往会激发更多的创新活动,为新产品、新工艺以及相关的组织和制度变革提供土壤。
一方面,它与其他一些专有技术之间存在着很强的互补性,表现出较强的溢出效应,在其自身不断演变与创新的同时,会促使新的技术和产品不断涌现,从而引发收益递增的可能;另一方面,除了技术层面的创新之外,通用目的技术的应用还可能引起生产、流通及组织模式等管理方式的发展变化,引发新的商业模式,改变现有产品或服务的生产流程,实现资源配置效率的进一步优化。
基于上述特征,一项通用目的技术的发展和应用往往会引起全面的生产效率提升,通过在不同领域之间的扩散和深化,最终对整个经济体产生重要影响,甚至成为新一时期的主要增长引擎。从发展历史来看,除了青铜冶炼、印刷术、蒸汽机、电力等技术外,互联网和云计算作为信息技术(IT)不同发展阶段的代表,也被认为是典型的通用目的技术。云计算既然被称为继计算机和互联网之后的信息技术新一代技术革命。有关研究的结论是,云计算完全具备了通用技术的特征,而且影响更广泛、功能更强大。
当前,大数据和云计算在世界各国的应用处于初期阶段,可有关专家预计,大数据时代已经降临,在商业、经济及其他领域中,决策将日益基于数据和分析而做出,而并非基于经验和直觉。大数据时代的来临对生产力发展产生了重要影响。
随着全球化和信息化的发展,产生了大量的数据和信息。这些数据、信息的累积增加了数据和信息处理的难度与压力,有可能对社会生产力的发展形成阻碍作用。大数据—云计算解决了这个问题,从而保证了生产力持续发展。
第一,大数据资源通过让数据更透明、更可用,能够促进市场供求双方的信息对称,避免社会资源的浪费。第二,大数据可以提高企业决策效率和管理水平。企业利用大数据,可以做更加复杂的分析,提高决策能力。大数据还有利于促进供应链管理的发展,掌握了大数据及其分析能力的企业能够把握对供应链的控制权。第三,大数据提升了部门的生产效率。麦肯锡报告研究指出,大数据可以在任何一个行业内创造更多价值,其中零售业可以利用大数据提高60%的运营利润,如果运用到公共领域,欧洲政府每年可以减少1000亿欧元的开支。第四,大数据提升促进智慧城市的发展。智慧城市来源于人的决策,这个决策来自于科学的判断,而判断依据是数据,所以智慧城市的核心是整个城市积累下来或正在产生的大量数据。
利用大数据,可以发展有效的预测和决策技术,从而降低决策的失误率。一些重要的利用大数据成功预测和决策的案例包括:
1.源于对大数据的重视和对消费行为等非结构化数据的分析,沃尔玛把尿布与啤酒这两种风马牛不相及的商品居然摆在一起,这一奇怪的举措使尿布和啤酒的销量大幅增加。“啤酒与尿布”的故事已经成为经典商业案例。
2.阿里巴巴在对用户行为分析的基础上,预言了2008年的金融危机,并采取措施帮助中小制造商准备过冬,为其赢得了不少声誉。
3.美国国家海洋和大气管理局(NOAA)每年的IT预算高达10亿美元,主要用于大数据中心的建设。2011年3月11日,日本大地震发生后仅9分钟,NOAA就发布了详细的海啸预警。
随着大数据的发展,一些新的产业部门开始出现。《大数据时代》指出了大数据价值链上的三类企业。第一种是基于数据本身的公司。这些公司拥有大量数据或可以收集到大量数据,却不一定从数据中提取价值。最好的例子就是Twitter公司。第二种是基于技能的公司。通常是咨询公司、技术供应商或分析公司,他们掌握的专业技能,但不一定拥有数据。例如沃尔玛利用Tedadata公司的分析来获得营销的策略。第三种是基于思维的公司。这些公司拥有创新性思维,有挖掘数据新价值的独特想法。
大数据创造新的产业部门,促进经济发展和就业增长,提升生产力发展的水平,扩大市场和就业,特别需要信息分析人才。
规划的重要前提是能够较准地确定未来的发展趋势。通过对大数据的分析,能够对分析对象的发展变化加以较为准确地把握,对其变动的趋势有较为准确的预测,从而大大提高规划的科学性,对政府和企业的资源配置发挥正确的引领作用,从而提升资源配置的水平,促进社会生产力的发展。
大数据产生于各行各业,与能源、制造、农业、旅游、医疗、公共服务等领域均有密切关系,大数据变革也必将影响到各行各业,改进生产函数的各个方面,促进生产力发展。
目前,能源领域的大数据应用主要有四个方面:
1.促进能源新产品开发。美国通用公司通过每秒分析上万个数据点,融合能量储存和先进的预测算法,开发出能灵活操控120米长叶片的2.5-120型风机,并无缝地将数据传递给邻近的风机、服务技术人员和顾客,效率与电力输出分别比现行风机提高了25%和15%。
2.使能源更“绿色”。其关键是利用可再生能源技术,如冰岛的Green Earth Data与Green Qloud公司,依靠冰岛丰富的地热与水电资源驱动为数据中心提供100%的可再生能源。
3.实现能源管理智能化。能源产业可以利用大数据分析天然气或其他能源的购买量、预测能源消费、管理能源用户、提高能源效率、降低能源成本等;大数据与电网的融合可组成智能电网,涉及发电到用户的整个能源转换过程和电力输送链。
4.改善城市社会。大数据和能源的结合使城市基础设施、交通、环境管理越来越智能化,纽约、芝加哥与西雅图向公众开放数据,鼓励建设多样化的智能城市。
大数据推动工业创新、竞争和增长,不仅体现3D打印与数据的结合,还体现在工业互联网的出现。
1.3D打印+数据。3D打印机接收模型的三维图形数据,可以互联网上设计的立体的东西通过3D打印变成实物。
2.传感器+大数据:打造工业互联网(物联网)。GE提出打造工业互联网,通过在其产品中增加更多的传感器来获取海量数据,并最终帮助公司提高其机车飞机引擎、核磁共振仪器等设备的能源效率。GE工业大数据云利用大数据集推动创新、竞争和增长。
由于在市场经济条件下,农业生产很难在全国范围内形成统一规划,致使农业生产受市场波动影响颇大。大数据时代,不仅可以通过建立统一的数据平台,调控农业生产;还可以记录分析农产品种植过程中的数据,通过分析数据,决定浇水、施肥、光照、温度等条件,从而提高产量和品质。
大数据使得旅游更智慧。
1.大数据智慧旅游解决方案。巅峰美景同IBM合作,基于巅峰-IBM存储与分析平台,存储与处理庞大数据量、庞杂数据类型,获得“智慧旅游移动应用统一解决方案”。
2.旅游网站应用大数据技术。Hopper通过“大数据”技术的应用,为游客提供最佳的旅游景点推荐,已经抓取了“超过5亿页旅游数据”,价值10亿元。社交旅游网站Tripl、酒店整合搜索引擎De-alAngel。
世界卫生组织一直倡导“个性化医疗”。在大数据时代,人们会长期监测自身健康数据,“预防”比“治疗”变得更重要,而且医生会通过分析病人的历史数据给出个性化治疗方案。
利用大数据的分析方法可以分析人类基因序列,得出基因突变的概率,提前避免疾病的发生。利用大数据技术还可以制定量身打造的健身计划。
大数据时代,只要你上网,使用社交产品,你肯定能找到符合自己的娱乐项目。而你的历史数据会告诉商家有诸如你这样一类人群的存在,从而开发针对的娱乐项目。
未来,大数据将成为社会基础设施的一部分,跟公路、自来水、电一样,不仅成为人们生活不可或缺的一部分,更可以有效协助提供公共安全服务。
大数据云计算从国内外发展情况和趋势看,从各界的认识和热情看,大数据—云计算在我国发展壮大,是不可阻挡的潮流。问题不是要不要发展的问题,而是怎样才能健康有效的问题。要认识到我们发展大数据云计算是在起步阶段,避免一哄而上,盲目发展,对可能出现的不良苗头,要防患于未然。
1.要将大数据和云计算统筹考虑,突出其关联性、融合性,使问题和解决方案一并考虑,在此基础上确定发展规划,合理布局,引导各个主体的发展方向。发挥政府的统筹和调控能力。从全国范围来看,要保证数据中心有经济上的合理性。
2.要对国家发展大数据和云计算的工作进行战略谋划,用国家战略引导产业的发展方向。明确市场是配置资源的基础性手段,企业是发展的主体,政府起战略引导作用。
3.政府要营造投资环境,确定发展大数据云计算的市场规则,利用企业在市场中竞争发展。并告知发展大数据云计算所需的条件,避免不看条件盲目发展。
4.要加强我国的数据管理,使各主体特别是不同参与主体产生的大量数据信息能进入相关平台,创造数据应用的条件。这其中既包括拥有大数据平台的互联网和电子商务企业,又包括政府部门、科研院所、高等院校、非营利机构等组织拥有大量的尚未得到有效利用的数据。这件工作繁琐而重要。
5.要发展支撑大数据和云计算的基础设施建设。这是大数据应用发展所必需的基础。大数据的存储和高效处理需要云计算中心支撑,大数据的高速传输则需要足够带宽的互联网通道。这涉及对传统数据中心的改造和利用、新型云计算和处理系统的建设,以及如何尽快建设一个高速、方便接入的互联网通道。
6.要对发展大数据和云计算的可能遇到的安全问题,做全面的安排、系统的考虑。“云安全”问题比原有的互联网安全问题更复杂,要求更高,这是政府要特别关注的问题。除要进行全面扎实的工作外,特别需要有专门的法律法规和制度支持。有专家提出,对国家层面的安全问题应采取审慎和自主原则解决,为此要专题研究。
7.大数据和云计算对软件、硬件的发展提出了很高的要求,我国要发展大数据和云计算,创新软件和硬件问题,对此要充分的认识,要支持企业创新又要利用国家力量参与相关创新工作。要支持资助大数据—云计算的关键技术和软件的研发,特别是基础技术。
8.培养大数据和云计算的专业人才。从大数据和云计算的发展及应用的进展看,关键的因素是人才,对我国而言尤为重要,人才匮乏才是最突出的问题。要通过教育培养、引进等,多渠道促进人才的生长,是当务之急。
对大数据的看法,在国内外其实存在两种不同的观点,一种认为大数据时代已经到来,它影响生产、生活乃至思维方式的改变;另一种意见不看好大数据,因为太复杂,数据收集难度大,垃圾数据不好处理,风险大难防范等。本文是研究第一种情况撰写的,第二种情况要另行研究。在实现中,大数据为人们提供了另一种选择,可能大数据与现有的一些做法同时存在一段时间,随着发展情况会进一步明朗。除这一段外,本文包括结束语,都是按第一种意见撰写的。对大数据深入认识利用,才可能进一步认识它和把握它。
大数据—云计算蕴含着巨大的潜在经济价值,它正在开启一个时代,而且势不可挡。站在战略高度、全面谋划、积极、有序、高效、务实发展大数据—云计算是正确的选择。大数据—云计算对生产力的发展有深刻、实质而突破性的影响。我们要抓住这个机会,提高我国生产力的发展水平、创新能力、资源配置效率,提升我国产业在全球的竞争力,帮助每个企业在持续发展中取得成功。
人们或许考虑在一个可能将数据作为最强竞争力的社会里,将会有怎样的硝烟,我们要如何面对一个连我们自身都成为数据一部分的社会,将把人类的命运带向何处。
我们要适应大数据—云计算时代的到来,为此,转变观念、深化思维、提升战略。让我们做好准备,张开双臂,一起迎接大数据时代的到来,和这个时代一起取得新成功。
F061.1
A
2095-3151(2014)10-0014-07