数据新能源驱动智慧新世界

2017-02-27 20:59潘永花
软件和集成电路 2016年12期

潘永花

1. 数据新能源时代来临

阿里巴巴集团董事局主席马云,在2016年10月云栖大会上首次提到“五新”的趋势,分别是新零售、新金融、新制造、新技术和新能源。而数据正是代表的新能源,过去的发展是基于石油和煤,未来的发展是基于新的能源,那就是数据。数据是人类第一次自己创造了能源,且数据越用越值钱。

数据成为物理世界在虚拟空间的客观映射,人、事、物都在被数据化,人与人、物与物、人与物之间瞬间就会产生大量的数据,数据成为新经济的生产要素,如同工业时代的钢铁、石油。全世界范围内,数据驱动的新经济刚刚萌芽,数据对传统产业的改造升级日益深化,社会生活、商业版图、政府治理和世界格局将因数据而被重构。我国正处于工业经济和信息经济交织发展的关键阶段,加强数据的开放、流动与共享,将有助于深入挖掘数据要素潜力、充分释放数据红利,培育经济增长新动力。

中国大数据生态正在变得丰富多彩,围绕着数据的收集、存储、管理、分析、挖掘和展现等不同功能,逐渐出现不同的角色:从数据生产者,数据提供者、数据服务提供者、第三方数据市场、大数据解决方案提供者到数据消费者、数据资产评估机构等多个物种,都在完善和丰富着大数据的生态世界。

目前的创新领先者,大都围绕着数据解决方案提供者和数据服务提供者这一角色。以阿里巴巴为例,已经基于淘宝和天猫的大量消费者和商家数据,支撑起了阿里小贷业务、芝麻信用等相关业务。另外,阿里巴巴同时也是基于阿里云的大数据解决方案提供者,可以为阿里云用户提供数据产品技术服务。此外,数据分析服务也是现在最受关注的领域之一,Metamarkets、Gooddata、Domo等创新企业都是以数据的分析和展现云服务模式而出现的。

伴随着Hadoop获得更为广泛的应用,除了以Cloudera为代表的国外Hadoop发行版的应用之外,以星环科技为代表的国内大数据技术创业企业开始获得不少大型行业用户的青睐。阿里巴巴的大数据平台MaxCompute(原ODPS),也进入越来越多的应用场景之中。Spark内存计算、Storm流计算应用,在从互联网公司延伸到更多行业应用之中。

数据变现以及数据交易这两年变的火热,以贵州、武汉、哈尔滨等城市为代表的大数据交易中心纷纷成立。数据可否成为一种无形资产通过第三方交易市场进行交易还非常值得探讨,主要由于数据本身的零边际成本以及可复制性并不等同于工业时代的传统商品定价模式。同时数据的外部性使得数据在不同场景下价值存在巨大差异,因此数据资产的评估变得异常重要。

据IDC每年针对数字宇宙的研究,2010年起全球进入ZB时代,就中国数据量在2014年达到909EB(1EB=1000PB),占全球比例为12%,伴随着物联网设备的大量普及,据预测到2020年这个数字将会达到8060EB,占全球比例将会达到18%。正是基于这样的背景,大数据受到了各界广泛关注,已渗透到金融、医疗、消费、电力、制造等几乎各个行业。随着大数据领域的新产品、新技术、新服务不断涌现,行业的大数据应用进程正在加速。我们看到大数据应用如同互联网的扩散一样,开始从离消费者最近的行业扩散到更加后端的生产制造等行业。

2. 大数据应用从互联网向传统行业延伸

不同行业大数据应用进程的速度,与行业的信息化水平、行业与消费者的距离、行业的数据拥有程度最为相关。总起来看,可以分为四类:

第一类是互联网和营销行业。互联网行业本身就是离消费者最近的行业,同时拥有大量实时产生的数据,在线化是其企业运营的基本要素,因此大数据应用的程度是最高的。与之相伴的营销行业,是围绕着互联网用户行为分析、为消费者提供个性化营销服务为主要目标的行业。

第二类是信息化水平比较高的行业,比如金融、电信这两类行业,它们是比较早进行信息化建设,内部业务系统的信息化相对比较完善,对内部数据有大量的历史积累,并且有一些深层次的分析类应用,目前正走在内外部数据结合起来共同为业务服务的阶段。

第三类是政府及公用事业行业,不同部门的信息化程度和数据化程度差异较大,比如交通行业目前已经有了不少大数据应用案例,但有些行业还处在数据采集和积累阶段,但政府将会是未来整个大数据产业快速发展的关键,通过政府及公用数据开放可以使政府数据在线化走得更快,从而激发数据类创新创业的大发展。

第四类是制造业、物流、医疗、农业等行业,它们的大数据应用水平还处在初级阶段,但未来消费者驱动的C2B模式会倒逼着这些行业的大数据应用进程逐步加快。

具体来说,不同行业的大数据应用呈现出以下的显著特点:

2.1 互联网公司数据业务化加速

互联网公司拥有大量的线上数据,而且数据量的增长速度是非常惊人的,除了利用大数据提升自己业务之外,如何实现数据业务化,利用大数据发现新的商业价值对于大家来说,依然处在不断尝试过程之中。以阿里巴巴为例,从个性化推荐、千人千面这种面向消费者的大数据应用加强之外,智能客户服务利用大数据的力度也在不断加强,这种应用场景会逐渐从内部应用到外部很多企业的呼叫中心之中,面向商家的大数据应用以生意参谋为例,超过600万商家在利用生意参谋提升自己的电商店面运营水平等。除了面向自己的生态之外,阿里巴巴数据业务化在不断加速,芝麻信用这种基于收集的个人数据进行个人信用评估的应用获得长足发展,应用场景从阿里巴巴的内部延展到越来越多的外部场景,比如租车、酒店、签证等。

2.2 大数据营销实现精准触达 全域大數据营销成新方向

营销的实质是从消费者出发,第一,需要找到消费者内心深处很清晰、或者不那么清晰但潜意识中对于商品的喜好;第二,以数据为驱动,使商品能够精准的触达用户,并不断在实施过程中进行优化;第三,让老客户的营销能获得社会化的传播。效果营销和品牌在大数据驱动下需要把整个串联起来。

DMP(数据管理平台)平台在从早期广告服务平台逐步演变为企业客户营销的核心引擎,DMP服务商在不断把更多的数据整合进统一平台,并对这些数据进行标准化、标签化和细分,为客户提供更精准的数字化营销服务。程序化营销的概念得到了普及和发展,正在向更精细化方向发展,利用大数据实现更精准的受众,营销效果及ROI透明化成为主要方向。

如何收集消费者更多元化的数据,对消费者给出更全方位的画像成为营销大数据应用的重要方向。比如,通过收集消费者的消费、所属行业、搜索行为、品牌喜好、兴趣等行为数据以及社交、位置等數据,通过可视化的标签,可以帮助企业更方便直观的选择、触达到目标人群。

利用大数据推动内容营销,并分析不同内容模式的效果,就可以更敏锐地洞察到,哪些内容能够将潜在客户转化为客户;利用大数据创造更有意义的个性化,并且选择在适合的时间以适合的渠道向潜在客户自动发送适合的内容;融合线上线下数据、内部外部数据,尤其是重视移动端和社交数据的整合,通过统一的全域大数据平台对消费者或最终用户进行全方位分析和展示,才能利用大数据实现营销效果最大化,实现营销应用的闭环。

2.3 金融大数据应用从点到面,逐渐深化

金融行业数据类型丰富,数据质量好,信息化程度高,数据商业应用较早。金融行业的大数据商业应用较为成熟,一直是传统行业中走在大数据商业应用前列的行业。传统金融行业的数据源非常丰富,以银行为例,银行的交易系统每天产生数亿笔交易信息,这些数据以结构化数据为主。在其业务处理过程中,产生了大量日志数据,网上银行业务的频繁使得消费者的金融消费行为数据变得丰富,还有越来越多的移动端和社交媒体数据等。金融业是传统软硬件的重度用户,越来越多的银行业用户开始引入开源平台,不少银行已经采用Hadoop平台建立的大数据应用主要用于查询历史记录类应用。

金融业的应用场景变得更丰富多彩:从最受关注的反欺诈和风险控制类应用来看,金融业互联网业务的出现在为大家带来便利的同时,也增加了出现风险的渠道。因此无论是传统金融业还是新兴的互联网金融企业,都在利用大数据搭建更加精准的信用风险评估模型,以降低金融服务的风险,同时对一些不合规行为提前进行预警;金融行业的大数据营销应用方面开始把社交和移动端数据结合进营销类应用,对消费者进行更为精准地分析,为后续的新产品服务开发奠定基础;在客户关系管理领域,金融企业开始利用大数据刻画消费者的行为,进行客户流失率分析、客户体验分析以及客户分类优化分析等细分类应用。

2.4 运营商大数据应用从自身发展到跨行业

运营商的大数据应用场景主要还是围绕着自己的传统业务,在网络运营、精准营销以及客户服务等方面开展应用,提高运营效率,比如根据用户的使用习惯进行用户群体划分,从而对用户个性化推荐合理的套餐等营销类应用;比如根据网络故障以及网络拥堵的状况所积累下来的日志数据进行网络优化,合理部署网络资源,提高网络效率,为客户提供差异化服务;根据用户投诉或者客户服务水平的评估,分析离网客户的特征,制定挽留潜在离网用户的措施。

最近两年的变化在于,第一是运营商拥有大量的用户移动互联网使用数据、支付数据以及GPS数据等,开始通过将经过脱敏后的数据资源开放给数据需求方或者通过交换的方式获取自己所需的数据;第二是开始将依据已有数据的分析服务对外输出给其他行业客户,比如有交通行业用户利用运营商信令数据进行交通状况的预测。

2.5 交通大数据应用突破:从交通管理发展到智慧交通

作为直接为市民提供公共服务的管理部门,交通状况的好坏是一个城市或区域城市管理水平的直接体现。交通大数据的应用从以往的交通数据收集和管理,朝智慧交通的方向发展。开始利用物联网技术全面感知交通状况,实现不同来源数据的融合,用云计算和大数据来服务和决策,通过数据的实时、科学分析和建模做出预测和预判,通过多元化的服务渠道主动传递。

智慧交通成为很多智慧城市重要的切入点。我们看到有不少城市在利用大数据进行交通状况预测和统筹管理方面有了实际的进展,比如,浙江交通利用来自运营商的信令数据分析,实现了对未来1个小时路况的预测,准确率达到90%以上,使得交通管理部门可以依此进行决策;贵州交警则对海量交通数据进行全库关联,通过对车辆图片进行结构化处理并与原有真实车辆图片进行对比,实现了对套牌车的精准识别,并依此开始建立重点驾驶人征信系统。以高德交通大数据应用为例,高德通过交通大数据云平台支撑使得交通数据的采集、生产、发布到用户反馈形成了完整闭环,不仅为用户提供实时路况查询,还可以根据信息在导航过程中调整路线规划躲避拥堵路段。

2.6 政府重视数据共享和开放 推动大数据产业快速发展

中央政府以及地方政府都深刻认识到,政府数据共享和开放,对于提升政府治理水平以及促进创新创业的深刻价值。尤其是,不同政府部门之间打破信息孤岛是政府机构搭建大数据应用的一个基石和关键。我们看到,不同区域政府都已经在省或市一级成立大数据办公室或大数据处,以推动当地政府大数据应用和产业的发展,尤其在推动政府数据开放领域也起到了重要的推动作用。

以北京、上海为代表的城市级政府数据开放领域,从2012年就开始了有益的探索,并取得了初步的成果。2015年,上海开放数据创新应用大赛(Shanghai Open Data Apps - SODA)的举办,显示了上海市在政府数据开放领域的前瞻性。该比赛旨在发掘城市数据中的价值,以数据开放为切入口,集大众智慧,为城市交通系统建设出谋划策,为数据产品的创新提供竞技平台。而2012年6月在国内率先上线“上海市政府数据服务网(www.datashanghai.gov.cn)”,网站目前已经开放近500个可机读数据集,涵盖经济建设、资源环境、教育科技、道路交通、社会发展、公共安全等11个领域。

北京市政务数据资源网(bjdata.gov.cn),自2012年10月试运行以来,网站已上线发布了36个政府部门306类400余个数据包,覆盖旅游、教育、交通、医疗等领域,多达36万条地理空间等原始数据资源,以及软件与信息服务业、文化创意产业相关政策文件1475件。此外,各地也都在积极为政府数据开放做准备。

随着云计算基础设施的广泛应用,数据之间的互联互通可以以云计算为基础平台,企业、行业以及科学领域的数据开放受到关注。以气象数据为例,美国每年有1/3GDP的产值与天气有关,也就是说天气对其他产业(如旅游、交通等行业)的影响非常大。气象数据与其他行业数据的融合将会产生非常有价值的行业解决方案,通过吸引大量创业者基于气象数据创新产品和服务,气象产业也就能够产生更大的社会经济价值。2015年正式上线的中国气象数据网成为中国气象局对社会开放基本气象数据和产品的共享门户。目前,用户可以通过中国气象数据网官方网页(http://data.cma.cn)访问和下载各类气象数据。

中国气象数据网所公开的数据内容,基于《基本气象资料和产品共享目录》(2015年),涵盖地面、高空、气象卫星、天气雷达、数值模式天气预报5类17种基本气象资料和产品。网站全面向社会各类用户提供便捷的数据发现服务、多维度目录导航服务、灵活的数据检索服务、可视化数据显示服务、开放的数据接口服务以及个性化数据定制服务。

3. 大数据未来七大发展趋势

3.1 新技术为大数据发展奠定基石

在谷歌的AlphaGo与李世石的人机大战中,不仅体现的是谷歌的人工智能水平,更重要的是谷歌后端的云计算基础设施以及云分析技术实力。云计算技术的日臻成熟奠定了大数据发展的技术基础,人工智能、深度学习、分布式数据处理、大规模计算、认知计算等技术的发展带动着云端数据处理和分析能力的提升。

从最早2005年的云计算概念出现,到今年10年间,云计算技术发生了翻天覆地的变化。云计算技术的成熟使得更多用户从互联网相关的边缘业务上云,已经逐渐把云计算作为实现大数据应用的平台甚至是关键交易类应用平台。

以2016年阿里巴巴“双十一”1207亿元交易额的大场景为例,再次验证了云计算对于大规模并发用户交易场景的能力,而OceanBase这种自主研发的数据库支持支付宝峰值高达14万次/秒的能力也验证了其所具备的金融级交易数据库的技术水平。

以Hadoop、Spark等为代表的开源大数据技术不仅应用在互联网公司,在传统的行业用户中应用愈发广泛。深度学习、自然语言处理、模式识别等人工智能技术的发展,使得计算机的智慧化水平获得快速提升,从而开始进入到更多应用场景之中,比如人脸识别技术已在新版支付宝钱包中成为身份识别的一种方式。

3.2 数据+算法+计算能力,驱动人工智能无处不在

人工智能产业的火爆,核心就是三大基石:数据、算法和计算能力。伴随着大数据时代的到来,多来源、实时、大量、多类型的数据可以从不同的角度对现实进行更为逼近真实的描述,而利用深度学习算法可以挖掘数据之间的多层次关联关系,为人工智能应用奠定数据源基础。目前的人工智能应用场景都是以大数据作为基础的,比如在搜索、推荐、语音交互等场景中已经有了不少成功实践。

3.3 大数据新模式为“互联网+”创新创业注入新力量

“互联网+数据”的创新创业模式成为“互联网+”创新创业的主要方向之一,为经济创新带来新增量。目前在大数据营销、大数据信用与风险控制类应用方向有了不少成功的实践。

数据从产生、采集、存储、处理、分析到展现整个生命周期会产生各种新的商业模式,目前是数据相关技术领域的业务模式比较清楚,基于开源大数据技术的创新和服务是主线,但围绕着数据本身如何提供服务,产生商业价值的模式依然还处在初步探索阶段。

“大数据+营销”或“大数据+信用风险控制类服务”,有不少有益的探索,比如阿里妈妈的营销服务通过利用消费者大数据为企业提供精准营销闭环服务,提高品牌商家到消费者触达效果,而芝麻信用是基于大数据的个人信用评估,将服务场景从线上延伸到线下,从商业和城市服务跨越到政府治理创新,探索了大数据创新业务模式。

我们相信未来的创新模式,将会围绕着数据的跨界融合衍生出数据服务新产业,企业内外数据、线上线下数据融合产生化学反应,基于數据的创新模式给我们无限想象空间。

3.4 大数据带来新问题值得关注

目前基于数据的全新商业模式依然还处在探索的初级阶段,数据交易、交换及服务的商业化面临诸多挑战,比如应用场景和价值不易标准化,数据定价及资产评估问题,安全和隐私的问题,政府数据开放和商业化问题等。

由于数据的应用场景和价值不容易标准化,就如同挖金子的初期一样,真正赚钱的还是卖铁锹的,如今还没有到真正卖金子的时候。数据与工业时代的商品有截然不同的属性,工业时代商品是实体物品为主,基于一定成本的原料生产后,基于工厂相对标准化的大规模生产模式生产出来;而目前的数据应用水平和程度有限,数据标准化程度很低,无法按照传统的商品销售模式进行销售。同样的数据,在不同的应用场景下也体现出不同的价值。

工业时代的商品经历了上百年的发展之后,已经形成了大家都认同的标准化定价模式,比如基于物权的定价模式,基本上是成本加上品牌定价;而数据产生的边界成本基本为零,显然这种模式不太适用,但从数据加工的成本出发,针对源数据进行加工后再以API或数据集的方式销售给用户,比如以数据堂为代表的第三方数据服务公司正在尝试这样的模式。

3.5 大数据带动传统制造业变革新趋势

大数据开始带动存量变革,传统企业和行业用户开始围绕着数据进行业务流程重构和再造,以数据为核心开始尝试业务创新模式,比如C2B/C2M模式实质是以消费者数据为核心倒逼传统产业的升级转型。

大数据对传统产业的影响与互联网对传统产业的影响很类似,目前数据在传统产业的角色依然还是辅助角色,大部分传统产业还处在以自己部署实施ERP、CRM、SCM等应用的阶段,对数据的沉淀还有限,数据还无法真正贯穿到整理业务流程之中,但有些先进的制造企业已经开始进行了有益尝试。

比如,海尔、红领等企业不仅在营销领域利用大数据,开始尝试利用消费者的需求和行为数据倒逼业务流程变革和再造,比如红领以全程数据驱动生产为核心,人机结合作为辅助,充分发挥智能制造的威力,以工业化手段和效率生产个性化产品,实现个性化定制的大规模工业化生产。

我们认为未来大数据将会在某种程度上驱动主要传统产业的解构、重构和再造,基于数据的传统产业变革成为主流。

3.6 大数据的共享开放助力政府治理新时代

政府部门以利他分享的DT思想,考虑政府数据共享开放的发展将会加速《促进大数据发展的行动纲要》的快速落地,为智慧城市、政府治理创新变革、大数据创新创业奠定基础。

目前很多政府部门的数据实际上是信息孤岛,数据由于没有与其他部门进行共享,也没有实现开放,使得数据的价值发掘非常有限。而很多政府部门的领导把自己部门的数据看做是部门利益的基础,认为数据的共享开放输出就意味着利益的输出,这种现象在数据能力强的部门体现的尤为明显。我们认为,政府各部门的数据如果不流动起来,不与其他的外部数据进行融合,就会成为死数据,而真正发挥价值的是活数据,数据的外部性说明数据的价值不是只存在于内部,站在更高的层次和角度考虑政府数据共享才能使数据的价值最大。

不少政府部门以数据安全为由,或多一事儿不如少一事儿的心理对政府数据开放持拒绝或者消极态度。但纵观国外政府数据开放的历程,基本是从信息公开起步,在数据开放方面本着开放为默认,不开放为特例的原则才使得数据开放成为建设智慧城市或智慧政府的重要基础。我们认为政府的数据开放其实是在利用社会力量基于大数据实现政府治理现代化的目标,因此把与民生相关的经过脱敏的政府数据开放给民众以及企业会促进基于大数据的创新创业发展,才能让数据通过流动和融合发挥更大社会和经济价值。

3.7 大数据发展呼喚新政策新法规

数据安全相关政策与法规的不完善,是影响我国大数据发展的挑战之一,尤其是我国个人信息保护相关法律规范以及跨境数据流动政策需要尽快完善才会推动我国大数据的健康顺利发展。

随着个人对隐私保护的关注和重视,个人信息保护相关的法律规范面临我国针对个人信息隐私保护的法律规定尚不完善,目前只在一些法律中有零散规定,仍然存在效力层级低、法律法规协调性弱、保护内容片面等立法不足,有待于更深层次的研究和改善才能对大数据的发展起到更有益的作用。

随着我国越来越多的互联网企业走出国门,变成全球化企业,跨境数据流动的问题会日益凸显。在这种背景下,我国企业在跨境业务上,面临着国外数据流动政策法规的挑战。