□ 张 虹,肖 强
(1.南京邮电大学 管理学院,江苏 南京 210023;2.中国电信江苏分公司,江苏 南京 210000)
2008年8月,全球闻名的咨询公司麦肯锡,首次提出了“大数据”(big data)的定义,大数据又称巨量数据或海量数据,从字面意思来看,其大小非常的庞大,从功能上远远超过了典型数据库软件的收集、存储、管理分析等能力。大数据作为一种新型的生产要素,具有规模大、流通快、类型多和价值密度低这四个显著的特征。运用在物理、生物、环境生态、军事、金融和通信领域的大数据早已存在,人们也逐渐习惯大数据常规的使用方式,但在2013年移动互联网变革的大爆发使得云计算技术与大数据充分结合起来,擦出了不一样的火花,引起了各行各业人们的关注和研究。时间的巨轮还在远航,科学技术的进步还在继续推进,2017年,机器学习和人工智能逐渐深入到社会的各个角落,大数据时代终于登上了历史舞台。大数据时代主要以信息时代为根本的,透过互联网途径,大量收集数据资源,进而存储和提取可以有效地为人们管理多量的数据,让所有人都可以从数据中获取所需要的信息,包括事物内部的规律信息以及数据表现出来的知识价值。在疯狂的大数据时代,大数据已经不仅仅是单纯的数据,而是一种思维和方法,即以海量数据作为基础,通过数据挖掘、分析和应用等方法来获取事物的价值,从而达到智能化水平或实现智慧化。大数据时代下,数据是公开的,信息是可知的,所有的事物趋于透明化的状态,极大改变了人类的思维方式,促进产业的转型升级,对社会各个领域和行业的进步产生了深刻的影响。
1965年,英特尔联合创始人戈登摩尔提出著名的“摩尔定律”:集成电路上可容纳的元器件的数量每隔18个月就会增加一倍,性能也将提升一倍,价格会下降一半。这一定律准确的预期了我们科技进步的速度,揭示了信息技术进步的速度。在2013年前,整个IT界遵照定律控制硬件研发周期,如果没有跟上技术革新的速度,必将因为性价比不足被市场淘汰,18个月成为IT产品的市场竞争窗口期。但是近几年,因为光的波长限制,集成电路工艺已接近性能极限,摩尔定律逐渐不再适用当下的场景,而让我们略感安慰的是,虽然硬件的制造发展进入了一个瓶颈,但是我们的软件发展依旧日新月异,随着人工智能技术的发展和大数据市场的爆发式增长,业界提出了所谓的“新摩尔定律”,即立足于技术产品的生命周定律,通过使用人工智能操作处理的数据几乎每24个月翻一番,构建模型的性能也增加五倍,同时需要十倍的计算机性能作为支持。这一定律为更多的高科技公司提供了新时代的策略,指导了高科技公司的发展。如今,大数据的掌握分析将为我们社会生活迎来下一次变革的动力,这虽然不是彻底的革新,但足够让我们期待。
据统计,2017年全球的数据存量达到21.6ZB(1个ZB等于十万亿亿字节),目前我们每天大约创造2.3万亿GB的数据,全球数据的增长速度在每年40%左右,预计到2020年或将超过40ZB以上,2025年或高达160ZB。据Wikibon与Statista预测,全球大数据市场软件与服务收入预计将由2018年的420亿美元增长至2027年的1030亿美元。中国市场将承载最主要的增量,预计2018-2020年中国大数据市场增速将保持30%以上。
麦肯锡于2018年1月发布《Analytics Comes of Age》中指出分析与大数据在基础材料与高科技行业当中作出巨大贡献,它在经济社会逐渐发挥着新兴中流砥柱的作用,给人类带来几点核心价值:①技术价值:大数据根本上与数学、统计学、计算机学、数据学等基本理论知识无法分割,技术水平突飞猛进给数字领域带来最直接的跃进,它不仅创造了新的计算方式、技术处理方式,更加为其他技术的研发、应用和落地提供基础;②商业价值,在实际的升级运行中,企业也许会产生以下一些困惑:如何提升运营现状?目标客群是谁?有哪些特点?与竞品相比竞争优势在哪?现有经营问题又是什么?这些问题都可以从海量数据中获知,但是,想要完全的揭开这些问题的谜底,不可避免地要对这些海量数据进行分析和挖掘,利用分析数据得来的答案指导企业日常经营行为,提高运营能力,促进产品的输出,甚至企业决策者也可以凭借大数据分析的结果来推动项目的实施,指导业务实践,更好的管理公司,制定企业规则;③行业价值,客户在一个开放市场中产生的各种行为数据,虽然大部分不能与特定的企业产生直接的关联,但是它能够很大程度上引导企业各种业务的开展方向,为整个行业的走向提供社会趋向指导,例如微信微博流量、区域偏好、移动数据、娱乐项目偏好等数据,它能够勾勒客户的个人心理画像,展现行业发展在市场反馈中体现的影响和人们的态度趋向;④社会价值,大数据为人的生活带来的不仅只是便利,还有紧密的生活服务网络,我们利用大数据创造了时代价值,最终它也要进步,甚至会被新兴的驱动力淘汰。
当下这20年称为IT的“后摩尔时代”,它预示着要有IT市场的竞争力,就必须有强大的大数据处理能力适配,否则就会被时代淘汰。数据处理能力会催生新的社会需求,只有踩上了大数据这一高速赛道,才能不被AI时代所淘汰。在IT由T到I的大数据时代,一切事物的背后都是一种算法,数据处理即创造财富。我们来看看大数据整体解决方案是如何与农业、制造业、金融业、健康医疗、零售业等领域相结合,产生了哪些巨变。“大数据+农业”中将大数据运用到基因图谱与测序,更好地指导农业生产;“大数据+制造业”将大数据运用到流程精准分析、自我调整,实现的IT化智能制造;“大数据+服务业”利用大数据提供针对性、差异化解决方案,如交通拥堵问题、医疗欺诈问题,促使公共服务快速向IT服务转型。亚马逊CEO贝索斯是在卖书的时候,借助平台获取海量数据和利用大数据分析,悄然成就了三大支柱性业务:云计算能力、物流能力和会员管理体系。基于对大数据时代对不同用户行为的准确分析和理解,小米品牌紧跟用户的需求,不断修正自己的产品,推出新产品,立足于用户的角度,深度把握与用户的“共性”,持续优化用户喜爱的“个性”,向用户营销自己的品牌和价值,形成自己独特的高集中区的至上法宝。
众所周知,国内中小企业因为没有担保,所以很难获得贷款,这成为制约中小企业发展的重要因素。阿里巴巴就充分利用了大数据技术,对淘宝网上中小企业的经营状态等海量数据进行分析,选择一些财务健康、诚信良好的企业提供不需要担保的贷款服务,帮助阿里巴巴稳定用户池,拓展新产业。这些都说明了大数据赛道对各行业引领的强大牵引力,选对赛道,瞄准破局点。
人工智能就是通过认识、模拟和扩展人的自然智能,目的是为人类服务。现如今随着科学技术的日新月异,人工智能技术也得到了进一步的升华,迈进了崭新的发展阶段,给科技的进步和人们的生活都带来了翻天覆地的变化,改变我们的社会和生活,使人类进入到一个更加高度发达和繁荣的智能时代。截至2019年6月,我国人工智能企业数量超过1200家。我国进入了大力发展人工智能产业的阶段,国家层面要求充分开发人工智能促进产业升级的潜能,围绕人工智能产业构建生态圈,打造大数据时代的智能产业。根据《新一代人工智能发展规划》,2020年我国人工智能产业成为新的重要经济增长点,带动相关产业规模超过1万亿元。目前人工智能发展到了新的阶段,呈现出专业性、专用性和普惠性的特点。据IDC统计,2018年我国人工智能市场规模为161.9亿元,预计到2022年市场规模将接近700亿元,年复合增长率超过50%。
人工智能的发展总体分为两个方向,分别是人工仿真和数据驱动。人工仿真主要是让计算机模拟人的某种功能,对人的思维或行为进行模拟,近些年来,人工智能已经在感知智能上取得了长足的进步,甚至在许多领域达到或超出了人类的水准,解决了“听、说、看”的问题。数据驱动主要是对周围信息的感知,然后模拟人的智能思维过程去解决问题。如今人工仿真的技术研究暂时已处于瓶颈,更多专家提出了另一种解决问题的观点:与其花时间去研究技术方法的改进,不如花时间大量积累数据,可以有效减少解决问题的时间。如语音识别技术,原来的识别频率、适配词汇、语义解释的模式匹配识别技术遭到瓶颈,利用大规模语料资源的积累和训练数据模型的完备,智能语音识别率提升到了97%,有效解决了噪音、方言和专业语境等问题。一个看似复杂的技术难题,在引入大数据之后轻松化解,随着语音识别的精准和普及,相信很快自动化翻译工具也会快速突破,大数据将引领未来的语音服务行业。目前,人工智能的工作范式是大数据+深度学习+计算能力,其中,大数据为人工智能提供丰富的数据与信息结构,深度学习提供自动学习方法与学习框架,计算能力为计算过程提速以支撑这种大数据的深度模型学习。
未来的五到十年将是人工智能技术的飞速发展时期,人工智能将大大改变经济发展方式、社会服务、社会生活,加速智能社会的来临。智能时代,数据不再是简单的排列,有研究分析认为,基础设备的建设为大数据的运用创造了良好的环境,到2020年,将有超过500亿台机器、设备进行互联,超过2000亿个联网传感器产生海量数据,服务于社会的方方面面。这将带来更大的数字化“魔力”,因此,如何科学、高效利用数据,对产业与社会发展至关重要,工信部提出,将推进行业数据资源的采集、整合、共享和利用,创新合作模式,支持电信、互联网、工业等领域率先开展跨行业的大数据应用,辅助人类的生存和生活,为人类带来极大的变力。
凭借大数据驱动来解决实际问题具有三种能力:首先是数学模型的有效性。概率论中的“大数定律”,指出在试验不变的条件下,重复试验多次,随机事件的频率近似于它的概率,偶然中包含着某种必然。从另一个方面理解就是当数据量积累足够大后,预测才有意义。例如,2008年,淘宝推出CPI(消费者价格指数)指标,与国家统计局应用采样分析不同,淘宝的CPI所使用的数据是来自整个网站的全部交易数据,样本量的基数相当庞大,相比国家统计局的CPI数据,淘宝CPI对商品价格变化反应更为敏感和全面;其次是计算能力的匹配性。利用互联网和云计算技术,实现10万台量级的普通计算机进行海量计算,为大规模数据的实时处理提供了廉价、可靠、有效的技术支撑,这才使得大数据驱动得以展露手脚;最后是采集能力的普适效应。随着移动互联网和云存储技术的发展,可穿戴设备、传感设备通过网络互联,数据采集可以源源不断地传输并保存,为大数据驱动奠定可持续数据来源基础。
如今数字化转型的浪潮正在不断向前推进,大数据技术也有愈发的彰显优势,驱动大数据解决问题的能力,能够有效提升公司生产、经营和管理的效率。我们来看一个名片识别技术变革的小案例。以前专家们一直致力于提高文字图形识别技术、解析技术,但是识别错误率一直高居40%以上,后来获取海量电子名片数据、公司数据后,由大数据系统对照匹配,现在只要能识别公司logo和姓名等个别文字后,就能将识别错误率降低到10%以内,文字识别瓶颈就这样被轻松解决。
随着数据驱动思维的运用,全新的商业逻辑变革悄然到来。目前传统公司竞争不过互联网公司的比比皆是,AT&T比不过亚马逊、谷歌公司,电信移动运营商比不过阿里、腾讯公司,国有银行比不过支付宝、微信支付,其根源就在于对大数据驱动智能商业的敏感性和适应性。这些企业对大数据给予了足够的重视,充分使用大数据来为自己创造更大的收益,他们能够快速地分析出大数据表达出来的深层含义,形成自己独特的市场洞察,利用大数据分析结果合理分配自己的资源和能力,率先占据市场,打造自己的差异化竞争力,从而超越竞争对手。有数据不代表会用数据,用数据不代表可以用好数据,在未来的五年内将会有三类数据驱动型公司崛起:基于数据本身的公司、基于数据分析技能的公司、基于创新数据用途思维的公司。基于数据本身的公司一般拥有收集大量数据的平台,但不一定能从数据中提取价值而盈利,如Twitter、VISA信用卡发行商会把自己拥有的数据授权给其他公司使用。基于数据分析技能的公司通常是咨询公司或技术提供商,掌握专业的分析能力,能够分析现有形势,但不一定能从数据中创新应用。只有基于创新数据用途思维的公司最具生命力,因为他们懂得如何挖掘出数据潜在的价值,具有创新数据价值的思维方式,能够利用创新想法来挖掘数据的潜在价值。
如伏特公司自己就具备专业技术获取数据价值,同时也向专注于大数据挖掘的公司Pivota深度合作,沃尔玛就是靠天睿公司合作分析来挖掘营销创新点。再如谷歌、亚马逊就是同时具备三项基础的公司,谷歌的全景地图服务就催生了自动智能驾驶汽车技术,亚马逊的kindle笔记功能实现了购书偏好与销售价值链反馈机制。相信很多用户体验过京东提供的211的物流配送服务:上午11:00前下单,当日送达;晚上11:00前下单,次日送达,其物流系统青龙就是利用大数据进行订单预测,打造智慧物流,大幅提升配送效率,从而提升用户独特体验。
传统制造业的信息流通模式下,源头厂家基本无法掌握其生产产品的最终使用用户、使用感知甚至售后满意度,需要通过调查问卷或由经销商间接反馈,而这些都已经是加工过的信息,很难做到还原真相。现在有了大数据就能为生产商打通每件产品和用户的体验关联,信息流通的成本透明化,真正做到与每个用户“零距离”接触,我们称之为大数据时代的“感知毛细智能化”。
大数据的数据源要求是去结构化、无目的性的“杂乱数据”,只有多维度、无偏向、完备性的数据,才能使得各种认知偏见、数据误差在海量数据汇集后得到纠正,因果关系不再重要,探索数据的关联关系才是贴近事实真相的有效方向。这与统计学的精准性恰恰相反,由于人脑倾向于理解确定、无误、高质量的数据,统计学为我们去繁就简,指导如何获取尽量少的精确样本进行问题分析。同时统计学家们也发现:采样分析的精准性是随着采样的随机性的增加大幅提升的,即样本的随机性比样本的数量更重要。多年来统计学研究各种分析模型来提高分析精准性,固有的缺陷逐渐显现,随着大数据技术的发展,海量数据的完备性可以更好的解决这个随机性采样问题,因为它不需要参考任何采样子类,只要总体无误差的数据量占比足够大,完备性就可以得到保障。
面对海量的数据,如何准确获取所需要的用户行为数据,其实现途径总体来说有四类,分别是建立收集平台、转型商业服务模式、专业数据公司或开发轻量级收集工具。建立数据收集平台的特点是耗时长、具有头部效应,像阿里巴巴的淘宝平台、腾讯的微信平台等。目前国内和国际上已有多家公司提供大数据平台搭建服务,国外有名的公司有Cloudera,Hortonworks,MapR等,国内也有华为、明略数据、星环等。通过服务模式创新来收集数据具有成本低、见效快的特点,将一次性的消费变成售后多次消费,将买变成租的方式,都是为了能够将低频产品变成高频服务后获取海量用户数据。专业数据公司像阿里巴巴、百度、腾讯等以几十年的用户行为数据沉淀为基础,在政府、医疗、金融、零售、教育、电商等传统领域开展对外大数据应用合作。开发轻量级收集工具可以快速获取特定人群的相关数据,比如开发微信小程序、互动小游戏或APP等方式,可以精准锁定某类用户群体,通过线上娱乐、互动、分享等方式采集用户行为数据。在企业体量较小,没有足够实力搭建大数据平台的情况下,这种获取用户行为数据的方式是相当可取的。当然用户数据的获取不能逃避用户的隐私问题,我认为这个隐私侵害的界定原则就是:不能通过数据标签回溯到特定个人,但可以回溯到特定人群,满足这条就算合理合规的隐私数据运用,可以放心使用、大胆使用、方便使用。
大数据服务创新如何盈利?数据能够告诉我们,每一个客户的行为特征,他们的消费偏好,简单来说就是他们想要什么,喜欢什么,每个人的需求有哪些区别,哪些又可以被集合到一起来进行分类。大数据是数据数量上的增加,增加了数据分析结果的普适性,提高了企业的盈利能力。举例来说,咖啡机不是易耗品,买卖一次可以用好几年不坏,如何创新服务模式来获取用户使用数据呢?可以在咖啡机上加入RFID标签和红外感应或压敏感应装置,将咖啡机使用频次、时间长短、时间间隔等信息通过家庭wifi上传至大数据平台,进而得到个性化消费习惯偏好数据,然后就可以尝试不同口味的咖啡原料进行高频精准投放,再进入大数据采集实现完备性数据获取。这样一来低频的咖啡机可以超低价购买或者赠送给客户,靠后期的咖啡原料、咖啡伴侣、甚至是咖啡调味服务来获取真正盈利。
商业智能究竟给企业带来怎样的价值机会,在新兴技术与渠道不断更替的同时,数据的应运而生将企业与社会步入一个多元化的时代,大数据时代的到来促进了市场的活力,给不同需求的公司以及竞争伙伴带来了更多的商业竞争机会,对促进产业结构的升级产生了毋庸置疑的影响,感知毛细的大数据,能够将用户个体Who 与行为细节 When、Where、Why和How一一对应,这将完全颠覆传统商业思维模式。首先,从企业层面来看,商业智能变革是通过大数据在企业各个流通环节中的充分运用实现的,通过彰显企业价值,实现企业创新,构建企业价值网络;其次,从大数据产业链的角度来看,商业智能化变革是立体的,沿着大数据产业链的横向延伸,缩短产业链的长度,减少不确定性,降低成本损耗,同时,沿着产业链的纵向扩展,根据纵向定位与整体行业外部环境结合起来,提供完整的解决方案,实现商业模式创新;最后,立足于行业层面,商业智能化变革是平台商业模式与数据驱动跨界模式的连接与融合,以大数据作为基础,搭建平台化商业模式,实现跨境经营。
随着大数据时代的逐渐深化,商业智能化变革的趋势越发明显,比如,大数据让软件变得更智能,更加符合人性化,典型的有手机输入法可能通过分析我们日常交流中频繁使用的词语搭配,将这些词语添加到手机词典中,置顶出现,解决用户打字交流的时间,为用户带来良好的交流体验。大数据的出现改变了我们生活的方方面面,大大提高了我们的生活工作的效率。
来看制造业售后服务,传统模式对产品的使用寿命是按照平均使用情况来估算,一般会留有余量,比如汽车发动机、轮胎、净化水滤芯等,当这些产品装上数据采集系统后,可以回传使用过程中的海量数据,不仅能实时掌握产品的正常运转情况,还可以及时发现隐患,防范于未然,将来的大数据售后服务必定是个性化的、定制化的。
再看服装行业的智能应用,在模特身上的衣服怎么看都好,到了自己身上总觉得哪里不合适,这是因为服装在设计时要不就是按模特身材,要不就是按大众平均身材尺寸,现在我们在样衣的拿放处、试衣间里放入感应装置,厂家就可以实时获取哪些款式的衣服被试穿了多少次,这些数据就可以指导设计师调整设计思路,快速感知当下市场时尚潮流走向。
大件消费品应用大数据后也会大不一样,提供极其便利的个性化家庭服务,如智能电视的广告可以做到按家庭的不同精准推送,对有学龄儿童的家庭、中产阶级家庭、老中青俱全家庭、两口小家庭、单身家庭等精准推送不一样需求的广告;智能冰箱可以做到水果、蔬菜、饮品优惠券的定向推送,实现“你刚好用完,优惠券刚好送达”;谷歌公司去年就收购了几个家庭智能wifi项目公司,为的就是抢占家庭智能wifi入口,获取海量wifi使用行为之后,可以准确定位、细分市场,捕捉到平时无法获取的细节,就能转化无限商机和盈利机会。
大数据技术是一种工具,大数据思维是技术的进步产生的新思维观。从大数据思维方式来思考问题,解决问题是当下企业的潮流。大数据思维开启了一次重大的时代转型。马云说过:没有人可以阻碍大数据时代。这将是一个划时代的变迁,物质资本、劳动力资本将不再重要,大数据和金融资本将越来越重要,未来商业竞争都将建立在取之不尽,用之不竭的数据创新上,大数据思维促使智能商业快速变革,整个数字经济体系将重构传统经济模式。