大数据在日本的发展及应用

赵敬

栏目责编：邵满春

日本是一个高度信息化的国家，自20 世纪50年代以来就以信息化立国，并长期积极推进各行各业的信息化，鼓励进行信息收集及数据分析。近几年，美国及欧盟等正积极推进大数据的研究，日本各行业尤其是信息化程度较高的行业也开始思考并推进大数据的研究及应用。主管信息通信产业的总务省于2012年开始对大数据进行专项调查，并将调查结果发布在《信息通信白皮书》里。2013年，日本总务省对大数据的发展现状进一步深入开展宏观和微观层面的调查，针对大数据的生成、流通、存储环节进行宏观的定量调查，主要目的是为了把握日本当前大数据发展的整体情况，反映大数据生成的规模、流通及存储情况；微观层面的调查主要通过二手资料分析和实地调研，探寻大数据在企业层面的应用场景、问题及效果。本文采用日本总务省2012年及2013年部分调研数据，介绍大数据在日本的整体发展情况和在企业层面的应用实例，以资借鉴。

宏观观察：大数据的发展及行业应用

日本总务省首先对大数据的流通量进行了调查，以便掌握当前大数据的发展规模。宏观调查所涉及结构化数据有八种，分别是客户数据库、会计数据、POS 数据、健康保险理赔数据、电子商务销售记录、GPS 数据、RFID 数据、气象数据；非结构化的数据有九种，分别是业务日志数据、CTI 语音日志数据、固定IP 电话语音数据、手机语音数据、电子邮件、博客/SNS 等日志数据、访问链接日志数据、电子医疗记录数据，诊断成像数据。结构化数据流通量为1704227TB，非结构化数据流通量为512969TB，前者规模约为后者的3.3 倍，说明结构化数据是当前日本大数据的主要构成部分，而真正能体现大数据特征的非结构化数据尚未占据主流。在结构化数据之中，POS 数据、RFID 数据及GPS 数据流通量合计占比超过99%，这些商业数据及M2M（Machine to Machine）数据是当前结构化数据的主流，说明了商业、制造业、物联网领域具有大数据应用的数据量优势。而在非结构化数据中，电子邮件、固定IP 电话、手机数据流通量合计占比超过95%，说明通信数据当前是非结构化数据的主流，意味着互联网及电信领域具有大数据应用的数据量优势。

在行业应用上，通过总务省对农林水产、矿业、制造业、建筑业、水电气、商业、金融保险、房地产、交通运输、信息通信及服务业等九大产业的调查显示，2012年这九大产业的大数据流通量规模达到2217195TB，在7年之间增长了5.5倍。从数据存储量来看，九大产业的数据总存储量为9708096TB，其中数据存储量最大的是商业，其次是服务业、建筑业、制造业、金融业。同时，结合2013年总务省对各行业大数据应用实例的调查结果来看，在应用大数据上取得显著成果的129 个案例中，应用程度最高的是拥有26 个案例的零售业，其次是道路交通、制造业、广告业、金融业。

从数据流通规模及应用案例的多寡来看，零售业、制造业、金融业等是日本各行业中大数据应用的领先者。日本从20 世纪80年代中期开始推广POS 机，基于POS 机的销售数据开始应用于商业配送及流通。进入90年代以后，连锁便利店快速扩展。这些小规模店铺的高效运营，更加需要加深对销售数据的利用。2000年前后，点数积分卡开始普及，POS 机的销售数据与积分卡的顾客ID 进行关联，商家开始掌握个体顾客的购买行为，并且将数据分析结果用于有针对性的促销。2010年前后，跨行业的点数积分卡和电子钱包开始发展，跨行业跨企业之间的数据共享得以实现。近几年，产生了大量来自于社交媒体、O2O、手机、位置信息的数据，零售业可利用的数据种类和量级大大增加。从制造业来看，20 世纪90年后半期起，日本制造业就开始建设供应链管理机制，通过在生产商和销售商之间共享销售数据来进行库存调控，如今随着大数据的应用，供应链管理不断精准量化提升效率。2000年前后远程监控数据开始应用，通过传感器对进货商品进行扫描，可以实时掌握商品物流情况，及时发现异常并处理。此外，以道路交通为代表的基建行业、农业、医疗等随着信息化和物联网的发展，开始成为大数据应用的新兵。交通及基础设施建设行业将实时获取的汽车行驶数据，应用于实时交通信息反馈和实时地图，解析事故高发地点，改良道路条件及设施，甚至用于新款汽车的开发。此外、农业、医疗等行业近两年的数据采集迅速发展，亦开始积极尝试使用数据来改进产品质量和提升服务水平。

微观观察：大数据在日本企业层面的应用

在日本总务省调研的129 例企业案例中，零售业企业数据基础好、数据应用历史悠久，在大数据的分析应用上也显示出了较高水平。此外以道路交通为代表的基建行业的应用则显示出了大数据应用的多样性，互联网及电信业等作为信息通信产业的重要力量，不仅具有良好的数据基因，而且在实际业务开展中取得了积极效果。本文试以零售业、交通及信息通信产业的大数据应用为例，一探大数据在企业层面的应用场景和实际效果。

案例1：大数据应用于零售业。安德鲁森是在日本广岛县本土诞生的一家糕点生产及零售商，现在全国有71 家店铺。为了尽量减少每天产量过剩或产量不足带来的损失，安德鲁森在公司内部引入了ANS 销售管理系统以便指导生产。该系统通过分析POS 机的销售数据，能够做到分时间段预测顾客数量，通过结合不同种类商品的销售数量及时间，制定分时间段的销售计划，反馈给生产部门以便按需生产。该公司以前主要靠店长的经验来对商品产量进行估算，应用数据分析以后能够以更高的准确度和实时性来制订生产计划。自2011年10月到2012年3月的半年之间，使用了ANS 系统的店铺销售额提升了1.1%，而没有使用的店铺则减少了0.9%。

案例2：大数据应用于交通道路行业。日本本田公司于2002年推出了基于汽车导航定位服务系统并采用远程信息处理的交通信息服务“Internavi”，截至2012年5月会员数已达到145 万人。行驶的车辆成为了一个个收集交通信息的感应器，以五分钟为间隔向Internavi 信息中心实时回传并共享数据，现在每个月上传的数据量有1 亿公里，截至2012年5月末累积的道路交通数据已经达到25 亿公里。将这些数据分析应用于预测堵车，本田在东京、名古屋、大阪抽选一百个样本调查发现预测效果提高了20%。在琦玉县与道路交管合作，本田通过数据分析统计出急刹车多发地点，指导道路交通部门对路旁树修建和道路交通指示进行了修整，减少了约7 成的急刹车事件。本田还根据数据生成实时交通流量地图提供给Google 及政府机关等，尤其在日本各次地震中发挥了重要作用。

案例3：大数据在互联网及电信行业的应用。日本电子商务网站乐天将数据分析用在了定向广告上。乐天每天对数千万会员的属性、数千万件商品的购买历史，各种服务的使用数据、会员排行榜、点数卡使用情况等数据进行分析，按照顾客特性发送定向广告。通过大数据的分析和使用，会员使用多种服务的比例由2007年的31.4%上升到2009年6月的38.2%，并且点击率和购买率都成倍上涨。电信运营商T-Mobile 对3400 万用户总共超过1PB 的数据进行了两周的分析，发现同一组用户中若有一个用户解除了和T-Mobile 的合约，那么同组当中的其他用户大约有高于一般用户七倍的概率会解约。于是T-Mobile 在用户解约之前对用户续约推出了一系列的优惠活动，使得客户流失率大大改善。

总务省针对企业应用大数据的129 个案例调研显示，一方面，大数据应用的行业在不断扩展，除了传统擅长数据分析应用的零售业、金融业、制造业、服务业以外，游戏业等娱乐业、行政、旅游、农业、医疗、基建等行业的企业也开始尝试大数据的应用。例如，过往只有像汽车行业这种大规模制造业才有可能应用数据分析来严格制订生产计划，但是随着信息化程度的提高，像安德鲁森这样小规模的食品生产商也可以应用大数据来为自己制订生产和销售的计划。另一方面，大数据应用的业务种类不断扩增。除了促销、售后服务、维护客户关系、开发商品、管理库存和物流之外，也开始应用于定向广告、经营决策、基础设施管理及改造、人才分配培养、行政事务、灾害防御、危机管理等。最后，从企业的规模来看，规模大的企业更加关心大数据的应用，当前在公司内部的大数据应用仍然主要以市场营销、经营管理、产品开发及策划等，并逐渐关注大数据在战略决策、服务、物流、内部管理等方面所发挥的作用，期待能够借以提升决策质量和业绩表现。

结语

整体而观，大数据在日本当前的发展及应用有以下突出特点。第一，大数据的数据结构不断多样化，数据流通量和存储量规模庞大，虽然目前仍以商业及制造业等传统行业的结构化数据为主体，然而M2M 数据及非结构化数据增长迅速，这说明了真正的大数据时代正在到来。第二，丰富的数据源是大数据产业发展的前提，商业、服务业、建筑业、制造业、金融保险业拥有发展大数据的数据量基础，这些信息化水平较高的行业在数据的流通及存储上具有优势。第三，由于历史传统和实际需要，零售业、道路交通、制造业、广告业、金融业显示出较高的数据应用水平，说明了当前大数据在日本的应用主要还是以促进商业销售及提升公共服务质量为主要目的，再一次印证了大数据本质上是“一场管理革命”这一观点。第四，在企业层面虽尽力挖掘大数据的应用场景，然而从应用案例的数量来看仍然稀少，大范围大规模的应用案例仍不多见。

1.日本总务省，《信息通信白皮书》（平成24年版），第153-158 页。

2.日本总务省，《信息通信白皮书》（平成25年版），第143-166 页。

3.[日]城田真琴著，周自恒译：《大数据的冲击》，北京，人民邮电出版社，2013年6月版。