零售业大数据：形成、应用及启示

郑淑蓉

〔摘要〕 数据是各种信息原始记录的数值，零售业数据经历了手工记录和电子收款机、PC机和POS系统、用户原创的互联网以及移动和感知式物联网四个阶段的演进，从而形成零售业大数据。零售业大数据的应用，有利于新型数据竞争力的构建、顾客需求的精准化洞察以及数据创新思维的实现；云计算、关系数据库、数据挖掘等技术，为零售业大数据应用提供了强大的技术支撑；零售业大数据应用的内容包括大数据抽取与集成、数据分析及数据解释。零售业大数据的形成和应用给我们的启示是：大数据意识与思维正成为零售业创新的知识准备，大数据可以为零售企业提供精准的顾客价值主张，零售业面临着大数据管理的挑战。

〔关键词〕 零售业，大数据，物联网，顾客价值主张

〔中图分类号〕F49 〔文献标识码〕A 〔文章编号〕1004-4175（2014）02-0090-05

新兴信息技术与应用模式的不断渗透和推陈出新，使得全球数据量呈现出前所未有的爆发式增长态势 〔1 〕。根据国际数据公司（IDC）的研究报告，2011年全球被创建和被复制的数据总量为1.8ZB（数据存储单位，泽字节，等于1024艾字节或270个字节），且增长趋势遵循新摩尔定律，预计到2020年，全球数据量大约每两年翻一番，全球将拥有35ZB的数据量 〔2 〕 （P15-16 ）。海量数据被收集、交换、分析和整合，将和企业的固定资产、人力资源一样，成为企业生产经营的一种基础性资源，大数据所积蓄的价值将驱动经营和决策的管理变革，大数据将是创新、竞争和提高生产率的下一个领域 〔3 〕，大数据蕴含着经营创新的新市场机会和新利润空间。

一、零售业大数据的形成

（一）零售业的数据演进。人类历史上从未有过哪个时代和今天一样产生如此庞大的数据，零售业数据的产生已经完全不受时间和地点的限制，从解放初期采用的手工记录作为数据管理的主要方式开始，数据的存储与产生方式大致经历了四个阶段，由此最终导致零售业大数据的产生。

1.手工记录和电子收款机阶段。20世纪80年代之前，数据的产生主要依靠手工记录、人工盘点、算盘结算，数据管理没有太高的科技含量。20世纪80年代初，终端经营网点引入电子收款机，电子收款机的实际使用有如下特点：（1）模仿重复手工劳动和进行简单的计算；（2）仅在工资管理、合同管理和财务管理等小范围内使用；（3）仅限于前台结账收款，没有形成与后台连接的网络系统。与今日的数据量比较，此阶段的数据无疑是非常有限的。

2.PC机和POS（Point of sales）系统阶段。20世纪80年代中后期，企业在大型机上部署财务、银行等关键运营式应用系统，存储介质包括磁盘、磁带、光盘等，PC机应用后，企业内部出现了以公文档为主要形式的数据，包括Word、Excel文档、图片、图像、影像和音频等。20世纪90年代，数据存储与产生进入POS阶段，POS系统是由电子收款机和计算机联机构成的经营终端前台网络系统，该系统能直接入账、实时处理，显示即刻时点的所有销售信息。90年代后期基于POS系统的条形码技术、色码技术、银行卡互联互通技术、POS服务的管理信息系统、财务管理软件和系统集成产品广泛应用。2010年，基于智能手机和平板电脑的移动POS开始在零售企业出现，老一代POS正在被新一代开放、全功能POS平台所代替，全功能POS除满足传统的销售管理外，能支持退货退款、卡处理、执行PCI安全标准、库存查阅、员工培训、忠诚度计划、网上销售、人力管理、自助结账、全渠道营销、二维码读取、数字数据、近场通信（NFC）、移动商务等功能，新一代POS已成为现代零售企业无可替代的神经中枢系统，POS的功能从Point of Sales逐渐演变为Point of Services，极大地促进了零售业数据量的增长。

3.用户原创的互联网阶段。进入21世纪，互联网的兴起促成了数据量的大规模增长。互联网时代，几乎全民都在制造数据，然而真正的数据爆发产生于Web2.0时代 〔4 〕 （P286-287 ），参见表1。与此同时，数据的形成也极其丰富，一方面，既有社交网络、多媒体、协同创造、虚拟服务等应用所主动产生的数据，另一方面，又有搜索引擎、网页浏览过程中被记录、被收集的数据。该阶段数据的特点是用户原创、主动、交互。

表1 从Web 1.0到Web 3.0的演变

4.移动和感知式物联网阶段。随着移动互联网、感知物联网和云计算的广泛使用，数据存储和产生实现了从手工被动到原创主动再到智能自动的时空跨越。布置于社会各个领域的传感器设备，能够全天候监控和源源不断地自动产生新数据。零售业无线射频技术（RFID）的大规模应用，不仅提高了数据采集的粒度，而且增强了数据采集的频度，极大地推动了零售行业数据量的增长。

（二）大数据的内涵及零售业大数据的形成。零售业数据的存储与产生经历了四个阶段的演进，这些手工被动、原创主动和智能自动的数据共同构成了零售业大数据的数据来源，其中自动式的数据才是零售业大数据产生的最根本根源。

数据是信息的原始记录，2011年，麦肯锡阐释了大数据概念，认为现在的数据相比30年前更大量、多样和实时，即大数 〔5 〕。维基百科将大数据定义为“无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合”；美国国家科学基金会（NSF）将大数据定义为“由科学仪器、传感设备、互联网交易、电子邮件、音视频软件、网络点击流等多种数据源生成的大规模、多元化、复杂性、长期性的分布式数据集”。著名咨询机构IDC把大数据的技术定义为：通过高速捕捉、发现或分析，从大量数据中获取价值的一种新型技术架构。大数据的特点可以概括为4V，即Volume（能量）、Velocity（高速）、Vaviety（多样）、Value（价值） 〔6 〕。大数据之大体现在数据规模、数据复杂性和数据产生速度三个方面均大大超出了传统的数据形态，以至突破了传统数据处理能力的极限，并带来了产业融合、经营创新、理念革新、流程变革、营销决策等方面的巨大影响和挑战。

由于数据收集意识的增强和新技术的出现，很多零售商拥有的数据量在过去3年里增加了5倍 〔7 〕。大数据的意义不在于数据量大，而在于数据价值的最大化。2008年卡内基梅隆大学的R.E.Bryant、加利福尼亚大学伯克利分校的R.H.Katz、华盛顿大学的E.D.Lazows-Ka联合业界组织“计算社区联盟”，发表了白皮书《大数据计算·商务·科学和社会领域的革命性突破》 〔8 〕，使得企业界意识到大数据真正重要的是数据的新用途和带来的新见解，而非数据本身，这些认识是大数据分析和应用的前提。

零售业有价值可拓展的大数据总体可以分为两个部分：一是大交易数据，即零售企业交易产生的数据，包括商品数据、销售数据、运营数据、财务数据、顾客关系数据和市场竞争数据；二是大交互数据，即由POS机、互联网、物联网、移动终端、智能终端、传感器和观测设备等产生的关于零售企业与顾客信息的交互数据，主要包括社交网络数据、射频识别数据、时间和位置数据、文本数据和观测数据。

二、零售业大数据的应用

（一）应用的必要性。大数据时刻都在源源不断地渗入现代零售企业的日常管理和经营运作中，零售企业从不断生成的交易与交互数据中获取泽字节的有关消费者、供应商和运营管理方面的信息，大数据的形成与应用必将对现代零售业的数据竞争力、经营运作理念、组织业务流程、市场营销决策以及新型商业模式等产生巨大影响，使得零售企业经营管理决策越来越依赖于数据分析而非经验甚至直觉 〔9，10 〕。零售业大数据应用的必要性体现在以下三个方面：

1.构建零售业的新型数据竞争力。麦肯锡报告指出：已经有越来越多令人信服的证据表明，只要实施正确的政策和激励，大数据将成为竞争的关键性基础，并成为下一波生产率提高、创新和为消费者创造价值的支柱。托马斯·达文波特指出：要做到“低成本、高效率”的运营及决策正确，企业必须广泛推行以事实为基础的决策方法，大量使用数据分析来优化企业的各个运营环节，通过基于数据的优化和对接，把业务流程和决策过程当中存在的每一分潜在的价值都“挤”出来，从而节约成本、战胜对手、在市场上幸存。

2.实现零售企业对市场的实时化理解和对顾客需求的精准化洞察。大数据背景下，零售企业记录或搜集顾客在各种渠道和产品生命周期各个阶段的行为数据和偏好数据，通过数据分析，宏观上可以把握顾客的结构、流量、购买周期以及不同顾客群的利润率和贡献率；微观上可以具体到每一个顾客的购买频率、购买兴趣、忠诚度和流失的可能性。通过全息可见的消费者个体行为与偏好数据的点、线、面齐全分析，可以确定最忠诚的顾客群体，预测其消费意愿，主动为其提供专属性的个性化产品和服务。从接触顾客、吸引顾客，到管理顾客、专题促销，再到最终的销售，整个过程只在数据交互中实现，通过了解用户行为数据，从而实现精准销售。

3.实现零售企业基于大数据的创新思维。大数据环境下，零售业的创新思维涉及三个方面。其一，整合企业内部与外部的大数据，分析多渠道、互联网与移动网、线上线下消费者行为图谱及其联系，通过顾客的数据识别，设计潜在的个性化服务，满足不同细分市场的需求。其二，基于大数据平台的数据实时分析，预测顾客实际行为的动态变化和设计与之适应的销售策略更新。其三，基于大数据平台的零售业新型商业模式创新，这种商业模式创新的源泉依赖于从海量的可拓展数据中挖掘有价值的信息，以及这些信息真正影响零售企业运营系统中的销售模式、组织结构调整、劳动生产率、经营绩效、管理决策和管理效率，实现大数据的商业模式创新给零售企业带来的价值提升。

（二）应用的可能性。大数据价值的完整体现及其应用需要多种技术的协同，多种技术分三个层面：平台层（并行构架和资源平台，即硬件层面）、系统层（大数据存储管理和并行编程模型与计算框架，即软件层面）、处理层（数据挖掘与数据分析，即应用开发层面）。三个层面技术逐渐成熟，为零售业的大数据应用提供强大的技术支撑。

1.大数据的平台层技术——云计算。大数据是存储的内容，云计算是存储大数据的IT架构，大数据的存储与利用离不开IT计算资源池组织配置架构的云模式，云模式中资源池的核心内容是复杂的巨量数据。2006年，google首先提出云计算概念，支撑google内部各种大数据应用的正是其自行研发的一系列云计算技术和工具，包括文件系统、数据库系统、索引与查询技术、数据分析技术等，这些技术被广泛了解并得到应用。正是云计算技术在数据存储、管理与分析等方面的支撑，才使得大数据有用武之地。

2.大数据的系统层技术——关系数据库。目前，Hadoop是应用最广的大数据处理平台，它已经发展成为包括文件系统、数据库、数据处理等功能模块在内的完整生态系统。实际上，Hadoop成为大数据处理工具的标准，其大数据处理主要集中在系统性能开放、高效查询、索引构建和使用、构建数据仓库、数据库系统连接、数据挖掘和推荐系统等方面 〔11 〕。传统数据库技术面临新的挑战，一是大数据时代的数据量远超单机所能容纳的数据量，需要系统具有扩展性的分布式存储方式。二是传统数据库比较适合结构化数据①的存储，但是除结构化数据外，非结构化数据②将是大数据的重要组成部分。在此背景下，关系数据库应运而生，关系数据库追求的是普适性目标，希望将用户从繁杂的数据管理中解脱出来，在面对不同时间、不同问题、不同数据类型时，从新理念出发，设计原子性、一致性、隔离性和持久性的新的数据管理方式。

3.大数据的处理层技术——数据挖掘。数据挖掘是指通过特定的计算机算法对大量的数据进行自动分析，从而揭示数据之间隐藏的关系、模式和趋势，为决策者提供新的知识。在数据挖掘过程中，根据不同的应用需求选择不同的挖掘模型，对数据进行深度挖掘。数据挖掘模型有两类，一是分析模型，主要有关联规则分析、分类与聚类分析、社会网络分析、变化与偏差分析。二是用户模型，以人的性别、种族、年龄和兴趣为角度进行分类，挖掘应用包括排名与个性化推荐、异常检测、Web挖掘与搜索、大数据的可视频化计算与分析等 〔12 〕。数据挖掘有两个侧重点，如图1所示。数据挖掘把数据分析的范围从已知扩大到未知，从过去推向将来，通过揭示规律和预测未来，做到前摄的、基于知识的决策。

（三）应用的具体内容。大数据和新的数据技术为零售业的经营提供支撑，通过各种平台汇总的客户消费记录和企业数据集的应用与管理是个系统化工程，涉及众多源系统的交互与协调，交互与协调的核心内容是对数据抽取与集成、分析和解释，提高数据采集分析的速度，提升数据的质量与价值，为零售业的经营创新提供依据。

1.大数据抽取与集成。零售业大数据源之间存在交互，数据内容往往交叉，按照大交易、大交互的观测数据进行分类，通过Needlebase等工具在用户消费的过程或其他行为中收集数据。由于原始数据存在噪声、冗余及缺失，所以需要分三步对数据进行抽取与集成。

首先，清洗、重构、填补数据，保证数据质量及可信性。

其次，将半结构化、非结构化数据处理成机器语言或索引，如自然语言——用户评论、日志资料等，将结构化数据进行数据过滤，剔除无效数据，提炼出有意义的数据。

最后，检测数据的相关性和关联性，从用户购买数据和时间数据中发现购买特定商品的频率，关联数据表现出更多的特定用户活动特征；数据融合是将相关联的数据连接在一起，形成一个新的商业应用；测算识别顾客之间关系所形成的圈子以及圈子中领袖者角色的判定，形成用户影响力和价值的判断，在此基础上，帮助零售业经营创新，实现相关销售活动和产品服务的推广，提高零售业的运营管理效率。

2.数据分析。大数据的价值产生于数据分析，从异构数据源抽取和集成的数据构成了数据分析的原始数据，根据不同应用需求可以从这些数据中进行三方面的分析。

首先，顾客分析。即分析前台的记录，这样做宏观上可以把握顾客的结构、流量、购买周期以及不同顾客群的利润贡献率；微观上可以确定每位顾客的购买频率、兴趣点、忠诚度和流失的可能性。有了这些点、线、面齐全的分析，零售商就可以确定顾客群体，预测其消费意愿，主动为其提供个性化的销售和关怀指导服务，提高销售额和利润率。

其次，商品分析。基于数据分析，零售商可以确定以下几个方面的商品问题：最佳的商品组合和库存量；导入新商品，淘汰旧商品的时间；商品的分类上架和捆绑销售；不同季节不同时段的商品定价；促销形式；应对突发事件的措施等。

最后，供应链分析。具体包括选择供应商，优化物流、现金流和配置人力资源等。利用大数据技术，优化整合供应链的各个环节，构建一个统一的供应链平台，各部门共享供应链平台的数据和服务，快速灵活地应对顾客消费变化，降低供应链成本，提高商品采购、仓储管理、物流配送和最终销售间的运行效率。

3.数据解释。如果数据分析的结果正确，但是没有采用适当的解释方法，那么所得到的结果很可能让人难以理解甚至起着误导作用。小数据时传统的数据解释方法可以以文本形式输出结果或者直接在电脑终端上显示结果。但是，在大数据背景下，一方面数据分析结果海量，另一方面数据分析结果之间的关联极其复杂，传统的解释方法不可行。这就需要从以下两方面提升数据解释能力：一是引入数据可视化技术，通过把复杂的数据转化为直观的图形，在逻辑思维的基础上进一步激发人的形象思维和空间想象能力，吸引、帮助零售商洞察数据之间隐藏的密切关系和规律性；二是让各部门能够在一定程度上了解和参与具体的分析过程，具体方法是采用人机交互技术（利用交互式的数据逐步地进行分析，使得各部门在得到结果的同时又能更好地理解分析结果的由来）和数据起源技术（该技术可以帮助追溯整个数据的分析过程，有助于零售商各部门理解数据的分析结果）。

三、启示

大数据是创新、竞争和提高生产率的下一个领域，蕴含着许多市场机会与利润空间，大数据所蕴藏的巨大价值必将引起零售业的经营创新和企业管理的重大变革，零售业大数据的形成和应用为零售企业下一轮竞争提供了如下启示：

（一）大数据意识与思维正成为零售业创新的知识准备。1.零售业大数据的形成是一个从量变到质变的过程，零售业大数据存在着多源异构、分布广泛、动态增长、时空特性等特点，它可以实现历史数据与即时数据的匹配，行为方式与特殊情境的匹配，物理世界与虚拟世界的匹配，使许多不可能成为可能。2.大数据提供了一种新资源和新能力，为零售业发现和创造新价值，解决新问题提供了新的视野和路径，它引发零售业对资源、顾客、价值、结构、关系、边界等传统观念的重构。3.大数据催生由数据驱动的零售业的运营与决策，零售业传统的凭经验、直觉和视野决策所起的决定作用将日益减小，企业的决策越来越受到大数据的影响，数据驱动决策制定，利用可控实验，能将验证假设、分析结果用以指导投资决策及运作改变，避免高昂的人为干预成本，提高效益。4.大数据驱动的商业模式创新，全息可见的消费者个体行为与偏好数据等，使得实时个性化成为可能。彻底的个性化与定制化将颠覆一切传统的商业模式，成为未来零售业发展的终极方向和新驱动力。

（二）大数据可以为零售企业提供精准的顾客价值主张。1.洞悉消费者的真实需求。消费者的真实需求具有隐蔽、复杂、易变和情景依赖等特点，历史的静态的结构化的数据难以反映顾客的真实需求，而互联网、物联网等的顾客数据痕迹能直接反映他们的性格、偏好和意愿。2.准确细分消费者。传统的以地理位置、人口统计特征为标准的划分被以爱好兴趣、生活方式、价值观、沟通方式为标准的数据化细分所替代；本质上讲，每个人的兴趣、爱好与需求都不同，每个人都是一个细分市场，大数据正在使零售企业向“微市场”迈进，构建基于大数据的顾客购买行为模型，主动推荐个性化的产品和服务。3.动态定位。零售业多来源、多格式数据的集成、分析与解释能力使数据的反馈与响应可在瞬间完成，快速识别消费者购买决策和行为模式的变化趋势，及时准确地更新他们的偏好。

（三）零售业面临着大数据管理的挑战。优质高效的大数据管理将在16个方面改善零售业的运营 〔13 〕，参见表2。

表2 大数据管理与零售业运营的改善

为了实现大数据应用的价值和质量，零售业大数据管理重点在四个环节。（1）构建数据管理体系，保障数据分析、规划、设计、协调等环节的可行、落实和高效。（2）培养零售业的数据技术人员。大数据背景下，数据技术人员的价值逐渐凸显，其中最重要的是具备清理和组织大型数据的能力，懂得数据格式商业语言的“数据科学家”，数据科学家帮助零售业管理者从数据的角度理解企业所面临的新挑战与新机遇。（3）实施制度化、流程化、规范化、标准化的数据管理，赋予专职机构相应的权责，保障零售企业数据从产生、加工、传递到使用、销毁的全过程。（4）实现数据跨职能跨部门流动。零售企业需具有一个灵活的数据组织架构，最大化企业的跨职能合作，把信息和决策分配给不同的部门，避免数据孤岛问题。

注 释：

①结构化数据，即行数据，指存储在数据库里，可以用二维表结构逻辑表达实现的数据。

②非结构化数据，指不方便用数据库二维表结构逻辑表现的数据，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像、音频和视频信息等。

参考文献：

〔1〕Lycnc.Big data：How do you data grow？〔J〕.Nature，2008，455（7209）.

〔2〕GantzJ，ReinselD.2011 Digital Universe Study：Extracting VaLue from chaos〔M〕.IDC Go-to-Market Services，2011.

〔3〕Mckinsey Global Institute.Big Data：The Next frontier for Innovation，Competition and productivity〔R〕.2011，（5）.

〔4〕涂子沛.大数据〔M〕.南宁：广西师范大学出版社，2012.

〔5〕ManyikaJ，chuiM，BrownB，etal.Big data：The next frontier for Innovation，competition and productivity〔R/OL〕.[2012-10-12〕.http：//www.mckinsey.com /Insights/MGI/Research/Technology.

〔6〕西 西.用数据说话的时代〔N〕.光明日报，2013-03-23（06）.

〔7〕Steve Lohr. A Data Explosion Remakes Retailing〔N〕.New York Times，2010-01-02.

〔8〕BryantRE，KatzRH，LazowskaED.Big-data computing：

Creating Revolutionary Breakthroughs in Commerce，science and Society〔M/OL〕 .www.cra.org，2008.

〔9〕Anderson C.The end of theory：The data deluge makes the scientific method obsolete〔J〕.wired Magazine，2008，16（7）.

〔10〕FrankelF，Reid R.Big data：Disitilling meaning from data〔J〕.Nature，2008，455（7209）.

〔11〕孟小峰，慈 祥.大数据管理：概念、技术与挑战〔J〕.计算机研究与发展，2013，50（1）.

〔12〕John Gantz，David Reinsel.Extracting Value from chaos 〔EB/OL〕.http：//www.emc.com/digital universe，2012-11-16.

〔13〕Steve Lohr.A Data Explosion Remakes Retailing 〔N〕.New York Times，2010-01-02.

责任编辑 于晓媛