袁 波
中国电信股份有限公司江阴分公司
随着《Nature》和《Science》等相继出版专刊探讨大数据在未来的应用,大数据逐渐成为社会各界关注的热点。大数据被誉为“未来的新石油”,甚至被认为将决定着国家的竞争力,因此数据所有权的争夺和数据处理技术的发展将成为新的战略焦点。
属性定义:2011年,大数据研究的先驱国际数据中心(IDC)在报告中定义大数据:“大数据技术描述了一个技术和体系的新时代,被设计于从大规模多样化的数据中通过高速捕获、发现和分析技术提取数据的价值”。这个定义把大数据特征归纳为“4Vs”,即大容量(volume)、多样性(variety)、更新快(velocity)和高价值低密度。毛波认为大数据应该符合数据量大、相互关联、场景多、实时性高、对未来有影响5个特点。大数据的大体现在数据的关联性和连通性。大数据是前向倾销后向变现的手段。工业界普遍认为从关注交易数据到关注行为数据是推动大数据发展的重要原因,由于交易数据和行为数据为1:100的关系,这时数据容量是传统的工具无法处理。大数据表现为行为数据的一致性并不重要,缺失10%没有很大关系,大数据是解决那些采样后处理结果迅速下降的问题,一般为个性化问题。大数据的结果一般不是给人看的,是给机器看的。
比较定义:2010年Apache Hadoop组织将大数据定义为“普通的计算机软件无法在可接受的时间范围内捕捉、管理、处理的规模庞大的数据集”。2011年麦肯锡(McKinsey)定义为:“超过了典型数据库软件工具捕获、存储、管理和分析数据能力的数据集”。研究机构Gartner给出了这样的定义:“大数据是需要新处理模式才能具有更强的决策力,洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产”。
菲利浦·科特勒教授把细分市场视为具有相似需要和欲望的顾客组成的群体。
市场细分的策略很多,按照地理变量、人口统计变量或者心理变量等。除此之外,有两种特殊的细分场景:利基营销和个体营销。
1993年唐舒·尔茨、史丹利·田纳及罗伯特·劳特朋提出了以客户为中心的理念最终合著《整合营销传播》。在市场细分方面,整合营销传播理论是建立在客户或潜在客户的“行为”上,以可以分辨的个人为起点,然后把他们归类成行为近似的团体,称之为“集中”。
大数据技术作为革命性力量推动科技进步、提升生产效率的同时,在社会各行业必定创造巨大的商业价值。大数据“商品”,大数据服务和大数据软件应用将进入竞争市场销售,为大数据价值链中的企业创造价值。市场细分策略主要是为大数据价值链下游企业确定技术采购和营销方案提供理论依据。
当前大数据技术仍处于成长期,大数据应用的市场正在逐步形成但还没有成熟,对于市场的细分主要还是采用传统做法。本节在大量文献基础上,将归纳几种目前常用的细分方法。
(1)按行业或领域细分
工信部将大数据应用按照行业分为:工业领域、能源电力、政务服务、金融财税、资源环保、交通运输、医疗健康、农林畜牧、科教文体、旅游服务和商贸服务等。麦肯锡提出了五个潜在的大数据应用领域:医疗康护、公众部门管理、零售、全球制造和个人位置信息。大数据应用可以分为企业内部的大数据应用、物联网大数据应用、社交网络大数据应用、医疗健康大数据、群智感知。
按照领域细分简洁直观,易于理解。但是,由于领域和行业这两个概念较为宽泛,使得这种分类方法过于灵活,无法形成一个公认的标准,找不到一个统一的依据。大数据应用是一个庞大的知识和产品体系,它的应用对象涵盖所有行业,并且呈现:相同行业具有不同应用需求以及不同行业的特定业务可能具有相同需求的特点,因此基于行业或者领域的分类有很大局限性。
(2)按数据源细分
联合国统计署大数据工作组将大数据按照数据源进行分类(详见表1),包括人类数据、传统业务系统产生数据、物联网和机器生成数据。
表1 联合国统计署大数据分类及编码
大数据一般分为以下四类:互联网数据、科研数据、感知数据和企业数据。以大数据分析的视角,可以分为六类:结构化数据分析、文本数据分析、多媒体数据分析、Web数据分析、社交网络数据分析和移动数据分析。
由此可见,按照数据源分类划分标准清晰,容易达成统一。然而,数据源与市场变量之间没有直接的关联性,无法在营销过程中运用。
(3)按数据处理模式细分
程学旗、靳小龙和王元卓等学者将大数据应用按照采用的处理技术类型进行分类,批量处理系统应用于社交网络中关系和主题推荐,电子商务领域的产品推荐,搜索引擎广告投放效果提升,金融领域欺诈行为预警等等。
流式处理系统应用在日志信息挖掘、动态提醒与预警,物联传感信息采集挖掘实时分析动态信息展示,Web数据采集、网络爬虫程序抓取互联网内容挖掘价值等。
交互式数据处理系统应用于政府、医疗以及对操作序列有严格要求的工业控制领域,如搜索引擎、电子邮件、即时通讯工具、社交网络等互联网交互式业务。
图数据处理系统解决社区发现,信息传播与影响力最大化问题,网页PageRank评分,分子查找和DNA测序,城市交通规划,邮路优化等。
按照处理系统分类,必须要求所有营销人员熟悉大数据技术原理,显然,这种分类不会是最优方案。但是,上面论述中不难发现,每种分类标签中又存在基于领域的再细分,因此提供了一种二维细分的思路。
(4)按算法细分
不同的算法对应于不同的应用场景,因此基于算法细分可以很好契合市场需求。Manimom等对数据挖掘算法进行了分类,将其分为描述性(descriptive)、预测性和验证性(veryfying)。Blackett等根据数据分析深度将数据分析分为三个层次:描述性(descriptive)分析,预测性分析和规则性(prescriptive)分析。大数据分析可以分为探索性数据分析技术、描述统计、数据可视化。
按算法分类可以关联到客户需求体现出一定的优越性,但是文献研究多集中在算法本身,并未将算法关联市场变量进行合理分类。
哈佛大学商学院访问教师托马斯·H·达文波特(Thomos H.Davenport)说:“大数据及其分化将会在未来10年改变几乎每一个行业的业务功能。任何一个组织,如果早一点着手大数据的工作,都可以获得明显的竞争优势”。大数据应用将渗透到所有行业和所有组织,因此提供了一个广阔的市场前景。深入研究大数据应用的细分策略势在必行,综合上一节各细分策略的特点,大数据应用的市场细分策略应该遵循以下条件:
(1)为了让选择的维度与市场变量相关联,应该以潜在客户的行为为考察对象进行细分,即从行为出发归纳出行为背后的需求,然后对不同需求进行分类;
(2)所选的细分维度应具有闭合性易于形成普适性的“范本”;
(3)细分的维度尽量使用通用词语,避免太过专业的用语带来晦涩难懂和沟通障碍;
(4)大数据应用内涵及其丰富,一个维度无法达到细致分类的情况下,可以采用相关性较弱的二维模式细分。
经过上一节的讨论得到了细分选取细分维度的原则,本节将确定一个基于大数据应用的市场细分的普适性模板。
基于算法的细分在关联市场需求方面体现出天然的优越性,并且公认的主流算法并不多所以也满足闭合性要求。联合国统计署在对大数据进行初步分类时,采用数据源的维度。数据源划分简明并且易于表达。算法和数据源是合适的维度,但细分规则有待完善。
(1)以算法作为细分维度研究
2006年ICDM国际会议上总结了影响力最高的10种数据 挖 掘 算 法,包 括C4.5,k-means,SVM,Apriori,EM,PageRank,AdaBoost,kNN,朴素贝叶斯和CART。根据算法的功能和形式的类似性可以把具体的算法分为:回归分析、分类算法、聚类算法、关联分析。如表2所示,回归分析和分类算法属于监督学习算法,回归问题是对数值型特征进行预测,例如:搜索量与票房趋势预测、红酒品质的判断等;分类问题是对类别性问题进行预测,比如:垃圾邮件判别、信用贷款资质审核等。聚类算法和关联分析属于无监督学习算法,聚类算法通常被用于探索性分析,以“物以类聚”为主要思路,适合识别客户群体对市场细分的应用;关联分析是找出对象之间存在的强相互关系,协助商家进行捆绑销售,除了探索物物之间的关系,关联分析还可以寻找人物之间的关联,比如“猜你喜欢”、“为您推荐”等应用,主要采用协同过滤算法,它可以视为关联算法的特殊情况。
表2 算法的细分规则
(2)以数据源作为细分维度研究
大数据应用要求数据源间开放共享,打通各数据库系统和数据存储系统之间的壁垒,因此根据数据的来源分,可以更好的指向使用者所采集的主要数据集来源同时指明数据的应用场景。
20世纪90年代的商业智能(BI)被称为大数据应用的雏形,21世纪出现了Web搜索引擎,之后大数据技术突飞猛进渗透到各学科各领域,纵观历史和应用现状可以把大数据应用根据数据来源分为:结构化数据、文本数据、Web数据、移动数据,进一步可分为:结构化数据、个人文档数据、计算机日志数据、Web文本数据、多媒体数据、社交网络数据、定位数据、传感数据。数据源的细分规则,详见表3。
表3 数据源的细分规则
综上所述,本文采用算法和数据源两个细分维度变量对大数据服务和大数据应用的市场进行细分,最终建立二维细分模型。模型说明:
维度一:算法;
细分规则:回归分析、分类算法、聚类算法和关联分析。
维度二:数据源;
细分规则:结构化数据、文本数据、Web数据和移动数据。
按照以上模型便可以对市场进行便捷细分,例如:客户需求是预测销售量,那么提供的大数据应用围绕回归分析和Web数据获取开发;客户需求是特定学科研究热点分析,那么提供的大数据应用系统要满足聚类算法和文本数据;如果客户的需求是出行线路优化,那么提供的大数据应用可以用分类算法、移动数据和Web数据进行标识。如表4所示,典型应用实例。
表4 基于大数据应用的市场细分模型的典型示例
数据是对自然和客观世界的记录和观测的量化,是人、机、物三元世界互动的痕迹,随着人类认识水平的不断提高,今后数据的生成和应用会和人对客观世界的认识一样没有终点。大数据从产生的那一刻起,就必定成为人类历史中不可或缺的角色,本文在大量有关大数据技术及应用文献基础上,找出了大数据应用市场化过程中有待完善的环节,通过维度变量的研究找到了适合目前大数据应用发展要求的市场细分规则的模板,建立了基于大数据应用的市场细分模型。