大数据模式的数据挖掘研究

刘昆

摘要：大数据作为互联网发展到当前的一个显著趋势，与云计算、物联网等技术共同构成了新的网络发展潮流，大数据的数据挖掘应用具有极高的研究价值。该文以O2O电商大数据模式为例，分析了大数据环境下O2O电商用户数据，阐述了O2O电商数据挖掘框架、挖掘流程与挖掘方法，并对大数据模式下电商用户数据的挖掘应用进行了探讨，希望能为大数据模式下数据挖掘研究提供参考。

关键词：数据挖掘；O2O电商平台；用户数据；大数据

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2016）36-0019-02

数据挖掘是指人们从自身感兴趣的知识与数据中挖掘出潜在的、隐含的未知有用信息，信息提取的过程被称为数据挖掘。大数据作为互联网发展到当前的一个显著趋势，与云计算、物联网等技术共同构成了新的网络发展潮流。数据挖掘作为一门交叉学科，涉及数据可视化、统计学、高性能计算、人工智能、模式识别、机械学习、归纳推理、数据库等诸多技术，在应对当前快速发展的各行各业大规模数据处理与分析方面具有显著优势，已经成为目前深受学界重视的热门研究领域[1]。大数据当前最具代表性的是电商数据，这种新型的O2O（Online-to-Oline）电子商务模式引领着大数据发展潮流，下面我们以O2O电商大数据模式为例研究下线上线下的电商用户数据挖掘。

1大数据环境下O2O电商用户数据分析

O2O电子商务模式是近年来兴起的新商业模式，以电商平台为纽带，将实体经济与线上资源相结合，构建经济延伸渠道，利用线上服务挖掘吸引客源，利用线下平台完成积极交流活动，目前以淘宝、天猫、京东、苏宁等多家电商平台为众人所熟知。O2O电商模式在2006年最先由沃尔玛公司启用，发展到现在，已经与社交网络、移动终端（手机、平板电脑等）紧密结合，以团购等形式出现，配合移动优惠、线上个性服务、增值服务等形成了新的商业形态，国内外从事电商的企业更是数以千计，比如淘宝网、腾讯网、拉手网、推特、百度等，诸多业界巨头迅速跟进，尤其是2013年淘宝天猫日交易量超过300亿元更是占据交易量榜首。电商发展到现在，已经成为拥有众多用户数据的强大平台，数据的暴增与社会化逐渐模糊了电商企业的数据边界。海量的用户数据超越了目前人力处理范畴，诸如数据冗余、数据过载、数据捕获情况快速增长，面对此种情况，应用大数据模式做数据挖掘已经成为必然，是解决电商大数据压力的首要手段。当前电商发展已经进入大数据时代，用户数据以每年平均60%的速度快速增长，企业平均利用率不到5%，用户数据作为宝贵资源并未发挥出自身价值，所以进行数据挖掘具有重要意义[2]。

2大数据环境下O2O电商用户数据挖掘研究

2.1 O2O电商用户数据挖掘框架

电商用户数据的大数据特征意味着传统数据分析技术无法高效的挖掘利用其潜在价值，同样是提取有效未知信息，数据挖掘是将其增值的过程，且数据挖掘优越性主要表现在以下三个方面：一是数据挖掘处理处理规模以PB级别甚至更大量级别论处，二是数据挖掘不仅可处理静态结构化数据，其在处理非结构化、半结构化及实时数据方面更具优势，三是数据挖掘在分析手段和方法上更加多元化复杂化，包括机器学习、人工智能算法等等，可更好地服务于数据潜力未知知识的挖掘。传统数据分析方法如平滑、滤波、傅里叶变换、极限与峰值等在大数据环境下发挥作用有限，对数据分析师及分析过程极为依赖，且只能处理结构化数据，分析速率慢，缺乏实时性，数据价值不高，对比数据挖掘方法而言，弊端众多[3]。

结合电商大数据特殊性来看，应用数据挖掘法才可以从以PB和EB级计的数据中及时挖掘高价值未知信息，服务电商企业发展与竞争。所以，当前大数据挖掘模式已经成为电商竞争的重要领域，从数据海洋中寻找规律成为必然。就目前而言，结合电商大数据特点，数据挖掘框架结构设计如下，利用此结构可获得价值更高、更为精准的数据信息，实现实时响应。

2.2电商用户数据挖掘流程

传统数据分析流程比起大数据挖掘分析利用要简单许多，利用分类算法与预测算法对抽样选择的元数据进行连续取值和离散类别。大数据挖掘与其相比，更类似于知识被自动发现的过程，在无目标无限制条件下从多个庞大数据源获取数据，并对其进行预处理，利用人工智能算法与机器学习处理挖掘数据，获得价值较高的潜在信息。在电商数据挖掘中，需要注意一个要点，电商用户数据具有群体性特征，可根据不同群体用户特征挖掘用户个人特点，获得价值含量较高的信息，服务电商经营发展与管理。电商用户的数据挖掘流程，首先要从电商平台、社交网络、O2O平台获取数据，进行解析、清洗与重构，经过数据过滤与映射之后，进行数据抽取和关联数据融合，应用数据模型进行挖掘，并最终将挖掘到的高价值信息进行应用，服务于电商平台个性化功能的打造与升级，简单来说，数据挖掘流程可简化为收集——准备——转化——抽取——挖掘——应用六大步骤。

2.3 电商用户数据挖掘方法

大数据挖掘应用关联规则、聚类与分类方法等可有效预测未来发展趋势，作出高价值有效决策，服务电商用户数据的挖掘应用。关联规则分析包括因果、时序、简单关联三类，在数据挖掘中通过分析找出关联关系，从而提炼出影响用户需求及行为的关键因素，为电商经营运行提供风险评估、风险预测、经营决策支持等。聚类与分类分析中，聚类分析用于市场细分，研究不同客户群行为特征，方便用户背景与兴趣归类和购买预测等，分类分析则是根据对象共同特点挖掘分类并建立相关模型，映射到特定类型，可用于用户满意度、用户群体特征与属性、购买趋势预测分析。社会网络分析主要针对不同社会单位如个人、群体或社会等分析其关系结构和属性，专注用户间关系，通过研究描述这种关系流动情况来获得各类信息及资源等。变化与偏差分析主要针对用户异常数据的发现、识别与流失预警等，对于不满足规则的特例、预测模型偏差与量值变化等潜在知识进行挖掘。

2.4 电商用户数据的挖掘应用

大数据模式的数据挖掘在O2O电商用户数据中的应用，可有效挖掘用户潜在心理与行为特征，分析兴趣焦点所在，对于摸清其消费习惯更好的调整经营战略有重要意义，便于电商平台制定更加高效精准的市场发展对策，及时掌握市场变化与用户需求变化，从而在电商平台上提供更加及时且个性化的服务，提升经济效益，将用户潜在信息价值转化为支持电商企业决策的潜力。大数据模式下的用户数据挖掘应用可更好的细化市场，挖掘用户行为需求与准则，让电商平台争取到更多的商家资源，吸引大量消费者，提升信赖度与依赖度，便于电商的精准营销。数据挖掘的应用有利于进一步优化电商平台网络，提供更好的用户服务，有利于稳定客户关系，进一步锁定潜在用户，还可大力发展电商增值服务，防范该平台上的用户欺诈等行为，做好风险管理，保护数据信息与用户合法权益。

综上所述，随着大数据、云计算、物联网等技术潮流来袭，基于大数据模式的数据挖掘可更好的挖掘其潜在高价值信息，推动社会发展与技术升级，实现到数据为王的转变，尤其是O2O电商平台，将在大数据模式下的数据挖掘中迎来更好的发展，创造巨大的商业价值，因此必须加快数据挖掘与应用的研究、探索与实践。

参考文献：

[1] 刘大有，陈慧灵，齐红，杨博.时空数据挖掘研究进展[J].计算机研究与发展，2013（2）.

[2] 李晋，杜庆东，穆宝良.基于SOA的数据挖掘服务整合研究与设计[J].沈阳师范大学学报：自然科学版，2010（2）.

[3] 段曉华.数据挖掘技术在电子商务客户关系管理中的应用研究[J].湖南文理学院学报：自然科学版，2010（2）.