梁山清 李博
摘要:通過八爪鱼数据采集软件,爬取部分加油站位置信息,并将Spark2大数据平台连接到货运车辆的北斗/GPS导航定位数据库。利用大数据平台的组件搭建大数据分析流程,对货车途经各加油站的时空规律进行多维分析。根据大数据分析结果,提出加油站竞争对手研判、加油站位置调整辅助决策、货车加油规律挖掘、客户黏性分析、客源地分析等具体应用场景,对大数据技术在加油站业务推广方面的应用进行了探索。
关键词:Spark2大数据平台;多维分析;精准营销;大数据技术
中图分类号:TP311.5; U495文献标志码:A文章编号:1008-1739(2021)06-64-4
0引言
大数据发展至今,已经大量应用于金融、电商及零售等行业的精准营销场景[1-2],成为了企业营销创新的利器。大数据营销通过大数据技术来处理多源的企业数据,将分析和挖掘结果应用于企业线上、线下的营销活动。这种营销模式帮助企业真正了解用户、洞察用户,对用户进行差异化、定制化的各类营销活动,解决企业营销触达和活动闭环分析,从而找到合适的用户和时间,实现“千人千策”的精准营销模式。
对于石油行业,利用大数据为销售板块营销创新是必然趋势。项目车辆位置服务平台利用北斗/GPS卫星定位技术对各类交通车辆提供综合位置监控[3-5]管理服务。本文依托大数据平台,将车辆位置服务平台的货运车辆数据迁移到Hadoop分布式文件系统,运用大数据分析与挖掘算法对货运车辆数据进行大数据分析和挖掘,实现针对加油站业务的大数据精准营销。
1大数据平台
大数据平台采用Hadoop2.x的技术体系[6]进行架构设计[7-9],架构图如图1所示。
大数据平台包括数据源层、数据采集与存储层、数据分析与挖掘层、数据展示层和数据管理层共五部分。其中,数据源层是存在于关系数据库PostgresSQL中的货运车辆业务数据和八爪鱼采集器爬取的加油站的位置数据;数据采集与存储层将数据源的数据迁移并存储于分布式文件系统HDFS中;数据分析与挖掘层基于YARN计算架构,协同Spark2,Mahout,Avro,Ooize,Solr等组件,对货运车辆数据进行分析和挖掘;数据展示层对大数据分析结果进行图形化展现;数据管理层负责整个系统的应用程序协调、数据安全管理、系统运行动态监控等任务。
1.1数据采集与存储
本文运用数据源组件将货运车辆数据从PostgreSQL数据库抽取到大数据库平台Hive库,并存储于HDFS分布式文件系统[10]。货运车辆数据主要包括行业信息、企业信息、分组信息、车辆信息、司机信息、SIM信息、入网信息、指令信息、日志信息、元数据信息、轨迹信息及状态信息。其中,轨迹信息包括经纬度、地址、时间、速度、方向、高程及油量等,状态信息包括车辆状态信息、报警状态信息、车机状态信息等。
运用八爪鱼数据采集软件抽取百度地图上若干个城市的加油站名称、地址、经纬度坐标等数据,并进行了数据合并和初步处理,共1 200个加油站。从网上数据分析,大概有10 000个加油站,抽取量大概是实际情况的10%。
1.2数据预处理
受卫星定位终端设备故障、信号不良、冷启动等各种客观因素的影响,采集的北斗/GPS数据存在一定的误差。本文通过均值滤波、速度滤波、航向角检测等方法来对数据进行简单的预处理操作,剔除无效数据。
1.3数据分析与挖掘
数据分析与挖掘层采用平台算法库自带的算法模块进行数据的并行化计算和分析,主要包含数据预处理与数据分析挖掘。
1.4数据可视化展示
数据展示层[11]将平台分析的部分结果以直观的形式进行展示。平台可以根据UE的柱状图、饼状图、折线、雷达图、地理分布图、气泡图等多种图表化元素对上述分析结果进行可视化展示。
2大数据分析
2.1热门加油站分析
通过计算一段时间内平台大数据车辆在各加油站附近的轨迹点数量[12],结合自身加油站业务量,分析各加油站潜在的业务增长空间,辅助加油站经营管理团队及时调整自身经营策略。
2.2加油站位置分析
通过分析一段时间内的货车轨迹中心的地理坐标动态变化规律,与加油站分布空间特征进行对比,为加油站经营管理团队动态调整加油站的位置和数量提供数据支撑。
2.3加油高峰时段分析
分析各加油站在全天各个小时的加油频次,一方面辅助加油站调节员工工作时段,另一方面辅助加油站制定不同时段的优惠策略,为业务不饱满时段吸引更多客户。
2.4货车轨迹聚类分析
通过对平台上货车经纬度坐标信息进行聚类分析[13-16],确定轨迹中心坐标,计算平台货车在一定时间段(天、周、月)内的轨迹活动中心,动态挖掘热门地理位置,从而辅助加油站经营管理团队精确掌握商业发展规律,及时调整经营方案和策略。
根据每天的分析结果,可以分析聚类中心[17-18]的动态变化。加油站经营管理团队可以根据轨迹中心变化规律,动态调整加油站的促销策略。
2.5货车加油规律分析
货车加油规律分析如下:
(1)货车停靠加油站频次分析
计算平台大数据车辆在各加油站的加油频次,分析各加油站受货车客户欢迎程度。
(2)货车途经聚类中心分析
分析每辆货车所途经的聚类中心,实现车过留痕。具体来说,通过计算每辆车在各聚类中心的轨迹数量,分析货车活动的空间规律,辅助加油站经营管理团队实现对客户的精准营销。
(3)货车途经加油站分析
分析每辆货车所途经的加油站,辅助加油站精准定位潜在客户。
2.6客户粘性分析
通过分析平台货车轨迹停留历史,根据用户轨迹点的分布,可以为各加油站的用户分别建立老客户、新客户、中间客户及流失客户等用户标签。
对不同类型的用户采取不同的营销策略,可以辅助加油站经营管理团队建立精准的成长型会员体系,最大优惠匹配最高价值用户,分层营销,从而将新客户过渡为中间客户,中间客户过渡为老客户,老客户被巩固,并减少流失客户。客户粘性分析建立的精准客户成长体系,可以有效提高营销效率。
2.7客源地分析
分析每个加油站的客户归属地结构,为加油站勾勒清晰的客户地域画像,分析不同地区司机的社会活动趋势[19]。
3分析结果与应用赋能
3.1加油站竞争对手研判
运营人员可以根据数据分析结果研判出不同城市的热门加油站点,实时锁定近距离竞争对手,再结合竞争对手的营销策略,及时调整自身营销战术,精准拉回流失客户。
3.2加油站位置调整辅助决策
加油站位置动态分析结果如表1所示。
通过分析不同季度、年度的加油站数目变化趋势,运营人员可以根据表中数据分析不同地理范围内的加油站密级程度,从而为现有加油站位置调整和新建加油站的选址提供精准的数据支撑。
3.3加油高峰时段锁定
运营人员可以通过表1精准了解各加油站的高频工作时段,可以采取相应措施,加大低频工作时段的加油优惠力度,并动态调整加油站员工工作时段,从而在增加加油站营业额的同时,减少人力投入。
3.4货车整体分布态势挖掘
通过分析货车轨迹中心,运营人员可以研判出平台货车的活跃范围,根据此部分数据及时掌握加油站周边车辆的总体态势,及时调整营销策略。
3.5货车加油规律挖掘
运营人员可以根据货车途径聚类中心和加油站的分析结果精准掌握某一时间段内途径某一地理范围内的具体情况,从而结合自己团队的加油站集群的地理分布,做出最优的营销方案。
3.6基于客户粘性分析的精准客户成长体系建设
各加油站老客户分析结果如表2所示,新客户分析结果如表3所示,中间客户分析结果如表4所示。
通过分析以上表格,各加油站运营人员可以精准区分出不同粘性的客户群体,从而采取精确的营销策略,在减少老客户流失的同时,推动新客户过渡为回头客,中间客户成长为老客户。
3.7基于客源地分析的社会化营销辅助决策
运营人员可以根据客源地分析结果掌握自身加油站网络的货车客户来源地,并以此来推断不同客户的社会行为习惯,为采取不同营销手段提供辅助参考。比如,四川人爱吃辣,在营销过程中可以对四川牌照的货车采取加油积分兑换辣椒酱的策略。
4结束语
本文基于大数据平台,将存储于车辆位置服务平台传统数据库的货运车辆数据迁移到分布式文件系统,并结合爬取的加油站数据,进行了加油站大数据的分析和挖掘;设计并实现了一系列算法,对货运车辆和加油站数据进行了多维分析,挖掘货车加油的行为规律和特征。本文所做工作对于加油站运营人员实施精准多样的营销策略具有一定的实用价值和借鉴意义。
参考文献
[1]林庆鹏.基于大数据挖掘的精准营销策略研究[D].兰州:兰州理工大学,2016.
[2]卓慧.大数据背景下成品油零售市场的精准营销研究[D].南宁:广西大学,2017.
[3]陈敏伟.大数据技术在铁路货运电子商务系统中的基本应用研究[D].成都:西南交通大学,2015.
[4]陈娇娜.大数据驱动下的高速公路交通运行状态评价与分析[D].西安:长安大学,2016:31-118.
[5]李洪烈,王倩,宋斌.卫星通信导航在海上搜救的应用[J].无线电工程,2017,47(6):15-19,37.
[6]曾宪宇.基于大数据技术的车辆监控系统的优化与实现[D].长春:吉林大学,2016:1-2.
[7] YAN X, ZHANG H, WU C. Research and Development of Intelligent Transportation Systems[C]//International Symposium on Distributed Computing and Applications To Business,Engineering & Science. Guilin:IEEE,2012: 321-327.
[8]朱进云,陈坚,王德政.大数据架构师指南[M].北京:清华大学出版社,2016:122-144.
[9] TURKINGTON G.Hadoop基础教程[M].北京:人民邮电出版社,2014.
[10] WHITE T.Hadoop权威指南:大数据的存储与分析[M].王海,华东,刘喻,等,译.北京:清华大学出版社,2017.
[11]张新阳,孙梦觉,牛斌.大屏可视化技术在电力系統中的应用研究[J].电力大数据,2017,20(10):61-64.
[12] CAPRIOLO E,WAMPLER D,RUTHERGLEN J.Hive编程指南[M].曹坤,译.北京:人民邮电出版社,2013.
[13] SEAN Owen,ROBIN Anil,TED Dunning,et al. Mahout实战[M].王斌,韩冀中,万吉,译.北京::人民邮电出版社, 2014:10-296.
[14]樊哲.Mahout算法解析与案例实战[M].北京:机械工业出版社,2014.
[15]张亚茹.基于车联网大数据分析的实时路况信息系统关键技术研究[D].南京:南京邮电大学,2017:17-22.
[16] HAN Jiawei,KAMBER M,PEI Jian.数据挖掘:概念与技术[M].范明,孟小峰,译.北京:机械工业出版社,2012.
[17]赵卫中,马慧芳,傅燕翔,等.基于云计算平台Hadoop的并行k-means聚类算法设计研究[J].计算机科学,2011,38(10):166-168,176.
[18]甘波.基于海量物流轨迹数据的分析挖掘系统[D].武汉:武汉理工大学,2014.
[19]刘速,杨文军.基于互联网及大数据的加油站智能营销[J].信息技术与标准化,2019(5):53-57.