大数据技术在油品销售企业的应用研究

李俊 刘杰 江海

摘  要：大数据时代的到来，为油品销售企业数字化转型创造了条件。大数据技术的创新应用，可以深度挖掘企业各类数据的潜在价值，提升企业应对新常态下复杂竞争环境的能力。文章分析了油品销售企业大数据平台建设的必要性，设计了系统架构和数据治理方案，规划了大数据应用蓝图，从经营决策、客户营销、现场管理等方面阐述了开展大数据应用对油品销售企业的重要意义。

关键词：油品销售;大数据;系统架构;数据治理;数据应用

中图分类号：TP311.13      文献标识码：A 文章编号：2096-4706（2020）24-0127-05

Application Study on Big Data Technology in Oil Products Sales Enterprise

LI Jun，LIU Jie，JIANG Hai

（Sinopec Sales Co.，Ltd. Guangdong Petroleum Branch，Guangzhou  510620，China）

Abstract：The advent of the era of big data has created condition for the digital transformation of oil products sales enterprises. The innovative application of big data technology can deeply dig out the potential value of various kinds of data in enterprise and promote the ability of enterprises to cope with the complex competitive environment in the new normal. The paper analyzes the necessity of building a big data platform in oil products sales enterprises，designs a system architecture and data governance solution，plans a blueprint for big data application. Moreover，the paper states the great significance of big data application for oil products sales enterprises on the aspects of operating decisions，customer marketing，and scene management etc.

Keywords：oil products sales;big data;system architecture;data governance;data application

0  引  言

隨着大数据时代的到来，数字化转型[1]已成为当今全球石油行业发展的重大主题之一。2020年8月，国资委印发《关于加快推进国有企业数字化转型工作的通知》，就推动国有企业数字化转型做出全面部署，中国本土石油企业的数字化转型，也由此获得了强劲新动力。随后，中国石油发布了《以数字化转型驱动油气产业高质量发展》，中国石化发布了《以数字化转型促进能源化工产业高质量发展》，中国海油发布了《把握大势 抢抓机遇 加快推进中国海油数字化转型》。由此可见，国内石油企业已经把数字化转型提升到战略层面，大数据技术对石油公司降本提质增效的重要性日渐成为业界共识。

具体到下游的油品销售企业，以中国石化广东石油分公司为例，地处市场前景广阔的广东地区，行业发展已呈现出竞争主体多元化、资源品种多样化、油品价格市场化的竞争格局，市场资源供大于求的局面早已常态化。面对日益残酷的市场竞争环境，传统技术和手段所能发挥的作用越来越有限，如何借助大数据技术搭建新平台[2]，统一数据资产管理，充分发掘客户和经营数据的价值，为实现智能化经营决策、数字化客户营销、高效化现场管理提供重要依据和支撑，进而提高本企业的生存和竞争能力，无疑是非常值得研究的问题。

1  大数据平台架构

经过多年的信息化建设和互联网转型发展，中国石化广东分公司积累沉淀了大量的经营数据、客户数据及管理数据，但因烟囱式开发模式导致的系统间信息孤岛现象严重，各系统未能有效集成并深入挖掘数据价值。因此，有必要构建统一的、标准的、共享的、服务化的大数据体系[3]，建设大数据平台用以汇聚各业务系统数据，深度服务并持续推动业务创新，从而促进企业数字化转型，形成企业新的核心竞争能力。

1.1  全局架构

本文正是基于以上背景，开展顶层设计和全局规划，提出了具备普适性的油品销售企业大数据平台全局架构[4]，如图1所示，其由数据源层、数据公共层、数据分析与算法层、数据应用层四个层次组成。

该架构的基础是数据公共层，它又包含3个子层：数据基础层（ODS）、数据明细层（DWD）及数据汇总层（DWS）。数据基础层由数据源层实现原始数据接入，结构上与源系统基本保持一致，确保原始数据质量。数据明细层对数据基础层的数据进行清洗，按业务域重新整合，统一数据标准和规范，并做宽表处理适度增加数据冗余，夯实数据应用基础。数据汇总层对部分常用指标进行轻度汇总，构建命名规范、口径一致的公共粒度轻度汇总指标表，提高数据查询和使用的效率。

数据算法层在架构中占据非常重要的地位，通过搭建机器学习环境开展算法建模研究，数据预处理完成特征工程后，再借助机器学习和深度学习算法进行建模，可以实现数据的深度分析和科学预测，是挖掘数据价值的关键。

数据应用层为企业内外部用户提供大数据可视化分析工具、大数据产品以及大数据服务，赋能各级管理人员和外部客户，提升企业的数字化运营能力。

1.2  技术路线

在整体技术路线上，采用Hadoop、Spark大数据生态圈产品和组件搭建上述平台架构[5]，如图2所示。在硬件部署方面，可以采用租用公有云或自建私有云，按3年数据量进行估算确定初期硬件数量，后续随数据量增长变化随时扩展。

使用Sqoop、DataX、Kettle等工具实现批量数据同步，使用Canal实现MySQL的CDC（Change Data Capture）数据同步机制，使用Kafka与Spark Stream来完成数据的流式处理，实现实时数据同步;数据存储采用分布式数据库KUDU和数据仓库Hive相结合的方式，KUDU用来存放近两年的数据，Hive用来存放历史归档数据;数据查询与分析采用Impala即席查询工具，数据实时统计分析采用Spark Stream和Flink。

算法建模也是基于大数据Hadoop/Spark技术框架，分布式安装Anaconda机器学习环境，支持分类、回归、预测等一系列机器学习算法、比如逻辑回归、决策树、随机森林、XGboost、SVM等算法。该框架既支持基于Scala的开发，也支持基于PySpark和Python的开发。

2  数据治理规划

数据治理是数据公共层建设的核心内容，也是一项繁重而又极其重要的基础工作。数据治理实属一整套持续改善管理机制，包括诸如数据架构组织、数据标准、数据质量、数据管理制度与体系等方面[6]。它的任务主要是把数据作为资产来管理，对来自各源头系统的数据进行梳理，制定数据标准和规范，构建完善、共享、统一的数据管理环境。通过开展数据治理，可以有效保证业务数据在采集、集中、转换、存储以及应用整个过程中的完整性、准确性、一致性和时效性，支撑后续数据应用和服务开展。具体到各企业，数据治理的任务又因信息系统基础不同而略有差异，中国石化销售企业的数据治理核心任务如表1所示。

3  大数据应用规划

对油品销售企业而言，开展大数据应用的愿景是用数据创造价值，让每一个用户都能够及时获得有用的资源，最终目标是促进企业数字化转型，提升企业核心竞争力。本文以此为出发点，以当前面临的主要问题为导向，聚焦经营和客户，提出了油品销售企业大数据应用蓝图规划，如图3所示。

该蓝图涵盖了数字营销、智慧运营、人工智能、物联网、风险防控、数据共享合作六个主要方面，体现了大数据应用深度融合新零售、数字营销、经营决策等业务领域，持续服务并驱动业务创新的理念。自2019年12月起，上述规划即在中国石化销售广东分公司进入分步实施和应用阶段，开创了大数据技术在中国石化油品销售企业应用的先河，也开启了企业数字化转型的新篇章。

3.1  大数据在经营决策中的应用

隨着市场竞争的日益加剧，企业管理人员对于数据时效性和丰富性要求越来越高，不仅需要及时获取已经发生的业务数据，还期望能对未来一段时间的油品销量和效益、客户购油需求等做出科学预测，从而指导经营决策，这也正是大数据技术所能带来的价值。

在油品量效预测方面，可以通过网络爬虫搜集有关天气、温度、竞争对手优惠等重要信息，将自身沉淀的业务和营销数据汇聚成原始数据池，开展数据预处理和特征工程，选定对量效预测影响最大的若干因素进行建模。考虑到该模型特征值较多，可以采用循环神经网络（RNN）或长短期记忆神经网络（LSTM）等较为复杂的深度学习算法建模来实现。在此模型结果的基础上，通过引入竞争策略设定，系统可以给出每个参与竞争油站的最优价格策略，科学指导油站竞争定价，实现量效最大化。

在客户购油需求预测方面，基于每个客户过往的购油记录、价格及优惠等数据，结合当期油品价格和营销活动等数据进行建模，采用诸如广义线性回归、时间序列等机器学习算法，即可实现对客户下个购油时间窗口和购油量的提前预判。

3.2  大数据在客户营销中的应用

在油品销售行业，随着新零售业务的蓬勃发展，线上和线下业务不断融合，对基于互联网技术的APP、小程序等客户服务平台的运用，由此所产生的客户行为、客户交易的数据量也在大幅增长，较传统线下交易呈现出几何级增加的态势，是该行业目前最典型的大数据之一。

具体到本企业的实践，主要体现在以下三个方面。首先，在集成客户基础信息、消费数据和行为数据的基础上，采用数学规则定义与机器学习算法建模相结合的方式，构建360°客户画像体系。从客户支付习惯、有效性、忠诚度、消费黏性及消费偏好等角度构建客户的标签集合。采用AHP层次分析法构建用户活跃度模型，关注活跃度变化趋势;采用决策树算法构建用户预流失模型，挽留可能流失的客户;采用K-means聚类算法构建用户优惠敏感度模型，识别用户对优惠的敏感程度。在上述客户标签和模型基础上通过自定义组合生成新的目标客群，开展针对性营销活动和客户分析。其次，基于客户画像体系构建从营销活动设计、营销活动实施、活动效果评估到营销策略优化的数字化闭环营销体系，发挥大数据技术在客户营销中的真正作用。最后，构建用户真实度模型，从消费合理性角度对客户进行评分分级，对于得分低的客户采用营销限制策略，有效防止羊毛党薅羊毛，减少营销资源的浪费。

图4为本企业建立的数字营销平台功能界面截图，该平台包括用户标签生成及自定义组合、用户模型生成、营销活动配置、营销效果分析和评估等核心功能，全面支撑油品及非油品客户的精准营销。

3.3  大数据在现场管理中的应用

对于油品销售企业来说，如何提高加油站现场管理和服务效率是其经营管理的基础与核心，也是一直以来难点中的难点。在这方面，传统技术手段已经难以使其发生质的改变，如何依托物联网、人工智能等技术构建新型数字化、智能化现场管理体系，全面提升加油站数字化运营能力是解决问题的关键。本企业对此进行了探索和研究，取得了初步应用成效。

在人工智能技术应用方面，通过在加油站现场部署AI摄像机和边缘计算服务器，基于计算机视觉识别技术构建智能识别网络，精准识别道路和进站车辆，汇聚车流、交易、客户数据。通过大数据挖掘和分析技术，以数字化方式实现加油站现场效率。该系统不仅可以精准统计道路和进站车辆，分析进站率与销量变化趋势之间的关系，提高车辆进站率，而且可以数字化分析加油站服务时长变化情况，研究服务效率低的原因和对策，提高车辆通过率。通过更深层次的数据挖掘，系统还能够以车牌为客户唯一标识，分析加油站新老客户结构变化情况，结合当期营销活动分析营销策略合理性，提高客户回头率。最后，通过建立员工人脸库，系统可以分析员工在岗情况和活动热点区域，给出优化排班建议，提高现场管理水平。

图5为本企业基于上述人工智能技术建立的AI数字现场系统功能截图，以图形化方式直观地呈现了全省加油站道路和进站车流变化、服务时长排名、客户结构变化以及核心指标预警等内容，有效提升了现场管理和服务效率。

在物联网技术应用方面，通过在加油机、液位仪、双层罐等设备中安装智能传感器，按标准协议采集核心设备工作状态数据，再结合车流、交易等数据进行深度挖掘，开展油枪流速、油枪分布合理性等加油枪服务效率分析，动态监测油罐和液位仪状态，对异常进行实时预警，提高加油站设备的运行效率和稳定性。另一方面，通过将低功耗广域网（Low Power Wide Area Network，LPWAN）技术应用于加油智慧支付场景，在加油站构建低功耗、远距离LoRa无线网络，通过加油枪枪托上的智能传感器自动感应安装在客户车辆油箱盖内侧的无源RFID标签，实现无感支付体验，提高了加油服务效率和现场车辆通过率。

4  结  论

綜上所述，大数据在油品销售企业的广泛应用可以更加有效地提升管理效率，更精准地开展客户营销，更科学地进行经营决策。未来在更强有力的技术和人才体系支撑下，油品销售企业可以利用大数据持续驱动业务和应用创新，不断催生新场景、新体验，并可以借助分析所得数据预测业务发展趋势，让数据能够成为预测权威，大数据应用可以达成业务部门未曾想到的业务期望，超越业务满意度，真正赋能业务，从而推动企业的数字化转型，提升企业的综合竞争力。

参考文献：

[1] 吴静，张凤，孙翊，等.抗疫情助推我国数字化转型：机遇与挑战 [J].中国科学院院刊，2020，35（3）：306-311.

[2] 宫夏屹，李伯虎，柴旭东，等.大数据平台技术综述 [J].系统仿真学报，2014，26（3）：489-496.

[3] 彭宇，庞景月，刘大同，等.大数据：内涵、技术体系与展望 [J].电子测量与仪器学报，2015，29（4）：469-482.

[4] 邓中华.大数据大创新：阿里巴巴云上数据中台之道 [M].北京：电子工业出版社，2018.

[5] 唐燕，刘仁权，王苹.基于Hadoop的高校大数据平台的设计与实现 [J].信息技术，2017（12）：105-109.

[6] 张宁，袁勤俭.数据治理研究述评 [J].情报杂志，2017，36（5）：129-134+163.

作者简介：李俊（1981—），男，汉族，江苏泰州人，高级工程师，硕士研究生，研究方向：物联网、大数据技术;刘杰（1980—），男，汉族，河北沧州人，高级工程师，硕士研究生，研究方向：互联网、大数据技术;江海（1981—），男，汉族，四川内江人，高级工程师，本科，研究方向：物联网、大数据技术。