王峰 冯桂玲 上官霞 吴骏 蔡荣彦
摘 要: 针对传统看板灵活性差、业务分析能力弱等问题,结合当前的大数据技术、机器学习算法等,构建了面向过程的敏锐决策动态分析看板。对此,结合大数据的相关技术,将该看板平台分为数据采集层、数据存储与计算层、敏锐决策分析层、数据看板等,并将看板的功能划分为分析可视化、智能分析和数据配置等模块。在智能分析模块,引入集成算法,包括拟合预测模型、聚类模型、分类模型等,并借助自然语言处理等技术,实现对文本的处理和分类。最后,实现管理人员和业务人员对敏锐决策动态分析看板的全面应用,验证了上述方案在现代电力营销中的效果。
关键词: 敏锐决策; 机器算法; 拟合预测; 看板
中图分类号: TP 393文献标志码: A
Process-oriented and Keen Decision-making Dynamic
Analysis of Kanban Platform Design
WANG Feng, FENG Guiling, SHANGGUAN Xia, WU Jun, CAI Rongyan
(State Grid Fujian Electric Power Co. Ltd., Fuzhou, Fujian 350001, China)
Abstract: In view of the poor flexibility of traditional Kanban and weak business analysis ability, combined with the current big data technology and machine learning algorithm, a process-oriented keen decision dynamic analysis Kanban is constructed. In this regard, combined with the relevant technology of big data, the Kanban platform is divided into data acquisition layer, data storage and calculation layer, keen decision analysis layer, data Kanban, etc, and the function of Kanban is divided into analysis visualization, intelligent analysis and data configuration and other modules. In the intelligent analysis module, integrated algorithms are introduced, including fitting prediction models, clustering models, classification models, etc, and techniques such as natural language processing are used to process and classify texts. Finally, the comprehensive application of managers and business personnel to the keen decision-making dynamic analysis Kanban is realized, and the effect of the above scheme in modern power marketing is verified.
Key words: keen decision making; machine algorithm; fitting prediction; Kanban
0 引言
传统的看板,仍处于基于报表等结构化数据进行指标相关的统计分析阶段,对单业务的分析较好,对跨业务的分析较弱,需要大量的人为介入分析和判断,无法快速甄别有效信息,许多业务报告制作太过于详细,都是规范化的文档,被静态表格和各种图表类型所夸大,也正是因为它,制约了从数字化向智能化发展。同时,现有看板系统基本上都是面向分析结果、按照“数据(结果)可视化”的方式而设计的,主要侧重于对关键指标的静态展示,“只能看,不能点”,灵活性差,个性化需求均需要进行开发,周期长,成本高,响应及时性差;分析的过程存在于分析人员的大脑中,水平高低依赖于分析人员的个人思维分析能力,是一种高度个人艺术化的行为,难以进行体系化、工业化地改进,限制了业务分析的深度与广度,制约了数据分析行业水平的提升[1]。鉴于以上原因,本文构建一套具有看板指标灵活定制能力、业务发展趋势预测能力、业务风险研判定位能力、非结构数据分析能力及高效辅助分析能力的“能点能看”的决策分析看板,以突破現有信息化构建的传统静态看板的思路与功能的瓶颈,实现面向分析过程的“敏锐”决策分析看板构建。
1 系统整体架构设计
结合大数据的架构,本文将该系统的整体架构包括数据存储及处理、数据服务层以及看板层。其中数据存储及处理主要负责各种类型数据接入、计算及清洗等一些预处理工作;数据服务主要包括分析过程可视化组件、机器学习算法模型集成、自动报告组件及非结构化数据处理组件等;看板层主要根据业务需要对看板进行基于业务需求的个性化定制,可以灵活扩展与删减。如图1所示。
2 系统功能模块设计
结合图1的功能架构,以及根据现有的电力看板系统,本文将整体系统的功能模块分为以下几个部分:分析管理模块、数据配置模块及系统配置模块。分析管理主要包含分析可视化、看板切换管理、智能分析算法等功能;数据配置主要包括数据接入及自定义语义等功能;系统配置主要包含系统配置与定制等相关功能[2]。具体功能模块如图2来所示。
3 看板功能详细设计
3.1 分析可视化模块设计
所谓的“分析可视化”技术,在用户的交互分析过程中同步记录分析思路发展过程,用“导图”方式予以展现,将现有的“数据(结果)可视化”进一步提升为“分析(过程)可视化”,揭示数据分析中的思考过程,让隐性分析过程显性化。在该模块中,包含四个不同的模块,分别为分析思路展示、节点拆分/合并、节点联动、路径保存/装载[3-4]。
1) 分析思路展示:在用户数据分析的过程中,自动组合图形形成分析路径,将用户的分析思考过程“可视化”。
2) 节点联动:当某个节点的分析条件、分析参数发生变化时,后续节点的显示内容自动联动,快速看到后续各个节点的分析结果变化。
3) 节点拆分/合并:根据对结果开展对比、分组的需求,支持分析节点合并、拆分、修改,或拓展新的分支,适应分析思路复杂多变的要求。
4) 路径保存/装载:分析思路可以被保存、重新装载打开,供随时复盘研究,并可共享给其他用户,开展协作式分析,实现分析思路的知识保存与传承。
3.2 信息熵智能钻取算法设计
由于业务人员的工作经验及业务知识熟悉程度的差异,会存在不同分析人员对同一个分析目标的分析结果存在质量的差异,同时业务人员在面对一个从未有过经验的问题时分析无从下手等情况[5-6]。基于以上实际情况,系统设计了基于信息熵的智能钻取算法,对于指标的多个分析维度,系统自动根据智能钻取算法进行自动钻取,给出机器钻取结果,替代人工思考分析过程。在原有手工拖拽分析维度的基础上,实现分析维度的自动钻取功能,并且钻取路径保存可以人工干预编辑。
信息熵是用来度量样本集合纯度最常用的指标。熵越大,纯度越大,则该特征的内部类别的差异度越大。算法首先通过信息熵定位差异度最大的特征,然后计算特征各类别的离心距绝对值,离心距越大表示该类别与平均水平的差异越大,是数据异常点,算法选择离心距最大的类别作为下一步的钻取指标。如此不断向下挖掘,层层定位数据异常点。具体实现的思路如图3所示。
3.3 智能分析模块设计
在该模块中,结合电力的各项业务,选取合适的算法构建模型,以此对不同的电力业务需求进行分析。在本文中,则尝试引入电力风险预测模型、工单智能分类模型、聚类模型、趋势预测分析模型、风险研判定位模型等。
1) 趋势预测分析
看板系统的趋势预测分析能够通过有关指标的各期对基期的变化趋势的分析,计算出数据变化走向,测算未来数值变化情况,即敏锐决策分析看板的业务发展趋势预测能力。趋势预测分析包含多项式拟合、幂拟合、对数拟合、指数拟合以及时间序列等,集成了不同的拟合算法,如:Gauss-Newton、Levenberg-Marquardt、最小二乘法、时间序列拟合算法等。
2) 风险研判定位
目前看板系统的风险研判定位功能集成了聚类算法,通过聚类算法来定位异常或有风险的群体,为业务人员快速定位,提前预防风险。聚类是机器学习中的一个算法,就是按照某个特定标准(如距离)把一个数据集分割成不同的类或簇,使得同一个簇内的数据对象的相似性尽可能大,同时不在同一个簇中的数据对象的差异性也尽可能地大。即聚类后同一类的数据尽可能聚集到一起,不同类数据尽量分离。聚类算法包含了K-Means(K均值)聚类、k-modes聚类、k-prototypes聚类、基于密度的聚类方法(DBSCAN)等[7-8]。
3) 文本数据分析能力集成
敏锐决策分析看板具备基于自然语言处理技术的非结构化文本分析处理功能,自然语言技术是用来处理非机构化文本数据的技术,进而实现文本的自动分类。为了实现自动分类,看板采用了文本清洗、文本分词、文本向量化、模型分类等自然语言处理技术。如图4所示。
在上述的流程中,文本清洗可以有效减少词汇噪音,保留更有效的文本特征使得分类模型达到更高的精度。如去标点符号、停用词去除、消歧转换、习惯用语去除等;文本分词是指将文本切分成由词语组成的序列,是中文自然语言处理技术的基础环节,文本分词的效果好坏,决定了后续文本分类模型的性能优劣;文本向量化是指向文字转化为机器能够识别的数字,以便进行模型运算分析;模型分类是看板实现文本分类的核心技术,通过将向量化的文本输入模型,即可输出分类结果。
以电力客户投诉工单文本挖掘为例,利用分词技术分析投诉工单中的受理内容,对分词结果开展特征选取与降维处理,并进行词频统计,运用词云分析技术进行分析结果可视化展示,把控住当下电力客户投诉的主要问题,针对性的为不同类型的电力客户提供差异化的服务策略,从而提高客户满意度和忠诚度。
4 系统实现
4.1 趋势预测模块实现
用户可根据不同的拟合方式進行参数配置,通过高级配置面板指定拟合的算法,从而得到更好的拟合曲线[9-10]。同时,用户可指定是否直接利用该拟合算法进行趋势预测,可设置需要预测的期数,从而得到趋势预测的拟合曲线,以帮助用户了解数据变化趋势,把握业务发展规律,如图5所示。
以长期投诉量趋势预测为例,将时间序列数据分离成不同的成分,包括了长期趋势、季节趋势、周期波动以及随机因素,分别对其进行时间序列拟合。预测结果分析:2018年以来预测效果显著下降,主要由于2018年以来投诉判定规则改变,导致长期趋势拟合效果较差,如图6所示。
4.2 业扩工单聚类实现
选取2017-2018年业扩归档工单和在途所有工单,对工单进行分类,形成同一联系人且同一个联系电话办理的业扩项目用户名数量和同一个联系电话办理的业扩项目用户名数量两个特征,根据两个特征进行聚类分析,识别出“二哥”,且清晰地描述其特征[11-12],如图7所示。
4.3 诉求热点词云分析
看板基于模型在四级分类差错点的分类结果,进行各差错点投诉量统计分析,形成词云,展示在数据看板上,直观的呈现指定周期内的投诉热点,使管理层对当前的服务短板或者服务风险有清晰的了解[13]。具体挖掘结果如图8所示。
5 总结
通过上述对敏锐决策动态分析看板平台的分析看出,电力企业围绕云计算、机器学习算法等现代信息技术,大力提高了电力营销的信息化水平,也提高了自身的营销服务水平。而通过本文的设计,可对业扩、工单投诉、用电量预测等进行全方位的智能化分析,从而提高了电力企业的决策水平,为今后电力供给改革提供了指导方向。
参考文献
[1]
黄禹忠. 基于文本分类技术的客户投诉智能分析系统的设计与实现[D].长沙:湖南大学,2013.
[2] 李曦,张玉梅,陈永忠. 浅谈webgis端数据质量看板在电网工作中的运用[J]. 中国战略新兴产业,2018(4):71-72.
[3] 田华. 大数据与可视化在电力设备管理中的创新应用[J]. 电力大数据,2018,21(9):32-35.
[4] 吴刚勇,张千斌,吴恒超,等. 基于自然语言处理技术的电力客户投诉工单文本挖掘分析[J]. 电力大数据,2018,21(10):68-73.
[5] 王志坚. 基于大数据平台的电力营销信息化建设分析[J]. 内蒙古电力技术,2016,34(4):17-22.
[6] 李恺,陈晓,段军丽,等. 基于看板管理的量化目标管理提升企业经营效益模式研究[J]. 中国管理信息化,2016,19(18):106-107.
[7] 李刚,刘燕,宋雨,等. 基于信息融合的电力大数据可视化预处理方法[J]. 广东电力,2016,29(12):10-14.
[8] 李莉,朱永利,宋亚奇. 电力设备监测数据的流式计算与动态可视化展示[J]. 电力建设,2017,38(5):91-97.
[9] 刘晓娟,龚毅豪. 基于分段模糊拟合方法的用电量预测研究[J]. 上海电力学院学报,2017,33(2):206-209.
[10] 王一哲,郭泉辉,刘有飞,等. 95598投訴工单数据的分析与建议[J]. 江西电力,2017,41(10):2-4.
[11] 曾子民,吴训. 基于大数据背景的电力营销管理研究[J]. 信息记录材料,2017,18(11):195-196.
[12] 何伟强. 基于小波分析的我国居民生活能源消费预测[J]. 科技广场,2015(2):34-39.
[13] 张帆,刘杰锋,李冰,等. 基于改进Logistic模型阶段划分理论的饱和负荷预测[J]. 电力建设,2015,36(10):105-110.
(收稿日期: 2019.11.15)
作者简介:
王峰(1968-),男,硕士,高级工程师,研究方向:电力营销。
冯桂玲(1969-),女,硕士,高级工程师,研究方向:电力营销。
上官霞(1977-),男,本科,高级工程师,研究方向:电力信息技术。
吴骏(1978-),男,硕士,高级工程师,研究方向:电力营销。
蔡荣彦(1984-),硕士,高级工程师,研究方向:信息安全。