蔡子龙,王晓刚,史文祥,陈任翔(.中讯邮电咨询设计院有限公司,北京 00048;.中国联通山西分公司,山西 太原 030006)
随着通信业务尤其是移动通信业务的迅猛发展,使用手机等移动通信方式进行社交、娱乐、办公、出行等已经成为人们司空见惯的事情,随之而来的网络品质和用户感知之间的相辅相成、DNA 式的双螺旋上升的态势逐步形成。在语音业务为主流的时候,网络形态较为简单,使用KPI 就可以衡量网络的质量。随着智能终端和4G/5G 大带宽、低时延的上网、视频、手机游戏等应用的普及,用户体验和感知成为关注点,KPI已经无法准确评估网络质量和用户的感知需求,使用KQI能更好地评估网络质量。
用户感知的前提是主动感知用户,从被动服务到主动服务,找到并解决问题。而如何建立用户体验与网络能力之间的映射和桥梁一直是一个难题。而以KPI、KQI 等基础指标为根基,采用大数据技术构建移网用户体验指标模型,将分析结果汇聚到小区或基站并据此识别网络问题,自动定位问题类型和触发原因,闭环解决问题,持续提升用户感知。本文针对该问题,探索出一条带动网络质量和用户感知同步双向提升的方法和途径,并在具体的业务实践中取得较好的效果。
移动网中每个用户的每次电话、每次点击都会产生大量的控制面信令和用户面消息。从业务类型来看,可以分为语音、上网、视频、游戏、即时消息等类别,对于每种业务,都有其不同业务实现方式,也由此产生不同的KQI 分析模型,将这些业务的不同KQI 进行归一化计算出用户体验指标CEI。
CEI 相较于传统的NPS 或客户满意度调查结果有更坚实的大数据分析基础,是基于用户产生的网络行为单据计算得出的客观指标,避免受人为因素的影响。
通过以CEI为基础构建移动网用户感知管理平台(CEM),对CEI 质差小区的无线网络问题进行详细的分类和规则判定,找到问题发生的根因和处理方向,用工单闭环管控的方式跟踪问题闭环过程。
平台构建时,依托IT+CT+DT+OT 融合的手段,采用智能化分析、可视化跟踪的方式实现大数据CEI 评估、质差小区关联定界、质差小区规则化分析定位、工单化闭环处理支撑的全过程。
3.1.1 CEI体验指标评估模型
CEI 是针对用户感知到的网络质量部分,建立的用户客观体验评价模型,即通过选择用户使用的多种典型业务(Voice,Web和streaming 等)和其对应的底层指标数据,向上汇聚成单一化指标,来整体的量化用户接受的客观网络质量情况(见图1)。
图1 CEI指标计算模型
3.1.2 CEI体验指标校正
根据业务需求,选择网络主流的移动网业务作为用户体验模型的业务触点,选择对业务体验影响较大的指标。收集真实的KQI/KPI,对KQI 进行因子分析及主客观的相关性分析,然后获取每个KQI 的权重以及原始QoE 得分与分箱规则,然后将KQI 的权重以及原始QoE 得分与分箱规则应用于所有用户的建模中,计算出全网CEI指标(见图2)。
图2 CEI指标计算和校正方案
3.1.3 CEI评估结果准确性分析
3.1.3.1 CEI得分与用户满意度调研数据关联
设定60分以下为不满意用户基线,80分以上为满意用户基线,本基线分析通过关联用户调研数据验证CEI 模型基线的合理性,可以看到用户CEI 和用户调研数据基本匹配(见图3)。
图3 用户CEI和用户调研数据对比
3.1.3.2 CEI得分与投诉数据关联
通过关联用户投诉数据验证CEI模型基线的合理性。当数据场景CEI 取70 为用户投诉门限,语音场景CEI 取80 为用户投诉门限时,匹配度分别为78.40%(数据场景)和68.44%(语音场景)。可以看到用户CEI和投诉数据基本匹配(见图4)。
图4 用户CEI和投诉数据对比
3.1.3.3 CEI得分与用户实际体验关联
从现网用户中随机选取部分用户进行电话回访,调研实际体验情况,并与CEI 得分进行比对,可以看出,CEI得分与实际回访结果基本匹配。
3.2.1 数据源方案
定位需要的数据源获取主要包括系统自动对接、手工采集加工等方式。具体情况如表1所示。
表1 定位需要的数据源
3.2.2 定位规则
CEI 质差问题定位规则引擎包括:覆盖、质差、干扰、容量等四大方面,详细的判定规则、门限、覆盖场景、问题类型、处理建议等定位规则如图5所示。
图5 CEI质差问题定位规则
3.3.1 感知评估
CEI 的可视化界面主要是对CEI 评估结果洞察的多维度统计分析,主要包括感知洞察、CEI 得分、CS 得分、PS 得分、感知差小区数占比、感知差用户数占比等内容(见图6)。
图6 CEI的可视化界面
3.3.2 定位分析编排
判定规则会内置编排到系统中,数据结果按照问题原因、处理建议进行输出,输出结果将直接在系统上呈现,主要包括:
a)质差小区按照处理难易程度(需要维护→需优化→需扩容→需建设)分类的各个环节的统计结果。
b)各个节点中质差小区的清单列表,包括基站名称、问题原因分析结果、处理建议等。
3.3.3 工单管理
主要包括按照处理区域及时间范围的可视化筛选、工单统计、感知差小区列表等内容。
a)区域筛选:地(市)级筛选。
b)工单统计:派单数、回单数、闭环数3组指标。
c)闭环分析:包括感知差小区的问题类型统计信息、已闭环工单的处理方式统计信息、呈现已闭环工单的效果(从已闭环小区的CEI得分变化、已闭环小区的不满意用户数变化2个维度呈现)。
d)小区清单:感知差小区闭环情况清单。
在某市本地网,针对154 个已经处理的CEI 质差小区进行分析,试点开展针对性处理,共闭环119个小区,闭环率77.28%。
平台输出的解决措施与现场实际的处理措施进行分析,匹配度为88.24%。
4.1.1 运营流程
对CEM 平台的应用采用“运营”的思路,进行流程化运作,如图7所示。
图7 CEM平台的运营流程
4.1.2 能力评估
4.1.2.1 CEI得分准确性评估
基于CEI的用户和小区的得分情况进行验证。
a)用户的验证主要通过与投诉用户进行对比。
b)小区的验证主要通过与无线网管KPI 指标进行对比。
评估结果如表2所示。
表2 CEI得分准确性评估结果
通过CEI 模型的不断调优,最终用户级的匹配率达到70%以上;小区级的匹配率达到75%以上。
4.1.2.2 定位方案准确性评估
选取定位输出的质差小区共420个:按维护类、扩容类、优化类输出定位结果,与人工分析匹配度比对(见表3)。
表3 CEM分析原因与人工分析结果对比
结合多数据源的关联分析,定位分析问题原因的准确性接近90%。
4.1.3 问题处理
按照每月一个批次的方式进行处理和落地。处理154 个CEI 质差小区,共闭环119 个小区,闭环率77.28%。平台输出的解决措施与现场实际的处理措施进行对比,匹配度为88.24%。
4.1.4 闭环评估
根据评估结果和定位方案,已经闭环的CEI 质差小区,CEI得分均有明显的提升,质差用户占比也有明显的下降(见图8)。
图8 优化前后CEI得分和感知差用户情况对比
通过大数据技术基础平台和能力底座,充分利用已有的成熟框架和采集的业务数据源,大胆探索,对移动网用户的用网行为进行建模分析,得出归一化的客观CEI 用户体验评估指标,并汇聚得出CEI 质差小区,在此基础上综合分析告警、性能、覆盖等多种数据源进行质差小区的问题定位分析,得出质差问题原因和处理方案,并采用工单派发的方式驱动地(市)小CEO 进行闭环处理,在落地实践中总结出运营流程,并取得较好的效果。
该方案充分利用现有大数据平台,兼顾多厂家的处理能力,方案的普适性强,同时各项数据源均是成熟的方案,可推广性强。