短消息业务评估体系的研究与实现

李 洪 ，周文红 ，渠 凯 ，伍思源 ，陈思中 ，李 青

（1.中国电信集团公司网络运行维护事业部 北京 100032；2.中国电信股份有限公司上海研究院 上海 200122）

1 引言

目前，短消息业务已深入普通民众的日常生活，但因短信时延大、成功率不令人满意等问题给用户带来困扰而引发投诉，为此，国家出台了相关的短消息业务服务质量标准。各短消息系统设备商提供的短消息业务评估功能往往因作为设备的一种辅助功能而偏弱，而且同一指标不同设备商的定义也有所差别，因此有必要在短消息系统的基础上建立一套全网内指标定义明确的短消息业务质量的量化指标体系，用于统一评估各省、各地区的消息业务服务水平和促进短消息业务服务质量的提升。

短消息业务为非实时的信息业务，分为提交和发送两个阶段，故从主叫用户发送短消息到被叫用户收到短消息总有一定的时延，短消息系统所配置的最大时延即为短消息的有效期。短消息系统既可对实时提交或下发的短消息业务的各项指标进行实时计数统计，也可以在对每一条短消息的过程记录存储后再进行统计。实时计数统计通常反映短消息系统当前的业务负荷和影响短消息业务安全稳定的系统资源占用情况。短消息记录的统计通常可以按短消息提交时间、短消息处理完成时间、短消息主被叫号码、短消息发送次数、短消息最终发送结果 （成功或失败原因）、短消息业务属性等成分进行统计分析。

本文从短消息业务、业务质量、系统实时运行状态、短消息用户4个维度入手，对短消息业务质量的相关指标参数进行分析研究，提出了一套短消息业务评估指标体系。

2 短消息业务评估体系

短消息评估体系的数据来源于短消息系统产生的实时计数统计数据和短消息处理结束时的短消息记录，涵盖短消息的提交阶段、下发阶段和记录生成阶段。在下发阶段，短消息业务的一个重要特征就是首发失败后的重发；短消息的主被叫号码可用来分析短消息的来源地和目的地；短消息的下发结果可进行短消息失败原因分析、成功率统计分析，因而评估体系的设计会覆盖时间维度、空间维度的各种细分业务。本质上评估体系就是对短消息系统产生的原始数据进行数据挖掘的行为，因此本评估体系在设计上就具有一定的开放性，具备自定义的分析手段，以应对运营维护在不同时期的不同需求。因此本文涉及的指标仅供参考，分析的是该指标的应用目的。

短消息系统短消息业务的统计分析有3种方式。第 1种统计是基于短消息系统存储的短消息记录，考虑到短消息是非实时的业务，通常按提交时间进行相关统计项目的分析。例如，统计特定时间段内的短消息成功率，是指该时间段内提交的短消息中成功发送的比率。而在该时间段内提交的短消息通常不会都在该时间段内发送成功，往往需要一定的时延进行发送或重发。从提交时间来看，该统计实际就是对短消息系统中的短消息记录按提交时间进行过滤。第2种统计是基于短消息记录的处理完成时间，即可以按处理完成时间对短消息系统的短消息记录进行相关统计项目的统计分析，此外也可以独立地对短消息系统的提交和发送进行实时统计。特定时间段内，提交短消息的情况和短消息发送的情况，相互有重叠部分，也有互不相关的部分，该时间发送的短消息不一定是该时间段提交的，该时间段内提交的短消息不一定在该时间段内完成发送。第3种统计是系统实时记录短消息提交和下发的情况，对提交和下发不做关联，是并行的而且是独立统计的，这种统计方式会带来一个问题，即统计时间段内提交的短消息数量和下发的短消息数量不相关，利用这种统计方式得到的短消息成功率有可能超过100%，但是这种统计方式在实时反映系统业务量情况以及处理能力方面是前两种方式所不具备的。

本文着重引入基于短消息记录的提交时间和基于实际时间的统计方式进行各指标的分析。

2.1业务评估

短消息系统业务评估从短消息提交和下发以及不同短消息业务种类等方面评估短消息的规模和成功率等。主要指标如下所述。

（1）本系统的短消息提交业务

通过统计时间段内本短消息系统终端用户提交或成功提交的短消息条数，可以获得短消息系统终端用户的短消息提交成功率指标，该指标是以短消息提交时间作为统计时间段，提交失败的原因主要为短消息系统接收到的本系统终端用户提交的短消息无法通过用户鉴权、路由、误码校验等。目前短消息业务中出现的终端群发器对连续号段进行群发的行为导致被叫大量空号，是导致提交成功率下降的重要因素。

（2）非本系统的短消息提交业务

通过统计时间段内非本短消息系统提交或成功提交短消息系统的短消息条数，可以获得其他短消息系统或短消息服务系统（SP）等非本短消息系统用户提交短消息的成功率。该指标涵盖了运营商网内异地、网间、SP等提交的短消息，短消息量一般要大于本短消息系统终端用户提交的短消息量。

（3）本系统的短消息下发业务

通过统计时间段内提交到短消息系统中的下发和成功下发给本地SP的短消息条数，可以获得短消息系统的短消息下发成功率，参与下发的短消息来自于本系统和非本系统的用户提交并成功通过鉴权和路由的短消息。统计是基于短消息的提交时间而非下发时间的，为保证统计的准确性，需要使统计时间段内提交的短消息均通过提交、鉴权、路由、下发、重发最终完成处理并生成短消息记录，这段时间允许的最大时长即为短消息的有效期。通常在提交时间段和相应短消息有效期结束后的统计是有效和准确的。

（4）系统间的短消息业务

本指标统计短消息系统间的短消息转发成功率和短消息发送业务成功率，前者一般是指短消息在系统间转发成功，而后者则是以被叫用户收到短消息且在短消息系统间返回的短消息回执报告为准进行统计的。

（5）系统内终端间的短消息业务

系统内终端间的短消息通常称为本地点对点短消息。本指标是统计本系统所属的终端用户间互发的短消息以及成功发送的短消息量。系统内终端间的短消息流转的环节少，影响短消息成功率的因素集中，且一套短消息系统可覆盖一个或几个本地接入网络，所以本指标可较好地用于评估进而优化本地网络。

2.2 质量评估

短消息业务是非实时的业务，但作为使用该业务的用户，希望发送的消息尽可能快地被被叫用户收到，即短消息时延尽可能短。而整个短消息发送的过程需要经过若干个环节，最终通过接入网络到达被叫用户。其中任何一个环节失败，都会导致短消息发送失败，但是发送失败的短消息只要在有效期内就可以根据其失败原因设计下一次发送的方式。例如，若被叫用户忙（被叫用户正在通话），可以在2～3 min后进行重发，这样会有效地提高发送成功率，但发送时延就会进一步增长。用户可以承受的时延往往在一定范围内，因而要从重发次数、特定时延下的成功率、首次发送成功率、多次重发成功率等指标来分析评估用户的业务感知。

（1）失败原因统计

通过对统计时间段内提交到短消息系统下发给本系统终端用户的短消息中的各失败短消息进行统计，并按失败原因分类，获得各类失败原因的占比以及其他未知原因的占比。这类统计通常基于短消息记录，因而统计的是最终失败原因。失败原因通常可以分为用户侧原因、网络侧原因和无线侧原因。用户侧原因通常是指用户终端所处的特定状态，如关机或鉴权失败、不支持短消息业务等；网络侧原因是指在有线网络中的某个环节失败；无线侧原因是指移动类终端到基站之间的信号覆盖区域内的覆盖信号弱、其他信号干扰等。

（2）短消息重发机制评估

通过对统计时段内提交到短消息系统的、下发给本系统终端用户的各条短消息生成的记录中短消息的发送结果和发送次数进行分类统计，可以得到按提交时间段统计的短消息发送次数以及短消息成功发送次数，从而分析出平均每条短消息重发的次数以及短消息成功发送的平均次数，该指标可以评估短消息系统的重发机制的优化程度。重发次数的增加一般会增加短消息系统的负荷，而重发的目的是提高短消息发送成功率，重发成倍地增加了短消息的时延，通过对以上指标的分析进行短消息系统的参数重配置，在成功率、时延上达到平衡和兼顾。

（3）短消息时延评估

本指标侧重用户短消息业务时延感受，对于用户定时下发的短消息其首发时延定义为用户定义的定时下发时间至完成首次下发时间的时间间隔，其他情况以短消息提交时间至完成（首次）下发时间的间隔为准。也可以通过统计时间段内提交到短消息系统的短消息中自提交时间到处理完成时间的时间间隔在1 min内 （含1 min）、1 h内（含1 h）、超过1 h成功下发的短消息条数，从而获得短消息1 min成功率、1 h成功率等指标。

2.3 系统实时运行状态

系统实时运行状态涉及短消息系统的设备处理能力以及短消息系统实际处理短消息的情况。每秒处理短消息条数是系统扩容依据之一，它随着业务量及用户量增长而增长；忙时缓存的短消息条数峰值综合反映了无线侧承载能力、重发机制设置合理性和业务流量等因素。本部分指标评估特定时间段内短消息系统正在下发和提交的短消息业务状态，对短消息系统提交和下发的各项短消息指标进行实时计数统计。

（1）短消息实时下发情况

本指标是指统计时间段内短消息系统下发给终端用户的短消息（成功）次数，反映短消息系统在统计时间段内实际的短消息发送次数和成功次数，成功次数数值上等于短消息（成功）条数。这样，就可以获取系统在不同时段的按次下发成功率。通常闲时的成功率会高于忙时的成功率，因为在忙时，终端用户使用短消息业务的频次大大增加，而无线侧的信道资源以及信号覆盖区域有限，都会影响短消息系统的短消息下发按次成功率。

（2）失败原因实时统计

本指标是统计时间段内短消息系统下发失败的短消息的各类失败原因的统计，实时记录统计时间段内各次下发失败的原因。短消息记录中的失败原因，是最后一次下发的失败原因，而此处是统计每次下发失败的原因。

（3）短消息系统资源占用情况

短消息系统CPU/内存占用率峰值为统计时间段内的CPU占用率最大值，短消息系统中如存在多台服务器的情况，可以通过网管在统计时间段内对各服务器按要求频次统计CPU/内存占用率，取其中最大值，反映了短消息系统硬件资源的实时占用情况。

（4）短消息处理能力

本指标是指短消息系统设计的每秒最大处理短消息条数以及统计时间段内实际处理的各个方向短消息条数，用以评估系统当前的业务负荷是否正常。

（5）短消息的缓存

本指标是指短消息系统能存放的尚未处理完成的短消息条数峰值或统计时间段内实际存放的尚未处理完成的短消息条数峰值。需缓存的短消息是指短消息系统首发待发的短消息、重发待发的短消息、等待回执报告的短消息，在节假日高峰时短消息缓存会超警戒而需人工干预。

2.4短消息用户评估

短消息系统用户评估反映短消息系统用户规模和用户使用短消息业务的量化数据，评估短消息系统的注册用户规模及一定时期内注册用户中使用短消息业务的用户量及频次，主要指标包括短消息系统的注册用户数（注册短消息业务的用户）、活动用户数（统计时间段内使用过短消息业务的用户数量）、人均发送短消息次数。

3 短消息业务质量评估系统的设计与实现

基于短消息业务质量评估体系，笔者进行了评估系统的设计，系统的组网架构如图1所示，短消息系统将实时计数统计和短消息记录两类原始数据周期性地通过FTP方式上传至短消息业务质量评估系统。短消息业务质量评估系统对两种类型数据文件进行分析处理，采用前文建立的评估指标体系对数据进行处理，从“时间维度”、“用户维度”、“地理纬度”、“业务维度”、“系统维度”和“用户感知维度”等多维度展现分析数据。

短消息业务质量评估系统的结构自下而上设计为数据接入、数据预处理、数据存储、数据分析和数据展现5层，如图2所示。数据接入层通过FTP服务接口接收来自各短消息系统的数据文件，对实时计数统计数据文件和短消息记录数据文件进行分拣，并完成对数据文件及时性、完整性的验证，实时监控数据文件质量。经过验证的数据文件，被传送至预处理层进行处理。预处理层将实时计数统计数据文件分析传送至数据存储层中的可配置的数据模型中。短消息记录数据是大量的原始业务信息，预处理层需要对这些数据进行快速号段匹配和维度预处理，从原始业务信息中分析转换有价值的信息。例如，从主被叫号码分析得出主被叫归属的运营商、省份、地市信息。预处理层对该层的所有操作进行监控，以保证数据质量。存储层采用高可用性架构和高可扩展性架构的数据库作为基础数据存储引擎，以满足海量短消息记录数据的存储需要和短消息系统的灵活扩容需要。分析层以短消息业务模型为基础，采用业界先进的大数据处理方法，结合关联分析和维度分析，以实现对短消息业务质量评估的全面数据支撑。

经过分析后的数据，在展现层通过多维分析报表的方式展现给用户，提供以专题方式呈现的短消息业务质量评估数据，主要包括运行质量专题、用户感知专题、业务发展专题、关联业务专题和场景监控专题等，并能够根据用户实际需要灵活定制特殊场景专题。

4 短消息业务的评估体系在现网的应用

该评估体系在中国电信集团公司现网运行以来，由于采用统一的标准，解决了不同厂商短消息系统指标定义的差异问题，评估被各地区运维人员所认同，积极查找发现本地区短消息业务开展中存在的质量问题，大力提升本地区的短消息业务质量指标排名，使得全网短消息业务指标在短时间内有了显著的提升，促进了各地区的无线网络优化工作，同时也提升了移动通信业务中语音和数据的业务质量。

图1 短消息业务质量评估系统

图2 短消息业务质量评估系统的结构

5 结束语

建立短消息评估体系并应用于现网，便于从宏观上把握全网的短消息业务运行状态，及时获悉各地区的业务发展的差异，并反馈到相关的短消息系统以便进行短消息网络和设备的优化，对提升移动通信业务尤其是短消息和互联网数据的业务质量有着积极的意义。

1 中国电信集团公司.CDMA短消息中心技术要求补充规范，2011

2 中国电信集团公司.中国电信业务平台集中监控系统北向接口规范——CDMA短消息中心数据采集分册，2011