基于日志分析的网络性能检测分析平台设计与应用

杨 琴,刘 刚

(1.桂林理工大学南宁分校 计算机应用系， 南宁 530001;2.中国联通广西分公司网管中心， 南宁 530003)

在传输网日常维护工作中，收发光功率、通道误码等是最重要的维护指标。性能指标的变化会直接影响使用传输网的其他专业网络质量的劣化，最终影响到末端用户感知。

日常通过对网络性能指标的检测，了解和掌握全网的运行质量。网络性能指标的检测关键在于如何高效、快速、完整地收集指标数据。本文通过对性能日志文件的挖掘，研究性能数据的自动收集、自动分析的方法，通过分析处理、归类存储、对比展示，方便快捷地查找网络中存在的性能劣化端口，准确定位网络劣化区域，为提高维护质量提供指导和参考，在日常维护工作中取得了良好的效益[1-6]。

1 常用的分析方式

1.1 终端分析

在设备维护终端管理界面上依靠人工观察发现性能变化情况，人工查询登记性能数据，并与以往数据进行比对检测。这种方式查询信息量小，查询效率低，同时人眼在重复性劳动中易产生疲劳、出错，适用于网元数量较少的场景，不能满足大量数据快速查询的需求。

1.2 电子表格分析

利用数据导出工具导出设备性能数据，再通过Excel等电子表格辅助分析。随着Excel表格在日常维护工作中的普及，维护人员在日常工作中也可以利用电子表格完成对系统性能数据的统计分析。这种方式的查询信息量中等，查询效率中等，对人员技能有较高要求，需要熟悉办公软件进行多表关联分析，每次操作较繁琐，不宜普及，不能长期保存历史数据以待翻查。

1.3 综合网管系统分析

随着信息化在通信日常维护工作中的普及，建立综合网管分析系统，利用设备网管系统接口自动采集、对比、保存性能数据，维护人员在日常工作中通过查询可以直接获取相关性能数据。这种方式的查询信息量大、效率高、不易出错，可以长期保存历史数据。但综合网管系统需要使用网管接口接入各类设备，接口管理严格，通常接口只用于综合网管系统接入。综合网管系统投资费用大，建设周期长，易受投资计划影响。

2 性能日志

2.1 分析方法

性能日志分析是将设备网管日常运行时对网元周期性测量过程中产生的大量测量文件记录进行分析。从日志中筛选所需的性能数值，满足日常维护工作的需求。性能日志分析方法既有综合网管系统分析方法的能自动化处理、信息量大、效率高、不易出错的优点，又有能离线分析、不改变原有网络结构、无需使用网管接口、投资少、见效快的特点，适用于运维投资少，无法建设综合网管系统的工作场景。几种分析方法的对比见表1[7-11]。

表1 几种分析方法的对比

2.2 分析架构设计

性能日志分析的整体流程是通过收集分析设备网管的性能日志文件，从中分离出有效的数值信息并按设定的数据类别分类存储。根据维护周期，定期检测获取到的数值，从而掌握网络运行状态。分析过程共包括数据生成、数据采集、数据处理和数据应用4个处理步骤。系统的整体模块如图1所示。

图1 系统模块

3 数据生成

性能日志文件通过网管统计生成，以文本格式存储在网管服务器上，通过在客户端对网管服务器进行配置生成原始日志文件。操作流程见图2。

图2 操作流程

4 数据采集

生成的性能文件存储在服务器端，需要采集至本地后完成后续数据处理。通过配置FTP服务，定期检测服务器端是否有新性能文件生成。每个周期内，客户端扫描一次服务器上已经生成的文件列表，并和客户端本地的文件列表进行比较，如出现差异(包括文件大小差异或时间戳差异)，就将服务器端的差异文件重新同步到客户端，从而确保客户端能够和服务器端的内容一致。为了减轻服务器端的负荷，减少无效的检测次数，文件检测周期应设置成和性能文件产生周期一致，从而在新性能文件产生后及时完成新性能文件同步到本地的操作。

5 数据处理

获得新的性能文件后，需要在客户端及时扫描原始文件，将原始文件中的各类数据分类存储至后台数据库中。设备原始文件为TXT文件，文件中的记录格式如图3所示，可见原始文件的格式不利于后期的数据查询和统计分析。

图3 设备原始文件

为方便后期数据应用，需将原始文件格式转换后分类存储于后台数据库中，以便后期调用。后台数据库几个主要的存储表格如表2～4所示。

表2 光功率记录

表3 误码记录

表4 功率参考值记录

为了完成以上数据格式的转换，需要使用脚本编辑软件建立格式转换脚本。本案例选择使用Java语言开发程序完成数据转换处理。

Java是由Sun Microsystems公司于 1995年5月推出的Java面向对象程序设计语言和Java平台的总称，由James Gosling和同事们共同研发，并在1995年正式推出。由于Java 编程语言面向对象、分布式、解释性、健壮、安全与系统无关、可移植、高性能、多线程和动态等特点，使用Java进行脚本程序的编写，可以应用在多个操作系统平台，不受设备网管操作环境的限制，可以实现多种设备网管间的复用。

开发转换程序的工作流程如图4所示。

图4 数据格式转换流程

6 应用实践及与终端分析方法的对比效果

为了测试新策略的工作效率，对比了日常维护中几种常见应用场景下改进前后的检测响应时间和检测数量。

6.1 光功率检测场景

光功率表示光在传输系统中传输时的强度，光通信设备的光通信接口需要光功率保持在一定区间内才能正常工作。光功率反映光传送网络的运行状况，是光传送网的重要性能指标。因此，光功率查询是传输系统日常维护工作中常用的维护操作之一。

1) 终端分析检测方法。通过设备网管进行某光接口的光功率检测时，每次只能查询1个光口，查询步骤包括电路核查、网元核查、端口核查、功率核查、基准值查询、差异比较。按每个步骤平均耗时30 s计算，1个端口检测需要耗时：30 s×6=180 s=3 min，500个端口检测耗时：3 min×500=1 500 min。

2) 性能日志分析检测方法。按每次检测50个端口进行计算。新的检测方法一次查询就可以直接列出50个端口的性能数据，同时自动关联基准值，自动判别差异，操作人员只需关注有差异的光口，无需逐个光口反复比较。通过操作记时，完成一次50端口的检测约耗时2 min，500端口耗时20 min。性能日志分析检测方法能够极大地提升检测效率。两者对比如图6所示。

图5 终端分析检测

图6 性能日志分析检测方法

6.2 误码分布检测场景

误码是在信号传输中衰变改变了信号电压，致使信号在传输中遭到破坏，产生误码。误码会引起传输性能劣化，进一步扩大会造成业务中断的重大事故。因此，误码查询是传输系统日常维护工作中常用的维护操作之一。

1) 终端分析检测方法。每次只能查询1个光口误码情况，查询步骤包括电路核查、网元核查、端口核查、误码核查、VC4性能核查。按每个步骤平均耗时30 s计算，1个光口检测耗时：30 s×5=150 s，500个端口检测耗时：150 s×500=75 000 s≈21 h。

按全网500个端口计算，要了解全网误码分布情况时，需要逐个光口查询，耗时21 h。

2) 性能日志分析检测方法。新的检测方法自动搜索500个端口的全部误码信息，根据工作要求设定门限，只报告越界的端口，无需人工逐个端口检测。通过操作记时，完成一次500端口的检测约耗时10 min。性能日志分析检测方法极大地提升了检测效率，两者对比如图8所示。

图7 终端分析检测方法

图8 性能日志分析检测方法

7 对比分析

性能日志分析检测方法能够满足日常工作需要，相比原始的终端分析检测，能够大幅提升检测数量，缩短检测历时，提高检测效率(表4)。

表4 两种检测方式在耗时上的比较

8 结束语

网络性能检测是网络维护中重要的、操作频繁的工作内容，在日常工作中具有重要的指导意义。本文通过对性能日志的研究分析，对检测工作提出了一种面向运行日志收集和处理、利用日志分析改进网络性能检测的方法，并通过两种常见的工作应用场景，论述说明了如何使用性能数据进行采集分析，形成一套有效的维护指标管理方法，提高了日常维护工作中性能指标周期性检测的工作效率。实验结果说明：基于日志分析的网络性能检测策略能够有效满足日常工作的需求。