采集平台采集适配插件化开发技术研究与实现

郭涛峰，张 渊，张攀翔

（中国移动通信集团广东有限公司 广州 510623）

1 采集平台采集适配插件化开发技术的引入背景

1.1 现有专业网管采集现状

随着网络运维管理集中化程度的进一步提高，为了从不同专业、不同维度了解和监控移动网络的运行情况，及时发现网络运行过程中出现的问题，网络维护人员及管理人员对网管系统不断提出新的需求，从而导致网管集成的应用功能不断增多，出现了越来越多的上层应用网管系统，如综合资源系统、综合监控系统、网络运行分析系统、集中操作维护系统和无线网优平台等。

各专业网管系统在本专业网的维护过程中发挥了很大作用，话务网、数据网和传输网对数据的要求也越来越高，除了需要对本专业的数据进行分析外，更需要对跨专业数据进行分析，因此各专业网管系统还需要通过其他专业网管的接口获取数据（见图1）。为了满足各专业网管系统数据的需要，各专业网管系统通过自己的采集模块，按照网元端提供的接口方式（包含CORBA、FTP、file、指令等）直接从网元端采集各种数据，同时按照数据要求，通过各种接口方式，触发其他专业的底层采集程序，从网元端采集所需的资源、性能和告警数据，并根据相关的元数据算法，计算汇总成相应的指标数据提供给上层应用系统。

图1 各专业网管采集现状

1.2 现有采集方式的缺陷和不足

现有的数据采集方式存在如下缺陷：没有统一的采集适配机制，各专业网管直连网元或者触发调用另一专业网管的采集进行数据获取；同一类型的数据重复采集，采集方式众多，各接口需要单独维护；接口缺乏标准化、规范化，包括 CORBA、Web Services、FTP、数据库接口表、MQ、Q3等多种接口实现方式；可扩展性低、重用性有限，造成IT系统开发维护成本大幅度上升。

1.3 统一采集方案研究

针对现存问题，需要有一个更好的方案对不同厂商、不同型号的通信设备进行数据采集，有一个可以对这些数据进行标准化、归一化的采集平台，提供最大化采集效率，避免无用的重复采集，避免统计分析数据源不一致导致的数据质量问题，为业务发展、公司决策提供准确的分析数据。

具体分析现有数据的特征不难发现，各种业务数据的业务逻辑是相对稳定和统一的，因此采集的调度和频度是统一的。变动变化最多、差异最大的主要是各种不同设备的采集方式及解析方法，因此可以搭建一套统一采集平台，将不同设备的采集和解析以插件（plug-in）的形式实现统一调度、集中处理。新增设备或设备升级时，只开发相应的采集插件即可满足生产需要，灵活配置相应的插件即可实现不同设备的统一采集和调度，同时按统一采集平台标准开发的采集插件也有利于重复利用资源，当某个省份新增一种设备时，假如该设备已经在其他省份投入使用并开发有相应的采集插件，即可直接采用该插件进行采集，可缩短新设备接入采集平台的时间，避免重复开发，提高资源利用效率。

2 采集平台采集适配插件化开发技术方案

2.1 插件技术原理

插件是一种遵循统一的预定义接口规范编写出来的程序，应用程序在运行时通过接口规范对插件进行调用，以扩展应用程序的功能，它的特点是：当需要它的时候激活它，不需要它的时候禁用或删除它；且无论是激活还是禁用，都不影响系统核心模块的运行，也就是说插件是一种非侵入式的模块化设计，实现了核心程序与插件程序的松散耦合。

2.2 采集平台插件化技术框架

图2是基于插件技术的统一采集平台数据采集的示意，主要涉及话务网管、数据网管、传输网管等上层网管系统，采集平台的采集适配池、网元/OMC等。

图2 统一采集平台系统示意

具体说明如下。

（1）话务网管/数据网管/传输网管等上层网管系统

话务网等上层网管系统为数据消费系统，根据统一采集平台提供的接口规范和插件的类定义，对相应的业务类进行扩充，开发适配模块，以使采集适配器满足统一采集适配器接口规范的要求，满足系统对采集适配器的各种查询和管理要求，同时上层网管系统向统一采集平台发送适配器的加载（注册）和卸载（取消）请求，同时通过类XML文件传递参数触发采集动作和接收采集结果。

（2）采集适配池

采集适配池对采集适配器进行管理，包含适配器动态加载、策略接收、任务生成、任务下发、任务执行、指标计算、结果返回等操作。

·适配器动态加载是指进行新的数据源数据接入时，能够把新的采集适配器方便地加载到系统中，完成数据接入。

·策略接收负责接收数据消费系统订阅的数据采集策略，并对该策略进行判重和验证等工作。

·任务生成则根据消费系统订阅的策略转换成具体的采集任务命令。

·任务下发负责根据各采集机器的负荷情况，动态地将采集任务分发到负荷比较轻的采集机。

·任务执行则根据采集适配器的具体连接网元方式，通过采集协议适配，执行采集指令，获取相应数据。

·指标计算是指根据转换算法把原始counter值转换为指标数据，指标计算是不借助外部资源数据、不发生时间、空间粒度变化的处理。

·结果返回是指计算完成后生成指定格式的文件或消息，将数据消息发送给订阅消息的系统，将文件上传北向接口。

（3）网元/OMC

不同的网元提供不同的接入方式，包含CORBA、file、FTP、MQ、Q3、DB、Telnet等。统一采集平台配置这些网元的基础信息，包括网元、OMC、EMS等设备或系统的地址、采集源数据库访问信息、访问用户名称、设备厂商ID号、软件版本等信息，上层网管系统在进行采集策略订阅时需要指明具体的采集源信息。

（4）平台与适配器的接口

适配器接口为平台与适配器之间的接口约定，只要实现了该接口的类，均可在平台正确部署和使用。实现该接口一般包括协议适配实现和采集适配实现两部分，协议适配负责协议的连接关闭和访问等，采集适配负责与具体业务相关的部分，二者组合起来形成具体适配器实例。适配器接口、协议适配器接口和采集适配器之间为继承关系，即适配器接口定义适配器与平台的通用接口；协议适配器继承适配器接口，实现协议访问；采集适配器继承协议适配器，进行具体采集和解析工作。采集平台和适配器（采集适配、协议适配）的整体方案、调用时序说明如下。统一采集平台协议适配、接口适配如图3所示。

（1）统一采集平台实现采集适配器类插件的开发接口，各专业网管系统根据自己的业务逻辑模块实现该模块规定的接口。实现了具体业务逻辑接口的插件，可以在统一采集平台中注册。

（2）实现各适配器接口中定义的函数，各类插件的接口中都规定该插件的初始化函数，一般包括以下内容：从配置文件读取是否加载该插件以及该插件的初始化信息，若加载该插件，将其提供的服务在统一采集平台中注册；若卸载该插件，则将其在统一采集平台内核中删除。

（3）实现该插件的业务逻辑，根据上层网管系统要求的功能而定，通过自定义函数实现用户提供的功能，例如是实时查询数据还是周期性消息订阅等。

（4）将该插件实现的业务逻辑函数在统一采集平台内核中注册事件，一般在插件接口函数中实现，例如init()函数或者addtask()函数。

（5）在配置文件和内存中，配置加载该插件以及所需的初始化参数。该部分的配置一般放在XML文件中，只需根据实际需求，在该文件中配置相应的字段即可完成。

（6）统一采集平台根据订阅策略，转换成相应的采集任务，调用采集适配器的方法，把本次任务的参数信息传递给采集适配器实例，采集适配器实现Runnable接口的run方法，通过线程启动执行采集。

（7）适配器把采集到的数据进行格式封装，然后调用统一采集平台提供的方法，将数据以消息方式发送出去，如实时告警数据。

（8）采集适配器采集到的原始counter根据元数据描述的算法，计算生成相应的指标数据，计算完成后根据生成指定格式的文件或消息，数据消息发送给订阅消息的系统，文件上传北向接口；并反馈任务及自身运行状态信息给统一采集平台管理控制模块。

3 采集平台采集适配插件化开发技术优势及实施

3.1 技术优势

采集平台采集适配插件化开发技术已应用于广东移动网管数据统一采集平台项目，相对于传统采集技术，具有以下技术优点。

·从采集适配技术本身，适配器抽象了各专业网管系统的业务需求，并可由各专业网管系统根据自己的业务逻辑进行扩充，具有很强的通用性，便于保护在网管采集能力方面的已有投入。

·从平台框架能力出发，当采集平台接收新的数据源接入时，可在不需要更改整个软件架构的基础下，将新的采集适配器方便地加载到系统中，完成数据接入，具有很强的模块独立性和扩展性；如果已有采集适配器不再使用，能够把这些采集适配器方便地从系统中卸载，不影响平台核心程序的运行。

·从平台业务支撑出发，平台是开放性的，支持第三方适配器插件，具备全业务、全专业采集接入能力，能够去除重复采集、降低设备负荷。

·从资源利用来看，采集到的数据是开放的，统一共享的，一次采集多处复用。

3.2 现网实施效果

目前，上述技术已在中国移动通信集团广东有限公司统一采集平台项目中试运行，已完成41个适配器的开发及测试，涵盖4种接口类型，包括file、指令、数据库、CORBA等；接入14种网元类型，涉及26万个网元，659个原始测量表，完成80%语音网统计类数据测试；同时完成50%新旧系统数据核对，指标数据很好地保持了和现网系统的一致。在性能方面，插件化平台处理效率提升了20%～30%，如以GZOMC的采集计算对比，306个BSC、小区数量23 598个、25张原始测量表、最大表数据量为384440个，采集计算整体过程新平台总耗时1 244 s，比起原来总耗时1 626 s缩短23.5%，如图4所示。在源数据时延较大的情况下（第4个时间点），效率也有20%以上的提升，有不错的应用效果，推广实施后预期会有更大的规模效应体现。

图4 采集总耗时对比

4 结束语

本文阐述了通过构建基于插件技术的统一采集平台，以插件方式实现采集适配器的自动加载和卸载，提高采集适配器的可扩展性和重用性，统一管理采集适配，实现自动匹配和调度，减少对网元的连接负担，提高采集质量。但是目前平台的开放性还有待进一步加强，第三方开发的采集插件存在较多兼容性问题，需要制定更加开放、更加具备兼容能力的采集插件规范，这是今后继续努力的方向。