基于ＷＥＢ的数据挖掘技术在网络管理中的研究与应用

[摘要]文章探讨基于WEB的数据挖掘网络管理系统的体系结构、OLAP技术和数据挖掘技术，针对当前网络管理系统的现状和存在问题。提出基于WEB和数据挖掘技术的网络管理系统，为网管存在的问题提供解决方案，谊系统对网管现状的改善有积极意义。

[关键词]网络管理；数据挖掘；数据仓库；联机分析处理

[作者简介]吴颖智。广东物资集团汽车贸易公司。研究方向：数据挖掘，网络安全。广东广州，510410

[中图分类号]TP315

[文献标识码]A

[文章编号]1007-7723(2009)06-0038-0002

一、引言

随着网络技术的发展，网络资源愈加呈现出异构性和动态性，网络管理的功能日益复杂，传统的网络管理技术已无法满足对大型复杂网络管理的需要，有必要在网络管理中引入数据挖掘技术，将网络中的海量数据抽取、转换、集成为所需数据，提供相关分析综合技术，为决策者和分析人员及时、准确地对数据资源进行全局综合分析，从中挖掘出有用的知识，高效地实现对网络的综合管理。

二、数据挖掘技术概述

(一)数据挖掘的流程简介

数据挖掘是从大量数据中提取或“挖掘”知识。数据挖掘也叫数据库中的知识发现或KDD的同义词。数据挖掘是指一个完整的过程，该过程从大型数据库中挖掘先前未知的、有效的、可实用的信息，并使用这些信息作出决策或丰富知识。图1描述了数据挖掘的基本过程和主要步骤，过程中各步骤的大体内容如下：

1，确定业务对象

清晰地定义出业务问题，认清数据挖掘的目的是数据挖掘的重要一步。挖掘的最后结构是不可预测的，但要探索的问题应是有预见的，为了数据挖掘而数据挖掘则带有盲目性，是不会成功的。

2，数据准备

(1)数据的选择

搜索所有与业务对象有关的内部和外部数据信息，并从中选择出适用于数据挖掘应用的数据。

(2)数据的预处理

研究数据的质量，为进一步分析作准备。并确定将要进行的挖掘操作的类型。

(3)数据的转换

将数据转换成一个分析模型，这个分析模型是针对挖掘算法建立的。建立一个真正适合挖掘算法的分析模型是数据挖掘成功的关键。

3，数据挖掘

对所得到的经过转换的数据进行挖掘。除了完善和选择合适的挖掘算法外，其余一切工作都能自动地完成。

4，结果分析

解释并评估结果。其使用的分析方法一般应作数据挖掘操作而定，通常会用到可视化技术。

5，知识的同化

将分析所得到的知识集成到业务信息系统的组织结构中去。

(二)数据挖掘在网络管理中的应用

数据挖掘技术从一开始就是面向应用的。目前，在很多领域，数据挖掘(data mining)都是一个很时髦的词，尤其是在银行、电信、保险、交通、零售(如超级市场)等商业领域。在网络管理方面，由芬兰Helsinki大学与一家远程通信设备制造厂合作的TASA系统，网络管理的告警数据库中蕴涵有大量的故障特征模式，这为数据挖掘提供了数据基础。所以，研究网络管理中的数据挖掘是很有意义的。

三、基于WEB和数据挖掘的网络管理系统的体系结构

基于WEB的数据仓库系统是一种三层逻辑架构，由表示层、应用层和数据层组成，其体系结构如图2所示。

以上客户端只需安装WEB浏览器即可，如IE／NS等，因此可基于任何支持Browser的操作平台，对机器本身要求低。WEB服务器用于管理客户机与应用服务器间的信息流，可以用各种流行服务器，如IIS，APACHE等，WEB服务器接受客户端HTTP请求，以静态HTML页面或调用应用服务器生成动态HTML响应请求，进行合法性等验证后，根据WEB页面的内容向应用服务器发出请求，WEB服务器上可装有jsp、asp等应用程序，这样可与应用服务器交换信息。应用服务器响应WEB服务器发出的请求，激活相应的查询任务，利用接口技术对数据仓库的访问，如ODBC、JDBC方式等。数据层即后台数据仓库接受来自应用层的SQL查询语句以及数据集成等。WEB服务器是此系统的功能中枢，起到连接客户端与应用服务器之间的桥梁的作用，并且可在此进行数据合法性检查、身份验证等。整个系统工作流程如下：在表示层，WEB浏览器用户发出一定的操作指令通过HTML文件提出的HTrP请求传递给WEB服务器；在应用层，WEB服务器用相应的asp、jsp等应用程序响应表示层的请求，并进行翻译成应用服务器所能接受的请求，或直接翻译成SQL请求，应用服务器完成相应的SQL语句并与后台数据仓库连接，发出SQL查询等，最后应用层接受数据层的结果，送到客户端。另外，应用层也需完成抽取数据，通过数据集成加载到数据仓库中。为了提高效率，增加系统灵活性，可引入java applets、activeX、javaseript等技术，使得客户端有了信息处理的能力，从而一定程度上降低应用层的负担。

四、W-D网络管理系统的功能模块

W-D网络管理系统是建立在各个现有专业网管基础上的，它由两个功能模块组成：(1)管理模块：它是针对各个子专业网管而言的，主要实时处理各个专业网管系统发出的信息，如交换网更高级的报警等；(2)分析监控模块：它是针对不同的职能部门形成不同的主题进行划分，主要包括故障管理模块(全网运行异常状况分析、告警监控、故障定位分析等)、性能管理模块(性能测试、评估性能分析、全网性能控制等)、配置管理模块(网络状态综合分析、设备安装监控分析等)、安全管理模块(网络及网络设备安全保护分析、入侵用户分析等、计费管理模块(业务计费分析、业务关联分析等)。它是在各个专业网管基础上，为各个部门不同的主题及层次建立分析模型，将各个子专业网管的数据进行集成，利用OLAP工具、数据挖掘工具等知识，为不同主题生成决策参考信息，并且还提供了监督功能，加强了风险防范和预警功能，使得网络管理在监督系统的监督下实现决策系统制定的期望目标，实现网管在安全基础上的最优运营。W-D网管系统的体系结构如图3所示：

图3中，公共接口平台可根据IT-U制定的TMN(电信管理网)等规范，利用相关协议标准及CORBA等技术来实现，各专业网管的数据经抽取、转换、加载集成到数据仓库中去，形成企业级的全局数据视图。各部门以其特有的主题在此基础上进一步集成各自的数据集市，OLAP服务器对要分析的数据信息进一步按多维分析模型集成到多维数据库中，进一步为OLAP和数据挖掘工具提供服务。OLAP工具以多维数据库中的数据为基础，针对用户的问题进行相关数据分析综合，数据挖掘工具在此基础上，按照一定算法自动地发现潜在模式和新知识。以故障管理模块为例，此时会以一定的模式对网络运营状态进行评估和预测。一方面，数据挖掘出的新知识可以补充到知识库当中；另一方面，知识库响应系统的请求，不仅可将结果提交给数据挖掘模块，用来更好地挖掘新知识，而且还可以使综合管理模块利用知识库中的新知识进行更好的实时处理。基于WEB和数据挖掘技术的网管系统以WEB和数据挖掘技术为平台，以模型库和方法库为指导，利用知识库中的知识对网络数据进行全方位的分析和挖掘，发现潜在的新知识，补充到知识库中，知识库中的知识又能更好地为系统服务，从而使得系统在一定程度上具有智能化，较好地协调数据、模型、方法、知识之间的关系，最大限度地使网络管理者获得最大效益。

五、结语

基于WEB和数据挖掘技术的网管系统不仅可以解决多个专业网管形成的“信息孤岛”、资源不能共享的问题，而且克服了大型网络中海量数据却信息缺乏的障碍，引入了数据挖掘技术在一定程度上智能化的生成业务规则，从全局出发为最优控制网络提供指导，帮助领导和决策者预防风险，提高服务和管理水平，为克服当前各专业网管所带来的不足提供了有效解决途径，对当前网管现状的改善具有现实意义。