陈洋 赵大明
收稿日期:2023-12-26
DOI:10.19850/j.cnki.2096-4706.2024.07.001
摘 要:在数字治理的大环境下,组织或企业需要通过一套更加科学的网络监控方法来治理和管理在异构网络中出现的端到端问题。文章采用当前流行的大数据流式计算和关联分析方法,基于数据挖掘思想对异构网络环境下的VPDN端到端性能监控进行了分析,提出性能质量监控框架,并整合现有平台设计出监控软件体系结构,解决了VPDN无法端到端监控的问题,有效提升了数字治理的质量和效率。
关键词:数字治理;大数据;流式计算;端到端;性能质量监控
中图分类号:TN929.5 文献标识码:A 文章编号:2096-4706(2024)07-0001-06
Research on End-to-End Performance Quality Monitoring in Heterogeneous Networks
CHEN Yang1, ZHAO Daming2
(1.China Telecom Hubei Branch, Wuhan 430014, China;2.China Electric Power Research Institute, Beijing 100192, China)
Abstract: In the context of digital governance, organizations or enterprises need to adopt a more scientific network monitoring approach to govern and manage end-to-end issues that arise in heterogeneous networks. It adopts the popular big data streaming computing and correlation analysis methods, analyzes the end-to-end performance monitoring of VPDN in heterogeneous network environments based on data mining ideas, proposes a performance quality monitoring framework, and integrates existing platforms to design a monitoring software architecture, solving the problem that VPDN is unable to end-to-end monitoring, effectively improving the quality and efficiency of digital governance.
Keywords: digital governance; Big Data; streaming computing; end-to-end; performance quality monitoring
0 引 言
数字治理是工业产业化发展到一定阶段必须经历的一段过程。随着数字技术的不断发展和创新,数字治理将会在各个领域发挥更为重要的作用,也会为时代的发展带来新的机遇与挑战。本文借助大数据和流式计算方法来分析和挖掘数据,找到数字网络中广泛应用的VPDN规律和发展趋势,帮助政府和企业提高异构网络下的网络运行效率,加强对数字安全的保障力度。数字治理会涉及一些敏感数据,这也是数字安全领域需要关注的重点内容,包括数据隐私和网络安全、信息安全,而VPDN的加密型技术特点能够与数字治理的要求相贴合。
VPDN的端到端业务性能监测和服务支撑是网络监控运营服务工作的重要内容,也是政府或运营商等主要数字治理部门参与网络维系工作的重要体现。随着VPDN业务的不断发展,对VPDN及相关政企产品进行端到端的管理和监控,是数字政府、数字治理的工作重点之一,主要包括服务内容监控、运营实施操作管理和服务评估与跟踪管理三个环节。
长期以来,数据专业VPDN监控依赖手工管理,分散执行,缺乏统一的管控手段,尚不能提供端到端的运营数据及指标性能监测。本文旨在针对VPDN产品提供基于现有平台框架的端到端业务性能监测,为政府、企事业单位、运营商网络维护人员提供精确的故障定位,提高VPDN故障的处理效率,并为数字维护人员提供运营情况和实时监测报告。
1 异构网络
1.1 政府及企事业单位异构网络现状
政府机构的数字化转型、数据治理面临着诸多的现实问题,首要的问题就是诸如广域网、云网络、无线网络、局域网、MSTP等异构的网络环境。政府及企事业单位往往需要同时管理和维护许多种网络,而这些网络大都是根据地域特点进行分布的,连接多个不同的部门和下设机构。比如,某省级人民政府门户网站有3套,分别部署在不同的网络环境中。办公网、舆情监测网、网上办事大厅、公共事务信息服务平台、在线咨询等分别经历了两三种异构网络组网。
政府及企事业单位在异构网络中面临网络安全性、数据隐私保护、网络性能监控和优化、资源分配等方面的问题。不同部门和业务分支可能使用不同的网络协议和设备,这对政府和企事业单位的网络维护和管理提出了更高的要求,也增加了网络的复杂性,需要通过数字治理的方法有效地集成和优化网络资源,通过更为简便高效的方式来实现数字的统一、监控和维护治理[1]。
1.2 异构网络分析
异构网络分析是指对多种不同类型的组网进行系统性的研究和分析。在现网环境中,需要深入了解这些网络之间的相互管理、性能及交互方式,主要包括性能监控评估、流量分析、路由优化、安全分析、资源管理、故障诊断等。从维护管理的角度来看,需要分析异构网络中各个子网的性能数据,以了解其对整体网络性能的影响。研究异构网络中的数据流量,了解不同类型的流量模式和特点,以便优化网络的资源分配和流量控制。优化异构网络中的路由算法和路径选择,以便提高数据传输的效率和可靠性。分析异构网络中的安全漏洞和可能存在的威胁,采取相应的安全措施保护网络安全、信息安全。对异构网络中的网络设备和资源进行管理,找到资源分配的最优路径,实现资源的效益最大化和成本最小化[2]。
异构网络分析需要运用网络技术和数据分析方法从多个角度和层面综合考虑,对网络的不同部分和组成进行分析和评估,以支持网络设计、优化和管理决策。在数字化时代,随着网络的日益复杂,异构网络分析变得越来越重要,它可以帮助我们更好地理解和应对复杂的网络环境,从而提高网络的效率和可靠性[3]。
1.3 异构网络下VPDN的应用
随着4G的普遍服务以及5G的成功商用并顺利铺开,无线通信在各行各业的应用越来越广泛。5G网络虽然可以实现泛在连接,但因其专网建设成本高昂,覆盖相对有限,这些弊端制约其在政府和企事业单位的推广运用。无线VPDN技术可以很好地兼顾无线网络、云计算、云服务等多种网络技术的优点,成为异构网络下数字治理的最佳选择。异构网络下选择VPDN的主要原因还包括以下几个方面:
1)安全性。VPDN提供了安全的隧道技术,通过加密和身份验证等手段确保公共网络中数据传输的安全。对于异构网络中的多种网络类型,使用VPDN可以为数据传输提供额外的安全层,防止数据被未经授权的人员访问或篡改。
2)私密性。VPDN能够创建虚拟的专用网络通道,使得不同用户之间的数据通信互相隔离。在异构网络环境中,不同的部门或用户可能需要访问特定的资源,使用VPDN可以在虚拟专用网络中传输数据,从而可以保障数据的私密性。
3)跨网络连通。异构网络中不同的子网络可能使用不同的协议和技术,VPDN可以帮助这些网络建立跨网络连接,实现资源共享和互联互通。无论是不同地域的分支机构,还是不同类型的网络,VPDN均可提供统一的虚拟专用网络服务。
4)灵活性。VPDN具有灵活的配置和扩展性。对于异构网络中新增的网络或设备,只需进行简单的配置就可将其纳入VPDN的管理范围,这样就使异构网络的扩展和升级变得更加容易和高效。
5)移动设备支持。在异构网络环境中,移动设备的使用日益普及。VPDN可以为移动设备提供访问企业内部网络的安全通道,使员工可以在任何地方使用移动设备连接企业资源,实现移动办公和业务操作。
6)节约成本。使用VPDN可以避免在异构网络中建立单独的专用网络连接,从而降低了专用网络的建设和维护成本。VPDN利用公共网络基础设施实现安全的数据传输,节约了网络建设和运维成本。
2 VPDN业务监控框架策略
业务规模的不断增长是驱动业务维护及管理能力提升的根本动力。在可选择的网络产品中,政府及重要党政军用户更加偏好费用低廉、开通便捷、安全性高的VPDN产品,利用现有的网络资源搭建虚拟专用网络[4]。从运营商的角度来看,用户数量和障碍数量呈现逐步递增的正相关态势,提升客户感知的关键点在于及时发现故障并提升故障处理能力。VPDN业务监控目前在业内尚属空白,VPDN障碍处理一般分为网络层、接入层、隧道、综合平台以及AAA服务器等多重设备和管理系统。
2.1 现有一般性故障处理策略
长期以来,数据专业VPDN监控依赖手工管理,分散执行,按照先局内后局外、先本端后对端的原则逐个设备检查故障源。首先人为判断故障可能发生点并根据预判情况检查VPDN综合平台认证是否通过,如果通过则可以判断为故障点发生在LNS和客户路由器之间,未通过则检查隧道建立是否正常;再检查一次认证服务器,根据域名或IMSI号查询用户AAA一次认证信息,如果通过则可能是AAA数据下发出错或者是LAC和LNS之间的数据配置有问题;如果一次认证AAA没有通过则故障可能发生在有线或无线接入网侧。一次故障历经6个节点、6套以上管理系统,制约了故障处理效率。
2.2 大数据流式逻辑和关联分析策略
大数据流式逻辑是在大数据流式数据处理中,运用逻辑方法进行数据处理和分析的策略。本文重点阐述VPDN相关的大数据分析方法,包括基本的逻辑运算、条件判断、规则匹配等,通过在数据流中设置逻辑规则,对数据进行实时筛选、过滤、聚合等处理,从而提取出感兴趣的数据和信息[5]。大数据流式逻辑的目标是快速识别和处理有意义的数据并对数据流进行有效管理,避免处置无效数据造成资源浪费。
本文主要阐述在大数据流式数据处理中,运用关联分析方法发现VPDN网络中数据之间的关联关系,发现数据中频繁出现的模式或规律,揭示数据之间的关联性,从而发现隐藏在数据背后有价值的信息[6]。
大数据蕴含着大信息,可在更宽广的范围内提高洞察力和决策力,这也是数据治理的关键资源。VPDN业务监控通过大数据流式计算对VPDN产生的动态数据进行实时采集,校验分析后及时反馈结果,在有效时间内获取数据价值,当数据到来时立即对其进行处理而不再进行缓存。VPDN业务监控流式系统架构如图1所示。
数据挖掘是指在关系数据、交换数据等海量信息载体中查找存在于VPDN集合或对象集合之间的关联、相关性或因果结构。关联分析是指发现交易数据库中不同商品(项)之间的联系,一般可以从如下维度进行数据处理:
1)基于数据处理中涉及的维数,可分为单维度和多维度,简单的一个事件数据可以看成一个维度。
2)基于数据的抽象层次,可分为单层和多层。在单层关联中,不需要考虑数据变量有几个层次;多层关联则需要充分考虑数据变量的层次数。VPDN业务监控属于多层次数据变量,数据流传输采用被动拉取方式,由下游节点发起数据请求,上游节点将数据传送给下方,节点可以根据自身状态适时发起数据请求,具体传输方式如图2所示。
3 VPDN监控大数据挖掘算法
3.1 信息整合和事物压缩
VPDN监控数据散列在不同的集合中,先从逻辑上分成几个互不相交的块,这些块构成了元数据。Web信息整合首先考虑的是数据来源:VPDN数据可分为认证数据块、隧道数据块和接入数据块。认证数据块来源于有线或无线AAA服务器的LOG日志以及VPDN综合业务平台AAA认证数据;隧道数据块来源于LAC和LNS设备中的数据,而接入数据块来源于PCMD系统和日志工单管理系统。数据来源如图3所示。
信息整合即是按照一定的规则对不同类型的结构化数据进行合并,产生一个可能的频集,这是开展业务的底层基础,实时智能地将有价值的信息数据传递给分析应用系统进行再加工[7]。其间伴随着过程整合,即对整个VPDN监控业务过程进行整合变成一种外在规则引擎和过程,使得整合规则更加灵活,提升外在和内在过程的自动化水平,提高了VPDN故障的处理效率。其中的处理单元称为PE,由4个组件构成,如图4所示。
1)函数。实现与PE对应的功能和配置。
2)事件类型。规定PE接收的类型。
3)主键。规定PE关注的事件主键。
4)键值。规定PE所匹配的键值。
针对没有价值的数据进行事件压缩,即为这些事务加上删除标志,合并数据时不再将其考虑在内,最后计算这些项集的支持度,形成有效的分析数据。
3.2 任务数据拓扑结构
在VPDN监控系统中,数据流是由事件的有序序列构成的,事件在各个处理单元PE中被计算,在处理单元PE之间流动,处理单元PE之间的逻辑构成一个有向无环图,如图5所示。
图5 任务拓扑实例
在任务拓扑实例中,节点表示处理单元PE,实现对数据流的计算和新数据流的输出,有向边表示事件的有序序列流向。在该实例中数据流1是初始化数据流,键值为实时流入的文本数据,接下来处理单元PE1被分割为个体形成新的数据流,并分别分流到处理单元PE2、处理单元PE3、处理单元PE4等节点中进行计算,并再次形成新的数据流分流到处理单元PE5、处理单元PE6、处理单元PE7等节点中进行计算,最后在处理单元PE8中进行汇总和排序,得出VPDN实例中的处理结果。
3.3 多层次多维度关联挖掘
对于VPDN监控来说,由于数据来源的分散性,在一定程度上很难发现数据处理之间的强关联性。在多层次和多维度上却可以实现较高层次的数据挖掘。从多层次上得出的规则可能是数据质量不高的信息,对于一个用户来说数据质量不高,但对于整个数量集合来说却未必如此。应该提供一种在多个层次上进行挖掘的功能[8]。
根据VPDN产品形态可分为三个层次:网络、业务和服务。网络层面上可获取接入时长、接入成功率、基站位置和隧道等信息;业务层面上可获取AAA接入信息、日志工单信息;服务层面上可获取客户位置信息、开卡参数、服务模式等。而在维度方面可以分为设备字段、接入字段和服务字段。通过位置信息LBS等规则属性进行关联,即把维度和层次抽象出来构建VPDN监控模型。
主要实现实时性能监测,通过在数据流中设置VPDN逻辑规则,筛选出与VPDN网络性能相关的数据指标,如带宽利用率、延迟、丢包率等。监测系统可实时捕获网络性能的变化,及时报警或通知管理员。快速检测VDPN中的异常情况,通过分析VDPN流量数据的关联关系来发现异常流量模式或异常行为,如异常的连接请求、频繁的连接中断等。一旦检测到异常,监测系统可及时采取相应的措施,防止网络问题进一步扩大[9]。
这套分析方法可用于预测VDPN中可能出现的故障情况。分析过往的网络性能数据和故障数据,可发现某些特定指标与故障之间的关联关系。基于这些关联关系,预测未来可能发生的故障,并提前采取相应的预防措施。VDPN不仅可以监测网络性能,还可以对用户行为进行分析,发现用户的使用模式和行为习惯,如频繁访问的应用、高峰时段的流量增加等[10]。这些信息可以帮助优化网络资源分配和改进用户体验。
4 无线VPDN监控框架设计
4.1 总体架构说明
使用功能接口模块对无线AAA系统、VPDN平台、网优系统、日志工单管理系统、PCMD话单系统进行数据调用采集,如图6所示。具体功能模块设计如下:
1)AAA统计日志接口模块。AAA系统定时获取AAA的客户登录日志,进行客户登录成功率统计,查询客户登录时间,统计域名当中所有客户的登录情况。
2)AAA工单查询接口模块。移动网AAA和AN-AAA工单查询接口,主要查询客户工单情况,采用的是Web Service接口。
3)网管系统查询接口模块。查询客户无线接入状态,采用的是Web Service接口。
4)话单查询接口模块。查询无线VPDN客户的话单,通过第三方提供的Web查询接口调用。
5)Session信息统计模块。为每个拨号成功的VPDN用户建立Session信息,包括Session ID、账号、记录时间、Session开始时间、登录IP、在线时长、掉线率。
4.2 关键MIB数据库设计
关键MIB数据库是数据库设计的核心,其中Session统计信息表的设计如表1所示。
无线AAA系统的日志表如表2所示。
5 无线VPDN端到端监控具体实现
5.1 端到端全过程监测
无线VPDN监控实现了对移动VPDN的端到端监测,为VPDN产品以及以VPDN为底层承载网络的政企行业应用产品提供方便可靠的7×24小时实时监控手段。
无线VPDN业务性能监测流程如图7所示。
说明:用户无线终端视为A监测点;4/5G移动通信网络视为B监测点;PDSN视为C监测点;AAA服务器视为D监测点;VPDN业务平台视为E监测点;政企中心端设备视为F监测点。
通过在现有VPDN业务承载网络/系统中设置监测点,采集各监测点的维护/服务信息,并按照客户/用户维度进行整合,实现对无线AAA信息、链路建立信息、话单信息的统计和分析,这样能够迅速判断出无线VPDN故障发生点,并可将结果反馈给前端人员,解决了无线VPDN缺少手段监控的问题,提升了故障处理效率,实现了提高客户满意度的目标。
5.2 实现应用功能举例
通过登录成功率和业务工单查询统计,帮助维护人员分析业务不可用的原因(涵盖关键信息)。在无线接续质量分析中,可以深入分析和确定呼叫失败的原因。通过Session连接分析,能够根据客户视图展现和管理连接过程准确定位业务使用不成功的原因。这些工具和手段有效提升了系统的稳定性和服务质量。数据流程图如图8所示。
1)客户登录成功率统计分析。通过查询客户登录时间统计域名当中所有客户的登录情况,对AAA日志上用户的登录信息进行按小时和按天统计;实现VPDN大面积故障及时发现功能。
2)客户业务工单查询统计。对VPDN相关工单进行追溯查询和分析,通过开通工单的关联信息帮助维护和服务人员分析业务不可用的原因,查询字段包括MDN、IMSI、OrderType-工单类型、OrderTime-工单时间、RetnCode-工单返回码、FromDev-1X或EVDO网元标识、Flags-补全标识。
3)MSC无线接续质量分析。通过查询阿朗移动软交换的客户无线接入状态和无线VPDN客户话单,分析和定位客户呼叫失败的原因。
4)客户数据业务使用分析。通过对特定用户数据业务使用情况的分析,检测客户数据功能正常与否。
5)Session连接分析。通过对VPDN设备MIB库信息进行解析,实现基于客户视图的展现和管理,了解客户每次的连接过程和细节展现,通过分析一次认证与二次认证的相关信息,确定客户业务使用不成功的原因并解决问题。
图8 数据流程图
6 结 论
本文提出了VPDN端到端监控的新方法,通过大数据流式逻辑和大数据关联分析方法建立和完善相应规则后,可以对VPDN进行端到端监测,填补了数字治理环境下通信行业对VPDN端到端监控进行统一管理的空白,极大地提升了故障处理效率,为VPDN产品以及以VPDN为底层承载网络的政企行业应用产品提供方便可靠的7×24小时实时监控手段,初步建立了基于产品维度的网络监控支撑体系和技术框架。
此外,本文描述的探索方法还可以作为支撑数字政府发展的有力工具,在已有的数字基础设施上通过虚拟网络快速部署业务,提高电子政府的建设效率,实现各政府部门和各相关机构的数字化、信息化,为广大人民群众提供更加安全可靠的在线服务平台。此外,基于VPDN的技术特点,强化数字安全,加大对网络安全、信息安全和数据隐私保护的力度,确保数字政府的安全性和可靠性。在智慧城市的建设当中,本文描述的数字治理方法可助力整合城市的各项资源和信息,提升城市建设和信息化管理的水平和质量。在数字建设的大背景下,扩大本文探索内容的应用范围,使其更适合规模化应用和推广。
参考文献:
[1] 李帅峥,冯也苏.数字政府与智慧城市协同建设路径思考 [J].信息通信技术与政策,2023,49(1):58-64.
[2] 罗洪斌,张珊,王志远.共生网络——异构网络安全高效互联的体系结构与机理 [J].通信学报,2022,43(4):36-49.
[3] 张华平,高凯,黄河燕,等.大数据搜索与挖掘 [M].北京:科学出版社,2014.
[4] 王彤.基于VPDN技术的企业专线快速抢通方案 [J].数字通信世界,2021(1):110-111+126.
[5] 马瑾男,王志文.大数据技术在科技资源信息化管理中的应用 [J].山西电子技术,2020(4):60-61.
[6] 张清华,高渝,申秋萍.数据科学:从数字世界到数智世界 [J].数据采集与处理,2022,37(3):471-487.
[7] 付强,陈晓玲,李沫,等.基于深度整合的科技资源系统的设计与实现 [J].吉林大学学报:信息科学版,2022,40(6):924-929.
[8] KAMBER M,HAN J W,CHIANG J Y. Metarule-guided Mining of Multi-dimensional Association Rules Using Data Cubes [EB/OL].[2023-10-25].https://cdn.aaai.org/KDD/1997/KDD97-041.pdf.
[9] 王曦茵.基于流表统计流量和端口流量分析的LDoS攻击响应方法研究 [D].长沙:湖南大学,2022.
[10] 赵涛.人工智能在医疗领域应用中的机遇与挑战 [J].中国新通信,2021,23(12):158-159.
作者简介:陈洋(1984.12—),男,汉族,湖北襄阳人,高级工程师,博士研究生,研究方向:光通信技术、政企业务相关技术、IP以及无线方向。