CMDB与知识图谱融合应用方案

2023-05-06 21:23:31张亚辉马海燕王家平茅磊夏明昕
无线互联科技 2023年24期
关键词:配置管理知识图谱

张亚辉 马海燕 王家平 茅磊 夏明昕

摘要:针对CMDB资源管理中缺乏可视化呈现,大数据量情况下资源计算查询效率不高的问题,文章研究知识图谱在IT配置管理中的价值,分析了配置管理数据库CMDB的特点及需求。基于知识图谱研究IT资源配置项管理方法,运用图数据库Neo4j替代传统关系型数据库,将原有单纯的数据和表管理转变为对数据节点及其相互间关系链条的管理,通过Neo4j的Cypher语言实现便捷、快速、可自由定义的复杂查询,同时对外提供丰富的资源可视化展示方案。该方案实现了CMDB与知识图谱的融合,为提升资源管理的可视化水平和管理效率提供了一种新思路。

关键词:配置管理;CMDB;图计算;知识图谱;图数据库

中图分类号:TP319  文献标志码:A

0 引言

随着数据中心IT 基础设施的快速擴增,IT资源配置数据规模日益庞大,层次关系也愈加复杂,IT配置管理的需求不再满足于数据的基本检索和呈现,而是更加倾向于对IT资源信息的上下文信息检索需求,更需要基于关联交织的海量数据为上层提供 IT 决策和服务交付所需的所有洞察力,传统管理方法论ITIL中的配置管理数据库(Configuration Management Database,CMDB)[1-3]已无法满足对配置项(Configuration Item,CI)的最新管理需求。

以某IT运维项目为例,运维团队承担着数据中心近万台设备的日常维护和配置管理工作,传统CMDB产品虽历经多年建设但仍专注于对基础数据的增删改查操作,且大多使用关系型数据库,主要存在以下问题:(1)对CI的查询和操作效率较低,面对大数据量经常出现页面卡死现象;(2)对CI间关系的管理质量低,关系覆盖率几乎为零;(3)无法挖掘和体现海量数据的价值。

1 知识图谱研究与应用

针对传统CMDB无法进行高度自定义的复杂查询、海量资源查询速度偏慢、数据孤岛问题严重、无法在业务线条建立立体关联、配置管理可视化缺失等问题,网络运维团队基于知识图谱相关技术理念,对IT资源中的所有配置项CI的关系管理[4-5]提出创新性思路,设计全新的资源CI关系,并运用主流图数据库Neo4j替代传统关系型数据库,将原有单纯的数据和表管理转变为对数据节点及其相互间关系链条的管理,通过Neo4j的Cypher语言实现便捷、快速、可自由定义的复杂查询,同时对外提供了丰富的资源可视化展示功能。

本研究主要定位于IT配置管理整体架构(见图1)中的功能实现层,基于资源数据层的海量数据进行资源配置管理、数据分析、管理关系生成、拓扑展现等功能,可替换传统CMDB中的部分功能,解决其在关系分析、可视化呈现、查询速度等方面的劣势。本应用生成的关系数据和图形展示可通过标准接口传送给上层应用场景或提供给其他外部平台调用。

本文将以上创新思路在运维的8 400余条资产CI管理中进行了应用,生成2.3万余条关联关系,相关记录的创建、关联和查询速度均以毫秒级实现,形成了机房局址、机架、设备、操作系统、应用进程、业务系统等多层级立体管理体系,并与动力、空调、环境、维保等多个管理维度进行关联,初步达成了应用创新目标。本应用主要通过数据建模、数据存储、数据展现3个过程实现。

2 数据建模

本文通过知识图谱技术体系对IT资源中的所有配置项CI进行管理,基于多年IT运维中积累的配置

管理经验,创新性地提出各类物理和逻辑资源的关系设计方法,形成了机房局址、机架、设备、操作系统、应用进程、业务系统等多层级架构,并与动力、空调、环境、维保等多个管理维度进行关联,建立了IT资源的立体管理体系[6-7]。

本研究创新了CI关系设计方法,通过分类分层的方式将CI进行纵向关联(见图2),在生命周期的前后向上进行横向关联(见图3),所有物理、逻辑、应用、环境等各大类CI数据交织成数据网,生成各类依赖、从属、连接的关系,从而形成以点带线、由线成面的联动效果[8-9]。

图2 配置项分类分层纵向关联关系

图3 配置项生命周期横向关联关系

通过此CI关系设计方法使CI数据进行纵向、横向交织关联,通过某一节点可实现双维度数据关联,例如:通过某一业务,可纵向关联业务所属主机、端口、进程及相关文件或数据库,进而关联所属物理服务器、存储及网络设备、所属机房环境、机架、资源池等,当某一环节出现故障时,可以对所有可能关联的CI节点进行预警。

3 数据存储

运用图数据库Neo4j替代传统关系型数据库,将原有单纯的数据和表管理转变为对数据节点及其相互间关系链条的管理,在CI关系设计的基础上,实现各节点相互关联。Neo4j数据库配置管理具备多项技术优势,可进行实时、高速、深度遍历查询,操作效率高;图可视化能力好,展示直观清晰;扩展性好,支撑多种数据结构;易于维护和数据修改,可集成其他数据源;不锁表,读写效率很高。

Neo4j具备丰富的图数据科学算法:连通分量算法可将图切分成彼此不连通的子图;页面排行算法可计算节点在网络中的影响力;Louvain算法可识别频繁出现的集群;Jaccard相似度算法可判断节点间的相似度。丰富的算法支撑了对数据价值的挖掘,从而提供决策支撑。

4 资源展现

本应用利用Neo4j的Cypher语言实现了便捷、快速、可自由定义的复杂查询,项目团队在充分调研业务的基础上设计了大量贴近业务场景的查询规则[10],可对IT资源数据进行深度查询,探索关系结构或网络拓扑,对隐患识别和风险防范提供了充实依据,同时对外提供了丰富的资源可视化展示功能。

部分应用场景如下:

(1)以3 000个CI间的关联关系为例,输出关联拓扑。

(2)以图4中的服务器A为例,进行上下级关系查询,结果输出其关联的网络设备、所属机架、机房等物理位置、包含的应用、进程、主机归属系统部门、维保等各类数据关系,如图4所示。

(3)以某系統为例,展示其内部设备组网拓扑结构,如图5所示。

图5中线条数量与占用端口和物理线缆数量有关,可根据自动生成的线缆数量判断物理设备之间的端口占用情况及链路主备用情况。图5仅展示了简单网络关系,依据实际生产数据生成的网络拓扑一般较为复杂,逻辑结构及其关系价值更高。

(4)以某机房为例,展示UPS、列头柜、机架、设备各层级供电关系,如图6所示。

从供电角度进行多层级CI关联,可实现机房供电系统安全性排查,提前且直观地发现未实现双路供电的设备或机架,及早进行供电方案优化。在此基础上,当机房供电系统或设备掉电时,可及时发现供电依赖关系,分析可能造成的影响范围。结合图4中的配置项上下级关联关系,可进一步实现相关业务、应用、进程等故障预警。

5 本研究应用效果

本研究应用初步达成数据交织、隐患识别、风险联动的设计目标,解决了传统IT配置管理中的各类重点难点问题,应用效果如下。

5.1 大幅提升各类资源操作的效率

经验证,资源相关记录的创建、关联和查询速度均不超过10 ms,彻底解决了传统CMDB中对大量数据进行遍历时的延时问题,完全杜绝了操作页面卡死无响应的现象。该方式和传统关系型数据库相比可大幅提升资源读写性能,避免因海量数据频繁读写造成的数据库压力。经对比测算,各类操作效率提升比例在50%以上。

5.2 全面生成资源间的关联关系

图计算基于节点、关系生成关联记录,数据保存质量高,可轻松形成机房局址、机架、设备、操作系统、应用进程、业务系统等多层级立体管理体系,并与动力、空调、环境、维保等多个管理维度进行关联,对所有配置项CI做到全部生成了关联关系,达到关联关系100%覆盖,质量提升达100%。

5.3 可视化呈现各类关系线条

对网络连接、数据依赖、层次架构等业务场景实现可视化展示,可直观、清晰地进行隐患识别、风险联动,将传统IT资源由表数据转换为图数据,极大地提升了数据可读性,也可通过标准接口传送给其他应用或外部平台调用。本可视化呈现手段可作为应用嵌入各类生产功能模块,进一步实现定制化开发。

5.4 充分挖掘海量资源的数据价值

本应用通过分类分层的方式进行纵向关联,在生命周期的前后向上进行横向关联,所有数据交织成网,彻底解决数据孤岛问题。基于动态变化且相互依存的数据更能充分挖掘其数据价值,为上层提供 IT 决策和服务交付所需的洞察力。

6 结语

本研究提出了一种创新性的配置管理方法,结合先进的知识图谱理念,应用主流开源图数据库技术,开辟了数据中心IT配置管理方面新的研究方向,在此研究成果基础上可进一步优化CI关系设计,丰富业务线条下的配置管理,以完善运维为业务服务的最终目标。

参考文献

[1]赵樑.CMDB建设与运营的方法研究[J].信息化技术应用,2018(4):10-11.

[2]邓鑫.基于CMDB的IT资产管理系统研究与应用[J].计算机与信息技术,2020(8):69-70.

[3]刘权.基于CMDB的网管系统业务可用性监控平台的设计与实现[J].电信工程技术与标准化,2012(10):29-32.

[4]张友朋.基于ITIL配置管理的研究与应用[J].计算机工程与设计,2010(9):2084-2088.

[5]连城.浅析CMDB在云环境中软件系统的应用方式[J].科学技术创新,2019(19):81-82.

[6]徐雪艳.数据中心运维管理系统CMDB库设计[J].中国新技术新产品,2019(6):25-26.

[7]付庆华.数据中心运维管理系统CMDB库设计与实践[J].信息系统工程,2018(1):65.

[8]曾晓松.一种基于CMDB平台的运维管理系统的研究[J].新一代信息技术,2021(13):26-30.

[9]王磊.一种支撑云管理平台的CMDB设计方法[J].冶金自动化,2015(1):13-18.

[10]戴声.基于图数据库的大规模配置管理数据库关联查询[J].计算机与现代化,2017(1):51-56.

(编辑 王雪芬编辑)

Application scheme of CMDB and knowledge graph fusion

Zhang Yahui1, Ma Haiyan2, Wang Jiaping1, Mao Lei1, Xia Mingxin1

(1.Shandong Branch of China Mobile Group Design Institute Co., Ltd., Jinan 250101, China;

2.Shandong College of Electronic Technology, Jinan 250200, China)

Abstract: In response to the lack of visual presentation in CMDB resource management and the low efficiency of resource calculation and query in the case of large amounts of data, the value of knowledge graph in IT configuration management is studied, and the characteristics and requirements of the configuration management database CMDB are analyzed. Based on the knowledge graph, IT resource configuration item management methods are studied, and the graph database Neo4j is used to replace traditional relational databases, Transforming the original simple data and table management into the management of data nodes and their interrelationships, using Neo4js Cypher language to achieve convenient, fast, and freely defined complex queries, while providing rich resource visualization display solutions to the outside world. This solution achieves the integration of CMDB and knowledge graph, providing a new solution for improving the visualization level and management efficiency of resource management.

Key words: configuration management; CMDB; figure calculation; knowledge graph; graph database

猜你喜欢
配置管理知识图谱
汽车委托外加工零件自动化配置管理
浅析核电厂移交接产过程中的配置管理
配置管理数据库运用与实现
国内图书馆嵌入式服务研究主题分析
现代情报(2016年10期)2016-12-15 12:32:46
国内外政府信息公开研究的脉络、流派与趋势
现代情报(2016年10期)2016-12-15 12:27:57
近十五年我国小学英语教学研究的热点、问题及对策
基于知识图谱的产业集群创新绩效可视化分析
智富时代(2016年12期)2016-12-01 16:28:41
基于知识图谱的智慧教育研究热点与趋势分析
从《ET&S》与《电化教育研究》对比分析中管窥教育技术发展
建设CMDB任重道远