基于AI技术的IP资源可视化管理系统研发

项朝君 罗望东 刘倩 段俊娜 黄华峰 魏利朋

关键词：IP去重;IP异常分析;IP智能画像;IP管理;IP可视化

1概述

长期以来，河南联通缺乏IP资源维护的数字化管理手段。IP资源由省级分公司从集团申请后，按照大段地址分配至各市级分公司。各市分工公司再将大段地址按业务需求进行细化，分配给客户网络侧或骨干设备侧，整个IP资源的规划、分配、管理都依靠电子表格（excel）的方式进行手工静态管理。未来5G物联网、工业互联网等终端广连接业务，对IPv6地址的爆发式增长需求，使现网环境中的IPv4和IPv6两类资源长期共存，与IP相关的业务越来越繁杂，基于IP资源的安全管理要求也越来越严格。在此背景下，我们组建技术专家团队研究基于AI和大数据技术的IP资源管理方案，建设全省统一的IP资源可视化管理系统，标记已入库IP地址使用状态，实现全量IP地址的动态管理。根据业务使用申请进行自动化分配，能够自动比对全网的活跃IP地址和已入库地址，从而自动发现未入库的异常地址，能够自动审核IP地址管理信息，形成IP地址数字化闭环管理体系。

2系统研发思路

2.1IP资源管理现状

当前河南联通对IP地址资源的管理主要依赖通过手工录入excel的方式管理。IP地址管理员通过excel记录已经分配的IP地址，每次下面地市管理员申请IP时，上级IP管理员需要在excel中筛选出尚未被占用、可供分配的IP，易出现重复分配的情况。个别地市有独立的自行维护的简易IP管理系统，但缺乏跟其他地市的IP数据联动，在进行系统间的信息传输时，会因技术不同、标准不同、协议不同等问题形成信息孤岛。分地市建立独立的管理系统，不论从经济费用、人力消耗、时间消耗、数据准确性等方面，都不是实现对全省IP资源精准智能管理的最优方案。

2.2存在问题

IP资源的日常维护过程中，经常遇到以下问题：

（1）IP管理人员进行IP规划、IP地址分配等工作时，因用手工方式导致效率低、易出错;

（2）已分IP资源缺乏信息化手段支撑，数据无法实时更新记录。现网中已分配但是没有被纳管的IP地址无法做到实时预警提示，存在使用对象不明确、监管失效的问题;

（3）业务开通过程中，无法实现地址资源的自动分配能力，造成交付效率低，稽核难度大;

（4）IP数据繁杂，缺乏有效的技术手段，对IP资源进行数字化、可视化分析，无法实现全量资源的数据查询、数据挖掘、资源画像等能力。

2.3系统建设目标

鉴于全省IP地址管理的现状和存在的问题，明确项目研发目标形成全省统一的IP地址管理体系，由河南联通省级管理员及18个地市级管理员分权分域共同维护。通过AI和大数据分析等智能化技术，对全省的IP地址数据进行统一管理。本系统主要研发方向和创新点如下：

（1）IP智能去重计算：在量级巨大的IPV4和IPV6地址池中，通过系统内置的子网拆分算法，在地市申请IP地址时，网络地址管理员通过系统，可以智能去重，精准筛选出可供分配使用的IP地址，大大减少人力筛选的成本。

（2）异常IP分析：系统通过对接路由表，DNS系统，结合大数据混合运算，将各个地市上报到系统的IP与路由表、DNS系统的IP进行对比分析，识别出未纳入系统管理的IP，此类IP就视为异常IP，之后通过系统消息发送，推送给对应的省市管理员，方便管理员针对上报IP数据进行直接管控，增强了系统IP数据的实时性、准确性。

（3）IP智能画像：应网安部门的要求，需要从IP安全角度出发，对IP的历史使用轨迹进行分析，然后形成IP智能画像，显示IP从申报、到使用、到回收等全生命周期的历史痕迹。在出现IP安全责任事故时，方便信安、网安部门进行溯源追责，满足安全责任事故要求。

（4）IP可视化展示：对手工录入的IP数据、系统自动采集的IP数据、异常告警的IP数据等多维度数据进行大数据处理、统计与分析，然后通过柱状图、饼状图等多种图形化方式进行IP可视化展示，展示维度包括告警数据、地市IP数据情况、地图IP数据热力图等。系统使用通用X86服务器架构，支持物理机和虚拟机部署。IP智能去重使用分布式计算模式，可组建服务器群进行并行计算，平滑提升分析能力，可灵活调度计算能力，实现不同运算速度的主机并行工作。主机故障时计算任务自动分配到其他计算单元进行处理。IP异常分析使用实时监控工作模式，对实时录入的IP数据进行合规性异常校验，及时将当前IP资源跟DNS系统、路由表中IP进行对比，梳理出异常IP记录，保证IP地址的正常可用性。IP智能画像使用主备机工作模式，符合电信级运营服务标准，负责IP地址的申报历史、使用历史、回收历史等多种信息，并具有灵活的扩容架构。IP可视化展示使用数据实时处理工作模式，实时对IP数据、告警数据、使用情况等数据进行实时处理，通过可视化的方式展示IP多维度数据。

3系统设计原理

3.1系统整体架构

系统整体软件架构分为三层：数据管理层、数据分析处理层和结果展示层。

3.2数据管理层

数据管理层主要针对全省录入的IP地址信息形成完整的基础资源库，分为：待验证库和正式资源库两个。待验证仓库中的IP资源为未确认或存疑数据，正式资源库中的IP资源数据为正式管理数据。

外部导入到系统的IP资源数据存在待验证仓库中需要运维人员进行确认后导入正式资源库。IP资源包括网络设备地址、互联中继地址、用户IP地址三类，支持对IP资源进行管理和维护操作。通过智能算法识别库内IP资源冲突的情况，在新增资源时，系统使用IP地址去重算法，会自动比对校验导入数据和资源库数据的资源。先将所有数据导入中间件activeMQ，批量处理程序將执行对比操作，将所有导入数据中不正确的数据标记出来，从而反馈到页面提醒用户哪些数据有错误，并且会提示详细的错误原因引导用户进行排查。3B07C8FC-B918-4C58-BC2A-B1B86894886D

同时系统针对IP资源进行分权分域管理，各个地市管理员只能看到自己录入的IP数据，省级管理员可维护全省的IP地址资源，保证IP地址的安全性。IP资源模块会通过算法，以网段表、子网表、IP表的结构分块存储在数据库，网段、子网、IP资源之间保留关联关系，精确到IP地址的管理，最大化地利用了IP资源池，对于网络资源的分配和后续管理都有极大的帮助。

3.3数据分析处理层

数据分析处理层主要针对录入到系统的IP地址资源，从系统层面实现IP地址的去重和异常IP的检测分析功能。

3.3.1IP地址去重

IP地址去重是在IP自动分配时，通过系统内置的算法实现子网拆分、合并、去重，进而从资源库中，筛选出可供分配的IP地址。

（1）IP子网拆分：依靠AI算法，将一个大的网段根据掩码来拆分所得多个子网，并且更新IP资源库中每一个IP的网段归属情况，拆分后可以预查看拆分可得到的网段，并且可修改拆分出來的子网对应的属性，保存后，原先属于拆分前子网的所有IP资源，都将根据填写的新子网的信息进行更新，归属于新的子网。

（2）IP子网合并：IP子网合并是将两个或2n个符合IP合并规则的子网合并成一个大的子网，根据最终的掩码会根据选中的子网大小来计算得出合并所得到的子网大小。并且原有子网下所有IP都将被自动被规划到合并后的子网中。

（3）IP去重算法：在计算IP地址去重的时候，先将IPV4地址转换为十进制，保存在数据库中。

IP去重算法及自动分配算法原理：系统针对用户填写的IP地址掩码，基于AI算法，对系统内部规划的IP子网地址进行智能拆分或者合并，计算出满足用户需求的子网地址，分配算法通过对比地市、自治域、用途、掩码（前缀）等参数，找到可分配资源池中状态为未占用的资源，展示出所有可以选择的网段出来，用户可以自行选择需要的网段下边的符合条件的可选IP资源进行分配占用，最终实现IP地址的分配。

先获取可供分配的网段列表，按照30个网段为一组，使用多线程和计数器分别去处理每一组网段。每一个线程都要检查网段下是否有可供分配的子网，寻找找到合适的网段，然后排除完全符合条件的子网，寻找可以合并或拆分的子网。寻找该网段最小子网，如果最小子网的子网掩码大于输入的掩码，则查看是否可合并。如果最小子网的子网掩码小于输入的掩码，则查看是否可合并。正序排列，取最小子网，掩码数最大。计算过程中，需要判断掩码数是否相同，没有被使用的子网个数，根据合并子网的需要，进行拆分计算，同时也要计算子网下已经被使用的数量，以及并子网需要的子网个数。如果某一个子网存在已经分配过的IP，需要特殊处理，判断是否可以使用其中的一段。具体做法是获取拆分后的子网中所有的IP，查询这些IP中有没有被使用的。通过掩码查询到的网段，再通过网段拆分出来的子网去对比数据库子网表数据，如果子网存在，则看有没有被使用，如果被使用，则对比下一条子网数据。如果没有相同掩码的子网，则找有没有掩码位数-1的子网，并用系统工具类拆分两个子网。如果-1也没有，则使用-1-1的方案直到找到可以拆分的子网为止。同理合并需要+1去找。最终将计算出的可供分配的网段数据、子网数据按照IP升序返回即可。

3.3.2异常IP资源检测

系统通过接口接收全网路由表信息和用户DNS域名解析数据，结合大数据混合运算，将各个地市上报到系统的IP与路由表和DNS系统的IP进行对比分析，识别出在网使用但未纳入系统管理的IP，并将此类IP标记为异常IP，通过系统消息推送给对应的省市管理员，方便管理员针对上报IP数据进行直接管控，增强了系统IP数据的实时性、准确性。

异常DNS活跃IP检测原理：用户的DNS域名解析数据中，记录了IP的活跃程度以及所属地市，只要存在IP访问过DNS系统就证明该IP为在线使用的活跃IP。通过sftp的方式定期从接口获取活跃ip数据，以txt文本方式存放600多万活跃IP数据。将DNS活跃IP数据入库。系统通过执行python脚本，读取txt中的IP数据，读取过程中过滤掉私网IP地址，只保留公网IP，最后将过滤后的IP数据保存到mysql数据库中。通过对比系统内已录入的全量IP数据与DNS系统的活跃IP数据，当DNS活跃IP未录入或归属地市信息不准确时，将该数据标记为异常IP。针对对比出的异常IP数据，系统会保存在数据库中，这些IP是需要管理员进行补充录入或修改IP资源信息的，系统会推送相关DNS异常IP消息到系统站内信中，管理员可在系统内随时查阅异常IP并进行处理。

异常路由表活跃IP检测原理：全网路由表中记录了IP资源所在的路由表相关信息，只要路由表存在的IP，就证明该IP为在线使用。由于全省每个地市采用一个独立的AS自治域管理，因此系统通过接口分地市获取各自AS的明细路由，注意区分华为、贝尔等厂家不同格式的路由信息。系统会自动识别路由表表头来匹配对应的解析方法，通过程序解析路由表内容，获取路由表的Network字段、NextHop字段，同时过滤掉不需要的下一跳对应的IP地址，然后将过滤后的数据保存到mysql数据库中。将已录入的IP资源数据逐条比对路由表数据，当匹配到用户IP资源与路由表中路由数据出现IP起始结束地址不一致或不存在的数据，该IP资源会被标记为异常数据。针对异常IP数据，系统会保存在数据库中，这些IP是需要管理员进行补充录入或修改IP资源信息的，会推送相关路由表异常IP消息到系统站内信中，管理员可随时查阅异常iP并进行处理。

所有异常数据都会以IP地址、IP用途、地市、异常类型进行存储。管理人员可以通过地市来分权分域展开一场排查工作，根据IP地址快速锁定问题IP对应的网络设备和客户。及时发现和解决全省IP地址的漏覆盖情况，避免因人为因素给公司带来的网络信息安全隐患和相应的经济损失。异常IP检测后台部署了一套DNS数据对比和路由表数据对比服务，通过定时任务执行的方式开启对比服务来判断系统中IP资源的异常状况，并通过站内信等方式提醒用户解决异常问题。如下图所示：3B07C8FC-B918-4C58-BC2A-B1B86894886D

3.4结果展示层

结果展示层主要是对IP数据分析处理后的结果进行汇总展示，对IP资源系统中的多维度数据进行统计、分析与展示，通过可视化的方式直观了解全网的整理IP使用情况、告警情况。其中主要的创新点为IP智能画像和IP可视化。

3.4.1IP智能画像

从全省网络安全的角度出发，对IP的历史使用轨迹进行分析，然后形成IP智能画像能力，显示IP从申报、分配、使用、异常检测、回收等全生命周期的历史痕迹。可以在网络安全责任事故时，快速协助信安、网安相关部门进行溯源追责。IP智能画像在构建过程中，本质上是将IP数据组合成IP数据特征，从而形成IP的数据模型。IP数据在量化之后主要是以标签为主，标签的定义拆分为三个步骤，分别是层级、生产以及权重。

（1）层级：分为原始标签、事实标签、模型&预测标签、策略标签。

原始标签来源于IP基础信息、IP地理位置、IP访问数据、IP异常记录。

事实标签来源于：IP属性、网络属性、IP类型、访问频次、平均日活、异常频次。是对原始数据进行统计分析后的初步提炼结果。

模型&预测标签来源于：IP属性、活跃度、网络属性、地理属性、风险度、异常频次、访问偏好。模型标签是由一个或多个事实标签组合而成，是基于模型训练的结果。以模型标签“风险度”为例，它是由活跃度、异常频次、访问偏好这几个事实标签组合而成的。以已有的模型标签数据作为特征，经过机器学习生产的标签，就作为预测标签。

策略标签来源于：IP价值分层、IP活跃分层、IP异常分层。策略标签，则是IP标签构建的最终目的，根据目的提炼IP，并对用户进行定向的活跃分析、异常分析等。

（2）生产：分为基于规则定义的标签生产方式、基于主题模型的标签生产方式。基于规则定义标签，就是根据固定的规则，通过数据查询的结果生产对应的IP标签。

主题模型，目的是找到IP访问偏好，它将内容划分为了3个层级：分类、主题、关键词。在IP标签中我们可以参照分类算法将IP进行聚类，使用关键词的算法挖掘IP的偏好，从而生产标签。中间涉及的算法有：线性支持向量机、逻辑回归、文本挖掘算法：TFIDF。

行为类型权重，指的是对于同一类标签，由于其行为的轻重不同所以权重不同。时间衰减因子，时间衰减因子体现了标签的热度随着时间逐渐冷却的过程。

3.4.2IP资源可视化

对手工录入的IP数据、系统自动采集的IP数据、异常告警的IP数据等多维度数据进行大数据处理、统计与分析，然后通过柱状图、饼状图等多种图形化方式进行IP可视化展示，展示维度包括告警数据、地市IP数据情况、地图IP数据热力图等。

（1）IP数据概览：通过大数据统计分析能力，在IP可视化大屏上展示IP系统中总体的IP数量、IP网段数量、不同类型告警的数量、已使用IP数、活跃IP数等，通过该模块用户可以快速了解IP的总体数据。

（2）IP使用情况可视化展示：对IP系统内的IP规划、IP使用情况、IP空闲等业务数据进行统计分析，然后按照省市县三级进行归类，再通过柱状图的形式进行展示，方便用户直观了解IP数据的使用情况。

（3）IP告警数据可视化展示：对目前的告警异常数据进行采集、分类。然后通过折线图的方式展示时不同种类告警在不同时间段的告警数量。告警数据也支持全省、全市、区县等下钻展示，用户可直观了解IP数据的告警情况。

（4）IP统计排名可视化展示：对IP数量、告警、使用情况等多维度数据按照地市、区县等进行数据统计分析，然后通过柱状图的形式对地市、区县进行数据排名，管理人员可以快速了解各个地市和区县的IP相关数据排名。

（5）IP数据地图可视化展示：通過地图的形式展示各个地市、区县的数据使用情况，不同数据量通过不同的颜色进行区分展示;地图上可展示IP数据的流向;地图支持多层钻取。IP数据地图可直观查看各个地域的IP数据情况。

（6）IP可视化数据分权分域查看：可对不同用户配置不同的数据查看权限，省级管理员可查看全省数据，地市管理员可查看地市IP数据，区县管理员可查看区县数据。通过数据的权限管控，保证数据的安全性，防止数据泄露。

4效果展示

本项目自2020年5月系统正式上线，目前已推广至全省18个市分公司使用，成为河南联通在网络维护和IP地址资源管理工作中的重要支撑手段，取得了良好的效果。

4.1IP地址总览

目前系统已完成了河南联通IPv4和IPv6数据的收录，IPv4总数611.8万个，已分配557.2万个，IP资料入库条目数9.2万条。

IPv6资源收录情况：按/64前缀的地址块个数统计，IP总数100.3亿个，已分配2亿个，IP资料入库条目数1519条。

4.2IP自动分配

通过系统去重算法，将导入的一个或数百上千个IP，通过IP地址转化成十进制数首先进行范围匹配，再进行精确的IP匹配，最终可以将导入的所有IP的关联数据查询出来，关联数据包括IP地址、资源类型、IP类型（IPv4或IPv6）、录入方式、录入时间、以及相关责任人等信息。对系统内部规划的IP子网地址进行智能拆分或者合并，计算出满足用户需求的子网地址，分配算法通过对比地市、自治域、用途、掩码（前缀）等参数，找到可分配资源池中状态为未占用的资源，展示出所有可以选择的网段出来，用户可以自行选择需要的网段下边的符合条件的可选IP资源进行分配占用，最终实现IP地址的分配。

4.3IP异常检测智能分析

系统使用IP异常智能检测算法，结合全省入库IP资源、用户dns域名解析、全网路由表的大数据关联分析，实现了对在网运行但未录入IP资源的自动发现与预警功能。异常IP记录如下图：

通过系统上线一年多的整治工作，现在系统内的异常IP数据已经大幅下降，异常IP数从整治前的55316个，减少到896个降幅98.38%。

4.4IP智能画像

系统基于IP智能画像AI算法，结合域名解析系统、信安专线系统、IP/ICP备案系统等数据，对IP地址库的录入数据进行关联分析，实现IP所有关联信息的快速查询展示，对IP资源分布、使用轨迹、历史情况等信息的精准溯源。能够对IP地址进行深度图谱画像，可视化展示所有IP关联数据信息。

4.5IP资源可视化

对手工录入的IP数据、系统自动采集的IP数据、异常告警的IP数据等多维度数据进行大数据处理、统计与分析，然后通过柱状图、饼状图等多种图形化方式进行IP可视化展示，展示维度包括告警数据、地市IP数据情况、地图IP数据热力图等。

5结语

本项目通过AI和大数据技术，对全省IPv4和IPv6地址资源进行线上系统化管理，摒弃长期以来使用传统excel手工管理的模式，解决了河南联通IP地址管理工作中存在人工参与度过高、手工台账、信息错漏、无法自动稽核、缺乏全流程管控等问题，实现了IP资源维护管理工作的全面数字化转型。项目提高了河南联通维护人员的工作效率和企业效益，提升了对IP地址的安全监管能力，系统可复制性、可推广性良好。3B07C8FC-B918-4C58-BC2A-B1B86894886D