基于混合现实的智能建维辅助系统研究

张冬月，魏家馨，高 伟（中国联通研究院，北京 100176）

0 前言

当前，混合现实（MR）和人工智能（AI）技术处于飞速发展的阶段，已经在多个领域取得显著的成果。对于通信行业来说，随着5G时代的到来，信息与通信技术（ICT）产业融合逐步深入，网络面临重构转型，众多新技术在不断演进升级，目前的电信网络同之前相比更为复杂化、异构化、动态化，电信业务也跟随时代的发展、用户的需求呈现多元化和个性化，这给网络运营带来更大的压力和挑战。将MR和AI技术引入到电信网络是网络智能化的重要研究方向，可以实现网络建设和运维的降本增效，提升业务质量。

1 当前网络建设和维护面临的困难

当前网络建设和维护面临的困难主要有网络建设和维护信息管理不当、传统的维护模式过度依赖工程师的经验以及工作方式多为手动，自动化程度低等。

1.1 网络建设和维护信息管理不当

在网络建设和维护过程中产生的数据，如设备基础数据、设备操作数据、设备状态数据、网络流量数据都是相互独立的，存储在不同的后台系统，为工作人员查阅信息带来了巨大的困难，没有形成专业的、可视化的指导内容提供给工作人员。

1.2 传统的维护模式过度依赖工程师的经验

传统的维护模式以工程师的经验为主，借助人工路测、网络KPI分析、告警信息等方式处理网络问题，此方法的劣势伴随着网络发展逐渐暴露出来：处理效率低、实时性差、运维成本高等。因此传统的网络维护模式已经无法满足运营商的未来需求。

1.3 工作方式多为手动，自动化程度低

传统的网络建设和运维工作中多为工作人员手动抄录数据，如电表数据、端口状态、设备位置等，此种方式增加了工作人员的负担，并且人工抄录容易产生错误，造成工作效率低。

针对以上问题，本文构建了基于混合现实的智能建维辅助系统，此系统实现了网络建设和运维的数字化、可视化、智能化。

2 智能建维辅助系统关键技术

智能建维辅助系统主要采用混合现实和人工智能技术，下面将详细介绍构建系统所需的关键技术。

2.1 混合现实

MR是一种使真实世界和虚拟物体在同一视觉空间中显示和交互的计算机虚拟现实技术。MR涉及的关键技术包括以下3个方面：三维跟踪注册技术、虚拟对象的生成技术以及实时交互技术。

三维跟踪注册技术，即通过跟踪、定位现实中的图像或者物体，将虚拟内容依照空间透视关系叠加在真实场景中。本文采用三维跟踪注册技术中的基于视觉的即时定位与地图构建（SLAM）技术。此方法无需依赖场景的先验知识，在待注册定位的未知场景当中进行跟踪的同时重建其三维结构，视觉SLAM的工作流程如图1所示。在视觉SLAM中传感器数据主要包括相机采集的图像以及对图像的预处理。视觉里程计的作用是跟踪、建立局部地图。后端接收不同时刻视觉里程计测量的相机位姿以及回环检测的信息，从而得到全局一致的轨迹和地图。回环检测用于判断用户是否曾经到达过先前的位置。如果检测到回环会把信息提供给后端进行全局优化处理。

虚拟对象的生成技术，即混合现实中三维内容制作技术。MR的目标是实现虚拟世界和现实世界之间互动，所以在跟踪注册技术的基础上，需要保证MR系统所生成的虚拟物体的真实感和实时性。内容制作技术主要包括核心引擎、开发工具、模型构建。核心引擎是指通过引擎对各种数据进行算法驱动，实现内容制作的高效性。开发工具主要包括平面设计类、建模类等工具。模型构建是指三维模型的建模、材质、动画以及渲染等工作的集成。三维建模分为多边形建模、曲线和曲面建模、映射UV以及雕刻建模4种建模方式。

图1 视觉SLAM工作流程

实时交互技术是MR重要的支撑技术，关键的交互技术包括手势识别技术、三维交互技术、语音和声音交互技术、触觉反馈技术、眼动追踪技术、笔交互技术以及生理计算技术等。本系统采用的交互方式为语音交互技术。语音交互技术包括语音输入、语音识别和处理以及语音输出在内的一整套交互技术。语音交互技术中的语音识别属于人工智能的核心技术。

2.2 人工智能

AI作为研究机器智能和智能机器的一门综合学科，涉及信息科学、心理学、认知科学、思维科学、系统科学和生物科学等学科。为实现系统功能，本系统应用了多个领域的AI技术。

AI技术在计算机视觉领域应用比较广泛的有人脸识别、光学字符识别（OCR）、目标检测、姿态识别等。本系统涉及了目标检测和OCR 2项技术。目标检测主要是定位图像中特定物体出现的区域并判定目标类别。目前，取得显著成绩的目标检测模型有RetinaNet、Yolov3、TSD等。OCR是指将图像中的文字进行识别，并以文本的形式返回。图2为典型的OCR技术路线，包括图像预处理、文字检测、文字识别。应用比较广泛的OCR模型有CTPN、SegLink、PixelLink等。

图2 OCR技术路线

AI技术在语音领域的应用比较广泛的有语音识别、语音合成、声纹识别等。本系统应用了语音识别技术。语音识别技术可以将人类语音的内容转化为文本或命令，传统的语音识别技术包括基于动态时间规划的算法、基于参数模型的隐马尔可夫模型以及基于非参数模型的矢量量化方法等。基于深度学习的语音识别技术依赖循环神经网络（RNN）、长短期记忆网络（LSTM）或者卷积神经网络（CNN）实现端到端的语音识别模型，如CTC、RNN-T、LAS等。

AI技术在通信行业的应用比较广泛，有告警关联分析与预测、用户离网预测、网络优化等。本系统应用AI技术实现告警关联分析与预测，关联规则的机器学习算法主要有Apriori、FP-growth、AdaBoost、决策树算法、朴素贝叶斯算法、序列最小化算法等。

3 智能建维辅助系统架构

智能建维辅助系统通过混合现实眼镜自动采集数据，利用混合现实技术将设备告警信息、巡检信息、设备维修指导信息等内容呈现在工作人员的眼前，能够提升用户体验，释放工作人员的双手，使其方便地采集并获取设备信息，同时基于混合现实技术实现远程协助，充分利用专家经验，实现专家资源集约化。

除此之外，该系统结合AI技术和运维专家的工作经验，在通信网络中实现对故障告警的全局监控、处理，实时采集告警和网管数据并关联分析处理，进行灵活过滤、匹配、分类、溯源，对网络故障快速诊断，配合相应的通信业务模型和网络拓扑结构实现故障的精准定位和根因分析，并通过历史数据不断自学习实现故障预测，从而达到运维能力的智能化升级。同时系统采用AI技术实现工作人员与虚拟内容的交互，识别采集的图像信息等。

基于MR的智能建维辅助系统架构主要分为后台支撑系统和前端MR应用系统。

3.1 后台支撑系统

3.1.1 核心服务模块

核心服务模块包括AI支撑服务、远程支撑服务、MR能力服务3个方面的功能，为系统提供核心技术支撑。

a）AI支撑服务。支持调用现有的AI服务接口，为系统赋予AI能力。包括铭牌识别模型、天线端口识别模型、数字识别模型、语音识别模型、故障监测模型。

b）远程支撑服务。包括专家接入、音视频传输、空间标记方面的内容。该功能支持一线运维人员与专家端的远程交互，实现远程指导与协助。远程支撑服务主要包括以下3个功能。

（a）专家接入：终端MR眼镜设备与专家端的接入联线。

（b）音视频传输：终端MR眼镜设备与专家端的音视频同步。

（c）空间标记：实现二维/三维信息的标注、显示和跟踪。

c）MR能力服务。包括二维图像识别、三维物体识别以及SLAM。该功能提供MR底层驱动，赋予系统MR能力。

图3示出的是基于混合现实的智能建维辅助系统功能架构图。

a）二维图像识别：对二维图像进行精准识别和稳定跟踪，进而使用MR内容增强和扩展。

b）三维物体识别：对三维物体进行精准识别和稳定跟踪，进而使用MR内容增强和扩展。

c）SLAM：无需基于任何标记，即可在现实空间中呈现MR内容并进行稳定跟踪，创造身临其境的MR体验。

3.1.2 数据资源管理模块

数据资源管理模块包括MR内容资源管理、业务数据管理2个方面的功能，为系统提供数据内容。

a）MR内容资源管理。包括识别内容、三维内容模型方面的内容，支持MR资源的存储、关联、管理和传输等功能，为系统提供MR能力的内容支撑。

b）业务数据管理。包括数据存储、数据传输方面的内容，以及设备资产信息数据、设备状态数据、设备操作数据、网络流量数据等，支撑整个系统对业务数据的需求。

3.1.3 应用制作及管理模块

应用制作及管理模块包括应用发布、应用管理、应用分类3个方面的功能，为系统提供各类终端应用软件。

a）应用发布。包括创建应用、完善应用信息、提交审核、应用上架等方面的内容，可下载安装至终端MR眼镜设备，供一线运维人员现场作业使用。

b）应用管理。包括应用列表、应用信息修改、应用版本更新等方面的内容，方便快捷地进行应用的维护和管理。

c）应用分类。包括应用功能分类、应用类型分类、设备支持分类等方面的内容，以便根据需要多维度进行应用的检索和查找。

3.1.4 终端适配管理模块

终端适配管理模块包括MR眼镜适配标准的制定及发布、MR眼镜适配认证2个方面的功能，为终端MR眼镜设备的接入提供支持。

图3 基于混合现实的智能建维辅助系统功能架构

a）MR眼镜适配标准的制定及发布。制定及发布终端MR眼镜设备的硬件、参数等指标，为系统终端设备接入提供明确的参考和依据。

b）MR眼镜适配认证。提供终端MR眼镜设备的认证方法，进行合格评定，可准确快速地确定MR眼镜是否满足系统规定的要求。

3.1.5 后台管理模块

后台管理模块包括权限管理、系统管理和参数配置3个方面的功能，为系统的正常运行提供保证。

a）权限管理。包括用户管理、角色管理和授权管理方面的内容。该功能支持构建用户及分配权限，保证用户在其授权范围内正常工作，且不能越权使用系统的功能模块。

b）系统管理。包括系统日志记录和查询，系统运行状态监控及预警，保证系统稳定可靠地运行。

c）参数配置。包括但不限于角色设置、应用类别设置、内容资源限制设置等方面的内容，可根据需要调整配置，增强系统的灵活性。

3.2 前端MR应用系统

3.2.1 终端接入模块

终端接入模块为符合系统要求并接入完成的，可直接供一线运维人员使用的各厂商、各型号的MR眼镜。

3.2.2 终端应用

终端应用为可直接在终端MR眼镜设备上运行的，面向各个场景的具体应用软件。例如无源资产管理应用软件、运维辅助应用软件、远程协作应用软件。

3.2.3 用户接入模块

用户接入模块包括一线运维人员、应用提供人员、MR眼镜厂商、系统管理人员，是系统接入和使用的各类用户。

a）一线运维人员：系统终端应用、终端MR眼镜设备的最终使用者。

b）应用提供人员：结合系统的技术赋能和内容支撑，制作具体应用的供应商。

c）MR眼镜厂商：终端MR眼镜设备的供应商。

d）系统管理人员：负责系统的运行及功能维护的管理人员。

4 智能建维辅助系统的应用场景

MR技术强调虚拟物体与现实世界的叠加或合成，广泛应用于工业制造、军事、文化传播等领域。MR以高精度模拟工作、生活等场景，是目前计算机数字领域的一个热点。本章将对基于混合现实的智能建维辅助系统的应用场景进行论述，为MR在网络建维领域的进一步研究打下基础。

4.1 无源资产管理

无源资产管理包括设备条码识别、铭牌文字识别、基站天线端口状态识别、电表抄录等网络运维场景。

a）设备条码识别：实现对设备条码的读取与识别，生成可管理的信息数据，用于统计退网设备、未插电空闲设备。

b）铭牌文字识别：通过MR眼镜拍摄5G设备铭牌，将照片上传到后台系统，调用AI模块进行识别，将识别结果在眼镜端进行显示，并上传到综合网管系统进行记录。

c）基站天线端口状态识别：通过MR眼镜拍摄基站天线端口图像，将图像上传到后台系统，通过AI模块识别端口状态，将识别结果在眼镜端进行显示，并上传到综合网管系统进行记录。

d）电表抄录：模块通过MR眼镜拍摄电表表盘图像，将图像上传到后端系统通过AI模块识别用电度数，将识别结果在眼镜端进行显示，并上传到综合网管系统进行记录。

利用MR技术辅助无源资产管理可以让工作人员解放双手，新型的交互方式可以进行快速的数据记录，有效缩短工作时间，提高无源资产管理的效率和质量。

4.2 运维辅助管理

运维辅助场景包括告警信息查询功能、告警分析与故障预测功能、故障蜂窝小区参数查询功能、基站信息查询功能。

a）告警信息查询：通过MR眼镜扫描设备条码，获取设备序列号，通过后台系统获取告警信息并显示到眼镜端，辅助运维人员快速排除故障。

b）告警分析与故障预测：基于AI的告警分析，能够对IPRAN网络告警数据之间的关联信息进行挖掘分析，定位根源告警，实现对告警的压缩过滤。结合网络拓扑结构、网络配置、KPI、历史告警故障处理经验等信息，从大量告警信息中提取共性特征，并结合已有的历史故障处理经验对提取的数据进行训练，形成专家诊断规则库，诊断新生成的告警信息匹配规则，给出故障原因及处理方法。故障处理后，结合网络运行情况反馈优化专家诊断规则库。

c）蜂窝小区参数查询：通过MR眼镜显示当前位置的蜂窝小区各项参数，包括当前小区网速、物理小区标识、信号强度等，辅助运维人员工作。

d）设备信息查询：通过MR眼镜可视化展示当前位置的设备电子说明书以及附近设备的信息，包括设备地理位置、设备数量、设备能耗、业务量等。

MR管理可视化通过识别设备、人员、物料，以实现虚拟数据与现实环境的叠加，将大量数据转变为易于被人接受、处理、记忆的输入型信息，让关键的信息能够迅速被用户接收并显示在眼前，并搭配MR眼镜，以虚实结合的方式，可解决设备数据查看不方便，文字报告晦涩难懂，设备状态信息无从查找，设备故障无法预警，人员排查需碰面等网络设备管理所存在的痛点问题。

4.3 远程协作

远程协作主要包括运维场景三维可视化呈现、远程实时协同工作、全局实时监控等。

a）场景三维可视化：基于4G/5G网络，采用新一代MR眼镜可实现数字孪生3D场景和物联网动态数据的实时显示，通过自然交互完成虚拟设备的多视角仿真控制。同时，通过MR眼镜，结合真实的网络建设与维护的环境和设备，能够完成虚实融合的交互操作流程指导，实现基于MR的交互式电子指导说明书。

b）远程实时协同工作：异地多人可利用MR眼镜，通过相同的数字孪生场景进行协同工作，工作人员可同步看到其余人的虚拟形象、动作以及操作，可通过语音及视频进行实时沟通，同时进行操作流程的记录，将其作为资源共享给其他工作人员，在同一场景中进行可视化回放，此功能可用于复杂任务的仿真验证和培训。

c）全局实时监控：MR眼镜能够为网络专家提供三维全局监控视角，专家可实时地获取现场人员的位置与操作任务，进行语音或视频远程指导。无线网现场工作人员将MR眼镜上摄像头所采集的第一视角工作画面，通过4G/5G网络实时传输到专家端，方便网络运维专家结合实景完成对数字孪生三维场景的远程操作指导。

MR远程协作可解决以下网络运维工作中的痛点问题：专家稀缺距离远，专家往返现场耗时耗力，欠缺经验的工作人员难以判断问题的严重程度，电话沟通表述不清，标记位置难以描述，文档传递不叠加，交互记录不保存，存档数据未被分析利用等。

在信息收集上，利用基于MR技术的智能建维系统，可以实现数据自动化录入，减少人工录入的误差，节约劳动力；在日常运维工作中，可以减少操作人员查阅资料的时间，给运维人员实时的可视化的指导和提示，检查步骤的完整性，提高操作的效率；在培训工作上，利用MR技术进行作业指导可以缩短新员工培训周期，提高新人的工作效能，快速上手、减少出错；在故障预警与处理上，利用AI技术实现网络告警分析与故障预警，提高网络工作的智能化水平，同时结合远程协作与指导，实现专家资源集约化。

5 总结

5G时代的到来和商用化部署的加速，催化了数字信息流转以及物联网规模化的发展，为物理和数字世界的融合、以视觉为基础的人物交互机制的实现，开辟了高速公路。

中国联通作为5G的重要建设者，也在积极开展5G、MR以及AI核心技术的深入研究，不断探索其行业应用。本文通过对基于MR的智能网络建维辅助系统的核心技术、系统架构与功能、应用场景进行论述和研究，为智慧化的网络建设和维护提供了理论及技术支撑。