虚拟现实技术在高压带电作业领域的远程遥操作应用研究

国网上海市电力公司青浦供电公司 张树欣 郑 真 陈超杰

高压电气设备及电力传输线路是维系社会正常运转的重要基础设施之一，在电力输送的任意一环出现故障都会导致严重的经济损失，在问题出现后的高效抢修是非常重要的。目前已采用机器人/机械臂等设备代替了人工带电作业检修。现有的常规机器操作作业方式是将操作室设置在工程作业车上，并安装一个可升降机械臂或机器人。作业人员通过控制操作室内控制器/控制界面，对设备进行升降与作业操作，通过作业端安装的监控摄像头捕获作业区域的监视视频流并同步反馈至控制端显示。作业人员由于仅能通过小幅监视画面观察作业区域，不能直接近距离观察到作业对象且机械操作维度较难判断，导致作业准确度低、作业效率低。

随着控制系统和数字技术的发展，虚拟现实技术被运用在了各个行业领域，其拥有高沉浸式观察体验与精准的虚拟交互能力，在远程遥操作方面具有巨大的优势。首先通过对作业区域进行更大范围的图像捕获，再通过本地计算机进行图像融合处理，渲染显示成沉浸式虚拟现实画面，作业人员可通过佩戴虚拟现实设备观察，仿佛置身于作业区域。同时采用虚拟现实光学定位手柄作为操作输入，对机械臂进行直观控制操作。本文提出一种基于向虚拟现实的沉浸式遥操作系统，该设备用于高压电力作业区域的机械臂遥操作控制，可实现全景图像采集与融合、虚拟现实沉浸式实时监测、手柄定位操作与输入。该装置能安全可靠完成高压作业区域遥操作的区域监视并与操作人机交互，提高了高压作业区域遥操作的准确性，提升了效率。

1 方案设计及关键技术

1.1 需求分析

基于虚拟现实的沉浸式遥操作系统的设计应满足以下功能需求：全景视频流的采集传输融合功能：基于向虚拟现实的沉浸式遥操作系统能在作业区域内捕获覆盖完全的的监视画面，实现实时视屏流传输与实时融合，生成360°实时全景监视画面；虚拟现实沉浸式渲染：系统需具备沉浸式渲染能力，将360°监视画面映射为沉浸式观察模式并进行渲染；控制手柄定位与输入：系统具备一款控制手柄，能基于光学准确定位，可在虚拟现实环境中实现控制交互输入。

基于虚拟现实的沉浸式遥操作系统由监视捕获模块与虚拟现实服务器两部分组成。监视捕获模块位于搭载操作机械臂的升降式平台上，负责对机械臂所在作业区域四周的画面进行监视捕获，通过无线局域网络传输视频流数据至操作室的服务器主机，并在主机端完成图像融合；虚拟现实服务器部署在操作室内，获取融合后的360°监视画面，负责在虚拟现实场景中实现视频数据映射与渲染，并具备虚拟现实沉浸式监视与沉浸式控制交互功能。

基于虚拟现实的沉浸式遥操作系统接入实际机械臂控制操作系统，最后可将虚拟输入指令传输至机械臂控制操作系统进行控制。

图1 基于虚拟现实的沉浸式遥操作系统系统框架

1.2 全景拼接技术

基于虚拟现实的沉浸式遥操作系统采用双鱼眼镜头拼接，单一鱼眼镜头具备超广角，可覆盖视场角大于180°，双鱼眼全景拼接较为高效，在满足全景监视的效果下可做到高实时性。在作业区域设置一对网络鱼眼摄像头，一正一反安置以覆盖大于360°作业区域，实时获取视频流数据并通过无线网络传输至服务器，进行后续的图像拼接处理。

1.2.1 图像特征匹配融合

图像特征提取与匹配是计算机视觉技术的一种技术方法，可提取图像或视频中的色彩纹理形状的特征信息并进行描述与匹配，在此基础上的图像特征匹配融合是将两个鱼眼监视画面通过特征匹配的方法，对监视画面进行特征点配准、图像裁剪与缝合。实现流程如下：鱼眼视频流输入1/鱼眼视频流输入2-视频流解析提取-图像帧同步及予处理-特征点匹配-旋转角计算-双旋转矩阵计算-图像融合。首先对双鱼眼视频流进行提取，在进行图像帧同步及预处理后，使用图像映射的方法将两个鱼眼的原始图像映射在球面，然后在两者产生重叠区域位置进行特征点查找与匹配，使用矩阵变换的方法对齐匹配的特征，将两个鱼眼画面拼合成一个360°全景画面，生成拼接重叠区域。

采用基于图割能量优化[1]的方法寻找最优缝合线，将图像中的像素点视为图中的节点，相邻的像素间存在一条无向带权边，图结构由待拼接的两幅图像的重叠区域生成。权重能量函数计算公式一般为通过多波段融合获得叠加区域，然后缝合左右两边的原图像，按距离加权对重叠图像进行加权融合。缝合线单边加权融合过程可表示为。

1.2.2 图像融合亮度补偿

由于不同视角区域的光照强度不同，鱼眼摄像头的视频流在曝光度会存在差异，在重叠区域完成对齐匹配后，利用亮度补偿来对匹配重叠区域与之相邻的边缘区域进行图像融合。首先选取完成对齐后的重叠区域并向周边拓展1/5重叠区域范围，测算得出两个重叠区域的平均灰度值；选取重叠区域并向内拓展1/5重叠区域，求出一个加权平均值。然后重新调整两个全景画面的亮度，并在重叠区域实现亮度过渡。

1.3 虚拟现实技术

Inside-out 空间定位：目前光学定位技术分为Inside-out 内向外追踪技术与Outside-in 外向内追踪技术。由于操作室空间范围小，头戴显示器与虚拟现实手柄易被遮挡出现光学盲区。Inside-out内向外追踪技术可不受遮挡问题影响，也不受传感器监测范围限制，适用于小空间虚拟操作空间定位。本项目采用了Inside-out 虚拟现实头戴式显示器。设备置于操作室中，通过设备上的6个光学摄像头捕获操作室内的图像数据，使用三角定位算法将图像数据提取为空间特征点锚定，从而定位操作室内空间。在操作手柄的定位中同样使用光学特征匹配手柄位置，然后配合更高效的运动跟踪算法实时追踪手柄位置，以达到在小空间内的操控定位。

虚拟现实显示技术：通过模拟视觉反馈的方式将作业人员从真实空间带入虚拟沉浸空间，并通过三维空间运算计算沉浸式交互反馈，给作业人员身临其境的沉浸式体验。本项目采用投影映射方式，首先获取拼接完成的全景视屏流数据，将其通过UV 空间映射展开，在三维渲染引擎中映射于球体模型上并对其进行纹理渲染，这样就可获得360°无死角的球形全景监视画面。将摄像机设置在球体中心，使用由摄像机发出的锥形区域裁剪球面，经过几何运算和光栅化后分别输出左右眼渲染画面至头戴式显示器。虚拟现实头戴显示器是一种成像显示设备，主要是为将渲染输出的图像画面通过小型高分辨率屏幕显示，在屏幕与人眼间增加一块凸透镜，屏幕光通凸透镜偏着后传入人眼，虚拟建立了人眼的可视焦距，作业人员实际看到的影像要更大更远，可完全沉浸入虚拟场景中。

图2 球形UV 空间映射

手部控制器交互：虚拟现实控制器为手握式手柄，控制手柄具备按钮输入功能、扳机输入功能、摇杆输入功能与自身姿态输入功能。输入数据通过蓝牙传输至头戴式显示器，通过服务器进行交互逻辑与控制逻辑计算后将输出至实际机械臂控制系统。控制手柄具备光学特征可被头戴显示器的摄像头捕获定位。通过三角定位计算获得控制手柄相对于头戴显示器的位置与姿态，通过多次坐标系变换，在锚定的虚拟显示世界中计算出世界坐标与欧拉角，完成姿态计算。

2 硬件设计及软件设计

2.1 鱼眼摄像机

本文采用两个相同配置的鱼眼摄像机捕获作业区域影像，选用海康威视DS-2CD3955FWDIWS。该鱼眼摄像机支持500万像素逐行扫描CMOS，最大可输出2560×1920@30fps 实时监视图像；支持日夜两套参数独立配置，支持smart IR与ICR 红外滤片式自动切换，可防止夜间红外过曝；具有多种白平衡模式，支持背光补偿,适应不同作业监视环境；支持无线网络传输，传输距离可达50米；支持H264与H265编码方式。该摄像头具有一个电源接口、一个485接口、一个网口、一个音频输入输出接口与一个报警器接口，具备清晰度高、环境适应性好、稳定性高、鱼眼边缘扭曲小等特性，非常适合用来捕获机械臂作业区域影像，其参数配置如下。

图像处理：支持画面矫正，支持背光补偿，3D数字降噪；传感器类型1/2.5”Progressive Scan CMOS；视频压缩标准Smart265/H.265/Smart264/H.264/MJPEG；主码流分辨率与帧率：50Hz时为25fps(2560x1920,2048x1536,1280x960)、60Hz时为30fps(2560x1920,2048x1536, 1280x960)；支持协议：TCP/IP,UDP,ARP,ICMP,HTTP,HTTPS,FTP,DHCP,DNS,DDNS,RTP,RTSP,RTCP,PP PoE,NTP,UPnP,SMTP,SNMP,IGMP,802.1X,Q oS,IPv6,Bonjour；通讯接口：1个RJ4510M/100M自适应以太网口；无线指标：2.4GHz，50米无遮挡无干扰传输11b:11Mbps 11g:54Mbps 11n:上限150Mbps；工作环境：-10℃～40℃,湿度小于95%(无凝结)；电源功耗：DC12V±25%//PoE(802.3af)，6.7WMAX；尺寸：ø119.9×41.2mm。

2.2 虚拟现实服务器

本文选用虚拟现实服务器为惠普（HP）Z1G6-Z4台式工作站，具有高性能图形渲染能力与强大的中央处理计算能力，能够同时完成视频流图像实时拼接与虚拟现实映射渲染。在主要的硬件配置上，该服务器选用的CPU 为八核英特尔酷睿七代处理器，运算速度为2.9GHz；GPU 采用的为英伟达RTX2080S,显存8Gb,图像渲染效果较好；内存采用的为16G 双通道内存；硬盘选用2T 的大容量硬盘配合256G 的固态硬盘。性能上该服务器足够满足系统的正常运行且外围接口丰富，可方便的进行升级和扩展。

2.3 虚拟现实头戴显示器及控制器

虚拟现实头戴显示器是作人员佩戴的成像显示终端，本文采用HTC VIVE COSMOS头盔为Inside-out定位，其具备高清的pixel-packed LCD屏，支持real-RGB色彩显示，屏幕可见光通过菲涅尔式透镜传入人眼，可调节屈光度且无明显的纱窗效应。支持对周围环境图像降噪拼接，在显示器中模拟显示真实环境。头盔在同类产品中具有重量轻、分辨率高、对空间依赖度低等特点。其参数配置如下：pixel-packed Real RGB LCD显示屏；分辨率2880×1700双目；视场角最大110度；刷新率90Hz；传感器G-sensor校正、gyroscope陀螺仪、proximity距离感测器、瞳距校正感测器；接口USB3.0、Displayport1.2；机身宽度199mm、机身高度145mm、机身长度275mm。

虚拟现实控制器是作业人员人机交互输入端，本文选取VIVE COSMOS 操控手柄，该手柄的控制按键具备touch 检测、press 检测功能，使用方便（图3）。

图3 VIVE COSMOS 手柄按键

2.4 软件设计

基于向虚拟现实的沉浸式遥操作系统软件基于Unity3D2019.3.4版本，使用Visual studio2015开发工具，开发语言为C#，软件系统包含如下功能模块：

串流获取模块：对摄像机采集的RTSP 网络视频串流进行读取；H265编码解码模块：对网络串流H265编码格式进行解码，获得实时视频画面；全景拼接模块：负责对两个鱼眼实时监视画面进行图像特征匹配拼合，并完成曝光补偿与画面融合；全景映射模块：通过对鱼眼全景拼接画面的UV 空间映射，完成360°的全景球形图像；虚拟现实渲染模块：负责实现摄像机锥形裁剪、顶点shader 渲染、三角面绘制与图像栅格化，最终输出DP 信号至头戴式显示器。

光学定位模块：实现对头戴式显示器进行空间定位与补偿，并对控制器进行光学定位；控制器渲染模块：在虚拟场景中对控制器的形状、色彩进行描绘并最终渲染显示，为作业人员提供视觉反馈和辅助信息；控制器输入模块：通过对控制器按钮摇杆及其自身位置的实时状态检测，获得控制器的输入操作；控制设备接口模块：与机械臂设备建立通信接口，将控制器输入操作绑定至机械臂设备；网络通信模块：负责服务器与全景摄像机、机械臂设备间的网络通信。

3 结语

高压电气设备及电力传输线路是维系社会正常运转的重要基础设施之一，在电力输送的任意一环出现故障都会导致严重的经济损失，在问题出现后的高效抢修是非常重要的。本文提出一种基于向虚拟现实的沉浸式遥操作系统，该设备用于高压电力作业区域的机械臂遥操作控制，可实现全景图像采集与融合、虚拟现实沉浸式实时监测、手柄定位操作与输入。该装置能安全可靠完成高压作业区域遥操作的区域监视与操作人机交互，提高了高压作业区域遥操作的准确性，提升了效率。