陶 杰, 朱熙豪, 郑于海
(浙江省机电设计研究院有限公司, 浙江 杭州 310000)
随着我国公路领域的迅速发展,隧道机电系统也朝着智能化方向发展。隧道机电系统是隧道运营管理的主要依托工具,主要包括监控通信设施、照明设施、通风设施、消防设施及配电设施。为保障隧道实现安全、高速、畅通、舒适等功能,对隧道机电系统的日常养护与监测十分必要。在当前的隧道机电设备巡检中,普遍以人工巡检为主,并配合一定的信息化手段,例如自动化程度较高的专用移动巡检机器人,但当前的技术难以完全替代人工巡检;还有通过固定摄像机,采用人工智能技术对机电设备进行监测,但这种模式难以对所有设备进行全覆盖。
虽然人工智能、物联网等前沿技术的进步为隧道机电设备提供了智能检测的技术基础,但是人工巡检仍是当前不可或缺的巡检方式,利用现有技术去辅助人工巡检而不是取代人工巡检或具备更好的可行性。为规范隧道的养护管理工作,2015年交通部修订发布了JTG H12—2015《公路隧道养护技术规范》,明确提出了“预防为主、防治结合”的隧道养护工作原则,修订了隧道机电设施的养护规定,要求强化隧道巡检等预防性养护措施。为提高隧道巡检的科学化水平及效率,新规范明确要求公路隧道鼓励运用信息化手段,实现高效、科学的养护管理。随着新一代机电系统开始大规模应用于隧道内,机电设备种类型号、新旧程度等的差异增加了设备巡检工作的难度,加之巡检人员业务能力已难以支撑当前高度智能化、集成化的机电设备的巡检任务,直接导致了巡检时耗大、误检率及漏检率高,如何实现高质量、高效率的巡检已迫在眉睫。因此,本文提出基于AR的人工巡检辅助系统,通过AR技术提高人工巡检的效率与准确率。
增强现实(augmented reality,AR)是一种全新的人机交互技术,是通过图像处理和可视化技术产生虚拟对象,使用传感技术将虚拟对象准确放置到现实中,可以实现现场与虚拟场景的叠加,让真实世界和虚拟物体共存[1]。基于AR系统的研究主要包括真实环境与虚拟对象的融合、精确定位、追踪技术以及人机交互等方面,最终通过手机等终端安装AR软件,将虚拟与真实完美叠加。
自20世纪90年代提出AR技术以来,国内外高校、研究所和大型企业在基于AR技术的巡检与运维领域取得了一定的研究成果。Lorenz等[2]将AR眼镜和智能巡检机器人连接起来,实现可靠、安全的远程维护;Perla等[3]提出了基于AR的巡检框架,用于工业检测领域中的维护和维修辅助等;Jayaweera等[4]在物联网系统中启用AR穿戴设备,增强了机械操作工和修理工的巡检能力;Ribeiro等[5]提出了以虚拟现实技术为基础的沉浸式变电站操作人员培训系统,通过头戴式头盔对虚拟变电站环境进行操作,达到培训员工准确地完成维护和紧急操作的目的;Hamidane等[6]设计了基于增强现实的预防性维护系统,使用3D模型、图像及文本,实时虚拟帮助技术人员维护和检查设备,该系统不仅可以降低预防性维护的成本,还可以监控预测故障。郝腾飞等[7]从三维建模、虚拟场景搭建、可视化交互及网络连接等方面详细阐述了AR巡检系统设计时所需关键技术;肖东裕等[8]开发的基于AR技术的变电站设备运维辅助系统,降低了设备现场维修的难度并提高了运维效率、质量,同时增加了相关设备运维技能培训的AR渲染效果。
综上所述,国内外专家对AR技术进行了深度的研究和验证,且在机电设备维护巡检方面已有成熟的应用。但AR技术在隧道巡检领域的相关研究较少,缺乏结合实际的应用验证。本文通过分析隧道巡检的技术现状和存在的问题,结合未来智慧隧道发展的方向,研究并验证隧道AR人工巡检辅助系统。
本文利用AR渲染、移动互联网等技术与设备运行信息、典型问题处置方法等经验,构建了一套隧道AR虚拟巡检远程协助系统。该系统工作原理如图1所示。
图1 系统工作原理
本系统利用AR终端来获取真实隧道设备的信息与数据,并结合3D交互与AR渲染,从而将设备的信息与实时数据、巡检任务单、智能解决方案和虚拟设备手册等数据信息与现实叠加。
使本系统正常工作的基础包括终端设备、数据源和服务器等物理设施,以及一个相通的网络系统。系统物理与通信架构如图2所示。
AR终端在隧道内利用4G/5G从广域网通过安全接入平台接入隧道运营方内网[9],实现了隧道运营数据的获取与传输,有效维护了隧道运营方内网的安全。数据源与服务器构建一个独立的局域网,该局域网通过防火墙与安全内网相连,这样可以保证应用网络的相对独立性,以充分保证网络的安全性。
基于AR的隧道机电设备巡检系统工作流程如图3所示。
1)在平台上设定好每个巡检人员的巡检方案,填写任务名称、任务完成时间、任务责任人等基本信息,明确本次待巡检的作业流程和作业内容。
2)巡检人员利用AR终端接收任务,根据任务流程进行作业,使用基于计算机视觉的精准室内定位技术,实现巡检员在巡检时的实时定位。通过在地面上放置虚拟的指引箭头,实现虚拟巡检指引[10]。
3)通过AR终端将实时画面传输至平台,平台对画面进行识别,将识别信息和关键数据传输回AR终端,辅助巡检人员对设备是否异常作出精准判断。
4)AR终端快速识别出需要巡检的机电设备信息,后台将该设备实时数据迅速传递至AR终端,并通过叠加标记数据异常的机电设备,可以全方位720°对机电设备进行查看并分解,查看内部结构与运作情况。
5)巡检人员通过AR终端所显示的机电设备实时数据及后台算法所提供的设备健康值判定设备异常故障后,平台同时使用算法自动推荐合适的解决方案。若巡检人员无法解决,现场巡检人员可以通过AR远程指导获得专家的帮助,专家通过实时看到现场巡检人员的操作内容并听到清晰的语音,从而进行指导。
6)远程专家可通过移动端或PC端实时连接现场巡检人员的AR终端,查看现场视频。远程专家具备操作系统,可以在视频画面上标注信息或传输处理方案信息等。专家也可以抓取静态图像并放大检查细节,对实时视频或静态图像进行批注讲解,帮助缺乏经验的巡检人员增长经验,减少停机时间、降低差旅成本。
7)自动记录巡检电子记录单,并将其收录检修知识库,包括故障原因分析和故障排查、故障处理步骤、设备使用手册和配置说明、故障的影响及影响范围,为下次巡检提供更多的数据源,以利于AI智能解决方案的学习。
8)完成巡检任务。
图3 AR巡检工作流程图
本系统的实现是针对各个机电设备的不同特征进行提取,构建好所有机电设备的特征样本数据库,利用AR终端获取图像并进行识别与匹配。在识别与匹配算法研究上,针对隧道场景的特点,对SURF算法进行优化[11],提高了识别性能。对于检测到的机电设备,返还识别结果和位置信息进行AR渲染。AR渲染建立了现实世界与屏幕之间的映射关系,使想要展示的信息、数据或三维模型叠加在实物上并可以在屏幕上看到。巡检人员使用AR终端就可以看到机电设备的信息与实时数据、巡检任务单、智能解决方案和虚拟设备手册等。
识别匹配算法本质上是要在AR终端的摄像机画面内识别出所有样本数据库中存在的机电设备并与之匹配。当AR终端的摄像头开始获取图像画面后,提取画面内特征点并与样本特征点进行比较,如果匹配数量超过阈值,即可认为捕获到该样本。
常用来进行物体辨识和图像匹配的算法是SIFT和SURF算法,且都能较好地解决尺度不变的问题。尺度不变性如图4所示。
图4 尺度不变性示意图
SIFT算法特征稳定,但实时性不高,对隧道内有些边缘不明显设备的特征点提取能力弱。SURF算法步骤与SIFT算法大致相同,但是改进了特征的提取和描述方式,具备更强的特征值点提取能力和实时性[12]。
2.1.1 构建Hessian矩阵与尺度空间
SURF算法的核心为Hessian矩阵(见式(1)),是一个多元函数的二阶偏导数构成的矩阵[13],可以生成图像稳定的边缘点,为下文的特征提取做好基础。
(1)
式中x,y为像素点坐标。
Hessian矩阵的判别式为:
(2)
判别式取得局部极大值时像素点的坐标即为关键点的位置。在SURF算法中,图像像素I(x,y)取代函数值f(x,y)[14],并使用二阶标准高斯函数对其进行高斯滤波,使特征点具备尺度无关性:
L(x,t)=G(t)·I(x,t)。
(3)
通过特定核间的卷积计算二阶偏导数,计算出3个矩阵元素Lxx,Lxy,Lyy,从而得到矩阵:
(4)
SURF算法从9×9的箱式高斯滤波器开始,如图5所示。为了保持尺度空间的连续性,SURF算法尺度空间相邻组中有部分层重叠。改变滤波窗口大小来获得不同尺度的图像,构成了尺度空间。
(a) x方向 (b) y方向 (c) xy方向
2.1.2 特征点主方向分配并生成描述子
将经过Hessian矩阵处理的每个极值点与二维图像空间和尺度空间邻域内的像素点作比较,并筛选出最终稳定的特征点。
当得到领域内所有点的矢量后,需要确定该特征值点的主方向。将领域以每60°为一个区间,逐一统计每个区间内所有点加权矢量和,然后遍历整个领域内的所有特征点。该特征点的主方向由值最大的区间的方向确定,如图6所示。
图6 特征点主方向
以图6中3个区间领域为例,可认为该特征点主方向由15°~75°区间领域梯度方向确定。
沿着特征点的主方向选定一个矩形区域块,如图7所示。
(a) 领域梯度方向 (b) 关键点特征向量
以主方向为基准,建立X轴和Y轴,每个子区域统计X和Y方向的哈尔小波特征[15]。该哈尔小波特征为水平方向值代数和、垂直方向值代数和、水平方向绝对值之和以及垂直方向绝对值之和[16]。把这4个值作为每个子块区域的特征向量,共有4×4×4=64维向量作为SURF算法特征的描述子。最终将向量归一化,得到SURF算法一个特征点的描述子[17]。
2.1.3 Lowe’s算法优化筛选特征点匹配
特征点匹配常用的办法是对2个图像中的特征点进行提取,然后以一个最佳的阈值来判断特征点是否匹配。SURF算法也是采用类似的原理,其通过计算2个特征点间的欧式距离来确定匹配度,也就是最邻近匹配算法(见式(5))[18]。欧氏距离越短,代表匹配度越高。基于SURF算法的特征点匹配如图8和图9所示。
(5)
图8 SURF算法特征点匹配
图9 有干扰下的特征点匹配
由图9可知,在有干扰下的特征点匹配效果欠佳,存在些错误匹配,所以需要进一步筛选匹配点,来获取最优的特征点匹配。
本文选用Lowe’s算法来优化匹配点。即先取其中一图中的一个关键点X,并找出其与另一图中欧式距离最近的2个关键点Y和Z[19]。如果最近的距离除以次近的距离得到的比率R不大于阈值T[20],则接受这一对匹配点,即:
(6)
本文对大量隧道内的图片进行了匹配。经过试验发现: 阈值T在0.5附近匹配效果最好; 当阈值T<0.5,则匹配点会大大减少;当阈值T>0.5,则匹配点存在较多错误匹配。运用Lowe’s算法后排除了大量因为遮挡和背景混乱而产生的无匹配关系的关键点,大大减少了计算量。优化后的特征点匹配如图10所示,取得了较好的效果。
图10 优化后的特征点匹配
2.1.4 PSO融合优化识别匹配
隧道内同类型机电设备众多,对于相同型号的设备难以实现精准匹配。利用机电设备的固定性,对每个设备新增其地理位置或特定标签等唯一属性。由于隧道内GPS/北斗定位信号弱,可以通过隧道内5G室内高精定位获取用户的地理位置和后台数据库里该位置附近物体的POI信息,再通过AR智能终端里的电子指南针和加速度传感器获取方向和角度,从而建立基于目标物体唯一属性的识别匹配。当利用唯一属性完成识别匹配后,需要将唯一属性识别匹配与SURF算法识别匹配的结果进行融合。因为识别匹配算法的本质是将现实中的目标与后台数据库里的目标进行关联,利用定位获取用户地理位置,与后台数据库里该位置附近物体的POI信息进行关联后,相较于整个隧道的物体数量而言,匹配的难度大大降低,有助于识别匹配的准确性。
PSO算法具备较强的信息融合优化能力。首先在可解空间中初始化一群粒子,每个粒子都代表极值优化问题的一个潜在最优解[21],用位置、速度和适应度值表示该粒子特征,速度决定其飞翔的方向和距离,适应度值由适应度函数计算得到,其值的好坏表示粒子的优劣。利用PSO算法寻找目标物体在后台数据库关联度最优的一个解,用户地理位置附近的一些物体则抽象成一群粒子,每个粒子都代表目标物体关联问题的一个潜在最优解,再通过关联度来抉择粒子是否为最优匹配对象。
本系统选择PSO信息优化算法对SURF算法识别匹配的结果和唯一属性识别匹配的结果进行优化关联融合,有助于识别匹配的准确性。其融合流程如图11所示。
图11 PSO信息优化算法
将用户地理位置附近范围内的物体集合作为一个D维的搜索空间,由n个代表物体的粒子组成一个种群X=(X1,X2,…,Xn),其中向量Xi=(Xi1,Xi2,…,XiD)T代表第i个粒子在D维的搜索空间中的位置,也代表一个潜在解[22]。
根据匹配关联度即可计算出每个粒子位置对应的适应度值。
第i个粒子的速度为:
Vi=(Vi1,Vi2,…,ViD)T。
(7)
其个体极值为:
Pi=(Pi1,Pi2,…,PiD)T。
(8)
种群的全局极值为:
Pg=(Pg1,Pg2,…,PgD)T。
(9)
粒子每更新一次位置,就计算一次适应度值,并通过比较新粒子个体极值的适应度值和群体极值的适应度值来更新自己。个体极值就是粒子本身所找到的最优解,群体极值是整个种群找到的最优解。更新公式如下:
(10)
(11)
式(10)—(11)中:ω为惯性权重,体现的是粒子当前速度多大程度上继承先前的速度;d=1,2,…,D;i=1,2,…,n;k为当前迭代次数;Vid为粒子的速度;c1和c2为非负常数,称为加速度因子;r1和r2为分布在[0,1]的随机数。
为防止粒子的盲目搜索,本系统将其位置和速度限制在[-Xmax,Xmax]、[-Vmax,Vmax]。
为了平衡算法的全局与局部搜索能力,本文经过实际场景的运用,选用线性递减惯性权重LDIW,即
ω(k)=ωstart-(ωstart-ωend)·k/Tmax。
(12)
式中:ωstart为惯性权重;ωend为迭代至最大次数时的惯性权重;k为当前迭代代数;Tmax为最大迭代代数。
ωstart=0.86、ωend=0.35时算法性能最好。
当完成机电设备的匹配识别后,需要将AR渲染效果加载到匹配识别的机电设备上,也就是跟踪注册技术。跟踪注册技术需要计算出机电设备所在的三维空间内的位置,从而可以确定AR渲染效果在真实场景中的位置。因此,计算出机电设备在三维空间中的一系列坐标转换关系是首要任务。
(13)
式中: 矩阵C为摄像机内参矩阵,只与内部几何构造有关; 外参矩阵Tm为摄像头在真实世界坐标系下的姿态,需要根据屏幕坐标(xc,yc)和事先定义好的坐标系以及内参矩阵来估计Tm[23]。
经过计算机视觉处理算法,即可实现现实场景中标识上的[XmYmZm1]T到二维成像平面对应点[xcyc1]T的计算[24]。由于内参矩阵为C定值,确定了外参矩阵Tm即可完成摄像机标定。当计算出标识在各坐标系转换之间的关系后,就能实时跟踪标识在三维空间中的变化位置并完成虚拟模型叠加,实现跟踪注册的目的[25]。本文以甬台温复线渔寮隧道为实施对象,隧道内AR渲染效果如图12所示。
(a) 渲染前隧道实景
(b) 实时渲染效果
(c) 选定设备下的渲染效果
图12(a)为隧道内未渲染的实景。如图12(b)所示,通过AR终端在有效范围内可以看到实时渲染效果;针对不同类设备以不同颜色进行区分,路面呈现根据巡检任务自动规划的巡检指引线路;右上方具备巡检小地图功能,左上方具备菜单栏、任务栏、重置、路线、自动等功能。如图12(c)所示,通过AR交互技术选择特定的某一设备即可获取其实时运行数据及状态,并可以查看其3D结构、手册详情、设备检查、远程协助等功能。
图13(a)为未渲染的机电设备实景。如图13(b)所示,AR终端在巡检模式中除了图12(c)中的功能外,还可以查看到设备的详细数据及历史数据等。将基于大数据的设备全生命周期分析和综合展示进行虚拟叠加,为巡检决策提供依据。
(a) 渲染前机电设备实景
(b) 实时渲染效果
当完成识别匹配和虚拟效果渲染后,巡检人员需要对AR虚拟效果进行交互。
手机与AR眼镜哪种作为AR终端更符合隧道运营方也是一个需要考虑的问题。手机作为AR终端的基础工具,性价比高,只需要开发手机端程序即可使用,但是其性能远低于AR眼镜;而AR眼镜较重,并不适合长时间佩戴,用户体验效果不佳。因此,本文拟将AR眼镜与安全头盔进行结合,有效提升设备性能与集成化,并进行现场应用,如图14所示。
(a)(b)(c)
如图14(a)所示,AR终端将电源内置于安全头盔处,能有效降低AR眼镜的质量,使巡检人员的负荷更加合理。该AR终端的镜片透光率高,不会影响巡检人员观察路况的视线。图14(b)与图14(c)则示出巡检人员处于巡检状态,如隧道传统日常巡检一样,在巡检过程中不中断交通,采用步行方式,配备AR终端进行巡检。
对于AR终端,比较方便的交互方式是手势、语音和遥控器。遥控器操控是一种传统的交互方式,唯一的优点就是能保证交互的准确与高效,但是不利于巡检人员解放双手;手势操控只在一定程度上解放了双手,仍需要频繁地用手进行操作;语音操控则可以全面解放巡检人员的双手,但其智能程度也远远达不到AR交互需求,只能作为辅助操作工具。
在实际使用中将结合眼控交互。眼睛的运动分为注视和扫视[26-27],如在一个虚拟界面中,眼睛的扫视运动轨迹能够反映在虚拟界面中,达到虚拟界面的上下拉动,以注视的时长作为触发阈值,从而实现某虚拟物体的放大和缩小。也可以将眼控交互作为选择性的操控,使某选项处于待激活状态[28],再搭配语音交互或者通过某个特定手势交互进行激活,例如通过人体手指的运动进行界面操作,将实现最基本的点选、拖拽操作,这种多重交互协作方式将会有效避免误触发。
为验证AR隧道虚拟巡检系统的有效性和可用性,本文将从匹配性能和AR渲染性能2方面对AR隧道虚拟巡检系统的性能进行测试,并结合实际运行效果与传统人工巡检效果做出对比评估。
本文将从识别匹配时耗和识别匹配准确度来评估匹配性能。其中,测试环境依托近年新建的甬台温高速公路复线温州瑞安至苍南段渔寮隧道,其长度为5.86 km,内部光照条件良好且机电设备齐全。本试验选取了隧道内常有的机电设备,包括消防水泵、射流风机、摄像机、控制箱、照度仪、车道指示器、环境检测器、可变标志作为测试类别,每类测试类别分别挑选10个外形不一的测试设备,每个测试设备在720°全方位下以间隔7.2°为截图点截取100张,即每类机电设备获得了1 000张测试集。最终以不同车流量为环境参数变量验证本系统在实际环境下的实用性。
3.1.1 识别匹配耗时测试
将测试集数据通过SURF算法、Lowe’s算法优化后的SURF和PSO融合优化后的识别匹配算法分别测试识别匹配的效率,统计各机电设备类型1 000个测试案例的平均耗时来作为评判依据,见表1。
表1 识别匹配耗时
可以发现,Lowe’s算法优化后的SURF大大降低了识别匹配时耗,而PSO融合优化后的识别匹配算法虽然在优化后的SURF算法上融合了独有特征的识别,但对比于优化后的SURF算法只略微增加了识别匹配的时耗,仍然具备超过传统SURF算法的效率。
3.1.2 识别匹配准确度测试
识别匹配的准确度是匹配性能的核心,将测试集数据通过SURF算法、Lowe’s算法优化后的SURF和PSO融合优化后的识别匹配算法分别测试识别匹配的准确度,并采用人工验证统计各机电设备类型1 000个测试案例的平均匹配准确度,见表2。可以发现,Lowe’s算法优化后的SURF算法与传统SURF算法的识别匹配准确度相似,并无多大提升,且对于消防水泵和控制箱等所处周边环境比较复杂的情况下识别匹配准确率不高。而PSO信息优化算法对SURF算法识别匹配的结果和独有属性识别匹配的结果进行优化关联融合,极大地提升了识别的匹配准确率,各类机电设备的匹配准确率均高于95%,虽然在实施过程中增加了一定工作量,但保证了识别匹配的准确率。
表2 识别匹配准确度
然而,测试案例并不能完全体现隧道内实际情况,因此需要对不同环境参数下的识别匹配准确度进行测试。由于车辆的车灯照明及尾气会对隧道环境参数造成较大影响,本文以车流量的变化来量化环境参数的改变,从而测试本系统在不同环境下的识别匹配准确率。由于测试时难以保证每次车流量的完全一致,通过按范围来划分并分别进行10次实地测试,最后采用人工验证统计各车流量区间下的平均匹配准确度,见表3。
表3 不同环境参数下的识别匹配准确度
由表3可知,随着车流量的增大,隧道内的环境会发生很大的改变,汽车灯光与尾气等均会对识别匹配产生严重的干扰。由于照度仪、车道指示器和可变标志直接处于隧道中间,所受的影响也是最大,其识别匹配准确率下降较大;摄像机与环境检测器虽然处于隧道两壁,但是其识别匹配准确率也有下降;消防水泵与控制箱则处于隐蔽处未受影响。
本文将从渲染耗时和渲染有效性来测试评估匹配性能。
3.2.1 渲染耗时测试
当视频帧数达30帧以上即具备流畅性,因而需要保证每一帧渲染时耗小于33 ms。本文挑选15个不同机电设备作为测试场景进行AR渲染耗时测试,如图15所示。
图15 渲染耗时统计图
由图15可知,15个案例的平均渲染时耗都维持在25 ms/帧以下,且运行时无明显卡顿,由此可以判断本系统的三维模型渲染能够满足实时性的要求。
3.2.2 渲染有效性测试
在进行渲染有效性评估时,由于不便量化,本文以在不同距离下的渲染是否成功来衡量渲染的有效性,并统计到表中。其中,√表示渲染成功,×表示无渲染,-表示时有时无。以20 cm为视距间隔对所有机电设备进行渲染有效性测试,只要当前视距间隔内有一类设备渲染不成功均视为该视距无渲染,见表4。
表4 渲染有效性统计
由表4可知,当机电设备在距离AR终端视距小于20 cm时,由于机电设备在摄像机视觉内过大,摄像机只能获取部分特征点,无法完成识别;当视距大于200 cm时,由于像素点过少,摄像机获取的特征点较少,也一样而无法识别;当机电设备在距离AR终端视距40~220 cm的情况下均能完成渲染。基本上只需要捕获300个有效像素就可以进行精准识别,满足现有场景下的隧道巡检,后期可以通过提升AR终端的像素来改进识别的距离,但是同样会增加识别匹配和渲染的时耗,这是后期改进的方向。
为验证AR辅助巡检系统的实际运用效果,对比传统人工巡检检测内容,从巡检耗时与巡检准确率2方面进行验证。
通过选取正常巡检的时间点,在传统人工巡检的基础上新增1名巡检人员,采用AR辅助巡检方式持续1个月每日按时进行巡检,最后由复核人员核定巡检耗时、误检率、漏检率及准确率并取平均值,对比结果见表5。
表5 实际运用效果对比
可以发现,AR辅助巡检系统相对于人工巡检有明显优势,总体准确率约为94%,平均耗时缩减为传统人工巡检的54%,且未发生漏检情况。人工巡检效率低、误判率高且存在漏检的情况,利用AR辅助巡检系统能通过系统规划的巡检路线有效避免漏检的情况,且系统所展示的设备实时数据及辅助决策功能大大降低了巡检时间,有效减少了误检率。
本文研究和设计了基于AR的隧道虚拟巡检系统,在一定程度上能提高设备巡检效率和质量,实现AR可视化指导、智能识别、辅助巡检。具体研究成果如下:
1)选择Lowe’s算法优化SURF的匹配点,排除了大量因为遮挡和背景混乱而产生的无匹配关系的关键点,减少了计算量,有效地提升了本系统AR渲染效果的实时性。
2)提出PSO信息优化算法对SURF算法识别匹配和唯一属性识别匹配的结果进行优化关联融合,提升了识别匹配的准确性。
3)计算出机电设备所在的三维空间内的位置,从而确定AR渲染效果在真实场景中的位置。通过对各坐标系转换后,完成实时虚拟模型叠加,实现跟踪注册。最终系统通过匹配性能和AR渲染性能及实际运行效果测试评估,总体准确率接近94%,平均耗时缩减为传统人工巡检的54%,且未发生漏检情况。
通过对基于AR技术的隧道人工巡检辅助系统进行深度的研究与实践,在实际应用中取得了较好的效果。但未来仍需对以下几个方向的技术问题深入研究:
1)本系统的AR渲染效果在隧道环境复杂情况下匹配准确度有较大下降,尤其在大尺度场景中,误差漂移严重,因此,本系统AR渲染效果的精确性需要进一步优化。
2)对于本系统的人机交互逻辑、AR终端的集成化和触觉反馈硬件提升也是未来研究的方向。
3)未来将做到对机电设备虚拟模型的拆分,这样更有利于巡检人员发现问题和解决问题,其中的精准模型构建将是深入研究的方向。