曹伟伟
(唐山工业职业技术学院 河北 唐山 063299)
人工智能的高速发展令无人机技术的应用范围更加广泛,成为辅助获取工程现场信息的重要手段,为人们了解现场地形,提高施工措施准确率提供数据参考[1]。目前,无人机在工程现场的应用多是通过一次性飞行来获取大量影像数据,然后返回基地进行后续信息处理,无法做到实时监测和数据传输,这也是传统空中三角测量方法的弊端[2]。另外,搭载了视频传感器的无人机所获取到的视频影像通常会以视频流的形式进行动态展示,没有地理信息,虽然可以帮助人们了解现场但无法作为分析和量算的参考[3-4]。因此只有让获取到的现场信息配合地理位置信息同时出现,才能更好地提升应急处理的效果。本文构建出一套测绘无人机应急智能服务系统,希望能够同时实现现场可视化分析、现场三维情境构建、在线实时检测、人员与设备实时在线监管、全流程应急处理和一体化智能服务功能。
在进行测绘无人机应急智能服务体系架构的设定时,首先需要遵循现场中测绘地理信息的服务需求,并且要将实际应用环境充分考虑在内。具体架构如图1 所示。
图1 测绘无人机应急智能服务体系架构
(1)构建获取并传输现场数据平台。借助测绘无人机集成平台来实现现场获取数据完整信息的传输。数据传输链路、数据接口标准以及软硬件之间的时空基准等问题,都可在这个集中平台上得到解决。
(2)集成管理现场产生的多源数据,如图2 所示。搭载着光学传感器的无人机可实现对现场的实时监测,为了快速提取到视频上有价值的信息,需要首先解决地理信息系统和地理编码视频流影像平台的深度融合、全球导航卫星系统(global navigation satellite system,GNSS)与视频流的时空同步合成码等核心问题。当下热度比较高的北斗短报文,可以不借助运营商网络实现短信的发送,定位功能更加强大,也更适用于智能服务体系的需求。当无人机与“北斗”结合在一起,多源数据的集成管理便可以顺利实现。
图2 测绘无人机多源数据集成管理
(3)应急智能服务系统,如图3 所示。实现平台的应急智能服务,搭建集现场实时检测、分析、评估平台,多源数据接入服务和三维场景构建服务为一体的系统,并兼备人员测绘和重点定位监督管理等功能。
图3 测绘无人机应急智能服务系统
(4)设立应用示范窗口。测绘无人机应急智能服务系统主要服务于现场的实时监测,因为必须通过相关技术规程进行示范方案的设计,以满足提前了解工程活动时环境概况的目的。
信息平台集成处理获取数据的能力在整个测绘无人机应急智能服务系统中占据着至关重要的地位。平台功能的实现主要依赖于对多源遥感数据处理技术、多无人机平台系统多传感器技术等的集成,系统中数据传输链路、数据接口标准、各个组件部件、各个系统和子系统、各个功能模块间的时空基准等环节的集成度越高,整个平台能够发挥出来的能效就越大[5]。
选择抗风强、耐磨损的高强度复合材料制造无人机,可满足最高海拔为4 200 m 的作业需求,应对比较恶劣的工作环境;高精度机械增稳系列吊舱系统配合三冗余度北极星系列自驾仪,展现出来的超强稳定性使其具有巡航抗7 级风,起降抗6 级风的能力;其测绘板最长续航120 min,作业最长续航为90 min;采用具有30 倍光学变焦能力、1080P 高清的摄像机,兼备可见光性,能够对目标开展稳定跟踪,同时还可实现自助拍照和图像录制。
平台传输链接与接口如图4 所示。
图4 平台传输链接与接口
(1)组成光电吊舱的硬件设备包括减震器、机载链路系统、SD/TF 卡存储系统和无人机控制系统等,因减震器直接决定着获取视频质量的高低,所以显得尤为重要;加装北斗模块,用来实时检测人员与无人机所在位置;飞机控制系统则主要负责对光电吊舱进行跟踪。
(2)视频数据流有两条输出通路,一条由机载链路系统负责实时传输,一条借助SD/TF 实现实时存储。利用飞控POS 作为地理信息数据,并由链路负责传输。“双链路接收,单链路传输”的模式,能够保证地理信息数据与视频流数据的时间同步性。地理信息数据的输入输出接口皆为串口,视频传感器的输入接口是USB3.0 和高清多媒体接口(high definition multimedia interface, HDMI),输出端口是软件定义基础设施与HDMI,视频流数据主要是由地理信息数据来处理的。
(3)飞控相关参数主要由北斗机载模块负责接收和打包,再以短报形式借助卫星链路实现实时位置信息的传输。测绘无人机应急智能服务系统与地面北斗指挥机间的数据传送主要以串口形式完成。
(4)遥控遥测数据被地面链路系统接收后再被转传输给地面站,数据仍以串口形式传输,此时无人机/吊舱控制正式完成。
(5)实时监测数据与远程指挥中心间的数据传输主要由地面站借助4G 或5G 通讯链路来实现。
在实际应用测绘无人机现场数据平台过程中,为了更好地集成管理数据、接口与实现基准,有三方面的技术问题需要被重视和解决。
在摄影测量中需要获得物方坐标系旋转到像空间坐标系中的φ、ω、κ3 个旋转角,而无人机惯性导航系统中负责获取传感器姿态角的是惯性测量单元(inertial measurement unit, IMU),得到的是IMU 本位坐标在导航坐标中的Φ、θ、ψ角,即侧滚、俯仰和偏航角。φ、ω、κ是影像的3 个外方位元素,可用于地理位置的精准定位。换言之,只有将姿态角转换成对应的影像外方位元素,才能实现视频关键帧对地的高精度定位,其转换路径为“像空间坐标系—载体坐标系—IMU 本体坐标系—导航坐标系—地心直角坐标系—物方坐标系”。其间容易发生相邻关键帧错位现象,可通过尺度和旋转不变性特征检测、尺度不变特征变换和加速稳健特征等影像匹配算法进行纠正。想要实现基于现场实时监测的地理编码,离不开多源传感器数据快速时空地理编码技术,且需要同时使用视频流和GNSS 的时间同步机制。接口可通过制定视频流时空标识标准协议来实现,能够用于支持系统的匹配与融合分析。
该系统可实现关键帧视频与现场场景地理的融合,可融合表达现场与空间信息。融合过程如图5 所示。每张影像都可通过自己的格网与地理场景进行融合,保证了关键帧能够深入融合到地理场景中。
(1)本系统所植入的“北斗”卫星系统具有不受地域和飞行高度限制且能够做到在我国空域的无障碍全覆盖。“北斗”功能强大,可以授时、定位、短报文通信,因此更有利于实现无人机/人员监管的功能,详见图6。
图6 实时定位
(2)构建“机上/人员被动机载模块—北斗卫星—地面北斗指挥机”式传输链,用于位置信息的传递,再通过串口模式与智能服务系统相连。
(3)编写用于智能服务系统的专属飞行诸元传输协议,用于启动北斗短报文链路,协议包含但不限于电文内容、电文长、发信时间、发信方和信息类。
(4)当有救援任务需要无人机/人员执行时,飞行诸元信息主要以北斗短文通信为载体,其具体工作原理如图6 所示。出站信号的发起者为用户指挥机端,串口负责信号的获取和发送,并根据接收到的完整数据包的帧长或帧头帧尾信息进行“帧头+数据+校验+帧尾”模式的解读。其中,时间信息检测是指令被用户机接收后返回给“北斗时间”;IC 信息检测是指令到达用户机后,由用户机发出IC 卡号;“起始符”到“校验和”前一字节是否存在异或则需要循环冗余校核(cyclic redundancy check, CRC)进行检验。
(5)无人机/人员位置的实时信息需要通过协议解析后方可展示在智能服务系统内。
综上所述,测绘无人机应急智能服务系统的构建是依托各种先进系统和科学技术所得,其功能板块包括现场分析可视化、现场三维场景构建、人员或设备实时在线监测和现场在线监测等。
多源现场数据的顺利接入和管理,需要在统一时空体系下按照信息接入和加载规范对现场时空粒度、工程数据类型进行信息标准化处理来实现。同时,系统还要为其准备数据转换接口和实时接收接口,这样才能分层化处理现场信息,分块组织大规模场景,可视化场景的动态演变过程,为用户提供更真实并且详尽的现场信息。
该系统能够根据关键帧提取算法快速获取现场图像。基于空间分布范围和发生时间特征构建空间维和时间维索引方法,保证空间位置与视频关键帧影像能够顺利互联、互操作,例如可在视频流时间上进行空间定位的查找,或在空间位置上进行视频流帧信息的定位查找。
智能服务系统可以全面示范工程现场的实时现场情况,并且能随时掌控无人机的状态,精准定位现场作业人员的位置,可为复杂的工程行动提供决策分析辅助,为营救团队提供科学合理的调度方案和现场救援措施。这就是智能服务的优势所在。
为了能够实时准确地获取现场信息,制定应急措施,本文研究了测绘无人机现场数据获取平台的结构框架,构建出一套测绘无人机应急智能服务体系架构。将视频摄像头搭载在无人机上作为传感器,借助视频流传输技术和4G/5G 通信技术实时完成现场视频数据的获取,利用协议规范了数据接口标准,统一了软件与硬件间的时空基准,使得数据链路传输和数据转换得以顺利实现。合理引入北斗导航技术,完美解决了对位置信息的实时获取问题,优化了测绘无人机现场多维数据集成管理与服务内容。