黎永志 张焱辉
摘 要:随着机场飞行区越来越繁忙,迫切需要智慧化、可视化的技术手段,满足飞行区管制运行指挥需要,机场全景可视化系统是大规模实现这一目标的重要途径,是大密度机场提高飞行区运行效率和机场运行效率的必然选择。本文基于全景4K拼接融合和全景视频实景地图的关键技术,最终实现成像无拼接痕迹,多个摄像机严格同步,画面色彩均衡统一,拼缝处无重影、无残缺,让监控人员体验完美的全景视频效果。以融合后的全景视频为底图,通过坐标空间转换关键技术,实现信息挂牌和联动控制业务应用,为飞行区管制运行提供可视化手段。
关键词:民用机场;视频拼接融合;全景可视化
中图分类号:TP277 文献标识码:A 文章编号:2096-4706(2019)12-0009-04
Abstract:The airport flight area is becoming busier and busier,and there is an urgent need for intelligent and visualized technical means to meet the needs of control and operation command of the flight area. Airport panoramic visualization system is an important way to achieve this goal on a large scale,and it is an inevitable choice for dense airports to improve the operation efficiency of the flight area and the airport operation efficiency. Based on the key technology of panoramic 4K mosaic fusion and panoramic video scene map,this paper finally realizes the perfect panoramic video effect for the surveillance personnel,which has no mosaic traces,strict synchronization of multiple cameras,uniform color balance and no ghost or defect at the mosaic. Taking the fused panoramic video as the base image,the key technologies of coordinate space conversion are used to realize the application of information listing and linkage control business,which provides a visual means for the control and operation of the flight area.
Keywords:civil airport;video mosaic and fusion;panoramic visualization
0 引 言
隨着我国民航快速发展,机场规模不断扩大、布局更加复杂,多跑道、多滑行道、多航站楼、多机坪的机场众多,大型机场地面交通流量大、密度大已呈常态化,复杂的运行情况在机场飞行区运行时也尤其明显。
机场飞行区大致分为机动区和机坪区。机场机动区主要包括机场跑道和主滑行道,在这里面主要是飞机在活动;机坪区主要是停机坪,在这里面活动的不只有飞机,还包括相应的服务保障设备和人员,如客梯车、摆渡车、行李车等以及机务维修、安全监护等人员,运行情况远比机动区复杂。为满足飞行区管制运行指挥需要,机场全景可视化系统是大规模实现这一目标的重要途径,是大密度机场提高飞行区运行效率和机场运行效率的必然选择。
1 基于4K视频的拼接融合算法
根据机场飞行区可视化运行管制的实际应用需求,我们创新性地利用视频的拼接融合算法[1],结合采用先进的4K视频融合和拼接技术,最终成像无拼接痕迹,多个摄像机严格同步,画面色彩均衡统一,拼缝处无重影、无残缺,让监控人员体验完美的全景视频效果。
本次实现的4K全景拼接技术,支持每路图像分辨率为3840*2160,算法支持3到6路视频流实时拼接,视频解码、图像投影变换、图像融合、图像亮度补偿、图像色度补偿、图像显示均在GPU里完成,利用多线程技术并行加速处理。在拼接过程中,算法自动识别相邻帧画面之间的重叠部分及亮度、色度差异,并自动矫正及进行无缝拼接,整个系统参数只在初始帧时计算一次,后续帧仅完成图像投影变换及图像融合,从而大大节省时间成本,保证整个系统快速高效的运行。3路4K全景视频拼接融合图像效果如图1所示。
2 基于全景视频的可视化系统
通过全景融合拼接算法形成全景视频,融合后的全景视频为信息挂牌(叠加)和联动控制业务应用提供视频图像底图。
全景视频实景地图结合增强现实技术对机场重要目标、设备(低点枪机、围栏摄像机)、航班信息、入侵事件、飞机入离位事件等以标签的形式进行标注,形成整体的实景效果,给监控人员带来非常直观的现场感。
全景视频中支持叠加建筑物信息、飞行区中的重要目标(跑道区、飞行区、停机坪)、安保设施(含低点摄像机)、机位编号等信息进行标注,实现飞行区运行全景可视化显示。
客户端可通过全景图像缩放分层显示各种信息,逐层叠加显示或隐藏不同信息图层,支持多极缩放。通过鼠标点击全景视频中的目标图标,即可对标注的重要目标进行详情查看,可以帮助操作人员快速掌握机场重要区域分布情况,在事件发生后,快速准确地定位到事发现场,迅速获取区域负责人的联系方式,极大地减少了操作人员的工作量,有助于提高工作效率。为全景视频叠加标签的效果如图2所示。
为全景视频中的航空器叠加标签来显示航班号等信息,标签跟随航空器一起运动,从而辅助机场飞行区管理用户的调度指挥,提高工作效能。
系统通过接口从A-CDM系统获取航空器的航班信息,包括航班号、经纬度、海拔、速度等数据(如表1所示),计算得到每个起降航空器的位置信息。同时,全景视频通过智能分析,检测视频图像中运动的航空器,获得航空器的位置。系统建立空间坐标系和视频二维坐标系之间的变换关系,为每个运动的航空器匹配航班信息,将航班信息叠加到全景视频中。全景视频航空器挂牌显示效果如图3所示。
用户通过全景视频可以掌握机场全局态势,然而由于广阔的机场监控区域,对于远处目标,即使4K分辨率也无法获取清晰画面,用户在实际使用中,希望看清远处的细节。通过坐标空间转换关键技术,用户可以全景视频中双击目标,系统自动引导激光夜视云台移动到目标区域,并变倍放大显示,将目标清晰地呈现在画面中。全景与云台联动效果如图4所示。
激光夜视云台在夜间具备较好的成像效果,对于暗处的目标也能较为清晰地成像,同时激光采用的波段对机场航空安全无影响,适用于机场环境。
通过对接航站楼现有监控平台,获取摄像机列表与视频,用户将已部署的低点视频在全景视频中标注,而无须记录低点摄像机的名称和位置,在全景视频中点击低点视频的数据标签,即可弹出独立视频窗口播放视频。从而实现对低点视频的快捷调阅。在全景视频中定位事件位置后,即可快速查看事件周边的摄像机,从多个角度监控事发现场,实现事发周边多摄像机的同步播放,提高工作效率。全景联动低点视频效果如图5所示。
重要区域入侵检测与记录是利用智能视频分析技术,对4K全景视频中的该区域进行实时分析处理。检测该区域的人员和车辆的非法入侵事件,具备目标自动智能发现和跟踪能力,主动提醒监控人员关注疑似目标,记录事件全过程。有效保障重点区域的安全,提前消除安全隐患,避免人员、车辆闯入作业区造成的飞行安全事故,提高机场安全管理水平,从科技角度避免(或降低)机场事故的发生。全景视频分析效果如图6所示。
通过地图全局态势功能,可了解整个系统的态势,地图中标记所有摄像机、云台等设备,显示云台的方位角度,在预警发生后,第一时间显示报警区域,并通过设备配置的参数完成预警目标和轨迹在地图中的叠加。目标预警后,基于设备安装参数、云台角度、预警目标坐标等参数,利用数学公式计算出预警点的实际坐标,并不断更新目标当前位置,在电子地图中实时绘制目标轨迹。系统支持目标历史轨迹的回放。
通过地图可了解系统的整个态势,比如当前系统内的设备分布情况、每个设备的当前监视区域、报警目标位置以及报警目标的运动目标等轨迹。电子地图使信息更加直观,便于指挥中心值班人员全面掌握实时的综合态势,针对不同事件快速便捷地制定精确的指挥计划,并根据不断变化的情势随机应变,调整战略。电子地图态势效果如图7所示。
通过地图联动支持叠加各种图标,包括前端设备、报警点、监控中心,用图标体现设备状态,并支持选择,摄像机图标需要叠加可视区,云台摄像机实时更新当前监视的扇形区域等。通过地图,可以引导云台移动至关注区域,便于事件发生后,监控人员快速引导云台进行视频关注。电子地图示意图如图8所示。
历史数据多画面回溯功能,可以将机场实时监看的全景视频,再度以全景的形式回放出来,对整体的历史事件的回溯,可以更加直觀、准确地再现。便于事后的研判分析和运营的指挥管理,并且可以将关联的激光云台视频同步回放显示。
3 机场全景视频可视化系统实践
在多家机场项目中,在飞行区机坪运行指挥时,全景可视化系统是最为方便和直观的,全景监控画面符合人视野的习惯性,比起点位监控对地域影像的捕捉更为整体和连贯,有效减少了机坪上飞机滑行与特种车辆的冲突,使出行更加安全。指挥效率的提高,缩短了飞机在机坪上滑行的时间,从而缩短旅客等待起飞和等待下机时间,提高了廊桥使用率,更多安排近机位,可使旅客更方便地上下机。机场全景可视化系统的实施,成为现代化塔台指挥利用科技手段实施管制运行指挥的重要技术保障。
4 结 论
本课题研究符合《国家中长期科学和技术发展规划纲要(2006-2020)》《中国民用航空发展第十三个五年规划》、MH/T 7003-2017《民用运输机场安全保卫设施》《关于推进航空器机坪运行管理移交机场管理机构工作的通知》等国家、行业的规划和战略部署。
机场全景可视化系统投入使用,为机场飞行区域整体监控提供了支撑,从而使指挥人员、监控人员能快速、正确地判断飞行区域整体运行情况,降低安全隐患,确保人员、财产安全。
参考文献:
[1] 刘杰,王生进.基于边界扩展的图像显著区域检测 [J].清华大学学报(自然科学版),2017,57(1):72-78.
[2] 张建伟,赵旭,潘辉.基于卡尔曼滤波与相位相关算法的机场周边远场图像全景拼接优化 [J].中国民航飞行学院学报,2019,30(2):5-9.
[3] 张简.全景视频监视系统在贵阳机场的应用 [J].电脑知识与技术,2015,11(7):228-229.
作者简介:黎永志(1980.08-),男,汉族,广东佛山人,民航事业部总经理,工程师,有着10多年电子信息、软件研发经验和民航行业应用研发经验,硕士研究生,研究方向:电子工程;张焱辉(1984.08-),男,汉族,广东梅州人,产品经理,助理工程师,本科,研究方向:通信工程。