于冠群
(北京特种车辆研究所,北京 100072)
国防科技与武器装备是军民融合发展的重点领域。当前,军地协同创新除了政策法规和运行机制滞后等宏观制约因素外,地方科研力量参与军用技术研发还面临科研资源封闭等微观隐形障碍,尤其自动目标识别等技术研发所需的目标环境素材数据,呈现出数据紧缺、共享不足的局面。
目标环境素材数据是典型环境中各类传感器及仪器对特定目标采集及测量的数据,包括可见光图像、红外图像、雷达回波数据等,是开展目标自动识别和环境感知理解研究的物质基础,也是评价和筛选目标识别跟踪算法的支撑手段。
欧美国家重视目标环境素材库的建设,依托目标环境素材库定期举办算法挑战赛,促进相关研究发展及工程化优秀算法。PASCAL数据库以其高难度和专业性已经成为计算机视觉领域的权威目标特征训练库和测试验证平台,其数据规模达2万项,目标种类达20类,用于训练自动目标识别所需要的目标特征,量化评估目标识别分类算法的性能[1]。
美国军事传感信息分析中心(www.sensiac.org)的SENSIAC目标识别数据库是研究军用目标识别的专用素材库,包含型号传感器,直接获取军事目标和典型环境场景的可见光图像、中波红外图像、雷达数据以及标注信息。
图1 美陆军SENSIAC目标识别数据库管理机制示意图
美国军事传感信息分析中心(SENSIAC,Military Sensing Information Analysis Center)是国防部国防技术信息中心的直属机构,为军工企业和研究机构提供设计、研发、试验、评价、升级自动目标识别等智能系统所需要的军事传感器信息,制定和修订相关标准,如图1所示。SENSIAC目标环境素材库是其重要产品。在管理机制上,军种研发工程司令部要求列入采办名录的传感器厂商向该中心提交各类场景环境中采集到的目标原始数据。军事传感分析中心负责该素材库的标准制定、数据标注、运行维护和数据更新等工作。由于信息敏感性,用户需要在线填写申请表,经过审查之后有偿使用。
国内科研机构对于目标环境素材需求十分迫切。在原总装备部电子信息基础部技术基础局领导下,航天二院某所等单位,针对导弹与卫星等目标,探索了以目标特性数据采集、目标模型构建为核心的目标复现途径[2-3],如下页图2所示。
现有目标特性数据库的数据获取途径是利用光学、电磁等计量仪器得到目标的光谱分布、电磁散射辐射等特性数据,构建出目标表征模型、大气衰减透射模型,利用实测数据对各类模型进行校核验证,经过反复修正,提高目标表征模型、传播模型和传感器探测模型的置信度,最终利用仿真工具软件和半实物复现手段等,生成目标数据(如虚拟雷达回波数据、虚拟热像合成数据等),为目标识别系统的研制提供规模化样本。在应用层面上,要求必须事先构建其传感器的探测机理模型。
现有目标特性数据库建设,以目标模型和环境模型构建为核心,以数字仿真或物理复现的方式,提供了航天器、飞机、舰船等目标识别算法研究所需要的大量样本数据,推动了海、空军的探测和制导技术的发展。但是,存在以下不足:
图2 现有目标特性数据库技术途径和误差积累示意图
一是数据生成模式。以仿真手段生成目标表观数据,作为目标识别研究的样本数据,由于模型存在系统误差,经过仿真输出的数据,误差将进一步放大,如图2所示。在海、空等纯净背景下,仿真数据尚能满足目标识别研究的应用,但是在地面等复杂环境中,环境与目标相互作用复杂,建模仿真难以适应地面目标识别和环境感知系统的研制需求。
二是数据管理方式。该数据库满足了型号任务的数据管理需求,数据库设计上,没有考虑目标装备体系、战场环境体系等需求,型号数据之间相互隔离。
三是数据获取途径。利用仿真手段生成的目标表观数据,依赖于传感器模型的构建,若传感器研制方不具备建模能力,则不能直接满足最迫切的数据需求。
陆军地面装备战场环境比天空和海洋更加复杂,沿用以模型构建为核心的目标表观间接获取方式,误差积累将导致目标表观的置信度大幅下降,导致目标识别的研究条件严重脱离实际作战环境。模型构建的时间成本也不能忽视。在工程研制中,目标搜索和跟踪技术的相关承研单位自行采集目标数据素材,受限于研制周期,数据充分性不足;数据管理机制缺失,目标环境素材仅作为研制任务中的过程文件,跨项目、跨单位、跨部门不具备数据共享条件,数据丢失风险极大;对于地方研究机构,不能获取典型环境中的目标素材数据,难以逾越数据“隐形门槛”。因此,迫切需要以陆军未来战场生存环境为着眼点,以陆军装备传感器体系和陆军战场典型目标环境为立足点,开展地面目标环境素材采集及标准制定、识别感知实验评价系统建设,扭转研制过程中目标环境素材缺失、数据管理混乱和数据应用不足的现状,加强数据共享,打破军民融合技术研发壁垒,为择优提供竞技平台。
目标检测与识别算法研究,是解决跟踪、分割、场景理解等其他复杂视觉问题的基础,涉及到计算机视觉、模式识别、机器学习等众多专业领域。随着智能化和无人化发展,陆军装备面临复杂场景中的目标识别和战场环境理解问题,首要确定传感器数据中什么位置存在物体(检测问题),或者存在什么物体(识别问题)。目标检测主要是进行目标状态初始化,目标跟踪是在目标检测基础上,根据传感器最新的观测数据,对于目标的状态进行估计。
基于前景目标建模的方法适用于地面突击装备火控系统、自寻的导弹和地面无人系统所面临的动态场景目标检测和识别问题。这里方法通常可分为离线训练和在线检测识别两个阶段。离线训练阶段中,需要利用大量带有标注信息的目标环境素材数据(标注出目标和背景的位置、边界框和类别等),进行特征表达的抽象,即得到目标或背景的表观模型,再进行分类器训练,得到分类器模型。在线检测识别中,在多个尺度上,使用表观模型在传感器数据上进行扫描,并利用分类器模型对其进行分类,从而判断是否为前景目标(或者属于目标的置信度),如下页图3所示。
图3 前景建模目标检测识别程序框架图
目前,国际上公开发布了诸多目标识别跟踪领域的训练和评测数据集,国内研究团队依托国外数据库的支撑和算法挑战赛的促进,取得了较大进步,然而,针对军事领域及特定传感器应用,尤其是多频谱传感器融合目标识别等问题研究,还处于起步阶段,研究团队也没有广泛参与进去,很大程度上是目标环境素材数据缺失所致。
目标识别已经成为装备智能化发展的要求。据美国《防务技术》网站2014年6月18日报道,美军为第五代战机F-35研发了目标库,能够快速识别敌方战机。F-35上的传感器包括主动相控阵雷达、分布式孔径系统(可融合6个不同方向的摄像机信息),可利用光电瞄准系统识别细微的目标,进行搜索和跟踪。目标库驱动计算机融合和处理各种传感器信息,降低飞行员的工作负荷,帮助飞行员在世界特定空域辨识敌方飞机,并可根据新的威胁更新目标数据信息。国内在开展目标自动搜索识别技术研究和工程化中面临以下3个窘境:
一是算法种类众多,技术动态发展。目标检测、跟踪、识别问题是人工智能和感知理解研究领域的研究热点,从20世纪60年代起,算法蓬勃发展,算法种类众多。目标识别从模板匹配到词包模型、深度学习模型;目标跟踪从均值漂移发展到卡尔曼滤波、粒子滤波。随着硬件计算能力的提升,近些年涌现出许多新的算法及并行优化处理算法,极大地丰富了相关问题的解决途径。
二是代码实现成本大,工程化风险高。算法是软件重要的技术途径选择,在众多算法中,军工厂商依靠自身的研发力量,针对特定问题(目标识别和跟踪),进行算法代码实现和工程化,将花费大量的时间和智力成本。
随着工程化程度的提高,如图4所示,技术途径(算法筛选)的研制风险也逐步放大,如果样机的外场实测效果不佳,重新调整技术途径,将大幅增加研制成本,因此,需要重视算法筛选和工程实现,谨慎做出样机研制的决策。
图4 目标识别软件系统各阶段研制风险示意图
三是筛选机制不合理,局限性较大。与传统武器系统的流程管理和交互类软件不同,目标识别和跟踪等感知理解软件是自寻的弹药和无人系统的功能核心和效能关键,是武器系统智能化的本质属性和终极体现,算法质量决定软件性能。目前这种闭门造车的算法筛选机制,受到研发人员技术视野局限和编程能力个体差异的影响,将阻碍优秀算法的工程化应用。
破解上述问题,论证部门和军工厂商应该广泛吸纳全社会科研力量的智慧,通过算法竞争的方式优化技术途径选择。然而,缺少目标环境素材库及实验评价系统的支撑,这条道路现在还走不通。
地面战场环境复杂度远高于海、空环境,地面装备观瞄搜索、侦察监视和精确制导等传感器“地-地”、“低空-地”观测获取的目标数据,比“空-空”、“地-空”观测要复杂得多,目标识别难度更大。未来陆军将面临“战场信息超饱和”带来的挑战,乘员需要接收和处理各类传感器所生成的大量战场数据,信息处理能力不足将直接阻碍战斗力的生成。
在研制过程中,还存在以下两个问题:
一是新一代火控和侦察系统在研制过程中,自动目标识别算法研发需要大量目标环境素材进行特征训练和调试验证,分系统承研单位调动装备的能力不足(通常在整车厂商跑车过程中采集数据),并且全面获取装备的目标数据需要跨地域、跨天候、乃至跨季节,受到研制进度的限制,往往择一二而为之,验证素材的充分性不足,目标环境影响因素考虑不周,目标识别算法的普适性不高。
二是精确制导武器在研制过程中,实弹考核靶场背景单一,不能全面覆盖制导武器面临的实际作战环境,诸如城市、森林等标准靶场以外的环境不能得到(也不允许)实弹验证,并且实际战场条件中目标受到不同程度的干扰和遮挡,武器研制与实战使用存在较大差距。以往研制表明,在整个研制周期中,制导武器的飞行控制模块性能率先进入稳定,命中精度主要取决于导引头跟踪模块,其核心是跟踪算法对于复杂环境中的适用性,目前型号研制急需标准靶场以外的目标环境素材支撑。
目标环境素材库作为基础科研条件,投入大,见效慢,国内科研力量缺少相关建设的积极性。军用目标识别和环境感知研究只能依赖外场试验中零星的数据积累,或者从互联网上零散摘取目标图像和视频,各自为政,数据不完整,验证不系统。目标环境素材库的标准不统一,识别跟踪性能的量化评价也不充分,严重制约了陆军装备在目标识别和跟踪等关键领域的技术水平。
军事领域目标环境素材库只能依靠自身力量建设,有必要针对陆军目标环境数据的统管模式、传感器体系、采集手段、数据标注方法和工具、数据库建设进行研究,并在规模化数据集的基础上,对各类目标环境进行特征提取和分析。
地面目标识别感知实验评价系统,将扭转陆军目标环境素材数据缺失、目标特征研究不足的现状,直接应用于论证阶段的技术路线选择和技术成熟度评价、研制阶段的实验测试、验收阶段的补充外场试验,将引领陆军装备自动目标识别和跟踪技术的发展及工程化应用,推进陆军新型装备发展和新质战斗力生成。
在自寻的武器和地面无人装备的系统组成中,软件将扮演不仅仅是流程固化和界面交互等辅助角色,而是智能化武器装备本质属性,软件性能将决定武器效能的发挥。地面目标识别感知实验评价系统将直接服务于装备论证和验收,为各类科研力量参与军工科研提供数据保障和竞技平台,如图5所示。
一是作为武器装备论证的技术筛选平台。论证方通过目标识别感知实验与评价系统,在规模化数据基础上,根据不同目标和环境,划分任务复杂度,发布专项任务实验数据包和参考指标,扩大军民融合科研力量参与军事目标识别感知算法等基础研究范围,在量化评价基础上,确定演示样机的技术途径。
二是作为军民融合科研的实验和竞技平台。实验子系统的规模化目标环境素材数据,使得不具备外场目标数据获取能力的地方研究机构能够参与军事目标识别和环境感知相关算法研发;在研制前期的算法筛选阶段,通过目标环境素材数据倒逼算法的复杂环境适应性;通过评价子系统的算法择优确定装备研制过程中目标识别和环境感知的技术途径,充分发挥地方科研力量的算法开发优势和军工厂商的工程化优势,相得益彰。
图5 系统使命任务示意图
三是作为型号验收试验的补充测试平台。靶场自然环境单一,不能全面覆盖武器装备战场环境,尤其是城市和森林等不具备实弹试验条件,本系统将解决验收环节中考核与实战的脱节。
根据国内外现状和陆军面临的实际战场环境,确定实验和评估系统的数据以型号传感器直接采集为主,避免模型构建和仿真复现所带来的系统误差和模型置信度不足的问题,为自动目标识别系统研制提供直接数据,如图6所示。
图6 实验系统数据来源对比图
系统包括数据采集、实验和性能评价3个部分,如图7和图8所示。
3.2.1 数据采集子系统
图7 实验与评价系统组成框图
图8 系统应用示意图
目标数据采集子系统针对型号传感器的数据格式和传输协议,通过数据采集支持设备和工具软件,实现型谱内传感器的目标数据批量采集。
3.2.2 实验子系统
在原始目标环境素材数据基础上,按照目标标注规范,通过目标数据标注工具软件,由人员进行统一格式的目标真值信息(Groundtruth)标注。目标原始数据和标注信息作为数据项存入数据库。任务数据发布工具根据需求,将原始目标数据和目标标注数据生成不同的“训练数据包”,根据资质类别,发布给相应社会科研力量。
3.2.3 性能评价子系统
性能评价子系统提供源代码框架和编写指南,社会科研力量以该框架开发自动目标识别和跟踪等算法,通过提交工具,交由评价系统进行量化评估,得出识别反应时间、准确率、虚警率、跟踪精度等量化性能结果。
在规模化目标环境素材数据集的基础上,目标识别实验与评价系统,以数据共享、接口开放、评价透明的原则,广泛汲取算法发展的最新成果,择优目标特征提取、目标识别和跟踪算法,将各类目标的视觉特征、雷达回波特征等与目标原始数据进行关联,并存入数据库。数据库将留有扩展接口,包括:三维可视化模型、动力学模型、地形环境模型、植被模型、传感器模型等。
美军SENSIAC目标库在获取目标装备受到限制时,通过制作目标模型,如图9所示,在仿真环境中衍生出目标在各种传感器中的观测信息。这种方法的前提是构建传感器模型和自然环境模型,同时掌握对手装备的一些关键参数作为仿真系统的假设条件。本系统也将为此类目标留有扩展数据接口。
美军还利用联合军演、防务展览等时机,直接获取对手装备的目标环境数据,在已有目标识别技术研究的基础上,迅速扩展应用,如图10所示。
图10 美国SENSIAC数据库的俄制装甲装备
地面装备目标识别实验与评价系统的建设将扭转目标识别系统研发过程中基础数据缺失和管理混乱的现状,以目标环境素材数据为基础的实验评价系统,将破除社会科研力量参与军用技术研发的隐形门槛,有利于扩展技术视野,促进优良算法在武器装备上的工程化应用。