基于图像识别跟踪的增强现实电子沙盘电磁态势展示技术

贺媛媛，何 欢，窦雪倩，徐 晶

（中国电子科技集团公司第二十九研究所，四川 成都 610036）

0 引言

随着传感器、军事通信、信息网络技术的发展，雷达、红外、光电、侦察、干扰等各种传感器在陆、海、空、天多维空间立体化部署，战场电磁环境日益复杂［1-2］。高效地汇集处理各方资源、为指挥员展示直观的战场态势，辅助指挥员做出有效决策是态势系统面临的首要任务［3］。而数据量、数据属性与数据维度的不断增加，数据关系的愈加复杂使得传统的平面可视化面临巨大的危机和挑战［4］，这些危机与挑战主要是平面可视化呈现形式难以表达复杂、高维的数据集，传统桌面端受到设备尺寸限制使得平面可视化协作性大大降低［5］。近年来，沉浸式技术的发展为态势可视化分析提供了一类新的交互设备，所提供的交互界面具有沉浸感和参与感［6］，如更加广阔的视野和具象化的交互设计，沉浸式技术正逐步向着为用户提供更加接近真实物理环境的虚拟交互空间迈进［7］。美军高度重视战场环境仿真和可视化技术，战场三维环境可视化技术给训练带来“实境式”体验，并且在地形分析研究与部队训练中发挥着越来越重要的作用［8］。2021 年美军与微软签订4.8 亿美元合同，打造基于混合现实的战略决策、战役规划、战术实施三层协同作战决策与训练系统［9］。2022 年3 月美军宣布“数字孪生全息实验室”在空军基地建成并启用，该实验室能够以数字模型的形式展示空军基地，使飞行员在虚拟环境中测试各种技术，并将成果转化为可实战的技术［10］。

当前的混合现实技术欠缺对战场电磁态势的建模与显示。常规的电子沙盘一定程度上能展现出战场的三维态势与军事部署，但缺乏对大规模作战环境电磁维度信息的展示，缺少对多用户以不同全局视角同时观察战场态势的研究，限制了指挥人员的协同作战能力与指挥效率。

因此，本文针对400 km×400 km 超大规模复杂战场环境，提出了基于增强现实显示技术的电子沙盘电磁态势展示技术解决方案，结合图像识别定位、视觉跟踪与重定位技术展开研究，尝试解决多人以不同视角实时协同作战情境下战场复杂电磁态势的多维、分层同屏展示。

1 典型需求分析

电磁态势建模要素数量多、种类丰富、电磁维度信息复杂多变，为支持不同用户以不同视角同时观察电磁态势，对增强现实三维地图识别与跟踪能力提出了较高的要求。基于图像识别跟踪的增强现实电子沙盘电磁态势展示技术，通过对二维地图模板进行局部特征提取、匹配，定位增强现实数字内容的位置，采用视觉信息和惯性测量单元（IMU）紧耦合优化策略进行持续的6DOF 跟踪定位，采用重定位技术消除因累计误差造成的增强现实内容定位偏移问题，从而准确地将三维战场环境地形和电子沙盘上的二维地图模板对应，并保证精确跟踪。

基于图像识别跟踪的增强现实电子沙盘电磁态势展示技术有2 个核心技术点，分别为：三维地图识别能力和位移变换后的视觉准确性跟踪能力。通过对以上技术点的突破，实现对大规模地形环境的准确识别定位，为向用户提供新颖的、沉浸式的作战体验奠定基础，从而将各类战场要素准确、形象地展现在三维增强现实虚拟模型中，超越了传统二维/三维态势系统的人机交互体验。

2 架构设计

基于图像识别跟踪的增强现实电子沙盘电磁态势展示技术，对大规模战场环境中敌对双方海、陆、空、天各型装备作战能力作用下的复杂电磁环境进行研究，对双方各型装备及其独立作战能力和联合作战能力进行三维立体建模，以二维和增强现实相结合的方式分层、多维全景展示战场环境中分布的各维度信息。并结合指挥员作战需求，研究多人以不同全局视角同时观察增强现实电子沙盘或某一指挥员与增强现实电子沙盘交互时增强现实电子沙盘的实时切换与电磁态势展示能力。

本文的研究架构如图1 所示，主要包括电子沙盘、增强现实眼镜与增强现实管理服务。其中，图像识别跟踪技术通过对二维电子沙盘地图模板图像进行局部特征提取、匹配，定位增强现实数字内容的位置，采用视觉信息和惯性测量单元（IMU）紧耦合优化策略进行持续的6DOF 跟踪定位，采用重定位技术消除因累计误差造成的增强现实数字内容定位偏移问题，从而持续准确地将三维虚拟电磁态势和电子沙盘上的地图地形对应，保证精确跟踪。增强现实管理服务后台程序通过数据的接入、二三维转换、图层管理与通信等实现对电子沙盘端与增强现实眼镜端数据的推送。本技术通过图像识别跟踪定位技术支持用户直接与电子沙盘进行交互，支持用户通过增强现实眼镜与电子沙盘进行交互，支持多用户围绕电子沙盘移动观察增强现实电磁态势。

图1 增强现实电磁态势实现框架

3 关键技术实现

为满足多人同时观看大规模电磁态势虚拟内容需求并保证各增强现实眼镜中呈现的数字内容的位置保持一致，需要实时定位跟踪虚拟内容在真实空间中的具体位置。三维地图AR 图像识别跟踪过程如图2 所示，首先计算电子沙盘与虚拟内容的相对位置，确定虚拟内容在真实环境的准确初始位置，以保证多人在不同视角下观察数字内容的初始位置具备一致性。初始位置确定后，采用VIO 跟踪技术，解决当用户围绕电子沙盘大尺度自由移动观察电磁态势时虚拟内容能持续稳定地定位在初始位置的问题。最后针对系统长时间运行导致的位置偏移问题，采用重定位技术修正累积误差，确保用户长时间移动观察增强现实电磁态势时虚拟内容定位的准确性。

图2 图像识别跟踪过程

3.1 三维地图识别能力

增强现实三维地图识别技术基于局部特征匹配算法对电子沙盘的二维地图进行识别定位，核心过程如图3 所示，依次包括生成多分辨率高斯差分金字塔、DOG 局部极值检测、特征点主方向确定及描述子的生成。

图3 AR 图像识别过程

1） 生成多分辨率高斯差分金字塔

首先定义图像的尺度空间L(x，y，σ)为原始图像I(x，y)与可变尺度的二维高斯函数G(x，y，σ)的卷积。二维高斯函数G(x，y，σ)中（x，y）表示图像像素的位置：

则尺度空间表示为：

为实现不同的尺度空间搜索且保障尺度体系连续性，对图像做不同尺度的高斯模糊和降采样。为有效提取稳定的关键点，利用不同尺度的高斯差分核与卷积生成DOG 高斯差分金字塔，即将图像在不同参数下的高斯滤波结果相减，得到DOG图像，从而观察图像上的像素值变化情况。DOG 函数为：

2） DOG 局部极值检测

为确保在图像空间和尺度空间都能检测到极值点，DOG 局部极值点检测不但包括与本层临近同尺度的8 个相邻点像素之间相互比较，还需要和上下两层相邻尺度对应的9×2 个像素点相互比较，一共需要比较 8+2×9 =26 个像素。然后通过拟合三维二次函数来精确确定关键点的位置和尺度，同时因为DOG 算子会产生较强的边缘效应，所以需要去除对比度低的关键点和不稳定的边缘响应点。

3） 特征点主方向确定

通过高斯差分金字塔、DOG 极值检测算法已经找到了在不同尺度下都存在的特征点，为了实现图像旋转不变性，需要对特征点的方向进行赋值。本文利用特征点邻域像素的梯度来确定其方向参数，再利用图像的梯度直方图求取关键点局部结构的稳定方向。首先使用有限差分，计算以特征点为中心，以3×1.5σ为半径的区域内图像梯度的幅值m(x，y)和方向θ(x，y)。然后使用梯度方向直方图统计邻域内像素对应的梯度方向和幅值，当存在一个相当于主峰值能量80%的峰值时，将这个方向认为是该特征点的辅方向。一个特征点可能检测到多个方向，这可以增强匹配的鲁棒性。获得图像特征点主方向后，每个特征点有3 个信息：位置、尺度、方向，由此可以确定一个特征区域。

4） 生成描述子

对关键点周围图像区域分块，计算块内梯度直方图，生成具有唯一性的该区域图像信息的描述子。假设将关键点的尺度空间划分为d×d个子区域，每个子区域作为一个种子点，每个点有8 个方向的梯度信息，最终共有d×d×8 个数据，形成d×d×8 维特征矢量。除去光照变化影响，进一步对特征向量门限化、归一化，生成描述子。

在AR 图像识别定位技术中，预先将电子沙盘呈现的战场二维地形图通过电子沙盘与虚拟内容定位技术生成可供识别的模板描述子集合。当用户佩戴AR 眼镜或者手持设备对电子沙盘呈现的战场二维地形进行图像识别时，通过当前电子设备Camera 图像数据的输入实时计算当前设备镜头图像的实时描述子，并建立实时描述子集合，然后通过匹配两集合内关键点描述子的相似性完成目标识别。具体模板描述子与实时描述子匹配算法为：

模板图中关键点描述子：

实时图中关键点描述子：

任意两描述子相似性度量：

配对的关键点描述子需满足：

本文采用平衡二叉树数据结构完成关键点匹配算法搜索，搜索的内容以目标图像的关键点为基准，搜索与目标图像的特征点最邻近的原图像特征点和次邻近的原图像特征点。然后对特征点匹配集合利用随机抽样一致（RANSAC）滤除错误匹配。最后通过特征点准确的匹配关系进行三维位姿估算，计算出AR 内容应该呈现的正确位置。

3.2 位移变换后的视觉准确性跟踪

通过增强现实三维地图识别技术可以正确计算出AR 眼镜与电子沙盘的相对初始位置，但增强现实展示内容以86 寸沙盘为基础，作战单元种类多、分布广，电磁覆盖展示范围大，用户在固定位置无法全方位、直观地观看整个增强现实电磁态势，需要围绕电子沙盘移动式观看电子沙盘，会存在走近、走远，仰视、俯视等多种观察方式。因此本文采用视觉信息和惯性测量单元（IMU）紧耦合的6DOF 优化策略，实现位移变换后增强现实虚拟内容的准确性跟踪与重定位。实现过程如图4 所示，包括数据预处理、后端非线性优化和重定位检测。

图4 位移变换后的准确性跟踪过程

1） 数据预处理

利用KLT 稀疏光流法对每一个地理环境新图像存在的特征点进行跟踪。同时，检测新的角点特征以保证每幅图像特征的最小数目，利用基本矩阵模型的RANSAC 算法进行外点剔除。为获得每个图像帧对应的IMU 数据，对2 个图像帧之间的IMU 数据进行积分，实现图像帧和IMU 数据的意义配对。同时，使用IMU 预积分，当图中某个状态量发生变化时，直接通过预积分的值更新之后的每个关键帧的状态量。

2） 后端非线性优化

基于滑动窗口的紧耦合后端非线性优化：在目标函数中对视觉约束、IMU 约束、闭环约束进行非线性优化，求出滑动窗口中所有帧的PVQ、bias，得到最后姿态的最优解。状态向量共包括滑动窗口内的n+1个所有相机的状态（包括位置、朝向、速度、加速度计bias 和陀螺仪 bias）、相机到 IMU 的外参、m+1 个3D点的逆深度：

目标函数如式（13）所示，其中三个残差项分别为边缘化的先验信息、IMU 测量残差、视觉的重投影残差。

3） 重定位检测

采用 BRIEF 描述子的DBOW2 词袋进行重定位检测，前端识别的 Harris 角点数量通常只有70 个，对于闭环检测远远不够，因此会对新来的帧即后端非线性优化刚处理完的关键帧再重新闭环检测500 个FAST 角点，同时对所有新、老特征点进行 BRIEF 描述。然后计算当前帧与词袋的相似度分数，并与关键帧数据集合中所有帧进行对比，通过闭环一致性检测得到闭环候选帧。最后利用 BRIEF 描述子对闭环中老帧的500 个FAST 角点和当前帧的70 个Harris 角点进行基于描述子的邻域匹配并利用 RANSAC 算法剔除误配点，当剔除后的匹配点仍超过阈值时，判定该候选帧是一个正确的重定位帧，即可将当前的姿态更新为重定位姿态。

通过采用视觉信息和IMU 信息紧耦合的优化方案，大幅提升了位移变换时AR 图像跟踪的稳定性、准确性，满足了多用户以不同视角同时移动观看增强现实电磁态势需求。

4 工程应用验证

4.1 三维地图识别能力

三维地图识别能力的试验原理和验证过程如图5所示，通过对识别模板虚拟模型的准确位姿与虚拟模型的识别位姿进行对比，计算得出多用户、多视角观察前提下电子沙盘战场地图的识别误差。

图5 三维地图识别能力验证过程

首先输入待识别地图图片，使用open cv 的slove-PNP 方法利用图片四个角的位置计算出增强现实相机识别的初始模型的位姿POSE，记录此时人工识别的位姿信息POSE 为准确位姿。使用识别算法对待识别地图图像进行三维地图识别，得到三维地图虚拟模型的识别位姿。随意选取4 张识别地图模板，分别进行试验计算地图模板的识别位姿与准确位姿的误差（识别位姿的位置与准确位姿的位置做算术平方根，识别位姿的姿态与准确位姿的姿态做算术平方根），分别得到4 张地图模板的位移误差在1%～2%之间，旋转误差（姿态的欧拉角误差）在1%度～2%度之间，如表1 所示。实验证实，本技术使用的增强现实三维地图识别算法能够准确地对地图模板进行识别定位，同时用户佩戴增强现实眼镜观察电磁态势时能够看到准确识别定位的虚拟内容，用户体验良好。

表1 识别定位误差表

4.2 位移变换后的视觉准确性跟踪

用户在观察增强现实电子沙盘时会不断变化自己的位置，为了使用户能持续看到精准定位的增强现实虚拟模型，虚拟世界与现实世界坐标系之间的转换关系要不断地根据用户的观察位置和角度来做出相应的、实时的改变，即要同时确定不同用户观察的位置和角度并改变坐标系之间的转换关系。

本实验通过日志方式，记录用户佩戴AR 眼镜围绕电子沙盘移动观察增强现实电磁态势时三维虚拟电磁态势模型的识别位置和用户的位移，计算相对用户位移的识别误差。如表2 所示，计算用户在不同位置的观察时模型的算术平方根，用该算术平方根除以用户在这2 个观察点之间的位移，得到三维识别模型的视觉跟踪与重定位误差在0.008%～1%之间，位移变换后的视觉准确性跟踪精度较高，用户佩戴增强现实眼镜围绕电子沙盘移动观察电子沙盘电磁态势时能够看到准确识别定位的虚拟内容，用户体验良好。

表2 位移变换误差表

4.3 效果验证

基于图像识别跟踪的增强现实电子沙盘电磁态势展示技术效果如图6 所示。经验证，本技术在三维立体层次分层、多维、直观地展示了战场电磁态势，支持多用户以不同全局视角移动、协同观察大规模复杂战场电磁态势，用户体验新颖。

图6 增强现实电磁态势效果图

5 结束语

本文提出了一种基于图像识别跟踪的增强现实电子沙盘电磁态势展示技术，依托400 km×400 km 真实战场环境探索了电磁态势的三维全景增强现实表现手段。实验证明，该技术的识别定位精度、位移跟踪进度准确，更直观地表现了三维电磁信号在空间的分布，用户体验新颖、视觉效果显著。■