基于退化共线方程与数字高程模型的炮弹炸点坐标检测

连细南，陈栋，孟奇

(陆军炮兵防空兵学院 高过载弹药制导控制与信息感知实验室，安徽 合肥 230031)

实弹射击中，炮弹炸点坐标的精确实时检测一直是研究的重难点问题。依据炮弹爆炸产生的物理现象不同，可分为基于雷达信号检测[1]、基于红外信号检测[2]、基于可见光信号检测[3]、基于声波信号检测[4]和基于地震波信号检测[5]等方法。基于可见光信号的检测方法，符合视觉观测习惯，具有更强的精确性和实时性，是当前研究的热点。

张亚辉等[6]通过电视经纬仪检测炸点数据的处理分析，得到精度更高的炸点坐标；赵广伟等[7]基于炮弹炸点图像，引进深度学习算法，提高炮弹炸点图像坐标检测性能；徐韬祜等[8]利用高速相机帧频高、布站方便等优势，对炮弹近地炸点进行检测。但其检测设备大多基于地面观测平台，存在通视局限性。基于此，于国栋等[9]、王永新等[10]提出通过高空拍摄炮弹落区进行炮弹炸点检测的方法，但在检测前均需提前布设地面控制点。

研究者对炮弹炸点坐标检测需求与理解不同，检测输出不同，如输出炮弹炸点轮廓与检测框[11]、炸点图像坐标[12]和炸点三维坐标[8]等。在实际应用中，炮弹炸点坐标检测具有图像坐标和三维坐标双层含义，即在检测炮弹炸点图像坐标基础上，计算炮弹炸点图像坐标所对应的三维坐标。综上，以多旋翼无人机为空中监测平台，结合退化共线方程与数字高程模型(Digital Elevation Model,DEM)，在无需预先布设地面控制点条件下，检测输出炮弹炸点图像坐标与三维坐标。

1 炮弹炸点坐标检测分析

1.1 炸点解算概念

炮弹按用途可分为主用炮弹、特种炮弹和辅助炮弹，主用炮弹用于直接毁伤目标，包括榴弹和穿甲弹等[13]。其中，榴弹是杀伤弹、爆破弹和杀伤爆破弹3种弹药的俗称，文中炮弹概念即以高能量、高爆速的单质与混合炸药为装药的炮弹。

炮弹炸点辐射光谱分布，主要集中在近红外和可见光区域[14]，在可见光光谱区域内，炮弹爆炸时具有爆炸火光和烟尘2种可视现象。利用相机捕获炮弹落区场景，分割炮弹炸点轮廓后，可使用灰度重心法[15]，计算炮弹炸点图像坐标。在图像坐标基础上，通过构建图像坐标与三维坐标的关系式，解算炮弹炸点三维坐标。

1.2 检测方案设计

以多旋翼无人机为空中监测平台，按实弹射击进程划分为3个环节，方案示意如图1所示。

实弹射击前，无人机操作手按照指观所预先指令，操纵多旋翼无人机至预定地域，调整悬停高度与相机指向，使炮弹落区幅员位于图像成像范围内。射击进行时，采集图像并发送至指观所，实时解算炮弹炸点图像坐标与三维坐标，求取偏差量，辅助校正射击。射击结束后，撤收无人机，进行采集图像及解算数据的存储与管理。

2 炮弹炸点坐标解算方法

2.1 检测坐标系定义

如图2所示，构建检测坐标系，基于共线方程原理建立图像中像点与世界中物点关系式。

以图像左上角P为原点，沿水平向右为Xp轴，垂直向下为Yp轴，建立图像坐标系P-XpYp。以像主点O为原点，Xg轴与Yg轴分别平行于图像坐标系，建立像平面坐标系O-XgYg。以相机光心S为原点，点S与点O连线垂直像面指向上为Zc轴，Xc轴指向相机横轴右侧，Yc轴按右手系确定，建立像空间直角坐标系S-XcYcZc。以相机惯性测量单元几何中心为原点，Yi轴沿运动方向向前，Xi轴垂直运动方向向右，Zi轴按右手系确定，构建IMU本体坐标系I-XiYiZi。以S为原点，沿地理东向为Xa轴，地理北向为Ya轴，Za轴与Xa、Ya轴正交并指向地理天向，建立像空间辅助坐标系S-XaYaZa。以S沿铅锤线与地面交点D为原点，其余三轴平行于像空间辅助坐标系，建立站心坐标系D-XdYdZd。

2.2 共线方程构建

共线方程建立中，炮弹炸点坐标转换过程如图3所示。经过单位转换、空间转换和旋转转换，最后在站心坐标系下表示物点空间位置，在像空间辅助坐标系下建立像点与物点共线方程表达式。

2.2.1 图像坐标系与像平面坐标系转换

根据机载相机固有参数不同，设图像坐标系原点O在像素坐标下坐标为(Οx,Οy)，图像坐标系沿x、y方向每毫米各为px、py个像素。通过式(1)进行图像坐标系与像平面坐标系转换：

(1)

2.2.2 像平面坐标系与像空间坐标系转换

像平面坐标系与像空间坐标系转换中，Z轴垂直于像平面指向正上方，像空间中任意点Z轴坐标均为-f(相机焦距)，可用式(2)表示两者转换关系：

(2)

2.2.3 像空间坐标系与IMU本体坐标系转换

多旋翼无人机中，相机与IMU有两种连接方式。一是非固连方式，相机与IMU存在相对位置关系，包括相对旋转角和相对平移量，参数需要通过标定取得；二是固连方式，相机与IMU固连，像空间坐标系与IMU本体坐标系相互重合。但由于安装时无法避免地存在误差，两坐标系并非严格重合。本文中，多旋翼无人机挂载相机与IMU刚性固连，将像空间坐标系与IMU本体坐标系视为同一坐标系。

2.2.4 像空间坐标系与像空间辅助坐标系转换

像空间坐标系与像空间辅助坐标系存在相对旋转角，包括偏航角α，俯仰角β和滚转角γ，将像空间坐标系按Z轴、X轴和Y轴顺序旋转将两坐标系重合，其转换关系为

(3)

式中：a1=cosγcosα-sinγsinαsinβ;a2=-cosβsinα;a3=cosαsinγ+cosγsinαsinβ;b1=cosγsinα+cosαsinγsinβ;b2=cosαcosβ;b3=sinγsinα-cosγ·cosαsinβ;c1=-cosβsinγ;c2=sinβ;c3=cosγ·cosβ。旋转矩阵R由以上9个方向余弦构成，按式(3)中顺序排列，由RT=R-1可得：

(4)

2.2.5 像点与物点关系式构建

相机光心点与地面物点在站心坐标系下坐标分别为S(0,0,h)，B(xd,yd,zd)，高程量h可为多旋翼无人机机载气压式高度计输出值。则地面物点在像空间辅助坐标系下坐标为B(xd,yd,zd-h)，对应像点坐标为b(xa,ya,za)，根据S、b、B三点共线可得：

(5)

式中,λ为摄像比例尺。

将式(5)带入式(4)可得：

(6)

展开式(6)可得：

(7)

(8)

(9)

将式(9)带入式(7)与式(8)可得：

(10)

将式(10)带入式(1)可得：

(11)

式(11)即为图像中像点与地面物点的共线方程，方程共包含14个参数，图像像点坐标(xp,yp)，地面物点坐标(xd,yd,zd)，相机固有参数f、Οx、Οy、px、py和相机位姿参数h、α、β、γ。

2.3 炸点坐标解算

在已知相机固有参数、位姿参数及地面物点三维坐标时，根据式(11)可解算地面物点所对应的像点坐标，但若已知相机固有参数、位姿参数及图像像点坐标并无法解算地面物点三维坐标。目前，可用空间前方交会方法[16]结合DEM方法[17]等实现像点至地面物点三维坐标解算，但均无法满足多炸点实时解算的需求。因此，笔者提出一种结合退化共线方程与DEM的解算方法，解算地面炸点三维坐标，其过程如图4所示。

2.3.1 退化共线方程解算炸点二维坐标

在不考虑共线方程高程坐标时，式(5)方程退化为

(12)

像空间坐标系与像空间辅助坐标系转换关系式(3)退化为

(13)

将式(12)带入式(13)可得：

(14)

将式(1)带入式(14)可得：

(15)

在式(15)中，[a1,a2,a3]、[b1,b2,b3]与λ可通过机载位姿系统获取，在计算炮弹炸点图像坐标(xp,yp)基础上，可结合相机固有参数，通过式(15)解算对应的地面炸点二维坐标(xd,yd)。

2.3.2 结合DEM解算炸点三维坐标

解算(xd,yd)后，可结合炮弹落区内WGS-84坐标系下DEM求解炸点三维坐标。DEM是地表高程信息数据库，其通过有限的地形高程数据，实现地面地形的数字化表达。由于WGS-84坐标系与站心坐标系的参考点和坐标轴不同，解算时需将WGS-84坐标系转换至以D为原点的站心坐标系。

1)将WGS-84坐标系转换到地心地固坐标系(ECEF)：

(16)

2)将ECEF坐标系转换至以地面物点D为原点的站心坐标系：

(17)

式中：(X0,Y0,Z0)为地面物点D(L,B,H1-h)通过式(16)转换为ECEF坐标系下的坐标；(L,B,H1)为无人机机载GPS系统输出值，参考面为基准椭球体；h为无人机气压式高度计输出值，是无人机距地球表面D点的相对高程距离。

3)将解算的炮弹炸点二维坐标(xd,yd)带入式(17)进行匹配运算，最终输出炸点三维坐标。

3 坐标解算仿真

3.1 仿真试验方案

由于实弹试验组织困难，为验证炮弹炸点坐标检测方法，构建仿真环境进行试验，其总体流程如下：

1)仿真环境搭建与调试。

2)数据集构造与模型训练。采集炮弹落区模拟图像，进行图像标注与模型训练调优。

3)试验分析有效性。根据炮弹分布场景不同，设置不同组别的对比试验，分析解算方法有效性与主要误差。

3.2 仿真环境构建

从功能实现角度将炮弹炸点坐标检测仿真系统划分为落区模拟环境、图像采集环境和坐标解算环境。落区模拟环境模拟生成炮弹炸点与落区环境。图像采集环境实时采集炮弹炸点图像并传输至坐标解算环境。坐标解算环境接收采集图像并解算炮弹炸点图像坐标与三维坐标。

3.2.1 落区模拟环境

落区模拟环境由炸点模拟显示器与模拟软件组成。炸点模拟显示器采用Philips 65英寸液晶显示屏，显示屏比例为16∶9，分辨率3 840×2 160。炸点模拟软件具有模拟炸点环境、炸点生成频率、散布误差等功能。其模拟效果如图5所示，模拟落区环境视角深度逐渐增大。在落区模拟环境中，物点和站心坐标系原点均预先设置WGS-84坐标值。

3.2.2 图像采集环境

图像采集以Azure Kinect DK为平台，融合多个传感器，可实时捕捉周围环境信息。前置1 200万RGB摄像头，使用CMOS滚动快门传感器，实时输出4 K高清画质，采集速度30帧/s。通过距离调整，使模拟显示器处于图像采集视场内。100万像素深度相机获取相机至屏幕深度信息，模拟相机至地面相对高程。内置3D电子加速度计与陀螺仪，模拟传感器姿态定位。其布设如图6所示。

图像采集环境布设为理想炸点捕获场景，即相机垂直投影于落区，此时，站心坐标系原点位于炮弹落区的中心点。

3.2.3 坐标解算环境

炸点坐标解算硬件环境为英特尔处理器，内存128 GB，英伟达GTX3090显卡，显存24 GB。软件环境为 Windows 10系统，使用实例分割算法，分割炮弹炸点，计算其图像坐标后，再匹配模拟落区DEM数据，输出炸点三维坐标。

3.3 仿真结果分析

依据火力分配方法不同，可将炮弹射击分为分段射击与重叠射击。针对单炮射击、分段射击和重叠射击3种常见射击情况，模拟炮弹散布场景，验证炮弹炸点三维坐标的解算。

3.3.1 单炮射击

单炮精度射击是指用一门火炮对预定射击目标点进行实弹射击，其试验目的包括测试系统对单发炮弹炸点的解算效果及DEM精度对解算精度的影响。

模拟单炮射击场景，设置落区中心点为火炮预定射击目标点，炸点散布圆概率误差为10 m，随机生成5发炸点，炸点爆炸图像生成间隔为10 s。

第1组试验在同一精度的DEM上进行，可理解为对单发炮弹炸点的解算、检验解算原理。设置DEM精度为10 m，测试4轮，取其中2轮试验结果进行分析，试验结果如图7所示。模拟生成炸点围绕预定射击目标点散布，炸点频率低，系统逐发地进行炸点捕获与解算，试验中，炮弹炸点均能被准确解算。

第2组试验在不同精度DEM上进行，测试DEM对坐标解算精度的影响。分别设置DEM精度为10、8、5和2 m，测试4轮并分析，试验结果如图8所示。在预定射击目标点、炮弹炸点生成圆概率误差等设置条件不变下，DEM精度与三维坐标解算精度具有直接相关性。随着DEM精度提高，炸点三维坐标解算精度随之提升，误差减小。

3.3.2 分段射击

分段射击是炮兵营(连)对同一目标幅员或阻击线的不同部分进行射击，按担负的阻击地段或阻击线中心点决定射击诸元。试验目的包括测试系统对模拟落区不同位置的炸点解算效果及炸点在相同区域的解算效果。

如图9所示，模拟某营分段射击场景，目标区域有6个预定射击目标点，区分不同建制连对两两目标中心点进行射击。每营配置3个连，每连配备6门火炮，各连各炮按建制序列排开，连内按各炮上下交错方式部署。其中“M101”代表某营1连1号火炮，其余火炮编号序列以此类推。

试验中炮弹炸点散布误差与DEM数据精度均为10 m。第1组试验模拟建制连第1门火炮对所属目标点发射1发炮弹，分别在模拟落区顶部、中间与底部生成炸点图像，测试4轮，取1轮结果分析。第2组试验中，设置不变，以模拟落区中心点为射击中心点，在左右两侧生成炸点图像，模拟4轮次射击，选取2轮分析。

第1组试验每连仅第1门火炮进行射击，其近似为模拟3发炸点的散布。分别将打击点设置在模拟落区的3个区域，每个区域射击4轮。试验结果如图 10所示，“+”表示射击目标点，“★”表示模拟生成的炮弹炸点，“●”表示仿真解算出的炸点。黄色、绿色和红色分别对应射击点1～3，以下表示均保持相同。由图 10可知，单发分段射击场景下，系统在模拟落区的仿真成像内均能计算出炮弹炸点坐标，能够对捕获范围内炸点进行有效解算。

第2组试验每连每门火炮在同一时间内对所属目标发射1发炮弹，分别在3个打击点模拟生成6发散布炸点。测试4轮，取其中2轮试验结果进行分析，其仿真试验结果如图11所示。可观察到炸点分布以目标点为中心散布，图(a)与图(b)中均存在漏检问题。其主要原因是随机炸点相互重叠遮挡，使相邻炸点分割为同一个，导致了坐标的错误解算。

3.3.3 重叠射击

重叠射击是将炮兵营(连)火力重叠在同一射击地段或阻击线上进行射击，以目标区中心点决定射击诸元。试验多发炮弹在同一时刻对同一目标点射击的坐标解算效果。

某营对敌部署目标区域进行重叠射击，如图12所示，在同一时间内射击目标区域中心点。炸点散布等基本设置不变，目标点设置在模拟落区环境中心点。

进行一次重叠射击，每门火炮发射1发炮弹，在模拟落区环境中心点，进行4轮次射击试验，取其中2轮试验结果进行分析。每一轮次随机生成18发散布炸点并进行捕获与解算。营重叠射击预定射击点为目标二，仿真试验结果如图13所示。

全营18门火炮集火射向，围绕打击目标点，落区模拟环境生成18个随机分布炸点。在DEM精度为10 m条件下，能够进行炸点坐标的解算。但由于同一射击区域内，多发炸点同时随机生成，炸点密集度大，导致解算误差增大，在仿真试验组中均存在炸点的误检与漏检情况。

3.3.4 结果分析

落区模拟环境模拟生成炮弹炸点三维坐标，将其与炸点坐标解算值对比，得到解算误差。在炸点坐标解算过程中，影响炸点坐标解算的误差源主要包括DEM精度、图像坐标解算精度和机载摄像机定位与位姿精度等。其中DEM精度是主要误差源，采用越高精度的数据，解算误差越小。炮弹炸点分割是解算炸点三维坐标的前提，炸点图像坐标计算错误将直接导致三维坐标的错误解算。在炸点时空密集时，炮弹炸点间存在遮挡与重叠。采用当前最佳分割算法仍无法准确分割出不同炸点实例，存在炸点的误检与漏检问题。相机定位与位姿误差由机载POS系统、GPS系统及气压式高度计确定，根据所使用设备精度的不同，其水平误差与高程误差不同。实际场景中，使用大疆M300 RTK进行定位解算，在理想条件下，其水平与高程定位精度可达±0.1 m。相机焦距误差、像主点误差等在相机出场前适配测量，数值通常很小，解算中可忽略不计。针对主要误差来源，可通过提高DEM数据精度和图像分割算法性能，减小炸点坐标解算误差。

4 结束语

笔者在分析炮弹炸点坐标检测定义基础上，设计了以多旋翼无人机为空中观测平台进行炮弹炸点坐标检测的方案。提出结合退化共线方程与DEM的解算方法，通过建立像点与物点关系式，DEM转换等流程，实现炮弹炸点三维坐标解算。在构建的炮弹炸点坐标检测仿真系统上，验证了所提出的方法。试验表明，该方法可实时准确地输出炮弹炸点坐标，满足工程实践要求。