全景立体视觉在海上报靶中的应用

汤一平，王庆，庞成俊，朱艺华

(浙江工业大学 信息工程学院，浙江 杭州310014)

在海上实弹训练和比赛过程中，传统的报靶方法是由报靶人员根据经验，目测或借助于一些特定的测量工具来确定靶数，示靶、检靶和训练成绩的记录，也主要依靠人工来完成。这种方式，工作量大、效率低、安全性差，不便于指挥人员、观察人员及时了解实弹射击情况。随着现代化海上军事的发展，对海上打靶结果测量提出了新的要求，不仅要求实时、全方位和高精度的测控能力，而且要实现指挥信息化和可视化等综合试验能力，特别是目标中靶的实时情况［1］。

海上打靶结果测量的关键是要解决实弹测距问题，通过获取落弹点或穿越点的位置计算实弹离靶的距离来确定打靶的效果。随着计算机视觉的发展，立体视觉测量已经广泛应用于工业检测、军事侦察、地理勘测、航空导航、机器人视觉等领域［2-4］。立体视觉测量是模仿人类利用双目线索感知距离的方法，实现对三维信息的感知［5］。但是，基于普通摄像机的立体视觉测量系统的存在以下局限:1)立体视觉拍摄的焦距固定，只能在一定景深范围内清晰地拍摄图像，限制了测试区域;2)标定技术还没有很好的解决，工作冲击引起系统参数的变化也是不可避免的，限制了实际应用;3)计算量大，难以进行实时处理，限制了对导弹类武器的实时目标辨识;4)对应点匹配歧异性大，影响匹配和测量精度。

近年发展起来的全方位视觉传感器(ODVS)为实时获取场景的全景图像提供了一种新的解决方案［6］。它具有360°的广阔视野，能把超过半球的视觉信息压缩成一幅图像，信息量更大;在获取场景信息时，安放位置更加自由;为构建双目全方位视觉传感器的海上实弹训练自动报靶系统提供了一种新的解决方案。

1 海空球面立体视频监控方案设计

1.1 双目ODVS 的结构设计

为了让立体视觉实现全方位实时的感知，将2台具有相同平均角分辨率的全方位视觉传感器进行背靠背地垂直连接，图1为双目立体ODVS［7］，这种垂直连接方式不存在互相遮挡，并且深度信息在各方向上具有同等精确度，为求全景场景内的物点位置提供了良好的基础。

图1 双目全方位视觉传感器Fig.1 Binocular omni-directional vision sensor

1.2 海空球面立体视频监控方案

鉴于上述的设计，就可以利用该双目ODVS 来获取海空球面的视频立体全景图。由于双目全方位视觉传感器可以瞬间获取360° ×360°球形视场的信息，同时有一部分区域是2 个ODVS 的共同视场，该重叠部分即为双目视觉区域。在这种情况下，双目ODVS 可以捕捉全球面范围内的实弹轨迹;同时，如果实弹进入双目视觉区域，就可以估算出实弹离观测点S 的空间距离信息，如图2所示。这种全景立体视频监控解决方案，在海上实弹训练自动报靶系统中具有十分重要的意义。

图2 海空球面立体视频监控方案Fig.2 Spherical stereo surveillance on sea and air

2 双目立体ODVS 测距原理

海上实弹训练检靶最重要的一点是实时获取落弹点或者实弹穿越点的空间位置信息。设计的双目立体ODVS 中2 个ODVS 的视点分别为点A、B，且基线距AB 为c，如图3所示。

图3 双目立体ODVS 的测距原理图Fig.3 Measurement principle of binocular ODVS

根据三角形正弦定理，在△ABG 中，有

式中:R 为△ABG 外接圆半径。因此，若已知三角形的两角夹一边，可以解决求解其它边角问题。由于基线距AB 等于c 是已知的，在ODVS 设计时采用了平均角分辨率［7］的设计，从而保证了物点G 的入射角Φ 与其像点P 到z 轴距离具有线性关系，即已知像点P 就能通过平均角分辨率公式计算其对应的入射角Φ.并且，由于OA =OB，可以求得空间任一物点G 到双目立体ODVS 的中心点O 位置的距离。

3 立体图像匹配

要计算得到远处监控对象G 的距离信息，首先要在立体全景图像对中找到同一物点的对应的成像点对，这个问题被称为立体匹配问题。提出了一种采用统一高斯球坐标处理的立体视觉匹配方法。该方法分为ODVS 视频图像预处理、成像物点的匹配以及双目测距3 个部分。

3.1 ODVS 视频图像预处理

要实现对应像素点的匹配，其关键点是要实现2 个ODVS 之间的图像信息融合。为了实现方便运算，引入经纬度的概念，将物点G 的方位角和入射角用高斯球面坐标来考虑，入射角Φ 对应于纬度值，方位角β 对应于经度值。

如果在设计时2 个ODVS 的经度实现了对齐，那么双目ODVS 在结构上满足极线约束［8］，从而，将对应匹配点的搜索范围从二维图像简化到一条垂直线上，为点与点的快速匹配提供了基础。

假设以图2中观测点S 建立高斯球面坐标系，则方位角β 是入射光线在xOy 平面上投影与x 轴的夹角，可以通过(2)式计算

入射角Φ 为入射光线与z 轴的夹角，Φ 可以利用平均角分辨率设计公式计算。

设柱状展开［9］后图像的高×宽为h×w，则算法垂直计算步长Δh=(Φmax-Φmin)/h;水平计算步长Δβ=2π/w，Φmax为全景图的最大有效半径Rmax对应的光线入射角，Φmin为全景图最小有效半径Rmin对应的光线入射角。则全景图中原像点C(β，Φ)与柱状展开图中像点(x，y)有对应关系

式中:β 为方位角;Φ 为全景图上像点C 对应的光线入射角。

因此，若以高斯球面坐标系表示空间中任意物点G(r，β，Φ)的坐标，只有空间距离r 还需要进一步确定。

3.2 实弹成像物点的匹配

成像物点的匹配是立体视觉测量技术的关键，也是海上打靶结果视频测量必须解决的关键问题。本文分别用ODVSup、ODVSdown标识上下ODVS，并且在计算物点G 在上下ODVS 中的入射角Φ 时，分别以其对应的视点A、B 建立高斯球面坐标系。

假设物点G 在双目视觉区域内，它在ODVSup的全景图中的成像点为Cup(Φ1，β1)，如图4(a)所示，在柱状展开图中的像点为Cup(x1，y1)，如图4(b)所示。其中Φup，max为入射角为最大仰角时的值，Φup，90为入射角为90°时的值，Φup，min为入射角为最小俯角时的值。

图4 ODVS 拍摄的全景示意图Fig.4 Sketch of panorama vision taken by ODVSup

且该物点G 在ODVSdown的全景图中的成像点Cdown(Φ2，β2)，图5(a)所示;以及对应在柱状展开图中的像点Cdown(x2，y2)，图5(b)所示。其中，Φdown，max为入射角为最大仰角时的值，Φdown，90为入射角为90°时的值，Φdown，min为入射角为最小俯角时的值。

图5 下ODVS 拍摄的全景示意图Fig.5 Sketch of panorama vision taken by ODVS down

本文将大于90°的入射角称为仰角，小于90°的入射角称为俯角，并且在设计ODVS 时将Φmax设计成仰角，因此必定有双目视觉范围。则对于空间中的一物点G，如果它在双目视觉范围，那么全景图中必定存在着2 个成像点Cup(Φ1，β1)和Cdown(Φ2，β2)，且它们的方位角β 相同，即β1=β2.同时对应的柱状展开图中的x 坐标也相同，即x1=x2.根据这个原理来对齐上下2 个ODVS 的柱状展开图中的方位角，如图6所示。

图6 双目ODVS 的成像物点匹配Fig.6 Object match in binocular images

很明显，图6是图4(b)和图5(b)的合成，通过它可以非常方便的实现基线约束，快速实现对应点的匹配。进而获得物点G 在2 个ODVS 的入射角，即Φ1和Φ2，就能估算物点离视点中心的距离;根据(3)式，考虑设备的安装结构，因此Φ1和Φ2为

式中:h 为柱状展开图像的高度;y1，y2为物点G 在2 个柱状展开图中的纵坐标。

3.3 实弹空间距离的测量

在获得了入射角Φ1和Φ2后，就可以利用三角关系式求O 点(观测点S)与物点G 点的距离

4 实验研究

为了验证全景立体视觉在海上的示靶、检靶、报靶的功能，实验研究时，主要验证落弹位置的自动测距功能，因此，根据要求进行如下的模拟实验:首先将双目全方位视觉传感器作为目标靶的中心，然后通过估算某一物点离双目全方位视觉传感器的距离来实现检靶功能。为了模拟海平面本文将实验地点选择在浙江工业大学内的草坪上，用假山石来模拟实弹的落点位置，然后分别使双目ODVS 与假山石保持距离为5～50 m(每隔5 m)进行测距实验，所拍摄到的立体视频图像序列如图7所示，左图为上ODVS 获取的全景图，右图为下ODVS 获取的全景图。双目全方位视觉传感器的中心离草坪面的高度为1 m，实际测量距离采用卷尺进行度量，然后用报靶系统中的距离测量模块分别对在不同情况下的假山石的距离进行估算，并与卷尺实际度量值进行比较，来评价其测量精度。

图7 双目ODVS 所拍摄到的全景立体图像对(5～50 m)Fig.7 Panoramic image pair taken by binocular ODVS in distance of 5 m to 50 m

测距试验结果如图8和表1所示。图8为通过展开算法对2 个ODVS 对同一目标点(假山石上的某一点)15 m 处拍摄的全景图进行展开并调整展开图像的方位角，使得检测目标点C(图中十字所在处)的方位角对齐后，然后计算Φ1和Φ2的值，根据(6)式估算其离双目ODVS 的距离。表1是依据以上方法，对50 m 范围内的目标测量点进行测距的实验结果。

图8 测量距离为15 m 时，立体匹配与测距的实验结果Fig.8 Experiment results of stereo match and ranging in 15 m away from binocular ODVS center

表1 测距值及测量误差Tab.1 Ranging results and errors

图9是对表1实验结果进行的分析，生成的实际估算测量结果误差曲线和理论计算误差曲线的关系图。

图9 误差分析曲线Fig.9 Error analysis

由表1和图9的测量结果可知，测量距离与实际值之间存在着一定的误差;并随着测量距离增大，误差率随之增大。

从双目立体视觉原理上可以精确的测量出物体的空间信息，但是由于成像单元(CMOS)成像离散化的影响，存在最小分辨率误差。

根据(4)式、(5)式，以成像平面上的点变量对入射角Φ 进行求导，可以得到如下关系式:

式中:ΔP 为成像单元的像素变化值;ODVS 的Φmax为116°，Φmin为30°，柱状展开图高h 为300 像素。因此(7)式可以解释摄像机分辨率对误差的影响，以及误差递增的原因。实验采用38 万像素的CMOS 芯片，如果采用200 万像素的感光芯片，可以提高4 倍以上的测量精度。

由(6)式可知，当测量距离增大时，测量点的入射角Φ1和Φ2变化率逐渐变小，Φ1、Φ2趋向于2 个稳定的值，使(6)式中的D 项变化很敏感，而F 项趋向于常数，从而导致远距离测量误差较大，同时，误差还受到镜面设计结构和基线距离的影响。

在已开发的双目立体ODVS 的基础上，分析如何提高测量的精度。

为了讨论方便，首先假设测量点与双目ODVS的中心在同一水平面上，即Φ1=Φ2=Φ，则(6)式中，E=0.25，F=0.5，进而可以简写为

式中:OG为测量距离;Φ 为入射角。

对其求导，有

式中ΔΦ 为入射角的变化率。

误差补偿的方法:由于误差值随Φ1和Φ2的增长呈单调增长，因此补偿后的测量距离估算值，

根据误差补偿理论，利用(10)式对测量数据进行误差补偿。采用上述误差修正模型后，测距结果如表2和图10所示。从测量补偿前后的结果来看，距离测量误差估计值得到明显的改善，提高了距离检测准确度。

另外，提高感光芯片的分辨率可以提高检测精度，同时需要考虑检测的实时性;在满足双目视觉测距的条件下，加大双目立体视觉的基线距、改变ODVS的设计结构来提高测量精度也具有极大地实用价值，值得下一步深入研究。

表2 补偿后的测距值及测量误差Tab.2 Ranging and error after compensation

图10 补偿后的误差分析曲线Fig.10 Error analysis after compensation

5 结论

本文所开发的基于双目立体全方位视觉海上实弹训练报靶系统，可以瞬间获取360° ×360°球形视场的空间视觉信息，利用2 个ODVS 的视觉重叠区域实现对三维信息的感知，只要选择较高分辨率的成像器件，就能准确测量出在球面半径为50 m 整个球面内的实弹距离;对于没有进入视觉重叠区域的实弹可以根据实弹成像的大小来间接估算离目标靶的距离;海上实弹训练的靶标设计成浮标形式，将双目立体全方位视觉传感器放置在浮标的上面，利用双目立体中稳定的三角测量原理，避免了全景视觉传感器姿态对测量的影响，通过三角计算得到落弹点与靶标的距离;在实际应用中通过采用无线通讯的方式将海上实弹训练的视频图像传送到指挥艇。由于篇幅限制，本文只讨论了落弹与靶标的距离的测量。

后续的研究工作设想是将本文所开发的双目立体全方位视觉传感器安置在靶标上，通过实弹训练来测量炮弹的序列图像获得实弹的姿态、速度和轨迹等参数，通过实弹的飞行轨迹计算炮弹的俯仰角和偏航角，进而为提高海上实弹训练工作效能提供技术支撑;关于实弹的检测与跟踪，考虑采用混合高斯建模和Camshift 跟踪算法来实现;本文提出的这种全景立体ODVS 系统应用于空中侦察、海域侦察以及海空侦察将具有十分重要的意义。

References)

［1］李树国，张海江，李进，等.海上飞行目标过靶实况观测设计与实现［J］.无线电工程，2007，37(12):24 -26.LI Shu-guo，ZHANG Hai-jiang，LI Jin，et al.Design and implementation of live observation to aero target［J］.Radio Engineering of China，2007，37(12):24 -26.(in Chinese)

［2］Kim Gyung-Bum，Chung Sung-Chong.An accurate and robust stereo matching algorithm with variable windows for 3D measurements［J］.Mechatronics，2004，14(6):715 -735.

［3］邱阳，白立芬，李庆祥，等.基于边缘和区域联合匹配的立体视觉新方法［J］.仪器仪表学报，2001，22(3):255 -256.QIU Yang，BAI Li-fen，LI Qing-xiang，et al.A novel method of stereovision based on correlation of area and boundary［J］.Chinese Journal of Scientific Instrument，2001，22(3):255 -256.(in Chinese)

［4］吕乃光，冯迪，邓文怡，等.用BP 神经网络构成三维视觉测量系统的新方法［J］.华中科技大学学报:自然科学版，2002，30(5):19 -21.LÜ Nai-guang，FENG Di，DENG Wen-yi，et al.A new method for 3-D vision measurement system by the use of BP neural network［J］.Journal of Huazhong University of Science and Technology:Nature Science，2002，30(5):19 -21.(in Chinese)

［5］Elinas P，Sim R，Little J J.sigmaslam:stereo vision slam using the rao-blackwellised particle filter and a novel mixture proposal distribution［J］.Proceedings of the IEEE International Conference on Robotics and Automation，2006:1564 -1570.

［6］汤一平，叶永杰，朱艺华，等.智能全方位视觉传感器及其应用研究［J］.传感技术学报，2007，20(6):1316 -1320.TANG Yi-ping，YE Yong-jie，ZHU Yi-hua，et al.Research on intelligent omni-directional vision sensors and their applications［J］.Chinese Journal of Sensors and Actuators，2007，20(6):1316 -1320.(in Chinese)

［7］汤一平.基于双目全方位视觉传感器的立体视觉测量装置:中国，200810062128.5［P］.2008 -05 -30.TANG Yi-ping.Stereo vision measurement device based on binocular omni-directional vision sensors: Chinese Patent.200810062128.5［P］.2008 -05 -30.(in Chinese)

［8］Mariottini G L，Oriolo G，Prattichizzo D.Image-based visual servoing for nonholonomic mobile robots using epipolar geometry［J］.IEEE Transactions on Robotics and Automation，2007，23(1):87-100.

［9］Potúˇcek Igor，Omnidirectional image processing for human detection and tracking［D］.Brno:Brno University of Technology，2006.