全封闭装甲车辆头盔式舱内透视技术

兰一达，宋跃进，张振华

（1.北方自动控制技术研究所，太原 030006；2.中国兵器科学研究院，北京 100089）

0 引言

传统全封闭装甲车辆在执行车外观测命令时，需要乘员直接观察潜望镜或周视镜采集光学图像，通过操作手柄驱动视景转动，实现观察视场周视切换。在这种模式下车辆周围态势感知会存在视景缺失，实时性不足，操作强度高，无法兼顾其他任务等问题。针对此类问题，不同的研究团队提出了不同的解决方案，其中较可行的一种为舱内透视技术，即接收乘员实时目视方向与头部姿态，经由对车外多摄像头系统拼接组成全景视频流的实时裁剪输出相应方向的视频图像，最终反馈至乘员终端（乘员终端可以是以屏幕显示或头盔显示器为代表的显示装置）。根据舱内透视技术的技术实现流程，需要克服以下难点：车体与头盔之间相对位置姿态的计算（重点为相对方位角计算）以及根据目视方向对全景视频流进行裁剪。

为解决上述难点，本文提出了一种基于全封闭装甲车辆双刚体多自由度环境下针对全景视频流的视场显示模型和一种基于OpenCV 的视角切换控制方法，旨在为全封闭装甲车辆舱内透视技术提供针对全景视频流实时输出的解决方案，进行初步论证与试验，并为其进一步完善打下基础。

1 舱内透视领域研究现状

20 世纪50 年代，现代头盔显示器的雏形初现于英国，但尚未大规模应用。20 世纪70 年代，头盔显示器第一次被应用于美国“眼镜蛇”武装直升机。发展到90 年代，更先进的主动液晶头盔显示器、全息显示器等出现，头盔显示技术进入高速发展阶段。民用领域，以VR 眼镜为代表的产品将头盔显示与虚拟现实技术结合起来，广泛应用于生活；基于全封闭座舱的头盔式观察系统也开始广泛应用于特种车辆与交通工具中。

军用领域与此相对应，将头盔显示器与全景视频结合进行舱外观察的“透明装甲”构想开始出现，并在其后20 余年中得到大规模应用。其中，最典型的代表为以色列“铁视”系统。国外全景观察技术与头盔显示的结合，已经成为车载透视技术的主流方案，国外已有相对成熟的技术和产品。在单兵等其他领域，国外亦已开启相关产品开发。在国内，航空领域头盔显示技术研究如火如荼，但其应用场景是在外部自然背景下的瞄准和导航信息的叠加，其应用需求与车载全景观察尚有所不同。在车载领域尚无规模化的舱内透视技术相关产品，存在技术空白。

针对全封闭装甲车辆的头盔式舱内透视技术将聚焦于以下问题：1）以空间转换为核心的视场显示模型；2）基于视场显示模型的视角切换控制方法。

从传感器采集到的姿态数据，经过视场显示模型进行空间转换与计算，得到目标视向；经视角切换控制方法基于此视向的裁剪，最终得到能够输入至头盔的相应角度跟随成像，图1 所示舱内透视技术逻辑框架。

图1 舱内透视技术逻辑框架

2 视场显示模型

根据国内对特种车辆舱外观察系统的相关研究，视场显示模型所面临的核心问题为：经大地参考坐标系在互不相关头盔坐标系与车体坐标系之间建立多刚体间的位置姿态关系，其必然涉及到空间转换问题；模型的最终输出为头盔与车体坐标系间的相对位姿数据，并由视角切换控制方法进行处理。图2 所示空间转换涉及到的坐标系间的转换关系。

图2 空间转换坐标系逻辑关系

2.1 位姿描述与空间转换方法介绍

目前常用的刚体位姿描述与空间转换方法有以下3 种：欧拉角（RPY 角）法、旋转矩阵（方向余弦矩阵）法和四元数（轴角）法。

欧拉角法是最常见的位姿表示方法，由一组3个角度分别表示刚体在空间中的俯仰、横滚和偏航方向。若刚体坐标系按照右手定则给出，则俯仰角描述物体绕X 轴转动，横滚角描述物体绕Y 轴转动，偏航角描述物体绕Z 轴转动。因此，物体位姿可以由连续3 次围绕坐标轴的旋转得到。欧拉角法被广泛用于各种涉及位姿描述的人机交互界面及作为位姿传感器输出数据。

旋转矩阵法以一个正交矩阵描述了刚体在空间中的一种转动行为，其优势是可以由欧拉角计算得出，并能够进行连续多次旋转的合成效果描述。然而，旋转矩阵法需要对数量庞大的矩阵参数进行运算，虽然便于以矩阵形式表达旋转过程，但是运算速度较慢，不利于计算机处理旋转过程。因此，在四元数法普及之后，旋转矩阵法一般用于对旋转过程进行理解和表示，不再大批量用于程序计算。

四元数法是在程序中计算刚体旋转最常用的方法。物体在空间中围绕某一轴转动一定角度可以看作一次旋转，而此类空间中的一次旋转由一个四元数（四维向量）表示：

或

其中，W一维表示旋转角度；三维Wi+Wj+Wk 表示旋转轴在单位坐标系（i，j，k）下的坐标值。

对于由一组欧拉角3 次旋转所确定的复合旋转，可以等效为绕空间中某向量经一次旋转特定角度得到，如图3 所示。

图3 四元数（轴角）旋转

OA 向量围绕OO＇轴旋转θ 角度得到新向量。利用轴角特殊性质，将旋转矩阵或欧拉角表示法转换为相应四元数，则可大幅简化运算过程，提高运算速度。因此，四元数法在电脑运算中最为快捷。

2.2 姿态传感器介绍

由图2 可以看出，在进行空间转换之前，需要采集相应传感器的数据。本文使用的姿态传感器为基于MEMS（微机电系统）的惯性传感器，成本较低，电路结构简单，并可模块化安装于载体。九轴姿态传感器集成对物体姿态角度、角速度、角加速度的测量输出，并能够输出当地磁场环境参数。

头盔加装的姿态传感器三轴方向遵循右手定则，即向右为X 轴，向前为Y 轴，向上为Z 轴，因此，可以用作代表头盔在三维空间内的位姿态，其安装状态如图4 所示。车体姿态传感器方向规定同理。

图4 头盔传感器安装示意

2.3 坐标系与零位规定

基于全封闭装甲车辆的视场显示模型的主要任务是建立在空间中自由运动的全景摄像机与头盔显示器的位置姿态关系。此过程涉及到3 个坐标系之间的转换：参考坐标系D（大地）、头盔坐标系T（头盔姿态传感器）、车体坐标系S（车体姿态传感器，等效于摄像头坐标系）。

由于头盔与车体（即摄像头平台）均可在三维空间内不受约束地自由转动，模型的建立需要最终寻找头盔与车体间的位置关系并寻找二者之间的偏航角度差值。因此，规定头盔零位为头盔正前方，车体零位（目视零位/摄像头零位）为车体正前方，并假设乘员头戴头盔在车内转动不受座位约束。

由于姿态传感器输入为RPY 角形式，头盔坐标系与车体坐标系相对于大地坐标系的姿态均为3次相互正交的欧拉角旋转得到，规定头盔与车体绕大地北、东、上3 轴旋转角分别为横滚角α，俯仰角β，偏航角（方位角）γ。

2.4 空间转换基本原理

空间转换的最终目标为输出头盔相对于车体（摄像头）的位姿所对应的欧拉（RPY）角。

本文选用RPY 角作为传感器输入与最终输出，但过程计算选用更加简洁的四元数法。连续3 次RPY 角旋转可等效为一次轴角旋转，并以式（1）或式（2）所示类型的四元数表示。

空间内一点P 到另一坐标系点Q 的以四元数所表示的旋转公式如下：

其中，W＇为W 的复共轭：

由RPY 角转换至四元数的公式如下：

四元数有以下性质：

1）特殊逆序四元数W如下所示：

实部为相反数的四元数可以表示原四元数所代表旋转的逆旋转，亦可表示参考坐标系相对于物体坐标系的位姿。

2）四元数乘法与矩阵乘法类似，不遵循交换律。以下为四元数乘法公式：

3）现不加证明地给出依次进行两次轴角旋转a和b 所得出的组合旋转对应的四元数公式：

图5 头盔与车体方位角关系

若求得方位角γ 的准确值，则可以依据该值对全景视频流相应方位的视频选段截取处理，并最终输出到头盔显示器。值得注意的是，在现场应用中，视场显示模型需以一定频率实时监控头盔与车体的位置姿态。因此，需要开发额外的实时监控与设备间通信模块程序，以保证输出角度对位姿的监控与跟踪的实时性和有效性。

3 视角切换控制方法

视角切换控制方法的目标是将视场显示模型所输出的方位角度值作为输入，并依据此角度值对全景视频流相应方向的图像进行裁剪输出。本文选用PC 端OpenCV 库进行视角切换输出。

3.1 OpenCV 简介

在全景视频流生成和裁剪输出的过程中，Open CV 及其库函数将会发挥极大作用。

OpenCV（open source computer vision library）是由英特尔研究中心开发的开源计算机视觉库，采用C/C++ 语言编写，能够运行在主流的Windows 与Linux 平台，并提供多种开发语言接口。

3.2 利用OpenCV 进行图像处理的过程

利用OpenCV 图像处理分以下3 个步骤：

1）预处理图像。OpenCV 将从多种输入途径（内部存储、摄像头或外部图像输入）读取图像或视频，将其放入内存进行图像格式预处理并备用。

2）精细化处理。一般来说，OpenCV 将创建Mat对象，并将待处理图像导入其中。运用库像处理函数，结合开发者所需要完成的图像处理目标以及相应算法，对图像的特征进行精细化处理。

3）输出图像。OpenCV 将处理完成的图像或视频进行打包封装与编码，并根据需要进行实时输出或转储。

3.3 全景图片视角切换方法

对于全景视频的视角切换，可以在原理上简化为对其每一帧图像（即全景图片）做视角切换。全景图片的视角切换大致分为以下步骤：

1）全景图片的预处理

在预处理过程中，导入对应的全景图片，并建立对话框输出原图。

2）OpenCV 对全景图片精细化处理

以正弦波函数模拟输入头盔与车体位姿数据，根据输入的欧拉角组合，通过上节所示空间转换模型计算输出欧拉角，以此作为下一帧图像转动的目标位置；根据目标位置选定裁剪区间，并利用OpenCV 函数进行裁剪。在此过程中，随着目标位置的不断变化，各帧的裁剪区间跟随输入欧拉角变化。

3）视角切换输出图像的显示。

裁剪完毕后，输出图像经新建对话框输出，同时监控输入欧拉角模拟不同的目标方向，并开启下一次裁剪循环。

图6 为图片裁剪的基本流程。

图6 图片裁剪基本流程

3.4 视频流视角切换方法

全景视频可以视为一种特殊画幅的视频流，本文所针对的裁剪对象为摄像头输入的视频流。

对视频流进行自然视角切换时，由于视频流本身具有的高实时性等复杂情况，需要在视角切换的同时兼顾到对视频流每一帧图像的同等处理。因此，在裁剪之前需要对摄像头等设备进行一系列预处理，而其裁剪过程也较全景图片裁剪更加复杂。大致分为以下步骤：

1）摄像头视频流预处理

在预处理过程中，需要对摄像头进行常规开启操作，并设置摄像头格式与视频格式、存储路径等参数，最终导入视频流，并建立对话框输出。

2）OpenCV 对视频流的精细化处理

裁剪循环外，设置必要的监测线程，负责监测用户与控制台输入的裁剪角度。

裁剪循环中，首先设立监测线程入口，负责随时向主循环提供监测中断。主循环将根据输入的欧拉角组合，通过上节所示空间转换模型计算输出欧拉角，以此作为下一帧图像转动的目标位置，并根据目标位置选定裁剪区间。

选定裁剪区间后，选取视频流中的每一帧，并对其做相同的裁剪操作，通过输出对话框进行输出。若输出图像跨越摄像头零位，则需要在零位左右各进行一次裁剪，之后进行二次拼接。通过裁剪循环维持当前输出直到用户在控制台决定停止或退出。

3）视角切换输出图像的显示

图7 为视频流裁剪的基本流程。

图7 视频流裁剪基本流程

4 软件测试与验证

因暂无适用的装甲车辆全景摄像设备，故选用全景图片与笔记本电脑内置摄像头视频流，进行两次实验以模拟全景视频流单次实验。输出端基于计算机平台，以代替头盔显示器显示屏。因舱内透视技术要求的主要影响因素为头盔与车体航向角以及二者相对航向角，因此，实验输入角度选用方位角周期变化、其他欧拉角呈小角度干扰的方式。针对全景图片与摄像头视频流的算法功能验证如下。

4.1 全景图片裁剪验证

输入两组RPY 欧拉角方位角以正弦规律变化、滚转角与俯仰角呈小角度定值，分别模拟头盔与全景相机相对于大地参考坐标系位姿数据，经视场显示模型输出头盔相对于全景相机坐标系的位姿数据。

分别进行全景图片在初始方向、随动跟随时的演示验证（设定0 度为图片中央角度）。其中，全景图片裁剪输出图在效果图右边侧显示（原始全景图片为4 952*837 像素，本文图片经过宽度比例压缩调整）。

图8 全景图片演示验证（初始）

图9 全景图片演示验证（跟随）

4.2 视频流裁剪验证

设置两组RPY 欧拉角方位角以正弦规律变化、滚转角与俯仰角呈小角度定值，分别模拟一般情况下头盔与全景相机相对于大地参考坐标系位姿数据的变化规律，经视场显示模型输出头盔相对于全景相机坐标系的位姿数据。其中，输入方位角以弧度制呈现，便于代码计算；输出方位角以角度制呈现，便于确定目视方位

进行裁剪视频流以方位角γ，由初始0 度以正弦规律进行跟随裁剪的演示验证，并提供控制台界面辅助视频流视角跟随。其中，视频流裁剪输出图在效果图右边侧显示。

图10 视频流演示验证（初始）

图11 视频流演示验证（跟随）

4.3 结果分析

由于缺少真正的智能头盔与装甲车辆传感器输入，本文采用正弦波规律模拟二者测得欧拉角的输入进行演示验证。

从演示验证结果来看，程序基本能达到跟随欧拉角输入对全景图片进行不同角度的跟随、裁剪与输出。程序基本达到跟随特定规律变化的欧拉角组合对视频流进行裁剪方向实时跟随与切换。然而，输入与输出图像偶尔存在卡顿与丢帧现象，需要进行进一步改进。另外，在视场显示模型实现空间转换的过程中，发现俯仰角与横滚角的组合旋转对方位角产生一定影响，导致方位角输出值与正确值产生数度偏差，需要额外开发矫正算法对俯仰角与横滚角的影响进行抵消。

5 结论

通过对全景图片以及视频流分别进行算法验证，验证了视场显示模型与视角切换控制算法的有效性，实现针对全景图片、视频流跟随头盔与车体姿态差距造成的不同视场方向下的视角切换与控制。算法可进行视频分辨率更改，并应用于对车载多摄像头输入的360°全景视频的裁剪和基于头盔显示器的输出，并参考针对全景视频流系统的电子稳像方法对输出图像进行电子稳像处理，对头盔移动与视频视角切换之间的舒适性与连续性进行调整。与能够输出位姿的头盔式显示器相结合，开发出一套适用于车内对外态势感知的解决方案，并最终实现车内人机共融的舱内透视观察。

图12 视频流功能控制台