基于增强现实的动态红外视景生成技术

徐吉辉，奚晓梁，范绍里

（海军航空工程学院 a.科研部；b.七系，山东 烟台 264001）

红外视景生成可以为红外成像制导半实物仿真提供各种不同的战场环境，是仿真的关键技术。红外视景生成技术可以分为动态模式和“电影”回放模式[1]，前者是指在闭环系统中，生成的红外视景根据探测系统视场的变化，及时提供相应的场景图像，使场景与探测系统对投影图像的反应相一致。后者是在仿真运行前，非实时地计算出一系列2D图像，然后再以“电影”回放的形式将这一图像序列显示给被测系统。显而易见，动态模式下的红外视景生成更能充分模拟红外制导武器的真实作战环境，是红外视景生成技术的主要发展方向。

增强现实（AR）技术[2-6]是借助计算机图形技术和可视化技术产生现实环境中不存在的虚拟对象，并通过传感技术将虚拟对象准确放置。在真实环境中，借助显示设备将虚拟对象与真实环境融为一体，并呈现给用户一个感官效果真实的新环境。因此，增强现实系统具有虚实结合、实时交互、三维注册的新特点。

1 基于增强现实的动态虚拟视景生成步骤

AR系统虽不需要显示完整的场景，但需要通过分析大量的定位数据和场景信息来保证由计算机生成的虚拟物体可以精确地定位在真实场景中。因此，AR系统中一般都包含以下4个基本步骤，如图1所示：① 获取真实场景信息；② 对真实场景和相机位置信息进行分析；③ 生成虚拟景物；④ 合成场景或直接显示，即图形系统首先根据相机的位置信息和真实场景中的定位标记来计算虚拟物体坐标到相机视平面的仿射变换；然后按照仿射变换矩阵在视平面上绘制虚拟物体；最后直接通过S-HMD显示或与真实场景的视频合并后，一起显示在普通显示器上。AR系统中，成像设备、跟踪与定位技术和交互技术是实现一个基本系统的支撑技术。

图1 AR系统基本流程

2 虚拟物体与实景空间的合成方法

为了使计算机生成的虚拟物体与实景红外图像真实地结合在一起，需要解决虚拟物体与实景空间合成的一致性问题，主要包括几何一致性和辐射一致性两个方面。其中几何一致性的关键在于对实景相机进行精确校准，也就是确定实景相机的外部参数（空间位置、方向）和内部参数（焦距、光心、纵横比、畸变系数等），这样才能将计算机生成的虚拟物体以合适的大小加入到真实场景中合适的位置上，同时还需要确定虚拟物体与真实场景之间的遮挡关系；辐射一致性则首先需要恢复出真实场景的辐射模型，然后计算真实场景辐射模型对虚拟物体的影响，例如热交换、反射等。

2.1 热像仪的几何标定

这里考虑采用理想的小孔相机模型，而不考虑相机镜头的畸变。考虑到实际环境的复杂性，用如图2所示的定标模板来帮助进行相机的校准。具体的做法是：在拍摄实景图像时，除了拍摄用于拼接的图像之外，将定标模板放入到实际环境中，在某一个拍摄方向用相同焦距多拍摄一张含有定标模板的图像；用不含有定标模板的图像来合成全景图像，用含有定标模板的图像进行相机校准。为了简单起见，以定标模板的两个平面分别作为XOwY 平面和ZOwY 平面，建立如图2所示的世界坐标系。这里定标模板上矩形各角在世界坐标系中3D坐标已知，可用拐角提取算法提取它们在图像中的坐标，这样就得到了一系列3D 空间与2D图像平面的对应点。

图2 定标模板与世界坐标系

设3D 空间中的一点 M (Xi,Yi,Zi)在2D图像平面中的对应点为m(ui,vi)，则 M (Xi,Yi,Zi)与 m (ui,vi)满足如下关系：

这里λ是比例因子，P为3×4的透视投影矩阵，根据小孔相机模型，矩阵P可以表示为：

式中：[R T]是相机坐标系相对于世界坐标系的旋转和平移矩阵；K是小孔相机模型的内部参数，它可以表示为：

这是一个含有5个参数的上三角矩阵。其中：f是焦距，(u0,v0)是主点坐标，α是像素纵横比，s是倾斜因子。通常情况下，可以简化内部参数模型，令α=1，s=0，这样就只剩3个内部参数。

要求解式(1)，至少需要知道6 对三维空间与二维图像空间的对应点，然后可以用最小二乘法求解P，使得下面的匹配误差最小：

得到了透视投影矩阵P，还需要对其进行分解得到相机的内部参数和外部参数。我们知道P的子矩阵可以表示为：

K是上三角矩阵，R是正交矩阵，可以使用QR分解来得到内部参数矩阵K 和旋转矩阵R，进而可以求得平移矩阵T。视点空间是用全景图像表示的，对于构成一个全景图像的若干幅原始图像来说，它们的相机位置、焦距和内部参数都是相同的，而且相机的方向也存在一定的空间关系（即由一幅图像的相机方向可以计算出另一幅图像的相机方向），因而对于每一个视点，只需要对其中的一幅原始图像进行校准即可。而对于不同的视点，就需要分别进行相机校准。通过相机校准我们得到了相机的位置、方向和焦距等参数，而要将虚拟物体以合适的大小加入到场景中的合适位置，并使得二者在交互漫游时保持实时一致，就需要使虚拟相机与实景相机在方向、位置、焦距上保持实时一致，这样才能使用户感觉到虚拟物体融入到真实环境中。

2.2 热像仪的辐射标定

在数字图像中，图像的灰度或伪彩色代表的是某一电平值，在进行辐射量的定量测量与计算时，就需要将仪器的输出信号（电平电压）与目标的辐射量一一对应起来。因此，需要用标准辐射源对热像仪的输出信号进行定标。

标定的方法是在热像仪工作波段（λ1～ λ2）内，对给定的热像仪工作状态（滤光片、量程和电平），测定热像仪输出电平 V (T)与黑体温度T 间的关系。

式中：V (T)表示热像仪的输出电平；L (λ,T)表示黑体光谱辐射亮度；R ()λ表示热像仪光谱相应度。

其中黑体光谱辐射亮度 L (λ,T)为：

式中：λ为波长，单位µm；T为黑体温度，单位K。

当 λ1− λ2=∆λ同 λ1或 λ2相比很小时，也就是热像仪工作波段∆λ很窄时，热像仪输出电平 V (T)同黑体温度T的关系为：

式中：0λ 等于

也就是说，热像仪输出电平 V (T) 同黑体温度T的关系是指数关系。对于热像仪工作波段不是很窄时，热像仪输出电平 V (T) 同黑体温度T的关系利用下述指数函数可得到最佳拟合效果：

测量不同的黑体温度1T、2T、3T …、热像仪对应的输出电平V (T1)、V (T2)、V (T3) …、（通常为5组或5组以上），利用最小二乘法即可求出A、B、C。

利用热像仪测量目标（或背景）红外辐射特性的过程是与热像仪定标过程相反的过程：由热像仪测量目标得到的输出电平 V (T)，经式（9）所示的定标函数，得到目标表观的等效黑体温度T。目标表观的等效黑体温度是使热像仪测量目标时的输出电平等于利用黑体标定时热像仪的输出电平。

式中：Lta表示目标红外光谱辐射亮度，积分后值的单位为W⋅m-2⋅sr-1⋅µm-1。等式左边代表测量目标时热像仪的输出电平，右边代表标定时热像仪的输出电平。

将定标结果输入红外图像处理软件，即可对目标红外图像进行辐射温度的定量与处理。

1）目标辐射源的辐射面积计算

根据一起的视场、测量距离和像素，计算出目标辐射源像素所占的实际面积。

假设仪器水平视场为4.5°，水平像素为320，则单个像素实际长度为：

式中：l为单个像素实际长度，单位m；L为测量距离，单位m。

则辐射源像素所占的面积为：

式中：A为辐射面积，单位为m2；n为辐射像素数。

由式(11)、(12)计算出目标辐射源的辐射面积。

2）目标表观辐射量计算

根据上述的目标辐射温度和辐射面积计算结果，由式(13)普朗克公式和式(14)、(15)即可计算出目标的表观辐射亮度和表观辐射强度：

式中：M (λ,T)为黑体光谱辐射出度，单位 W⋅m-2；C0表示光速；k表示波尔兹曼常数；h表示普朗克常数；T表示辐射温度，单位为K。

式中：L3～5µm表示3 ～5 µm表观辐射亮度，单位为W⋅sr-1；A表示辐射面积，单位为m2。

式(13)任意波长范围内的积分和式(14)已编了专门的计算软件进行计算。只要输入辐射起始波长λ1和终止 λ2及辐射温度T，即可计算出 λ1～ λ2内的辐射出射度和表观辐射亮度，再由式(15)计算出表观辐射强度。表观辐射强度进行大气吸收修正后，即可得到目标有效辐射强度。

3 视频检测方法

用视频检测方法进行定位不需要其他设备，且定位精确。因此，是AR系统中最常见的定位方法。在视频检测方法中，系统常通过匹配事先定义好的多种图形模板来标记各种物体和基准位置。简单的模板匹配不仅可以提高图像识别的效率，而且可以达到实时性的要求。视频检测中使用的标记一般由黑色封闭的矩形框和内部的各种图形或文字这两部分构成，其中黑色封闭的矩形框可以使程序在视频场景中快速识别是否存在标记，其内部的图形或文字可以表示标记的具体信息，如表示何种目标或在此应显示何种虚拟物体。这样当系统场景中的定位标记被识别后，根据图形的仿射不变性原理，就可以重建从预定义标记到当前场景中标记的坐标转移矩阵；然后系统就可以根据这个转移矩阵来绘制虚拟物体并进行渲染。

4 红外视景的实时生成问题

生成具有高逼真度的动态红外场景的计算量较大，红外图像的生成和显示的实时性就成为首要要求。动态红外场景的实时性体现在：运动体的位置、姿态的实时计算和动态绘制，画面更新即帧频必须达到一定要求，对于人的交互动作相应时间不能大于0.1 s。场景生成的实时性与红外场景生成的软硬件有关，取决于系统运算速度、算法的有效性、目标模型的复杂程度。

1）在保证系统要求逼真度情况下减少建模的复杂程度。目标模型面元数越多，所生成的模型越逼真，但辐射度的计算和实时绘制速度大大减慢，因此提高实时性与真实感存在矛盾。通常的做法是保证系统要求逼真度的情况下，建立几何模型时进行合理简化，对于远近距离不同、红外特征不同等情况分别进行考虑、简化；也采用单元分割以及内存管理技术来提高系统运行速度。

2）离线和在线相结合的计算方式。将目标的红外光谱图像等计算量大的部分先离线计算好，而将合成和传输等计算量相对较小的或必须动态计算的部分采用在线计算。

3）提高算法的有效性。目前的实时图形绘制算法主要在实时消隐技术、场景简化技术和图形绘制技术三方面展开，其中消隐是实时图形绘制中最费时的部分。为保证实时性，在不影响逼真度的前提下，优化三方面算法，减少计算时间，提高算法的有效性。

4）尽量采用图形加速卡等硬件加速模式，OpenGL的大部分功能可以由硬件实现，仅有少量功能由操作系统完成，能极大提高实时性。

5 结束语

增强现实技术已成为虚拟现实技术的一个重要的发展方向，基于实景图像的虚拟现实技术随着全景图像生成、纵平移平滑过渡、状态相关的预测路径全景图像缓冲机制等关键技术的逐渐解决成熟，也将是值得研究的论题。而将这些先进技术引入动态红外视景生成领域，将有着深远的应用前景。

[1]BUFORD JR J A,et al.Low cost real-time infrared scene generation image projection and signal injection[C]//SPIE.1997:48-56.

[2]SEITZ S M,DYER C R.View morphing[C]//Proceeding of the ACM SIGGRAPH Conference on computer graphics.LA:New Orleans,1996:21-42.

[3]AZUMA R.Survey of augmented reality[J].Teleoperators and Virtual Environments,1997,6(4):355-385.

[4]LONGUET HIGGINS H C.A computer algorithm for reconstructing a scene from two projections[J].Nature,1981,293:133-135.

[5]KATO H,BILLINGHURST M,POUPYREV I,etal.Virtual object manipulation of a table-top AR environment[C]//Proceedings of International Symposium on Augmented Reality 2000(ISAR00).Los Alamitos,CA,USA,2000:111-119.

[6]BILLINGHURST M,KATO H,BILLINGHURST M,et al.The Magic Book:Moving Seamlessly between reality and virtuality[J].IEEE Computer Graphics and Applications,2001,21(3):24-26.