无拼接盲区的图像拼接光学布局及系统设计

孙爱平，雷旭峰，李泽民，杨绍明，余海虹，康丽珠，龚杨云，汪陈跃

无拼接盲区的图像拼接光学布局及系统设计

孙爱平，雷旭峰，李泽民，杨绍明，余海虹，康丽珠，龚杨云，汪陈跃

（北方夜视科技集团有限公司，云南 昆明 650223）

现有的图像拼接系统具有拼接盲区的缺陷，对于监控系统会造成观察盲区，形成信息缺失，对监控安全造成威胁。本文为了消除图像拼接系统的拼接盲区，提出了一种新的无拼接盲区的图像拼接布局型式。首先，对具有拼接盲区的图像拼接布局型式与无拼接盲区的图像拼接布局型式的优缺点进行分析；其次，以3个非制冷长波红外摄像机图像拼接系统为例，对非制冷长波红外摄像机镜头进行设计分析；最后，为了得到比较好的拼接图像，对待拼接的红外摄像机的畸变提出相应的处理措施。

图像拼接；拼接盲区；畸变；错影

0 引言

在民用领域为了对关键场所进行实时、全面地监控，在军用领域为了对特定空域的实时搜索跟踪，进行监控及搜索跟踪的摄像机不但需要具有比较大的视场，也需要具有足够的分辨能力。广角摄像机能够获得足够的视野，但是畸变很大，造成图像严重扭曲，不利于观察搜索，同时广角摄像机的焦距较短，其分辨能力不够[1]。人们自然考虑使用图像拼接技术将多个摄像机采集的图像拼接成一幅完整的、超分辨率的全景图像以增加观察者的视野[2]。图像拼接技术[3-5]是指将多幅具有重叠区域的图像，拼接成视角宽阔的大场景图像的技术。拼接后的图像最大程度地与原始图像接近，失真尽可能小，没有明显的缝合线[1]。目前该技术在军民领域得到广泛的应用，是计算机视觉研究的热点[6]。

现阶段进行图像拼接的摄像机的像面中心不重合，多个摄像机进行图像拼接时，在图像拼接视场内有不能被探测到的区域称为图像拼接盲区。图像拼接盲区对监控搜索系统而言会形成信息缺失，造成安全隐患。本文针对图像拼接过程中出现的拼接盲区，提出一种解决图像拼接盲区的光学布局型式，并以3个非制冷长波红外摄像机为例进行图像拼接，说明采用此光学布局型式的图像拼接样机能够消除拼接盲区。

1 图像拼接光学布局型式分析

进行图像拼接需要两个及以上具有相同性能的摄像机，按照一定的排列方式进行组合，形成一组采集原始图像的拼接摄像机组。常见的拼接摄像机组排列方式如图1所示，即各个待拼接摄像机的像面中心位于同一个圆弧上，并且待拼接摄像机沿圆弧圆心旋转一定角度。单个摄像机水平视场为1，为了形成拼接图像，需要相邻两个摄像机之间具有一定的重叠视场2，相邻两个摄像机形成的水平拼接视场为21－2。重叠视场边缘光线的相交点到拼接镜头之间具有一定的观察盲区（如图1阴影区域所示），在此区域内的目标不能够被探测器探测到。在使用过程中，特别是跟踪监控运动目标时，目标进入盲区会造成目标丢失，形成安全隐患。此种拼接布局具有结构简单的优点，同时具有观察盲区的遗憾。常见于远距离监控拼接系统。

图1 具有拼接盲区的拼接布局示意图

为了观察到拼接视场内盲区的场景，一种方式是增加额外的摄像机观察盲区内场景，这相应的需要增加整个图像拼接系统的成本；另一种是设计一种没有拼接盲区的拼接布局型式。如果使拼接系统各个摄像机的像面中心相重合，此时整个拼接系统所观察的场景是无拼接盲区存在的，如图2中(a)图所示。由于探测器和摄像镜头具有一定尺寸，图2中(a)图的布局型式造成探测器和摄像镜头的重叠，在结构布局上是无法实现的。在图2中(a)图拼接布局的基础上进行改进，形成图2中(b)图的分离拼接布局型式。图2中(b)图拼接布局型式中加入反射镜，改变入射光线的方向，使探测器和摄像镜头的相对位置发生改变，避免了探测器和摄像镜头的重叠。入射到反射镜边缘光线的延长线都相交于像面中心，即图2中(b)图拼接布局型式没有拼接盲区的存在。加入到入射光路中的反射镜会遮挡部分光线，形成渐晕。图2中(b)图拼接布局型式没有拼接盲区是其最大的优点，但是具有布局复杂、装调难度大、具有一定量渐晕的缺点。图2中(b)图拼接布局型式可使用于对观察视野要求比较高的系统，如驾驶辅助系统及近距离监控系统等。

本文依据图2中(b)图的拼接布局型式设计了一款使用3个非制冷长波红外摄像机进行无盲区图像拼接的超大视场监视系统。

图2 无拼接盲区的拼接布局示意图

2 设计实例

2.1 设计参数

监控系统需要昼夜都能够工作，则对应摄像机可采取不受光照度影响的、经济性较好的非制冷长波红外摄像机。从使用性及安全性考虑监控系统需要在不同工作温度下、无需调焦既能够观察到清晰的场景图像，因此图像拼接系统中的单个非制冷长波红外摄像机镜头采取光学被动式消热差设计型式。3个非制冷长波红外摄像图像拼接系统设计参数如表1所示。

2.2 非制冷长波红外摄像机镜头设计分析

光学被动式消热差光学设计基本原理在孙爱平[7]、白瑜[8]等相关论文中已有详细论述。由于所采用的红外摄像机镜头视场大，F数小，采取四片式的设计型式。红外材料种类偏少，价格昂贵，并为了满足消热差的要求，选取线膨胀系数较小的Ge材料（＝5.8×10－6/K）、线膨胀系数较大的IG6材料（＝21.2×10－6/K），与镜筒Al材料（＝23.6×10－6/K）配合进行光学被动式消热差设计。传统折射式、光学被动消热差系统为了满足消色差和消热差要求，至少需要3种以上的红外材料[9]，衍射光学元件其特殊的光学特性可作为第3种光学材料，因此在红外摄像机镜头光学被动消热差设计中加入衍射面。由于红外摄像机镜头为大视场、小相对孔径的大像差系统，需要校正与视场、孔径有关的轴向球差、垂轴球差、轴向色差、垂轴色差、慧差、场曲、畸变7种像差及对应的高级像差。4个透镜所提供的变量数量不足以校正这7种像差及高级像差，故需要引入非球面，增加变量个数来校正像差，以期达到比较好的设计效果。

非制冷长波红外摄像机镜头光学布局型式如图3所示。使用ZEMAX软件进行像质优化，由于红外摄像机镜头为大视场、小F数的大像差系统，点列图（主要是小像差系统评价用）不作为像差评价的依据，采用更接近实际的调制传递函数MTF进行像质评价。图4为非制冷长波红外摄像机镜头在中心频率点30lp/mm处，常温（20℃）、低温（－40℃）、高温（60℃）的MTF曲线。在3个温度点下MTF曲线在中心频率点30lp/mm处对比度均在0.4以上，成像质量较好。图5为非制冷长波红外摄像机镜头的场曲与畸变曲线，最大畸变为9%，满足设计要求。

表1 拼接系统设计参数

图3 非制冷长波红外摄像机镜头光学布局型式

图4 非制冷长波红外摄像机镜头在各个温度点下的MTF曲线

图5 非制冷长波红外摄像机镜头场曲及畸变曲线

该红外摄像机镜头的焦深为±2(f/#)2＝±24.2mm，所设计的红外摄像机镜头工作在－40℃～＋60℃温度范围内时，离焦量在一个焦深以内，如表2所示，则此光学被动消热差红外摄像机镜头在整个工作温度内均能清晰成像。

表2 非制冷长波红外摄像机镜头离焦量表

2.3 三个非制冷长波红外摄像机图像拼接分析

3个具有相同参数的红外摄像机按照前文图2中(b)图所示进行结构布局。单个红外摄像机水平视场为42°，在进行图像拼接时相邻红外摄像机水平向重合视场为3°，拼接后水平视场为120°，按图2中(b)图所示布局型式进行图像拼接没有拼接盲区。由于单个红外摄像机具有一定的畸变，造成图像的变形，在图像拼接时会造成拼接图像不连续。如图6所示，相邻红外摄像机进行图像拼接时以点为拼接基准点，由于畸变的影响，造成拼接后图像中点的不重合、拼接图像不连续，形成拼接图像的错影现象，拼接效果不好。对此在进行图像拼接前对红外摄像机所成图像进行畸变校正，使红外摄像机所成图像没有畸变或者畸变很小，消除或减小畸变影响。对红外摄像机图像畸变进行处理后再进行图像拼接，可形成一幅超大视场、连续的拼接图像。

图6 图像拼接前相邻红外摄像机网格畸变示意图

红外摄像机图像畸变未校正时由于畸变影响，拼接图像区域有错影现象，如旗杆、楼房分开形成错影，如图7所示。因此在进行图像拼接前需要对红外摄像机所成图像进行畸变校正。

3 结论

本文介绍了实现无拼接盲区的一种图像拼接型式，并以此为基础设计了一款3个非制冷长波红外摄像机实现无拼接盲区的图像拼接系统。为了得到比较好的拼接效果，提出在图像拼接前进行畸变校正处理的要求。通过图像拼接样机演示验证了无拼接盲区的图像拼接效果，为以后实现无拼接盲区的图像拼接监视系统的设计提供参考。

[1] 姚伟, 胡茂海, 秦晅, 等. 改进的基于特征点匹配的图像拼接算法[J]. 红外技术, 2010, 32(5): 288-290.

YAO Wei, HU Maohai, QIN Xuan, et al. Improved Image Mosaic Algorithm Based on Feature Point Matching[J]., 2010, 32(5): 288-290.

[2] 赵向阳, 杜利民. 一种全自动稳健的图像拼接融合算法[J]. 中国图像图形学报, 2004, 9(4): 417-422.

ZHAO Xiangyang, DU Limin. An Automatic and Robust Image Mosaic Algorithm[J]., 2004, 9(4): 417-422.

[3] 曹俊杰, 封靖波，苏志勋. 全景图像拼接算法[J]. 大连理工大学学报, 2003, 43(21): 180-182．

CAO Junjie, FENG Jingbo, SU Zhixun. A panoramic image mosaic algorithm[J]., 2003, 43(21): 180-182.

[4] 陈志昂, 徐晓刚, 徐冠雷. 图像拼接技术研究[J]. 计算机科学, 2015, 42(11): 160-164.

CHEN Zhi’ang, XU Xiaogang, XU Guanlei. Research on Image M osaic Technology[J]., 2015, 42(11):160-164.

[5] 商磊. 基于改进SIFT算法的图像配准研究[D]. 成都: 电子科技大学, 2011.

SHANG Lei. Research on Image Registration on Improved SITF Algproved[D]. Chengdu: University of Electronic Science and Technology of China,2011.

[6] 李尊, 申小萌, 苗同军. 对比度阈值自适应的SIFT图像拼接算法[J]. 红外技术, 2017, 39(10): 946-950.

LI Zun, SHEN Xiaomeng, MIAO Tongjun. Image Mosaic Based on Contract Threshold Adaptive SIFT Algorithm[J]., 2017, 39(10): 946-950.

[7] 孙爱平, 龚杨云, 陈忠, 等. 大孔径、大视场辅助驾驶仪红外镜头无热化设计[J]. 红外技术, 2013, 35(10): 617-622.

SUN Aiping, GONG Yangyun, CHEN Zhong, et al. Athermal Design of a Large-aperture, Wide-field Assisting Pilot Infrared Lens[J]., 2013, 35(10): 617-622.

[8] 白瑜, 杨建峰, 马小龙, 等. 长波红外光学系统无热化设计[J]. 红外技术, 2008, 30(10): 583-586.

BAI Yu, YANG Jianfeng, MA Xiaolong, et al. Athermalization of Long-wavelength Infrared Optical System[J]., 2008, 30(10): 583-586.

[9] 齐雁龙, 段萌, 姜成舟, 等. 8～12 μm折/衍混合监视系统无热化设计[J]. 红外技术, 2009, 31(11): 676-679.

QI Yanlong, DUAN Meng, JIANG Cheng-zhou, et al. Design on Athermal Infrared Refractive-Diffractive Hybrid Surveillance System at 8-12 μm[J]., 2009, 31(11): 676-679.

图7 畸变校正前拼接图像效果图

Optical Layout and System Design of Image Mosaic Without Splice Blind Area

SUN Aiping，LEI Xufeng，LI Zemin，YANG Shaoming，YU Haihong，KANG Lizhu，GONG Yangyun，WANG Chenyue

(North Night Vision Science and Technology Group Co.Ltd., Kunming 650223,China)

Existing image mosaic systems exhibit the defect of blind area, which causes blind spots in the monitoring system, leads to information loss, and poses a threat to monitoring security. In order to eliminate the mosaic area resulting from the processing by the image mosaic system, a new mosaic pattern without splicing the blind area is proposed in this work. First, the advantages and disadvantages of the image stitching layout patterns with and without stitching blind areas are analyzed. Second, using the image mosaic of the images obtained from three uncooled longwave infrared cameras as an example, the design and analysis of the uncooled longwave infrared camera lens is carried out. Finally, in order to obtain a better stitched image, a corresponding treatment measure is provided for the distortion of infrared cameras.

image mosaic，splice blind area，distortion，overlapping images

TN216

A

1001-8891(2020)05-0456-05

2018-06-25；

2020-04-07.

孙爱平（1980-），男，硕士，工程师，研究方向为光学系统设计。E-mail：50973525@qq.com。