用于图像拼接的电视摄像光学系统

史光辉，杨 威

(中国科学院长春光学精密机机械与物理研究所，吉林长春130033)

1 引言

据来自2012年6月22日《参考消息》报道，美国已造出一部10亿像素数码相机样机，体积约有床头柜大小。这一成果为改善机场安全，军事侦查乃至网络体育报道提供了广阔前景，该成果还被发表在《Nature》杂志上。这个光学系统包括一个焦距为6 cm的球形镜头，镜头的后部被一个拥有98个微型摄像头的阵列包围。2012年，该项目组成员在《Optical Engineering》和《Applied Optics》期刊上发表了相关文章［1-3］。

中国科学院长春光学精密机械与物理研究所早在1994年就将这一技术成功地应用到实时多目标弹道测量相机中，并于1996年获得了国家发明专利［4］。本文将对其光学系统进行介绍。此外本文还给出了一个最多可对20×20个图像进行拼接，像素为85亿的光学系统。其f=457.9、f/8、视场为120°×104.8°。用3个这样的光学系统还可以实现360°全景摄像。

电视摄像能将多台相机拍摄的图像拼接到一个屏幕上，如果多个图像中的景物是互相衔接的，则就会得到一幅相当于由一个摄像机拍摄得到的大视场图像。但要用到多台相机，结构庞大，很不现实。因此需要研究出一个能给出多个相互衔接图像的光学系统。

2 单心球透镜

早在1944年，Tams Baker就设计出一个F/3.5、视场角为 120°的单心球透镜，见图 1［5］。球透镜每个球面的圆心都在球心上。像面也是一个圆心在球心上的球面。孔径光阑被设在球心上。入瞳和出瞳、前主面和后主面相互重合。因此通过球心的任一条光线都可以作为光轴。由球心至像面的距离就是焦距，因为每个面都是以球心为圆心的同心面，所以除了场曲外，只产生球差和色差，把玻璃材料的选择和球面之间的间隔作为变量，这两种像差都能得到很好的校正。因此整个球形像面的像质不仅相同而且可以设计得很好。Tams Blaker设计的球透镜的分辨率达到了200 lp/mm。此外像面照度分布和视场角余弦的一次方成比例，而不是通常的四次方成比例。

图1 Baker球透镜Fig.1 Bakers Ball lens

20世纪80年代，美国Lawrence Livermore国家实验室在大视场、实时跟踪望远镜中采用了单心球面透镜［6］。在球透镜的后面用了5台商用摄像机，把接收到的信号输入商用图像处理器进行处理。而不是用于图像拼接，这可能是球透镜的首次实际应用。下一步是用23根3.8倍，一头大一头小的光纤阵列，让23根光纤的大头和球透镜的球面像上的23个部位一一对应互相接触，信号由小头输出，以实现大视场搜索目标。

3 弹道测量相机的光学系统

3.1 图像拼接的方法

设计要求:相机的视场为23°×16°，焦距大于60 mm。在当时，面阵CCD的面积还不够大，一块面阵CCD满足不了要求，因此要用3×3块面阵CCD进行图像拼接才能实现。利用单心球透镜将无穷远的目标在其焦点上成一圆心位在球透镜球心上的球面像，再用围绕球透镜球的中继物镜阵列(文献［1］将其称为微相机阵列)中的每一路中继物镜将各自对应的球面像中的一部分再成像在各自对应的面阵CCD上，如图2。这是一个经过球心，沿高低方向的单心球透镜和中继物镜阵列之间成像关系的光路图(沿面阵CCD窄的方向为高低方向，宽的方向为水平方向)。图中椎角A为两个相邻图像沿高低方向光轴间的夹角，下图为与9个中继物镜一一对应的在球形像面上的9个物面。可见3个物面在高低方向上的衔接点b和c及边缘点a和d分别被3个中继物镜成像为a'b'、c'b'和d'c'而不会出现互相间的混淆。可以这样解释，在中继物镜中，由孔径光阑和视场光阑构成的光管，只允许来自中继物镜本身对应的物面的成像光束通过。其它的进入中继物镜的光都是杂光，杂光不能直接射到像面上。这说明用中继物镜阵列可以将球面像等分成若干份后，再由各自对应的中继物镜分别成可以互相衔接的像。

图2 单心球透镜和中继物镜阵列之间成像关系的光路图。下图为9个中继物镜分别对应的在球透镜像面上被划分的9个物面Fig.2 Optical path diagram of imaging relation between the monocentric ball lens and the relay lens arrays.The down picture indicates 9 object plans of the 9 relay lenses on the images surfaces of the ball lens

光阑不能再设在球透镜的球心上，或让球心与设在中继物镜的光阑共轭，因为这样会使中继物镜的体积过大，在椎角A空间内容纳不下;还会使图像的照度和视场角的一次方成比例，致使视场边缘的图像照度降低。因此孔径光阑一定要设在中继物镜上，这样才能在被椎角A包围的空间内容纳下。同时因与视场角的余弦无关，因此也避免了视场边缘的图像产生渐晕，使所有图像的照度分布相同，缺点是球透镜口径增加了及球透镜会产生轴外像差。

从图中还可以看出，相邻中继物镜之间有一定的距离，而且这个距离是可以按需要来设计的。这一点很重要，它可以使中继物镜阵列的结构简单和容易实现。文献［1］中的图3和本文图2相似，但其中继物镜为分离的两组，在相邻两路之间，被称为Eyepiece的前组之间是相互接触的.没有间隙，这一差别导致两者的中继物镜阵列有很大的不同。

3.2 中继物镜设计的考虑

在设计中继物镜时要对两个参数进行选择，一是倍率，倍率决定了单心球透镜的焦距和相对孔径以及中继物镜的相等孔径;二是物距，物距决定了中继物镜的共轭距。这两个参数的选择要考虑以下因素:(1)中继物镜能在图2所示的椎角A包围的空间放得下，并且彼此之间还要有一定的间隔;(2)为降低高级像差，特别是畸变和高级像散，要尽可能选择中继物镜的孔径光线和主光线的偏角以及像方的视场角尽量小;(3)尽量减小球透镜产生的轴外像差，特别是高级像散和畸变;(4)尽量减小筒长和体积，这和前3个项是相矛盾的。设计时要尽可能在它们之间取最佳折中。设计实践表明，中继物镜的倍率比较好的折中是绝对值应小于1。在该系统中取－0.32倍，这是因为系统的相对孔径和视场都比较大。即使这样，中继物镜的相对孔径仍为F/1.59。文献［2］认为该值应为0.4～0.6(绝对值)。至于中继物镜的物距，取比较大的值时对前3项有利，但增加了筒长。因此要在倍率确定后进行反复的选择，使第4项因素和第1，第2和第3项因素之间达到较好地折中。如果不满意，可再重新选取倍率，这样反复进行直到满意为止。

在用电视图像处理技术进行图像拼接时，为保证拼接质量以及图像间不出现空隙，两幅图像衔接处需要有少量的重叠。因为拼接是在高低、水平两个方向进行的，而中继物镜的视场是按面阵CCD的对角线设计的，没有因此再增加视场。

3.3 设计结果

焦距 f=63.04、有效口径(即入瞳直径):30 mm、高 低 视 场 角:17.05°、水 平 视 场 角:28.37°。单个系统的高低视场角:5.72°、水平视场角:7.75°、对角线视场角:9.63°，波长为0.6～0.9 μm。结构为在一正组后面加一无光焦度组，在靠近像面处放一负场镜，以校正球透镜和自身的场曲。这是从多种形式中选择比较合适的一种，相邻两个光学系统的最前一面的距离为8 mm。

图3 弹道测量相机光学系统Fig.3 Optical system of trajectory measurement camera

图3(a)为光学结构图，光阑置于中继物镜前组上。因为要求光学系统给出的是一个覆盖2×3个像元、直径为0.045 mm的光斑。又因相机是用于弹道测量，因此要求畸变小于0.95 μm。为了保证光斑的圆度，应校正好不对称像差即彗差，彗差对畸变也有影响。从图3(b)像差曲线得知，全视场范围内的像质均匀且较好，几乎看不出有彗差，没有拦光，100%通光。从图(c)可知，一个像元的外接圆尺寸为0.027 mm，对应的包围能量接近90%。所需的光斑直径要靠大约0.05 mm的离焦得到，这样做能保证质量。从畸变曲线得知，最大畸变为0.019%发生在边缘视场，对应的几何畸变为0.7 μm。因为对畸变要求高，因此对加工和装调也提出严格和特殊的要求，而且最后还要用电视图像处理技术进行修正。

4 视场为120°×104.8°的高角分辨率光学系统

为了进一步验证这一方法，也为了说明用这种方法可以实现大视场、高角分辨率，用同样的方法设计了一个视场角为120°×104.8°，最多可对20×20个图像进行拼接的高角分辨率系统，而且用这样的3个系统还可以实现360°全景摄像。选择的面阵CCD相关参数为:面积:36.072(H)×48.096(V)、像元尺寸:9 μm × 9 μm、像元数:4056(H)×5356(V)。因为是对远处摄像，所以为了减小杂光，应加滤光片滤除0.5 μm以下的色差。它产生的另一个好处是二级光谱比c、f线消色差要小2.5倍左右。中心波长仍为d光，在计算传递函数时，取3个波长的权重相同。为满足360°全景摄像的需要，水平方向的视场角选择为6°，因此焦距为457.9 mm。角分辨率为8 s(两个像元对应的视场角)，总像素为85亿，相对孔径取F/8，单个系统高低方向的视场角为4.5°，对角线方向对应的视场角为7.5°。

图4(a)为光学结构图。围绕球透镜的是20×20个中继物镜组成的阵列，每个中继物镜用一条长方形(可看做是镜管)表示，与弹道测量相机相比，球透镜少了一块透镜，也少用一种光学材料，但球透镜的厚度有少许增加，中继物镜采用了和弹道相机同样形式，见图(b)。最后一片是滤光片。因其相对孔径和视场都不算大，为了尽量减小筒长，取倍率为－1。光阑设在前组的后边是为了减小主光线在球透镜上的高度，以降低球透镜产生的轴外像差，特别是高级像散和畸变，这样做还有利于减小筒长。在满足相邻两前组之间间隔的前提下，这一距离应选择大一些。从图(c)上55对线(耐奎斯特频率)的传递函数看，成像质量比较好，100%通光。

图 4 120°×104.8°视场、焦距为435.9 mm 光学系统Fig.4 Optical system with 120°× 104.8°of field of view and focal length 457.9

5 360°全景摄像

据2013年6用20日中央电视台报道，美国在网上公布了一张好奇号火星车摄像机拍摄的由近900张图像合成的360°全景照片。如果采用这种图像拼接方法可以做到实时摄像。利用3个水平视场为120°的系统组合就可以实现360°全景摄像。高低方向的面阵CCD可以减少到10块，于是高低方向的视场角变为52.4°，3个系统共用600块面阵CCD。即总图像是由600个图像拼接成的。图5(a)说明，因为入射到图中3个系统中字母相同的像点的物方光线互相平行，因此它们的物点是同一个。因此在不同系统中，字母相同的像点都可以作为图像拼接的衔接点。如果把b和c作为衔接点，拼接成的360°全景图像就是右图。

图5 全景摄影系统Fig.5 Schematic diagram of panoramic television

6 结论

为了验证图像拼接效果，在弹道测量相机装调完后进行了外景拍摄试验，从屏幕上出现的拼接图像上看，没有发现拼接的痕迹。整个图像的质量比较好，而且相机已在实践中使用。因此可得出结论，由我国最先研发出的这一图像拼接技术是成功的，利用这一技术可以实现大视场、高分辨率、像面照度均匀和低畸变电视摄像。它的视场可达到120°×104.8°。利用3个或4个相同的系统，还可以实现360°全景摄像，这一新技术在军事侦察、预警、航天摄影、机场安全监视以及体育实况报道等多个领域有着广阔的应用前景。

［1］ TREMBLAY E J，MARKS D L，BRADY D J，et al..Design and scaling of monocentric multiscale imagers［J］.Applied Optics，2012，51(20):4691-4702.

［2］ MARKS D L，SON H S，KIM J，et al..Engineering a gigapixel monocentric multiscale camera［J］.Optical Engineering，2012，51(8):1-11.

［3］ DANIEL L M，ERIC J T，JOSEPH E F，et al..Microcamera aperture scale in monocentric gigapixel camera［J］.Applid Optics，2011，50(30):5824-5833.

［4］ 史光辉，郝志航.多块 CCD 图像拼接光学系统:中国，96114902.7［P］.1996.11.SHI G H，HAO ZH H.Optical system of imaging composition applying many CCD of pieces:China，96114902.7［P］.1966.11.

［5］ KINGSLAKE R.Optical System Design［M］.New York:London Academic Press，1983.

［6］ PARK H S，AXELROD T S，COLELLA N J，et al..Realtime tracking system for the wide-field-of-view telescope project ［J］.SPIE，1989，1111:196-202.