基于多微面光纤面板的仿生复眼图像拼接及定位算法

杨超， 裘溯， 金伟其， 戴佳琳

(北京理工大学 光电学院 光电成像技术与系统教育部重点实验室， 北京 100081)

0 引言

随着无人机、无人车等领域的快速发展，人们需要研制新型视觉系统以适应复杂的应用环境，仿生复眼系统是一种受昆虫复眼启发而研制的新型视觉系统[1]。仿生复眼视觉系统具有结构紧凑、视场大、质量轻等优点[2]，在无人机、导弹制导、追踪系统、智能机器人等领域有着广泛用途。

截止目前，国内外研制了众多的仿生复眼系统[3-5]，典型的如图1所示。TOMBO仿生复眼[6]为平面结构的微型透镜阵列系统，是真正意义上的微型成像系统，但是相较曲面结构的仿生复眼系统来说其视场较小。2007年英国BAE公司提出一种基于多微面光纤面板的仿昆虫复眼成像系统[7]，该系统采用多端面光纤面板对不同方向的光信息进行采集，简化了仿生复眼光学系统，实现了120°大视场成像。

张姗姗等[8]设计了一种由7个子眼构成的曲面复眼系统，该系统在3 000帧/s帧频下，重构出了相机前方150 mm处做圆周运动的目标运动轨迹。刘艳等[9]设计了一个由9部平面阵列相机构成的仿生复眼系统，该系统定位精度为2.53×10-4rad.

本文在研究多微面光纤面板的仿生复眼系统基础上，使用三维设计制图软件SolidWorks对镜头支架进行设计，搭建一套能够满足图像拼接、目标定位的实验系统，使用Visual Studio 2012、OpenCV应用程序编写大视场图像拼接、目标定位的程序，为后续图像的实时拼接、目标定位、目标追踪打下可靠的基础。

1 基于多微面光纤面板的仿生复眼系统

1.1 仿生复眼结构

图2所示为曲面型仿生复眼的结构示意图，该系统由9个子眼镜头组成，侧面与顶面的夹角为20°[10]，角面与顶面的夹角为27°，光线通过子眼首先成像于光纤面板的前端面，再通过光纤面板成像于光纤面板后端面，最后使用焦距为60 mm的微距镜头和尼康单反相机对后端面的图像进行采集，获取仿生复眼的原始图像。图3所示为不同比例的子眼视场交叠情况[11]，本文选用中等比例视场交叠的情况对仿生复眼结构进行设计，如图3(b)所示，在此种情况下侧面子眼与顶面子眼之间的视场交叠率为50%，角面子眼与顶面子眼之间的视场交叠率为25%，区域内的数字代表视场有交叠的子眼个数。

1.2 仿生复眼镜头支架的改进设计

由几何关系可以求得：

(1)

(2)

顶面子眼开孔位置为顶部的正中心，开孔直径为子眼镜头的直径，大小为7 mm.

由平行关系可计算出侧面开孔的圆心位置：

(3)

(4)

使用相同的方法计算角面子眼的开孔位置，将遮光片设计到顶面与侧面、顶面与角面的角平分线上。通过计算得到镜头支架主要参数，如表1所示。

表1 镜头支架主要参数

根据镜头支架主要参数，使用SolidWorks软件对镜头支架进行设计，图5所示为镜头支架的设计结果。经过实测可知，仿生复眼的总视场大小为74.3°，顶面子眼的视场大小为42.2°，侧面子眼的视场大小为41.5°，角面子眼的视场大小为53.1°. 图6所示为实际子眼视场交叠情况图。由图6可见，侧面与顶面子眼间的视场交叠率为49.4%，角面与顶面子眼间的视场交叠率为25.5%，子眼交叠比例基本满足设计需要。图7所示为仿生复眼系统的实物图。

2 仿生复眼图像拼接

图8所示为仿生复眼系统拍摄的原始图像，通过子眼视场交叠区域内的特征信息能拼接得到大视场的复眼图像。以两子眼为例，子眼图像拼接的主要流程为：

1)使用尺度不变特征变换(SIFT)算法提取两幅子眼图像中的特征点，获取特征点的描述符，再对两幅子眼图像的特征点进行匹配。

2)使用欧式距离法和随机抽样一致性(RANSAC)算法筛选特征点匹配对，计算待拼接子眼图像到拼接子眼图像的投影矩阵。

3)将待拼接子眼图像进行矩阵变换，使用加权平均法对图像进行融合。

4)将所有子眼图像进行拼接，获取大视场的仿生复眼拼接图像。

采用SIFT算法，在高斯差分空间中，将被测点与同尺度中8个邻域点以及两个相邻尺度空间中18个像素点相比较得到图像的特征点。SIFT算法将每一个特征点周围16×16个像素区域划分为16个4×4的像素区域，记录下这16个区域内8个方向的像素梯度信息，得到一个128维特征点描述符。当被检测图像旋转、亮度改变或者拍摄视角改变时，通过128维特征点描述符也能准确地将特征点进行匹配。

2.1 特征点筛选

使用SIFT算法对特征点进行匹配会存在一些误匹配对，通过欧式距离法和RANSAC算法[12]可以筛除大部分错误的特征点匹配对。设置一个距离阈值，将特征点对之间欧式距离大于阈值的特征点对筛除，只留下欧氏距离小于阈值的特征点对：

D

(5)

式中：D为特征点匹配对之间的欧式距离；a为设置的阈值大小，范围在0～1之间，通过调整a的大小筛选特征点匹配对；lmax为特征点匹配对中欧式距离的最大值。然后使用RANSAC方法筛选特征点匹配对。图9所示为特征点匹配对筛选前后的对比图。

使用筛选后的特征点匹配对计算投影矩阵，待拼接图像通过矩阵变换后将与拼接图像处在同一基准之下，使用加权平均法对图像进行拼接，以消除缝合线对拼接图像的影响，实现拼接图像的均匀过渡。

2.2 加权平均法图像融合

采用加权平均法对图像的重叠部分进行过渡，图像重叠部分的灰度值由两图像灰度乘以不同权值而得到。设f(x,y)表示所获得的拼接图像，f1(x,y)、f2(x,y)分别表示两幅待拼接图像，有

(6)

式中：d1、d2分别为重叠区的权重值，其大小与重叠部分的宽度有关，d1+d2=1，0≤d1≤1，0≤d2≤1，d1=1-x/w，d2=x/w，x为像素距离左边界的距离，w为两图像重叠部分的宽度。图10为直接拼接与使用加权平均法得到的拼接图像。

2.3 实验结果

图11所示为拼接得到的大视场图像。由图11可知，拼接图像无明显的缝合线，边界处过渡均匀，图像无明显变形，证明了本文算法的合理性。

3 仿生复眼目标定位算法研究

仿生复眼系统中相邻子眼的视场互有交叠，将仿生复眼分成不同的双目系统，通过双目视差原理对视场交叠区域中的任意目标进行空间定位。目标定位的方法为：先对两子眼进行单目标定，再对两子眼进行双目标定，根据标定得到的参数将两子眼进行双目矫正，最后通过双目视差原理计算目标的空间三维信息。

3.1 双目定位原理

如图12所示：OwXwYwZw为世界坐标系；左侧摄像机的焦距为fl，图像坐标系为olxlyl，摄像机坐标系为OlXlYlZl；右侧摄像机的焦距为fr，图像坐标系为orxryr，摄像机坐标系为OrXrYrZr. 图像坐标系与世界坐标系之间的关系为

(7)

式中：dx、dy表示像素大小；u0和v0表示图像坐标系原点在像素坐标系中的坐标；f表示摄像机焦距；s表示尺度因子；R表示摄像机坐标系与世界坐标系之间的旋转矩阵，t为摄像机坐标系与世界坐标系之间的平移向量；P为摄像机矩阵或者投影矩阵，是一个3×4的矩阵。

左右两摄像机图像坐标系与世界坐标系的关系可以表示为

(8)

(9)

式中：M和N为左、右两摄像机图像坐标系与世界坐标系之间的变换矩阵。

将(8)式和(9)式中的sl、sr相消后得到一个方程组，通过求解该方程组可以求得目标的空间三维信息。

3.2 定位实验

首先使用张正友标定法[13]对两子眼进行单目标定，再对两子眼进行双目标定，通过双目标定得到的参数将两幅图像中的畸变消除并且对准两子眼图像，最终获得光轴平行、成像平面共面、对极线平行的两幅子眼图像。图13所示为通过校正后得到的两子眼图像。

将目标放置于4个不同位置，分别距离中心子眼光轴1 000 mm、1 200 mm、1 400 mm、1 600 mm. 使用仿生复眼系统对目标进行5次测量。图14所示为两子眼采集到的目标图像。通过系统对目标进行测量的结果如表2和图15所示。

表2 距离测量结果数据表

4 结论

本文对仿生复眼镜头支架进行了设计，搭建了一套仿生复眼系统，提出了一种仿生复眼图像拼接的算法并获得了仿生复眼的大视场拼接图像；使用样机对4个空间目标进行深度信息的测量，证明了双目定位方法能够很好地在仿生复眼系统中得到应用。所得主要结论如下：

1)将遮光片直接设计到镜头支架中能有效消除子眼光线之间的相互影响。

2)使用欧式距离法和RANSAC算法能对特征点对进行有效筛选，使用加权平均法能有效消除拼接图像中的缝合线。

3)能够使用双目定位原理对仿生复眼中视场重叠区域内的目标进行三维定位。

今后工作的主要方向为：1)解决中心子眼过曝导致部分信息丢失问题；2)研究图像实时拼接方法；3)研究多目定位方法提高目标定位精度，以解决仿生复眼系统中有些区域有多个子眼视场交叠问题。相信伴随着系统结构的改进、算法优化，仿生复眼在目标定位、追踪领域将有更加广泛用途。

参考文献(References)

[1] 金伟其, 林青, 裘溯, 等. 多孔径仿生复眼成像系统技术进展综述[J]. 光学与光电技术, 2011, 9(6): 9-13.

JIN Wei-qi, LIN Qing, QIU Su, et al. Summary of technical progress of multi-aperture biomimetic compound imaging system[J]. Optics & Optoelectronic Technology, 2011, 9(6): 9-13. (in Chinese)

[2] Land M F. Compound eyes: old and new optical mechanisms[J]. Nature, 1980, 287(5784):681-686.

[3] Stéphane V, Franck R, Robert L, et al. CurvACE: a miniature curved artificial compound eye[J]. Frontiers in Physiology, 2013, 110(23): 9267-9272.

[4] 郭书基, 史立芳, 曹阿秀, 等. 基于大视场人工复眼定位技术[J]. 光子学报, 2016, 45(5): 87-92.

GUO Shu-ji, SHI Li-fang, CAO A-xiu, et al. Study of large field of view compound-eye orientation technology[J]. Acta Photonica Sinica, 2016, 45(5):87-92. (in Chinese)

[5] 付跃刚, 赵宇, 刘智颖, 等. 用于目标识别的紧凑型仿生复眼光学系统设计[J]. 红外与激光工程, 2017, 46(6): 0602001-1-0602001-7.

FU Yue-gang, ZHAO Yu, LIU Zhi-ying, et al. Design of compact bionic compound eye optical system used for target identification[J]. Infrared and Laser Engineering, 2017, 46(6): 0602001-1-0602001-7. (in Chinese)

[6] Tanida J, Kumagai T, Yamada K, et al. Thin observation module by bound optics (TOMBO): concept and experimental verification[J]. Applied Optics, 2001, 40(11): 1806-1813.

[7] Laycock L C, Handerek V A. Miniature imaging devices for airborne platforms[C]∥SPIE Europe Security and Defence. Florence, Italy: SPIE, 2008: 1-5.

[8] 张姗姗, 宋乐, 张雄,等. 一种用于高速三维跟踪的小型可开窗复眼系统[J]. 光电子·激光, 2014, 25(9):1796-1802.

ZHANG Shan-shan, SONG Le, ZHANG Xiong, et al. A compact high-speed 3D-tracking module based on a compound-eye camera[J]. Journal of Optoelectronics·Laser, 2014, 25(9):1796-1802. (in Chinese)

[9] 刘艳, 苟健, 尹韶云, 等. 人工复眼成像三维定位系统设计[J]. 光电工程, 2014, 41(5):89-94.

LIU Yan, GOU Jian, YIN Shao-yun, et al. Design of three-dimensional orientation system based on artificial compound eye imaging[J]. Opto-Electronic Engineering, 2014, 41(5):89-94. (in Chinese)

[10] 刘志刚. 多孔径部分重叠仿生复眼成像系统的结构设计和实验研究[D]. 北京: 北京理工大学, 2014.

LIU Zhi-gang. Structural design and experimental study of partial overlapping biomimetic compound imaging system with multi-aperture[D]. Beijing: Beijing Institute of Technology, 2014.(in Chinese)

[11] 裘溯, 倪宇, 金伟其,等. 基于微端面光纤面板的多孔径视场重叠复眼的视场模型[J]. 光学精密工程, 2015, 23(11):3018-3025.

QIU Su, NI Yu, JIN Wei-qi, et al. FOV modeling of multi-aperture superposition compound eye based on micro-surface fiber faceplate[J]. Optics and Precision Engineering, 2015, 23(11): 3018-3025.(in Chinese)

[12] Fischler M A, Bolles R C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography[J]. Communications of the ACM, 1981, 24(6): 381-395.

[13] 李瑞峰, 李庆喜. 机器人双目视觉系统的标定与定位算法[J]. 哈尔滨工业大学学报, 2007, 39(11): 1719-1722.

LI Rui-feng, LI Qing-xi. Calculation of the position between mobile robot and object based on two CCD cameras[J]. Journal of Harbin Institute of Technology, 2007, 39(11): 1719-1722. (in Chinese)