车载全景视觉系统研发

高虹 罗文广 王召杰 刘德成 宾洋

摘   要：开发了一种车载全景视觉实时系统，可实现四路视频的实时采集、变换、拼接和显示.利用广角摄像机采集车辆前、后、左、右4个方向上的实时视频图像;采用张氏标定法求取摄像头的内外参数，并对广角畸变图像进行校正;利用逆透视变换方法，建立图像坐标到世界坐标系下的坐标映射关系，并转换到查表显式模式下，以大幅提高系统逆透视变换的处理速度;将车辆的四周图像进行无缝拼接并显示.实验结果表明，本系统干扰较小，并能很好的满足实时性要求.

关键词：全景视觉实时系统;广角摄像机;张氏标定法;逆透视变换法;图像拼接

中图分类号：TP317.53;U463.67         DOI：10.16375/j.cnki.cn45-1395/t.2019.01.013

0    引言

近年来，随着机动车辆的普及，汽车保有量提高.为提高安全驾驶，高级驾驶辅助系统（Advanced Driver Assistance Systems，ADAS）市场增长迅速，包括安全车距预警系统，车道保持辅助系统（LKAS），自适应巡航控制（ACC）及全景视觉系统等.全景视觉系统能够实时的向驾驶者展示车辆周围环境信息，以确保车辆在低速行驶及泊车时的驾驶安全.全景视觉系统是在车辆的前侧、后侧、左侧和右侧各安装一个车载摄像机，分别采集车身周围图像数据;将采集到的图像数据传输给数字信号处理系统（Digital Singnal Processor， DSP），DSP对摄像机采集视频图像实时校正、拼接;DSP处理后的图像数据传输到显示终端进行显示[1].DSP系统具有体积小、功耗低、处理速度快和灵活性强等优点，可满足实时性强、成本低的车载监控的需要.采用TMS320DM6437处理器和TVP5158视频解码器为主器件，将采集到的四路CIF模拟信号解码，并压缩成一路D1复合视频数据流，将四路视频图像拼接成一路视频图像.

全景视觉系统的主要技术是图像校正及鸟瞰变换.吴贯亮[2]通过建立球面坐标系与空间坐标系的关系对超广角镜头校正.同时可以利用“张氏标定法”实现对鱼眼圖像的校正[3-4].Gao等[5]通过3D船模型对畸变图像进行校正，得到了三维的全景拼接图像，使图像更加符合驾驶员的视觉习惯.还可以采用两个投影模型，透视投影和等距投影的方式获取鸟瞰图，利用透视投影获取车辆周围图像，并利用等距投影来扩大投影范围[1].吴永祺[6]利用基于空间坐标系的转换方法完成投影变换.SungRyull Sohn等[7]提出从透视图到无盲点的俯视图的矩阵映射来达到提高视频实时性.Zhang等[8]提出一种基于消失点的自动逆投影变换算法来获取鸟瞰图.三维成像模型的全景视觉系统效果好，但成本较高，设计较为复杂;全景视觉系统的无缝拼接及图像融合系统，成像效果较好，但其程序设计相对复杂，需要较高处理速度的嵌入式系统.

当前，全景视觉系统仍然多应用于高端汽车，一些全景环视系统要求较高的嵌入式处理器以提高处理速度.这就导致较高的系统制造成本.因此，在满足系统功能性的同时，应适当降低成本，并提高处理速度.本文提出一种针对嵌入式系统的快速有效实现全景环视系统方案，采用DSP对四路广角视频图像采集，经张氏标定法畸变校正后建立图像坐标系与世界坐标系的逆透视变换关系映射表.经实验验证，该系统可以满足四通道图像的实时采集拼接.

1    系统整体架构

本系统选用TVP5158+DM6437数字媒体处理器平台[9-10]开发全景视觉系统.系统整体构架如图1所示，由摄像头进行图像采集模拟信号;视频解码芯片TVP5158对四通道视频进行解码，将模拟信号转化为数字信号; DM6437的视频处理前端（VPFE）把接收到的视频数据通过外部存储器（EMIF）接口存储到DDR2中;视频处理后端（VPBE）对数字信号进行编码转换为模拟信号后将数据输出至LCD显示.

2    视频图像处理

图像视频处理过程：1）采集单路图像并保存图片;2）利用张氏标定法对单路图像进行标定，得到摄像机的内外参数;3）对单路图像进行逆透视变换;4）将四路图像的逆透视变换数据整合为一个映射表.

2.1   参数标定

车载摄像机需要获得广阔的视野范围，采用大于170°的广角摄像机.为得到校正图像，需要对摄像机参数进行标定，而张正友棋盘标定法[11]具有标定简单和精确度高的特点，适合车载摄像头的标定.使用Matlab工具箱camera calibration toolbox进行摄像机标定，求出摄像机的内参数，根据参数对畸变图像校正.

根据摄像机成像原理，从世界坐标系的坐标点映射到二维平面图像坐标系中，图像坐标系上的点只与空间物体的位置和相机的内部参数有关[12].内参数的标定模型为：

本文使用Matlab工具箱进行摄像机的标定，分别对前、后、左、右4个摄像机进行内参数的求取.例如选择前侧摄像机进行参数求取及校正.首先，制定标定板，图中选择的格子为4 cm[×]4 cm;然后，手持标定板，采集不同角度的15幅图像，如图2所示;最后，利用Matlab工具箱求得摄像机的内参数如表1所示.根据式（2）对采集图像进行校正，校正后的图像如图3所示.

2.2   逆投影变换

逆透视变换是根据摄像机的内外参数对摄像机采集图像进行变换，将具有透视变形的图像变换为正下视图，消除近大远小差异.

本文提出一种摄像机投影点在道路平面内的逆透视变换方法.此法用于全景视觉系统的摄像机广角较大，与文献[13]不同之处是镜头的光心垂直于地面的投影点在所采集的道路平面图像之内，如图4所示，X轴右侧的部分区域被采集.基于广角镜头的成像系统，对世界坐标系下的路面坐标到成像平面的像坐标之间的关系进行推导.ABCD为采集的道路平面，O为摄像机光心，I为摄像机在道路平面的投影点，点P（XP ，YP）是道路平面上的一点，对应于图像平面的点p，如图5所示;E、F为道路平面与Y轴的交点，[2α]为纵向视场角，俯仰角为[θ]，如图6所示;[2β]为水平视场角，如图7所示.

3    基于DM6437的全景视觉系统的实时性处理

3.1   实验平台搭建

选择长61 cm，宽37 cm，高64 cm的纸箱作为试验箱，分别在其前、后、左、右侧安装广角大于170°的车载摄像机，用于视频的采集.用仿真器连接电脑进行控制输出并在输出端进行显示，如图8所示，各部分功能如表3所示.

3.2   视频图像采集

四路广角摄像机通过AV接口将模拟信号输入到视频编解码芯片TVP5158;再经AD采样、滤波和编码后以8位BT.656数据格式的行交叉模式输入到DM6437芯片.采集的图像信息需要用于后续全景图像的拼接，要尽可能大范围的采集到车辆周围的环境信息.例如使前侧摄像机采集到的信息与左侧和右侧采集的图像信息有重叠部分，如图9 所示.

3.3   数据处理

TVP5158将各路的视频帧混合在一起形成一个超级帧，超级帧的大小取决于多路视频的格式（D1或者CIF等），DM6437最多接入4 CIF.DM6437获得超级帧之后，会对其进行分解，把四路CIF再合并成一路D1输出显示.该系统的实现，涉及的算法复杂，计算速度较慢，在DSP上很难实时处理.因此，本视频图像序列利用查表法进行图像数据的采集，以提高DSP处理速度.图像数据矩阵分别由前、后、左、右侧的有效数据坐标组合成一个数组.

为得到最终的查找表，首先，从畸变图像坐标到校正图像坐标变换;其次，从校正图像坐标到逆透视变换图像坐标变换;最后，将四路图像的逆透视图像坐标到去掉重叠部分图像并对图像拼接.前、左、右、后摄像机分别标号为1、2、3、4;分别对4个摄像机采集的单帧图像通过图像校正和逆透视变换，得到变换后的图像坐标;将4个摄像机的图像数据整理到一个图像坐标矩阵，并去掉相邻摄像机的重叠部分坐标，得到最终图像坐标查找表.在Matlab上進行数据处理后的部分查找表如表4所示，（11，355）为逆透视查找表的坐标点，对应第1个摄像机采集图像坐标点（247，78），将（1，247，78） 坐标处的灰度信息赋值给（11，355）坐标位置.

3.4   视频输出

四路图像数据经过TMS320DM6437的VPBE将数字视频信号编码输出，系统通过视频输出接口电路，将此视频信号转换成模拟信号后输出显示.显示器上可以看到4个摄像头采集经过校正后的画面，图10为未经处理时采集到的试验箱周围的环境信息，将采集的图像信息经校正及逆透视变换处理后得到拼接图像，如图11所示.经实验测试，通过查表法并结合CCS3.3编译选项中Opt Level 优化控制，图像采集帧率可达22帧/秒，可采集到的有效范围为前后1.5 m，左右2 m，本系统可以满足图像的实时采集.

4    结束语

本文利用广角摄像机成像特点对广角畸变图像校正并建立图像坐标到世界坐标系下的坐标映射关系，然后用查表法进行四路逆透视图像采集以提高系统的处理速度，快速准确的对车辆周围图像进行无缝拼接并显示.系统畸变图像校正及映射表的建立在Matlab上实现， DSP采用查表法对符合要求的坐标点像素进行采集，大大提高了采集速度.算法的不足之处是经过图像校正及图像插值会带来一定的误差.该系统的优点是成本低，功耗小，实现简单，易于在各类车辆上实现且运行速度较快，具有较大的实际应用价值.

参考文献

[1]    NOBORI K，UKITA N，HAGITA N. A surround view image generation method with low distortion for vehicle camera systems using a composite projection[C]// Fifteenth Iapr International Conference on Machine Vision Applications. IEEE， 2017：386-389.

[2]   吴贯亮. 基于多路摄像头的二维环视图生成方法研究与实现[D]. 长春： 吉林大学，2014.

[3]   曾帆光. 全景视觉泊车辅助系统研究与设计[D]. 广州： 华南理工大学，2015.

[4]   ZHANG Z. A flexible new technique for camera calibration[M]. IEEE Computer Society， 2000.

[5]    GAO Y，LIN C Y，ZHAO Y，et al. 3-D surround view for advanced driver assistance systems[J]. IEEE Transactions on Intelligent Transportation Systems， 2017， 99：1-9.

[6]    吴永祺. 基于全景视觉的汽车安全驾驶辅助系统的设计研究[D]. 广州： 华南理工大学，2014.

[7]    SOHN S R， LEE H S， JUNG H C，et al. High-definition video-based multi-channel top-view vehicle surrounding monitor