视觉导航系统中图像采集及处理技术综述

潘广堂　李文文　杨先海

【摘 要】主要介绍了视觉导航系统中图像采集及处理系统的基本组成和研究的意义，分析了视觉导航技术在各个行业的应用情况，根据国内外的发展现状，对视觉导航系统中的目标检测与跟踪以及部分先进图像处理技术作详细介绍，指出了视觉导航技术的有关难点和未来的发展趋势。

【关键词】视觉导航系统；图像采集；目标检测与跟踪；图像处理技术

【Abstract】It introduces the basic components of meaning and research vision navigation system image acquisition and processing system. A simple analysis of visual navigation technology applications in various industries. According to current development situation of the visual navigation system target detection and tracking as well as some advanced image processing technology detail. He pointed out about the difficulties of visual navigation technology and future trends.

【Key words】Visual navigation systems； Image acquisition； Target detection and tracking； Image processing technology

0 引言

机器视觉是通过计算机处理图像，提取所需信息的一门技术，完整的工作系统能够自动获取图片或视频信息，进行增强、分辨、测量、判断并输出结果。机器视觉技术的飞速发展为各行业的自动化发展提供了技术支持。机器视觉作为计算机辅助或替代人类视觉工作的技术，具有较大的潜力与开发难度[1]。充分合理的利用视觉导航技术不仅可以实现智能化，还可以实现人工无法完成的工作，解决实际生活中的不安全问题，在工业生产中可以代替人工，提高生产效率等。目前，视觉导航技术在机器人、无人机、全自动驾驶、农业机械等领域得到了较为广泛的应用。行人检测、汽车制动性能检测、车辆检测、测量车距与车速、检测车道线、检测交通标志等都已取得了比较成功的进展。经过业内学者不断地创新研究，目前出现了基于单目、双目和多目的视觉系统，以及与之相结合的对目标物体的颜色、形状、边缘、纹理等多种特征的跟踪方法。

1 图像采集及处理系统基本组成模块

在视觉导航系统中，图像的采集和处理是最为核心的步骤。通常由图像采集系统和图像处理系统为后续的编程、路径规划等导航工作提供有关的准确数据信息。如图1所示：

图像采集系统将获取的图像信息转换为数字信号，将数字信号分别传输到图像处理系统和计算机；图像处理系统通过专用的硬件对数字图像进行处理并获得程序要求的如颜色、边缘、纹理等参数信息，将信息传送到计算机来计算[2]。

2 国内外近年研究现状

在视觉导航系统中，以摄像机为主的视觉传感器提供了最原始的视觉图像。为了快速并且准确的检测以及跟踪目标，对图像的处理和特征信息的采集是视觉导航系统中最基础也是最关键的步骤。

2.1 视觉图像采集及特征提取技术

图像获取及特征信息的采集是图像处理的前提。以 CCD 技术为核心，目前图像获取设备有黑白摄像机、彩色摄像机、扫描仪、数字相机等，性能与价格主要取决于 CCD 的规格，如尺寸等。除了这些常见的类型外，目前有许多厂商提供各种其它的专用设备，如显微摄像设备、红外摄像机、高速摄像机、胶片扫描器等等。遥感卫星、激光雷达等设备提供其它类型的数字图像。CMOS（Complementary Metal Oxide Semiconductor）即“互补金属氧化物半导体”图像传感器的出现，使成像成本更低，而且易于大规模生产[3]。

2010年，许海霞[4]提出分层MS匹配搜索的思想，给出分层的MS匹配迭代跟踪算法。2013年，张雪华等人[5]采用Kinect摄像机获取RGB和深度图像，并改进了增量直方图算法。它的基本思想是根据增量式相似度计算来确定每个粒子的权值。在粒子滤波器中用粒子代替目标的一种可能性状态，并且粒子滤波算法不需要满足线性、高斯系统，应用更加广泛。2014年，肖晖等人[6]引用了基于CCD相机获取待检砝码图像，Matlab中Roberts算子[7]对待检砝码的边缘检测。该算子检测边缘的精度比较高，但边界有点粗，需后续的处理。Aurélio Campilho等人[8]提出了一种SSACA+EP算法，该算法整合了约束传播机制纳入其框架，不能链接制约整个相似矩阵，使得这一过程更有效率。但是由于帧的数量二次，使得该算法具有复杂性，他们计划扩展这种算法到其他时间聚类算法。2015年，贾宝芝[9]提出了一种基于两连续帧运动信息提取的TCF（Two Consecutive Frames） 模型，在不需要进行摄像机标定的情况下，利用运动信息获取障碍物的相对高度，从而区分障碍物与阴影和标志线。该方法能够将障碍物与道路阴影以及道路标志线区分开，同时要满足实时性的要求，而且不需要对摄像机进行人工标定以及其他先验知识。

2.2 图像处理技术

恶劣的天气和光照不均匀都会降低视觉图像的质量；复杂环境中如何提取静止或运动目标，确定目标数量，提取关键目标；在跟踪过程中，目标出现遮挡、或相似目标干扰时，会导致发散甚至跟踪丢失的问题。因此，视觉图像的去噪、滤波、增强技术十分关键，对后续目标识别跟踪的准确性、实时性产生较大的影响。

2000年，Adisorn Tuantranont等人[10]指出高斯（Gauss）滤波，就是为了得到较好的图像边缘、信噪比（SNR）较高的图像而设计的一种很好的滤波方式。2005年，孙海涛[11]提出了一种CB数学形态学滤波处理方法。2006年，叶敏[12]提出一种基于FPGA的实时图像模板滤波及边缘检测方法，将LoG[13]模板分解为两个可分离模板的和，从而降低了算法运算量。并充分利用FPGA的并行机制及片内丰富的RAM资源，采用分布式算法[14]，用查找表代替乘法器进行乘法运算。2013年，陈龙[15]提出了一种新的基于联合双边滤波方法的恶劣天气下的图像增强算法。提取图像的暗通道或亮通道，通过灰度膨胀腐蚀运算来估计环境光，然后通过快速的双边滤波技术[16]完成大气幕和光照分量的相对精确估计。2015年，岳洪伟[17]对传统的 Canny边缘检测算法[18]中高斯卷积和双阈值设置这两个步骤进行了算法的改进，提出三段式匹配预处理算法。

3 视觉导航技术未来发展趋势

目前，随着各类导航技术的不断完善和多种图像获取、信号处理技术的快速发展，视觉导航技术得到了更为广泛的应用。在部分领域视觉导航技术已经趋向成熟。但是由于工作环境变的越来越复杂，对视觉导航技术的鲁棒性要求提高，在某些方面仍有很多关键问题需要解决。如以下几个方面：

3.1 图像获取技术

视觉图像的获取是视觉导航技术最基本的要求，不同的图像获取方法得到的视觉图像质量也有所差异。目前，有单目视觉、双目立体视觉、多目立体视觉的视觉传感器形式。单目视觉是利用单个摄像头对环境进行识别的方法。通常单目视觉传感器只能够识别二维的环境信息而无法获得环境的深度信息，计算速度快，但定位的准确性有待提高。双目立体视觉的工作原理是对人类双眼的仿生——通过两个摄像机分别获得场景的左、右图像，然后通过三角测距的原理得到环境的深度信息。双目立体视觉获取的信息更加丰富，并且在对远距离、小型障碍物的识别方面更有优势。但是，双目立体视觉系统存在的问题在于左右立体图像对的匹配工作比较困难，而且容易受到光照的影响，在夜间的工作性能也大大下降。多目立体视觉同样是利用了人双眼成像的原理来进行环境的立体识别。但是，与双目不同的是，多目立体视觉采用了三个或三个以上的摄像头作为环境识别传感器。采用多目立体视觉可以获得更大的视野范围，更高的识别精度，但是由于传感器数目的增多而导致的数据处理量急剧增加，从而造成处理时间的增加，使其很难满足系统的实时性要求。因此，图像获取技术的一个发展趋势是找到一个同时满足对目标检测的实时性和准确性的图像获取方法。

3.2 图像增强技术

为了增强对图像分析和识别的能力，还需要突出有用信息，剔除图像中其他景物内容的干扰，采取图像增强技术。图像增强的应用主要有两类：一是，改善图像的视觉效果；二是，突出图像的特征，便于计算机处理。现有的图像增强技术大致可以分为三类：空间域法、变换域法和模糊处理法。空间域法直接对图像像素点的灰度值进行操作。针对不同的应用要求，采取灰度值变换或空间滤波等方法。变换域方法首先将图像映射到某个变换域，然后在该变换域对图像进行处理以突出图像的某些特征。采用直方图均衡化变换的方式对图像增强处理，可以突出原图像的细节，对边缘检测有很好的效果。但是在恶劣的环境中，噪声对图像影响较大，从而影响图像增强效果。其中一个发展趋势是针对不同的图像采取图像滤波、去噪处理与图像增强技术相结合，进而取得更好的图像增强效果。

3.3 图像特征提取技术

获取得到的目标图像数据量巨大且含有很多与识别无关的信息，若直接利用图像原始数据进行分类则计算量很大且不现实，必须对图像进行特征的提取和选择，特征提取若不恰当就会影响视觉导航的准确性。目前有基于颜色、边界、纹理、表达、学习、模型以及其他特征的提取方法。一个好的特征一般具有可区别性、可靠性、独立性、数量少等特点。单一的特征提取方法往往无法满足目标跟踪准确性的要求，多特征提取方法提高了准确性同时增加了计算复杂度。因此，再引入多特征的同时研究一种算法来提高计算速度是未来的一个发展方向。

4 结束语

本文主要介绍了视觉导航系统近年来国内外的发展现状，对图像处理及特征提取技术做了简单总结并提出未来的发展趋势。

目前，在图像处理方面边缘保持去噪方法[19]有较好的效果。基于均值、中值两种滤波器，在继承均值去噪和中值去噪优点的基础上解决均值去噪会模糊图像边缘细节和中值去噪将滤除图像中的线条细节的问题。针对图像中车牌号的识别，基于均匀网格特征和改进的LBP特征的字符识别算法达到了较高的水平。均匀网格特征[20]对于车牌字母和数字字符而言，使用均匀网格特征来描述它能达到最好的识别效果，识别率为96.2%，识别耗时低，仅为0.25ms；改进的LBP特征[21]对于车牌汉字字符而言，使用改进的LBP特征来描述它能达到最好的识别效果，识别率为99.2%，识别耗时为1.97ms。视觉导航系统在实时性、鲁棒性和准确性上不断地创新和发展，相信未来会有更好的应用前景。

【参考文献】

[1]朱明珠，赵云，沈英.车载机器视觉的应用概述[J].2014（1）：50-51.

[2]Johnson A E，Ansar A，Matthies L H，et al.A General Approach to Terrain Relative Navigation for Planetary Landing[C]∥2007 AIAA Aerospace @ Infotech Confer-ence，2007：1498-1506.

[3]侯学贵.除草机器人杂草识别与视觉导航技术研究[D].南京，南京林业大学，2007.

[4]许海霞.机器视觉标定与目标检测跟踪方法及其应用研究[D].湖南，湖南大学，2010.

[5]张雪华，刘华平，孙富春，高蒙，贺超.采用 Kinect 的移动机器人目标跟踪[J].2014，9（1）：2-3.

[6]肖晖，韩轩，孙智权，赵不贿.基于的砝码自动装卸机械手图像定位方法的设计与研究[J].2014（12）：25-28.

[7]张兆礼.现代图像处理技术及实现[J].北京：人民邮电出版社，2001.

[8]Aurélio Campilho， Mohamed Kamel. Audio-Visual Emotion Analysis Using Semi-Supervised Temporal Clustering with Constraint Propagation [J].2014：1-11.

[9]贾宝芝.视频导航中的地图生成、障碍检测与行人人脸识别[D].安徽：中国科技大学，2015.

[10]Adisorn Tuantranont，Victor M Bright.Introduction to Micro Electro Mechanical Systems（MEMS） with Emphasis on Op？tical Applications[J].Technical Journal，2000，1（6）：227-236.

[11]孙海涛.基于视觉导航的智能车辆自主行驶研究[D].合肥：合肥工业大学，2005.

[12]叶敏.基于视觉导航的实时图像处理及FPGA实现[D].浙江：浙江大学，2006.

[13]D.Marr，E.C.Hildreth.TheoryofEdgeDetection.Proc.R.Soc.B[J].1980，207：187-217.

[14]刘凌，胡永生，译.数字信号处理的实现[J].北京：清华大学出版社，2003.

[15]陈龙.辅助视觉中的图像处理关键技术研究[D].西安：西安电子科技大学，2013.

[16]C. Tomasi， R. Manduchi. Bilateral filtering for gray and color images [C]. 6th IEEE International Conference on Computer Vision（ICCV），1998：839-846.

[17]岳洪伟.基于双目立体视觉的汽车制动性能检测系统研究[D].吉林：吉林大学，2015.

[18]Deriehe R. Using Cannys criteria to derive a recursively implemented optimal edge dctector[J].Internatio nal Journal of Computer Vision，1987，1（2）：167-187.

[19]杨海璐.基于特征知识的视频识别技术[D].北京：北京邮电大学，2015.

[20]李永忠，王玉雷，刘真真.藏文印刷体字符识别技术研究[J].南京大学学报，2012（1）：55-62.

[21]危雨轩.鲁棒的字符识别算法研究[D].北京：北京邮电大学，2013.

[责任编辑：王伟平]