基于OpenCV的图像预处理技术在无人机视频的应用

吴川平，黄文恺，伍冯洁，张雯雯，梁俊杰（．广州大学数学与信息科学学院，广州50006；．广州大学实验中心，广州50006；．广州大学机械与电气工程学院，广州50006）

基于OpenCV的图像预处理技术在无人机视频的应用

吴川平1，黄文恺2，伍冯洁2，张雯雯3，梁俊杰3
（1．广州大学数学与信息科学学院，广州510006；2．广州大学实验中心，广州510006；3．广州大学机械与电气工程学院，广州510006）

OpenCV（Open Source Computer Vision）是一种用于数字图像处理和计算机视觉的开放源代码函数库。从图像处理在无人机视频的应用的角度出发，提出一种预处理方法，将图像处理的高斯滤波算法、双边平滑算法、图像增益数以及图像融合操作应用于无人机拍摄视频中。通过对视频帧图像的操作，解决无人机视频图像出现的抖动、清晰度低等问题，同时有效降低环境光线及噪声干扰的影响。

无人机；数字图像预处理；OpenCV

0　引言

随着计算机技术的高速发展，数字图像技术已经在通信、监控、生物、医学、雷达、航空等方面发挥着重要作用。通信、电子以及计算机技术也带来了无人机领域的蓬勃发展，然而在无人机扩展到各个领域的应用过程中，也带来了新的问题与思考。例如无人机的重要功能之一的拍摄功能，由于无人机拍摄必然会产生抖动，画面也会由于环境因素出现模糊不清、噪声污染、电子波干扰、环境与目标难以区分等问题。

目前市面上出现了很多种解决方案来改善无人机拍摄的这些不足，但普遍通过硬件方式来实现。本文将采用软件方式直接处理无人机获取的视频画面，以Windows 7作为操作系统，C++作为编程语言，Microsoft Visual Studio 2010作为编程软件，并且配置可调用OpenCV库函数的Path路径，以无人机上采集到的视频图像作为处理材料，结合计算机本身的摄像头采集实验所需图片。通过实验验证，最终得到不仅适合普通视频源使用，而且适用于无人机视频采集的图像预处理系统。

1　系统组成

无人机视频预处理系统主要由无人机视频获取、程序读入视频文件、帧图像初始化、图像滤波处理、图像平滑处理、图像增益处理和图像融合操作七个部分组成，系统框图如图1所示。

图1　系统结构框图

系统首先对实时采集到的无人机视频图像进行初始化，其次，对完成初始化的帧图像分别应用高斯滤波算法、双边平滑算法、5领域像素平均算法及图像融合算法进行图像的滤波、平滑、增益及融合处理，从而输出较高质量的图像序列。

2　算法原理

（1）高斯滤波算法

本文采用高斯滤波算法实现图像的滤波功能，函数声明为：

void GaussianBlur（InputArray src1,OutputArray dst1,Size ksize,double sigmaX,double sigmaY=0,int borderType=BORDER_DEFAULT）

其中，src1为输入图像，dst1为输出图像，Ksize为滤波器模板大小，sigmaX、sigmaY分别为横向和竖向的滤波系数，borderType为边缘点插值类型。

高斯滤波是对原图像的每一个像素进行滤波，对应像素滤波后的值是根据其相邻像素（包括该像素本身值）与一个滤波器模板相乘，也就是说只需要弄清楚高斯滤波器模板即可。由于本文处理的是二维帧图像，为了简化，sigmaX和sigmaY取相等，得到模板大小ksize如式（1）：

其中，i和j分别代表行和列，ksize的宽和高必须是奇数，α、β的和为1。

（2）双边平滑算法

双边滤波是一种简单、边缘保持平滑的非迭代方案，算法公式如式（2）：

结合域和值域过滤将被表示为双边滤波[1]，在平滑区域，一个小的邻域的像素值是彼此相似的，双边滤波器的实现过程实际上是一个标准的域滤波，即平均掉小、弱相关的像素值之间的差异所造成的噪音[2～3]。除了双边平滑算法外，还可以采用高斯平滑等算法来实现图像的平滑处理[4]。

（3）5领域像素平均算法

本文采用四邻域方法来实现图像的增益操作，对当前像素点p（i，j），经过增益处理后的像素点像素值如式（3）：

其中，fp（i，j）为当前像素点像素值，fp（i，j-1）与fp（i，j+1）分别为前一和后一像素点像素值，fp（i-1，j）与fp（i+1，j）分别为上一点和下一点像素点像素值。

（4）图像融合操作

关于图像融合的算法很多[5～6]，在实际应用中可根据需要选择合适算法，本文采用addWeighted函数，将平滑处理和增益处理后图像相融合，通过给平滑处理的图像和增益处理的图像赋予不同的权值，从而得到不同重点效果的图像。

3　算法在编程环境下的具体实现

本文对无人机采集到的实时图像序列通过遍历图像像素点的方式来实现图像滤波、平滑、增益及融合操作。为了减少对硬件资源的消耗及提高图像处理速度，将实时图像序列储存类型为Mat，采用指针储存图像的形式，然后利用高斯滤波、双边平滑、5领域像素平均算法及图像融合算法来进行处理，算法的具体实现步骤如下：

①建立一个VideoCapture结构，导入无人机视频；

②应用capture.set设置开始帧和结束帧，为了保证视频播放的流畅性，在帧与帧之间需适当增加时延，时延值与帧率有关，帧率可通过函数capture.get（）获得；

③调用OpenCV高斯滤波函数GaussianBlur（），双边平滑函数bilateralFilter（），增益函数sharp（）以及融合函数addWeighted（）；

④调用namedWindow（""）建立窗口以及imshow（）函数显示帧图像，加上一定的延时即可得到流畅的经过处理的视频图像。

⑤循环步骤①到步骤④，即可连续处理无人机采集到的视频信号。

4　实验结果及分析

系统开发采用Microsoft Visual Studio 2010编程软件，配以OpenCV库函数来实现，OpenCV库函数提供大量可供直接调用的函数，省去了重新封装函数的时间，同时，OpenCV还提供了针对video文件和实时摄像机的帧提取函数和很多标准的图像处理算法。从而缩短了开发周期，降低了开发难度。

图1所示是一幅从无人机传送回来的实时图像，应用高斯滤波算法、双边平滑算法、增益算法、图像融合算法进行处理后的效果图分别如图2、3、4、5所示。其中在进行图像融合操作时，融合函数的权重值需根据实际处理的图片来不断调整数值，本文经过多次实验不断尝试，当权重值取0.4和0.6时，图像融合效果最好。

图1　未经处理过的原图像

图2　高斯滤波处理后的图像

图3　双边平滑处理后的图像

图4　增益操作后的图像

图5　图像融合操作后的图像

由图2可以看出，噪声干扰得到了很好的改善，噪声像素被弱化，画面也比较干净，目标突出。与2相比，图3的图像比较平滑，特别是噪点部分明显减少了，本文运用双边平滑算法而不是高斯平滑、均值平滑等算法，原因是双边平滑更能够避免图像边缘模糊化。与图3相比，图4的图像对比明显更强烈，轮廓也更清晰，这是因为图像的像素得到增强，使背景色跟目标色区别越来越大。图5是平滑处理图与增益图相融合操作后的图像，取得了平滑与增益的双重效果。与原图像相比，经过本文算法进行图像预处理后的无人机视频图像序列取得了显著效果。

5　结语

本文在基于OpenCV库函数的基础上，将高斯滤波算法、双边平滑算法、图像增益技术以及图像融合技术应用于无人机实时视频处理上，较好地消除了噪声对视频画面的影响，同时也实现了画面的平滑、像素增益、边缘信息的保留功能，从而获得比较清晰美观的视频图像。本文的应用程序也可以与优秀的硬件基础相结合，打造出比较理想的视频预处理系统，可较好用于为安防、航空、医学、军事等多方面视频处理实现实际项目中的具体应用。

[1]C.Tomasi，R.Manduchi,"Bilateral Filtering for Gray and Color Images",Proceedings of the 1998 IEEE International Conference on Computer Vision,Bombay,India.

[2]T.Boult,R.A.Melter,F.Skorina,I.Stojmenovic."G-neighbors",Proceedings of the SPIE Conference on Vision Geometry II,pages 96～109,1993

[3]R.T.Chin，C.L.Yeh.Quantitative Evaluation of Some Edge-Preserving Noise-Smoothing Techniques.Computer Vision,Graphics,and Image Processing,67～91,1983

[4]图像平滑处理（归一化块滤波、高斯滤波、中值滤波、双边滤波）.http://blog.csdn.net/xw20084898/article/details/21822565.

[5]才溪.多尺度图像融合理论与方法.电子工业出版社

[6]Zheng S,Shi W Z,Liu J,et al.Multisource Image Fusion Method Using Support Value Transform[J].IEEE Transactions on Image Pro-cessing,2007,16（7）:1831～1839

Unmanned Aircraft;Digital Image Preprocessing;OpenCV

Application of OpenCV Image Preprocessing Technology in Unmanned Aircraft Based on Video

WU Chuan-ping1，HUANG Wen-kai2，WU Feng-jie2，ZHANG Wen-wen2，LIANG Jun-jie2
（1.School of Mathematics and Information Science,Guangzhou University,Guangzhou 510006; 2.Laboratory Center,Guangzhou University,Guangzhou 510006; 3.School of Mechanical and Electric Engineering，Guangzhou University,Guangzhou 510006）

OpenCV is used for digital image processing and computer vision of the open source code libraries.Starts from image processing in the application of unmanned aircraft video angle,proposes a preprocessing method.Applies Gauss filtering algorithm for image processing,bilateral smoothing algorithm,image gain function,and image fusion operation to UAV video,through the video frame image operation, solves the problem of realization of generating video image captured the jitter,low resolution of issues and the environment to produce light,noise etc..

1007-1423（2015）14-0070-04

10.3969/j.issn.1007-1423.2015.14.017

吴川平（1992-），女，重庆人，在读本科生，专业方向为数学与应用数学

黄文恺（1981-），男，广东韶关人，实验师，硕士，从事领域为无人机、机器人等技术的实验教学与技术开发

伍冯洁（1979-），女，广东阳江人，硕士研究生，高级实验师，研究方向为计算机测控技术方向

张雯雯（1994-），女，贵州赤水人，在读本科，专业方向为光电信息科学与工程

梁俊杰（1995-），男，广东广州人，在读本科，专业方向为机械设计制造及其自动化

2015-03-19

2015-05-12