基于OpenCV 的微型扑翼飞行器视觉伺服系统

叶以楠，张卫平

(上海交通大学电子信息与电气工程学院，上海 200240)

0 引言

微型飞行器不管军用还是民用都有非凡的实用价值，由于其微小的体积，可用于侦查、救灾、环境监测、森林大火的搜索、放射物质泄露监控等领域［1］。而计算机视觉可用于运动的微型扑翼飞行器的检测，主要是通过在摄像头采集的视频信号中识别并提取运动目标，对其进行跟踪分析，然后获取运动目标的位置信息。本文将计算机视觉应用于微型扑翼飞行器的控制系统中，在对飞行器的动力学原理进行简要分析的基础上，基于OpenCV 和Visual Studio 2008 平台，搭建微型扑翼飞行器的视觉伺服系统。

1 微型扑翼飞行器

微型扑翼飞行器尺寸为:身长20 mm，翼展30 mm，重量约为100 g，主要分为驱动器、传动机构、机身、机翼几个部分。整体的概念设计如图1 所示。飞行器的驱动器是一块压电陶瓷晶片［2］，通过导线对其输入正弦电压，飞行器的传动系统将驱动器的振动传递到机翼根部，致使机翼上下拍动，机身模型可看作线性的，即调节信号的幅值相当于调节翅膀拍动的幅度，调节信号的频率相当于调节翅膀拍动的频率。

图1 微型扑翼飞行器概念设计图

1.1 飞行器坐标系的建立

为了便于说明下文的计算公式，笔者建立飞行器躯体的坐标系，如图2 所示。

1.2 驱动信号

为了控制微型扑翼飞行器在xOz 二维空间平面内除了上升下降之外，还能进行前进后退的运动，笔者在原有的正弦信号模型上做出修改，加入一个角速度偏移参数［3-5］，记为δ，将原驱动微型扑翼飞行器的正弦信号的一个周期内分裂为2 种频率的信号组合，而此种组合反应到翅膀的拍动行为上就形成了翅膀上拍和下拍的速度不一致，暂且把这种正弦信号的变形称为周期内分裂正弦驱动信号(split-cycle signal)。

1.3 动力学分析

公式(1)定义了周期内分裂正弦驱动信号模型，其中ω 代表翅膀拍动的角频率，单位为rad/s;δ 代表角速度偏移量，单位为rad/s;t 代表时间，单位为s;φU表示信号的前半周期，即翅膀的上拍过程;φD表示信号的后半周期，即翅膀的下拍过程。

微型扑翼飞行器在一个翅膀拍动周期内在x 和z方向上受到的力分别为［6］:

根据Sane 和Dickenson 的实验，升力系数CL和阻力系数CD分别为［7］:

所以，飞行器在x 轴和z 轴上的加速度就分别为:

2 整体控制方案设计

简洁有效的控制方案(如高度控制、姿态控制、偏航控制)能很大程度上提升飞行器的飞行效率和机动性［8］，但是控制模块以及反馈模块的加入势必大大增加飞行器机体结构的复杂性。由于飞行器体积、重量以及现阶段制造工艺的限制，翼展仅为30 mm 的超微尺寸的微型扑翼飞行器无法完全摆脱地面的束缚，必须与部署在地面的控制系统通过3 根导线相连接。又由于压电驱动器与一般飞行器电机驱动的差异，因此驱动电压就同时承担起为飞行器供能和控制飞行器飞行姿态的双重角色［4］。整个闭环控制系统结构如图3 所示。

图3 微型扑翼飞行器控制系统结构

综合考虑便携性、计算效率以及操作的便捷性，本文使用STME32 嵌入式系统微机共同实现控制器功能。飞行器起飞后，摄像头采集飞行器的图像信息，通过USB 传输到电脑;利用基于OpenCV 的视觉跟踪系统提取飞行器的位置坐标，根据飞行器的位置和速度计算出需要达到目标所需的信号参数，并将信号参数通过串口通信传递给STM32 嵌入式系统，由其产生相应的信号，并通过驱动电路放大信号，再通过导线输送给飞行器的驱动器，改变其飞行状态。

3 基于OpenCV 的视觉跟踪系统

OpenCV 称为开源计算机视觉库(Open Computer Vision Library)，是包含一系列C 函数和C++类的开源库，能够实现很多常见的计算机视觉中的算法［9-11］。本文基于OpenCV+Visual Studio 2008 平台，搭建视觉跟踪系统，用于获取微型扑翼飞行器在二维平面内的位置信息，为控制信号的参数计算提供依据。

3.1 检测算法

3.1.1 帧间差分法

帧间差分法是一种通过对视频图像序列中相邻2 帧作差分运算来获得运动目标轮廓的方法［12］，它比较适用于多个运动目标的场景。选取相邻的2 帧，通过2 帧相减就能得到2 帧图像灰度的差值，通过与阈值比较来判断运动的区域。

假设图像序列为F1，F2，…，Fk-1，Fk，其中Fk-1(x，y)和Fk(x，y)是相邻的2 帧，那么进行差分后的图像为:

帧间差分法的优点是:算法实现相对比较简单，对光线和环境的变化适应性强、稳定性较好。但其缺点是:对于慢速运动感的物体，如果时间差选择不恰当，物体在前后2 帧中几乎完全重叠，就可能检测不到运动区域。

3.1.2 背景差分法

背景差分法是目前常用的一种对视频图像中运动物体检测的方法［13-14］。它的基本原理是选取事先准备好的背景图像或者摄像头实时采集的背景图像(通常是在前几帧之中)作为算法中的背景图像B(x，y)，在对每一帧进行处理时，假设当前帧图像为Fk(x，y)，那么背景差分的图像Dk(x，y)为:

假设设定的阈值为T，那么二值化后的图像为:

这样，灰度值为1 的像素区域就为运动物体的区域。背景差分法的优点是能够完整快速地分割出运动区域，缺点是容易受到光线变化的影响，不适用于摄像头运动的情况。

3.1.3 本文提出的算法

考虑到飞行器的翼展为30 mm，身长20 mm，因此使用高精度的摄像头就可以在一个场景中捕捉微型扑翼飞行器的飞行轨迹，所以采用固定的单个摄像头采集其在二维平面中的位置坐标。综合考虑以上条件，本文将背景差分法与帧间差分法相结合，运用动态阈值的方法，设计一种高效的运动检测算法。在实际的实验过程中，背景是不可能一直保持固定不变的，如果不对背景模型进行更新，势必影响目标跟踪的精确性［15-17］，所以在检测跟踪的过程中要对背景进行更新，从而保证背景模型能够适应光照以及环境的变化。同时使用帧间差分法，生成二值化图像，与背景差分的二值化图像进行校正，而在阈值的选择上，利用前k-1 幅图像的前景目标区域的统计数据，设定合适的阈值，从而划分出精确的二值化图像，分割出前景运动目标。图4 展示了该算法的基本流程。分割出前景运动目标之后，使用Camshift 算法进行目标跟踪［15-17］。

图4 运动检测算法流程

具体算法实现步骤如下:

1)图像的预处理，包括灰度化和高斯滤波等;

2)背景模型的建立，只包括背景信息而没有运动目标;

3)选取连续2 帧图像Fk-1(x，y)和Fk(x，y);

4)对比存储的前景目标与之前k -1 帧的二值化图像，比较计算出最佳的阈值，第一次的阈值可根据经验选取确定;

5)分别将当前帧图像与背景帧和前一帧进行差分并二值化图像，取二者交集可得到最终的运动区域。

实验表明，新算法获取的运动目标区域要比单纯采用背景差分法所得到的目标区域与实际的微型扑翼飞行器对比在范围内要精确约21%。

3.2 实验

为了证明该系统对微型扑翼飞行器的跟踪效果，笔者进行了实验。

假设人工提取的运动目标前景区域的图像序列为F(x，y)，使用背景差分法提取的运动目标区域的图像序列为A1(x，y)，使用新算法提取的运动目标区域的图像序列为A2(x，y)，分别将A1(x，y)和A2(x，y)与F(x，y)比较，测得A1(x，y)对真实的目标区域的每帧平均覆盖率为81.67%，平均每帧中错误的检测区域占真实目标区域的20.15%;A2(x，y)对真实的目标区域的每帧平均覆盖率为91.24%，平均每帧中错误的检测区域占真实目标区域的3.15%。可以看出，新算法不仅对目标的检测更为精确，而且能在更大程度上避免错误图像区域的干扰。图5 展示了分别用新算法和背景差分法提取的前景图像的对比。图6 记录了在摄像头采集的图像平面内飞行器的运动轨迹。

图5 新算法与背景差分法得到的二值化运动区域的对比

图6 微型扑翼飞行器的运动轨迹

4 结束语

本文以微型扑翼飞行器为研究对象，在分析其运动规律的基础上，设计了一种高效的运动检测算法，并以此为基础搭建了基于计算机视觉的视觉伺服系统。实验表明，本文提出的新型运动检测算法比传统的方法具有更高的精确性。这对今后微型扑翼飞行器的控制系统设计和开发具有积极意义。

［1］陈文元，张卫平.微型扑翼式仿生飞行器［M］.上海:上海交通大学出版社，2010.

［2］左德参，陈文元，彭松林，等.基于MEMS 技术的扑翼式微飞行器的研究［J］.系统仿真学报，2005，17(6):1505-1508.

［3］Pérez-Arancibia N O，Ma K Y，Galloway K C，et al.First controlled vertical flight of a biologically inspired microrobot［J］.Bioinspiration ＆ Biomimetics，2011，6 (3):036009.

［4］Ma K Y，Chirarattananon P，Fuller S B，et al.Controlled flight of a biologically inspired，insect-scale robot［J］.Science，2013，340(6132):603-607.

［5］Gallagher J C，Doman D B，Oppenheimer M W.The technology of the gaps:An evolvable hardware synthesized oscillator for the control of a flapping-wing micro air vehicle［J］.IEEE Transactions on Evolutionary Computation，2012，16(6):753-768.

［6］Duhamel P E J，Pérez-Arancibia N O，Barrows G L，et al.Altitude feedback control of a flapping-wing microrobot using an on-board biologically inspired optical flow sensor［C］// 2012 IEEE International Conference on Robotics and Automation(ICRA).2012:4228-4235.

［7］Doman D B，Oppenheimer M W，Bolender M，et al.Altitude control of a single degree of freedom flapping wing micro air vehicle［C］// Proceedings of the AIAA Guidance，Navigation，and Control Conference.2009.

［8］Doman D，Oppenheimer M W，Sigthorsson D.Dynamics and control of a minimally actuated biomimetic vehicle:Part i-aerodynamic model［C］// Proceedings of the AIAA Guidance，Navigation，and Control Conference.2009:10-13.

［9］Li D，Liang B，Zhang W.Real-time moving vehicle detection，tracking，and counting system implemented with OpenCV［C］// 2014 the 4th IEEE International Conference on Information Science and Technology (ICIST).2014:631-634.

［10］何斌，马天予，王运坚，等.Visual C ++数字图像处理［M］.北京:人民邮电出版社，2001.

［11］Bradski G，Kaehler A.Learning OpenCV:Computer Vision with the OpenCV Library［M］.O’Reilly Media，Inc.，2008.

［12］Collins R T，Lipton A，Kanade T，et al.A System for Video Surveillance and Monitoring［R］.Pittsburg:Carnegie Mellon University，the Robotics Institute，2000.

［13］Haralick R M，Shapiro L G.Computer and Robot Vision［M］.Addison-Wesley Longman Publishing Co.，Inc.，1991.

［14］Wong E K.Model matching in robot vision by subgraph isomorphism［J］.Pattern Recognition，1992，25(3):287-303.

［15］杨延西，刘丁，闫振杰.图像反馈机器人视觉伺服系统仿真［J］.系统仿真学报，2003，15(12):1737-1740.

［16］Allen J G，Xu R Y D，Jin J S.Object tracking using camshift algorithm and multiple quantized feature spaces［C］//Proceedings of the Pan-Sydney Area Workshop on Visual Information Processing.Australian Computer Society，Inc.，2004:3-7.

［17］Nouar O D，Ali G，Raphael C.Improved object tracking with CamShift algorithm［C］// 2006 IEEE International Conference on Acoustics，Speech and Signal Processing-ICASSP.2006，2:II-II.