昆虫飞行信息自动化采集装置的设计

陆古月，邢 强，赵 蔚，马 磊，张小萍，王文波

（1.南通大学机械工程学院，江苏南通 226019；2.南通大学信息科学技术学院，江苏南通 226019；3.南京航空航天大学机电学院，江苏南京 210016）

昆虫在复杂环境中飞行时，采取了丰富的感知行为去识别障碍及寻找最优飞行路径。分析这些行为对飞行器障碍感知和避障控制等研究具有十分重要的意义[1-4]，因此昆虫的飞行受到了生物学家和工程师的密切关注[5-7]。用昆虫的飞行机制来启发仿生飞行器感知系统[8-9]的设计，关键在于精准地获取昆虫的飞行信息。现行昆虫飞行信息获取方法主要为拴系法和自由法[10-11]，但其存在昆虫运动受限、采集数据量大和效率低等问题。因此，研发昆虫飞行信息自动化采集装置十分必要。

拴系法是将实验生物拴系在飞行磨机上，利用力传感器和测速器等设备测量生物的运动参数。如：Lawson等[12-13]以昆士兰果蝇为研究对象，给予果蝇视觉和气流刺激，利用力反馈传感器测量果蝇飞行时产生的推力和俯仰力矩，以此研究昆虫应对风速和光流变化的飞行反应机制；Ribak等[14]将红棕象甲拴系在飞行磨机上，分析其飞行时的速度、曲率和向心加速度等参数，研究红棕象甲的飞行耐力和飞行生理学特征。拴系法的优点在于能够精准控制实验变量，直观获取实验对象的飞行参数，但要求实验对象降低飞行速度[15]，导致获取的飞行参数失真。自由法是通过设定“诱饵”和飞行通道引导生物飞行[16-17]，同时利用高速相机获取生物飞行轨迹参数。如：Ravi等[18]根据高速相机采集的大黄蜂飞行序列图像获取其穿越障碍墙间隙时的质心位置、体长和航向等参数，并综合其飞行过程中速度矢量的变化研究大黄蜂识别间隙、评估通过性的机制，然而，该实验通过人工手段把控大黄蜂进入通道，存在耗时长、效率低等问题；Bertrand等[19]采用通道内的异色障碍来研究大黄蜂的视觉记忆行为，由于在实验中高频地使用相机，造成了数据量大、数据处理复杂等问题，且由于实验场地选在室内，昆虫的行为易受人为影响，导致得出的行为机制存在偏差；Ravi等[20]通过分析不同障碍间距下大黄蜂的自定位感知行为，研究大黄蜂在复杂环境下的感知机制，但研究主要涉及昆虫在静态障碍下的感知机制，未涉及在动态障碍下的感知机制。

笔者设计了一种自动采集昆虫自由飞行信息的装置。通过视觉检测手段和机械操作的方式，实现昆虫飞行信息的自动化采集，以解决传统方法存在的昆虫运动受限、采集数据量大和效率低的问题，为研究动态障碍下昆虫的飞行感应机制提供支持；以中华蜜蜂为实验对象，通过其飞行信息自动化采集实验来验证该装置的适用性以及采集的效率和准确率，并通过分析蜜蜂自由穿越间隙的轨迹信息来推断其识别间隙的机制与横向运动的幅度和速度是否存在联系。

1 装置的结构与工作原理

昆虫飞行信息自动化采集装置的结构如图1所示。整个装置由障碍通道模块、运动触发采集模块、飞行轨迹获取模块和自动采集控制系统等组成。

图1 昆虫飞行信息自动化采集装置的结构Fig.1 Structure of automatic collection device for insect flight information

装置的工作原理为：首先利用障碍通道模块引导实验昆虫飞行，其次采用间隙控制器调整障碍物间距和开闭速度，然后借助运动触发采集模块检测昆虫的飞行方向，当飞行方向符合设定时发出采集指令而触发高速相机，实现飞行序列图像的采集，最后通过飞行轨迹获取模块获得昆虫飞行轨迹信息。

2 装置的功能模块设计

昆虫飞行信息自动化采集装置3个主要功能模块的设计包括功能设计和硬件选取。各模块之间协调工作，实现对昆虫飞行序列图像的采集和飞行轨迹信息的获取。

2.1 障碍通道模块

障碍通道模块的主要功能是实现昆虫的快速自定位、引导昆虫飞行并提供动态和静态的障碍场景。该模块主要由间隙控制器、飞行通道和红外LED（light emitting diode，发光二极管）补光灯等组成。其中间隙控制器是障碍通道模块的关键部件，其设计要求为：工作噪声低于I级噪音（30～59 dB）；机械结构可靠、灵敏，能准确控制障碍间距并保证2 mm以内的误差。

间隙控制器的结构如图2所示。由步进电机带动齿轮与齿条啮合实现门板的开闭，并采用激光测距传感器检测其实际间距，以准确控制门板的间距和运动速度。为了提高装置的灵敏性，在门板与滑动轨道连接处安装了滚珠轴承以减小门板运动时产生的摩擦力，并在间隙控制器的夹层中添加了隔音棉，用于降低电机工作和齿轮啮合时产生的噪声。

图2 间隙控制器结构Fig.2 Structure of gap controller

在图像采集过程中通过控制步进电机的转速和输出转角来调节门板的间距和运动速度。步进电机转速与门板运动速度的关系为：

式中：νc——门板运动速度，m/s；

n——步进电机转速，r/min；

rc——齿轮分度圆半径，m；

f——控制脉冲频率，Hz。

基于昆虫是采用光流平衡策略实现自定位的[21]，将飞行通道的侧面和底部设计为消色差棋盘图案，并在通道两侧安装LED红外补光灯，用于相机补光和弱化背景图案，便于后期序列图像的分割。红外光补光前后图像的对比如图3所示。相比正常光下的图像，红外光可有效弱化背景的棋盘图案。

图3 红外光补光前后图像的对比Fig.3 Comparison of images before and after infrared light compensation

2.2 运动触发采集模块

运动触发采集模块主要由嵌入式开发平台、STM32微控制器、OV3850运动检测相机、高速相机和相机角度调节器等组成，如图4所示。其中：嵌入式开发平台基于RK3399芯片开发，可通过开源的计算机视觉库OpenCV对OV3850相机检测区域的视频流进行处理；高速相机采用Blackfly S USB3相机，帧率最高可达163帧/s，镜头选用FA0801C工业面阵镜头，焦距为8 mm，光圈范围为F2.0～C，最大镜像面为1/1.8"，分辨率为（1 920×1 200）像素；相机角度调节器可以实现前后倾角-15°～15°和相机左右位置-10～10 cm的调节。

图4 运动触发采集模块的组成Fig.4 Composition of motion trigger acquisition module

该模块的主要功能是采集昆虫在规定飞行方向的序列图像。采集前将高速相机设定成脉冲触发模式，并调节镜头的调焦环、光圈、物距以及相机角度，使得相机平面与平台平面保持平行，保证昆虫飞行行为成像清晰。图像坐标与平台坐标的数学关系为：

式中：fc——相机的焦距，mm；

θ——相机角度调节器的前倾角，（°）；

W——镜头中心到主光轴与地面交点的距离（即物距），mm；

Ix，Iy——所采集图像的宽度和高度，mm；

x，y——图像坐标系下的横、纵坐标，像素；

xm，ym——平台坐标系下的横、纵坐标，mm。

为了检测昆虫的飞行方向，在飞行通道滤板上安装了OV3850相机。检测方法是：对OV3850相机视频流中相邻两帧图片作差分运算来获得运动目标，再通过OpenCV软件中的ContourArea函数计算出轮廓面积及通过GoodFeaturesToTrack函数获取具有最大特征值的角点P的像素坐标，并将角点P的x向像素坐标值放入长度为L的队列中；当队列满时通过式（3）计算队列元素的差值平均值PxS；最后根据PxS的增减情况判断昆虫的飞行方向。该检测算法可以通过改变队列L的长度和轮廓的限制条件，实现对检测灵敏度的调整和检测目标大小的限定。

式中：L——设定的存储队列长度；

Pxi——前帧最大特征角点的x向坐标，像素；

Pxi-1——现帧最大特征角点的x向坐标，像素。

当检测到昆虫飞行方向符合设定时，嵌入式开发平台向STM32微处理器发出采集指令，微处理器收到指令后调制出PWM（pulse width modulation，脉冲宽度调制）波触发高速相机，实现飞行序列图像的采集。

2.3 飞行轨迹获取模块

飞行轨迹获取模块主要由计算机和图像采集卡组成。计算机通过视觉库OpenCV对采集卡中的序列图像进行处理，从中提取出昆虫飞行轨迹信息。昆虫飞行轨迹信息获取流程如图5所示。

图5 昆虫飞行轨迹信息获取流程Fig.5 Process of obtaining insect flight path information

昆虫飞行轨迹信息获取流程为：首先对序列图像进行背景分割，由于昆虫属于运动前景而通道属于静态后景，选取KNN（K-nearest neighbor，K近邻）分割器分割出昆虫飞行的前景图像，结果如图5（b）所示；分割后的图像仍存在椒盐噪声，而中值滤波能有效去除椒盐噪声，因此选用中值滤波来消除噪声，结果如图5（c）所示；通过开运算保留较大的连通域，使得采集对象的表面边界平滑，结果如图5（d）所示；最后对处理后的图像进行目标跟踪，并提取目标的质点坐标并存放于向量组中，结果如图5（e）所示。

3 装置自动采集控制系统设计

自动采集控制系统主要用于控制采集装置各模块之间的通信和信号的传输，实现采集过程自动化。其结构框图如图6所示。该系统以嵌入式开发平台为主控单元控制步进电机的输出，并通过激光测距传感器检测间距，实现对间隙控制器门板间距和运动速度的控制；同时采用运动触发采集模块对昆虫的运动方向进行判别，当运动方向符合设定时，嵌入式平台向STM32微处理器发出采集指令而触发高速相机，从而实现对昆虫飞行序列图像的采集。

图6 自动采集控制系统结构框图Fig.6 Structure block diagram of automatic acquisition control system

3.1 控制系统硬件设计

控制系统的硬件主要由嵌入式开发平台、STM32微控制器、驱动器、图像采集卡和步进电机等组成，如图7所示。

图7 自动采集控制系统硬件组成Fig.7 Hardware composition of automatic acquisition control system

选用的步进电机为28BYJ4步进减速电机，扭矩为550 N·m，步进角为5.625°，噪声小于40 dB，满足对扭矩和噪声的要求；微控制器采用STM32微处理器，其工作频率可达72 MHz，具有稳定调制高频PWM的优点，满足对步进电机进行控制及触发高速相机的要求；测距传感器采用分辨率为1 mm、测量距离为20～500 mm的TOF050F激光测距传感器，在量程和精准度上满足要求。

3.2 控制系统软件设计

自动采集控制系统软件设计流程如图8所示。该流程为：控制系统通电并进行初始化，然后在嵌入式开发平台上设置采集视频的数量、时长及间隙等；系统开始工作，STM32微控制器中的PWM模块调制序列脉冲驱动电机旋转而带动门板运动，若门板间距未达到设定距离，嵌入式开发平台持续向微控制器发出电机控制指令直至门板间距达到指定距离，此时，系统进入等待采集指令阶段；当飞行昆虫经过检测区域时，运动触发采集模块对昆虫的飞行方向进行检测，当检测方向符合设定时，嵌入式开发平台向STM32微处理器发出采集指令，微处理器收到指令后调制PWM而触发高速相机，实现序列图像的采集；随后，系统再次进入等待采集指令阶段，直至采集数达到设定数量后停止采集，最终完成对昆虫自由飞行过程中序列图像的自动化采集。

图8 自动采集控制系统软件设计流程Fig.8 Software design process of automatic acquisition control system

4 昆虫飞行信息自动化采集实验

4.1 实验条件

为了验证昆虫飞行信息自动化采集装置在室外环境下的适用性和可靠性，选取体积较小、飞行较灵活、采集难度较大的蜜蜂为实验对象。中华蜜蜂在飞行速度、生存能力和繁殖能力上具有明显的优势[22]，因而蜜蜂品种选择中华蜜蜂。在2021年7月1日—9月25日，在观察站让蜜蜂自由穿越间隙，进行蜜蜂飞行信息自动化采集实验。在该观察站周围玉米和油菜等主要蜜源和棉花等辅助蜜源数量充足，有利于蜂群的生存与繁殖。为确保实验时蜜蜂的活跃性，实验时间选取为晴天的9：30—11：30、14：00—16：00，温度要求在26℃以上。

4.2 实验方法

中华蜜蜂中工蜂体长为10～13 mm，翼展为18～24 mm，飞行速度为10～11 m/s，基于此并参考文献[19]，将飞行通道的长、宽、高分别设置为1.56，0.28，0.28 m，并根据中华蜜蜂的飞行习惯将间隙控制器安装于通道总长2/5的近入口处。在实验准备阶段将蜂箱的侧面覆盖泡沫反光膜并放置在长、宽、高分别为2，1.5，0.45 m的平台上，在平台上方安装黑色遮阳网以避免阳光直晒导致蜂箱内温度过高而影响蜜蜂行为。蜜蜂飞行信息自动化采集实验场景如图9所示。

图9 蜜蜂飞行信息自动化采集实验场景Fig.9 Experiment scene of automatic collection of honeybee flight information

蜂箱与飞行通道之间的缝隙用棉条封闭以防止蜜蜂飞出；为了避免蜜蜂因趋光性撞击通道上方的透明板，在高速相机的采集区域内采用全遮光布搭建暗室，并打开通道内的红外灯带以确保相机补光充足。调节相机镜头上的调焦环、光圈、物距以及相机角度，使成像清晰。经多次测试后发现，当物距W=530 mm，焦距fc=8 mm时，采集的蜜蜂行为序列图像清晰。最后进行功能调试，根据测试中采集的序列图像的效果调节OV3850相机位置、检测区域范围和检测算法的灵敏度，实现采集系统最优化。在实验开始前，给予蜜蜂1周的时间适应环境，确认其在红外光光照下行为正常。根据中华蜜蜂的体长和翼展，进行障碍间距分别为20，30，35，40 mm条件下的间隙穿越实验，每种条件下记录蜜蜂飞行序列图像100次。图像采集开始前检查装置各个模块的工作情况，确保采集控制系统工作正常。

4.3 实验结果

为了确保采集装置符合设计要求，在4种间距条件下分别对该装置进行2次噪声和控制准确率测试。测试结果如表1所示，装置实际噪声强度为45～55 dB，误差最大值为1.54 mm，符合设计要求。

表1 蜜蜂飞行信息自动化采集装置噪声和控制准确性测试结果Table 1 Test results of noise and control accuracy of automatic collection device for honeybee flight information

蜜蜂间隙穿越实验结果如表2所示。其中：采集样品数包括准确采用样品数和无效采集数，准确采用样品数指实验结束后高速相机采集到的存在蜜蜂飞行行为的序列图像数量，包括单目标、多目标的有效序列图像数，无效采集数包括采集时间过短导致未完整记录飞行过程的序列图像和蜜蜂飞行杂乱未通过间隙的序列图像；单目标通过量为实验结束后单只蜜蜂穿越间隙且在采集区域内具有完整间隙判断行为的序列图像数；多目标通过量为实验结束后多只蜜蜂穿越间隙且在采集区域内具有完整间隙判断行为的序列图像数；采集准确率为实验结束后单目标、多目标通过量的总数与采集样品数之比。

表2 蜜蜂间隙穿越实验结果Table 2 Results of honeybee gap crossing experiment

由表2可知，实验中平均采集样品为88份，平均准确采用样品数为64.5份，平均采集准确率为73.24%，障碍间距对采集准确率有显著影响。在20～40 mm间距下，采集准确率随着间距增大而提高，在40 mm间距下准确率达到75.82%。产生此现象的原因可能是，随着间距的减小，蜜蜂在门板前滞留数量和时长增加，间隙穿越时间延长。实验结果表明：采集装置性能良好，可以有效采集昆虫飞行序列图像，获取昆虫飞行轨迹信息。

4.4 飞行轨迹数据分析

选取4种障碍间距条件下任意3只蜜蜂的质点坐标，利用MATLAB软件绘制出蜜蜂的飞行轨迹，如图10所示。其中，X向代表蜜蜂纵向飞行方向，Y向代表蜜蜂横向飞行方向，用来分析蜜蜂纵横向飞行速度的变化。

图10 蜜蜂飞行轨迹Fig.10 Honeybee flight path

为了研究蜜蜂在飞行过程中识别障碍间隙的机制，根据蜜蜂5°左右的视线索视角[23]，通过式（4）计算得出距障碍物23～46 cm处为蜜蜂理论识别距离，因此选取范围中值35 cm作为分界线，将蜜蜂飞行轨迹划分为前后两阶段，并通过多组瞬时速度与平均速度的比值（以下简称速比）来比较不同障碍间距下蜜蜂纵横向速度的变化，以此来推断与蜜蜂识别间隙机制相关的运动参数，分析蜜蜂在飞行过程中识别间隙大小和判断通过性的机制。

式中：D——蜜蜂与障碍物的距离，cm；

d——障碍间距，mm；

γ——蜜蜂视线索视角，（°）。

在不同障碍间距下蜜蜂纵横向速比如图11所示，平均速比如表3所示。

图11 在不同障碍间距下蜜蜂纵横向速比Fig.11 Longitudinal and transverse velocity ratio of honeybee under different obstacle distances

表3 在不同障碍间距下蜜蜂纵横向平均速比Table 3 Longitudinal and transverse average velocity ratio of honeybee under different obstacle distances

当障碍间距为35 mm和40 mm时，蜜蜂前后阶段纵向平均速比变化率小于12%；当障碍间距为20 mm和30 mm时，蜜蜂后阶段的纵向平均速比较前阶段降低25%以上，且随着障碍间距的减小，速比的变化幅度增大，如图11（a）所示。产生此现象的原因可能是，当间距在30 mm以上时，对蜜蜂评估间隙通过性能力的要求低，因此蜜蜂判断时间较短；当间距在30 mm以下时，随着间距的减小，对蜜蜂评估间隙通过性能力的要求提高，因此蜜蜂通过降低纵向飞行速度、延长飞行时间来判断间隙通过性。

当障碍间距为30，35，40 mm时，蜜蜂后阶段的横向平均速比较前阶段低，且随着障碍间距的增大，横向平均速比变化率增大。产生此现象的原因是，蜜蜂靠近间隙观察区域时，为保证穿越间隙的成功率，主动降低自身的横向飞行速度，导致后阶段的横向平均速比降低。当障碍间距为20 mm和30 mm时，相较于蜜蜂后阶段的横向速度，其前阶段速度变化范围明显增大，如图11（b）所示。产生此现象的原因是，随着障碍间距的减小，对蜜蜂评估间隙通过性能力的要求提高，蜜蜂通过增大横向飞行的幅度来加强对间隙障碍的识别和判断间隙通过性，以保证成功穿越间隙。

在研究蜜蜂飞行机制的过程中发现蜜蜂存在学习行为，其通过积累前期的飞行经验不断优化飞行轨迹，使得飞行轨迹趋于平缓，如图12所示。

图12 蜜蜂在不同实验阶段的飞行轨迹Fig.12 Honeybee flight path in different stages of the experiment

在实验前期，蜜蜂在初始飞行阶段的轨迹相对杂乱，在飞行过程中持续左右探索通道的间隙，最终从门板出口处的左边缘飞出，且此阶段蜜蜂的飞行时间比后续观测时间长。

在实验中期，蜜蜂沿着左侧方向持续飞行，直到位于门板出口方框的左边缘处（y=85像素），由前期积累的飞行经验得出出口的中间位置大致在y=0像素处，蜜蜂向右侧飞行探索一段时间之后成功从门板中间飞出。

在实验后期，除了个别蜜蜂由于个体发育、外部刺激、实验环境以及光亮等原因而引起行为变化之外，多数蜜蜂在连续多次重复实验中通过排错与尝试积累了飞行经验，适应了在通道内直线飞行直至飞出门板。

5 结 论

本文将视觉检测与自动化技术相结合，设计了一种昆虫飞行信息自动化采集装置。采用该装置可以提高采集效率，解决人工采集过程中人为因素造成的采集准确性较差的问题。经过实验验证，该装置的采集准确率为73.24%，采集性能稳定。

通过分析蜜蜂的飞行轨迹和速度变化发现，蜜蜂存在通过横向运动识别并穿越间隙的行为，并且随着间隙减小，蜜蜂横向运动的幅度和速度变化增大，这表明横向运动的幅度和速度与蜜蜂识别间隙的飞行机制有重要联系，可以将其作为研究蜜蜂识别间隙机制的重要参数。

通过分析不同实验阶段蜜蜂的飞行轨迹发现，蜜蜂通过积累前期的飞行经验不断优化飞行行为，使得飞行轨迹趋于平缓。这种后天的记忆性和学习性的优化飞行机制，对飞行器自主优化路径的研究具有极高的参考价值。