刘升平 吕纯阳 郭秀明 刘大众 肖顺夫 杨菲菲 刘 航
(中国农业科学院 农业信息研究所,北京 100081)
蜜蜂是一种重要的经济昆虫,不仅为人类提供蜂蜜、蜂蜡、蜂胶、蜂王浆和花粉等富有营养价值的蜂产品,而且全球有三分之一以上的作物生产依赖蜜蜂传粉,蜜蜂在采集花粉花蜜的过程中对维持地球的生态平衡有至关重要的作用[1]。由于蜜蜂在长期进化过程中,形成了一系列精细的社会性劳动分工,涉及广泛而复杂的行为表现和调控机制[1],以应对复杂多变的生活环境,因此研究蜂群行为对于开展养蜂管理具有重要意义。同时,蜜蜂行为学与饲养管理技术研究也是发展现代养蜂业的重要内容和养蜂学发展的理论基础。
蜜蜂养殖环节是整个养蜂业的关键环节,为了保障蜂群长期处于健康、稳定的状态,在传统养殖方式中需要通过人工观测的手段去了解蜂群当前活动状态,对于维护蜂群的整体健康稳定性具有重要作用。传统蜂群检测方法中,通过手动打开蜂箱、检查巢脾等方式,蜂农对工蜂及雄峰数量、蜂群繁殖状况、蜂王生存状态、蜂群健康情况等进行了解,并同时对蜂箱周边环境进行观测[2,17]。随着人工智能、物联网等现代信息技术的发展,研究人员逐渐采用智能设备开展蜂群行为信息获取和蜂群状态分析。通过蜂群行为自动化监测,一方面降低了传统养蜂方法的工作强度,提高了蜂农工作效率;另一方面通过降低开箱观测的频率,降低对蜂群的人工干扰,提升蜂群作业效率。
蜜蜂活动分布可分为蜂箱内部和蜂箱外部2种情况,在蜂箱内部的蜂群行为监测为巢内监测,在蜂箱外部的蜂群行为监测为巢外监测。蜂群行为监测信息主要包括环境、生理和生态三大类特征指标,其中巢内监测的主要特征指标蜂群声音、图像、温湿度、重量等信息,巢外监测的主要特征指标为蜂群在蜂箱巢门口的数量监测、进出监测等信息。通过对蜂群的声音、图像、温湿度、重量、进出等指标进行监测,能够获取到蜂群的分蜂行为、蜂群规模状态变化、蜂王活动情况等信息,找到蜂群活动规律,从而实现对蜂群状态及时、准确的掌控,辅助蜂农高效管理蜂群。
为了解蜂群行为监测方法及应用国内外研究现状,本文以“蜜蜂监测”、“自动化”、“行为”作为关键词开展2005—2019年文献检索,从蜂巢图像、温湿度、声音和蜂巢重量等巢内监测信息和蜂巢口蜜蜂数量、蜂群的进出量情况及外部环境要素等巢外监测信息为研究点,总结蜂群行为监测方法的研究现状和发展趋势,旨在为蜂业信息技术应用提供指导。
蜂群巢内的监测研究最早可以追溯至1994年,比利时Struye通过在蜂箱内部安装传感设备采集多种信息,采用信息处理技术对数据分析和智能决策后反馈到控制端进行调整或提示蜂农人工处理,实现巢内蜂群稳定性、健康性的有效控制[3]。如:根据箱内蜂群声音信息变化判定蜂群状态和行为、通过巢内温湿度指标变化反应蜂群及其生活环境的稳定情况、巢内图像帮助蜂农非开箱下观察蜂群繁育与患病状况等,也有研究在此基础上对蜜蜂贴加标签分析巢内蜜蜂的群体行为、通过蜂群重量变化情况,预测越冬期和春繁期蜂群的强势性和流蜜期的蜂蜜含量。
巢内监测的信息类型、信息处理方法和信息应用总结如表1所示。
表1 巢内监测信息处理及应用Table 1 Processing and application of monitoring information in hive
蜜蜂发出的声音是蜂群交流机制重要组成部分,蜂群的多种疾病、觅食活动以及群体事件都能在声音上有所体现。通过巢内声音监测分析蜂群行为的研究起始于20世纪90年代,巢内蜂群声音监测能够有效帮助蜂农识别蜂群健康性、群体强势性,还可以预测分蜂、盗蜂、蜂王死亡等蜂群异常行为,是实现精准管理蜂群的重要手段之一[3]。
通过对蜂群声音信息开展研究可以了解巢内蜂群活动是否处于稳定状态。Kulyukin等[4-5]采用傅里叶变换处理连续采集的蜂群声音数据,并将其转化成A440的钢琴音符序列信号,通过该信号基于群体活动量变化规律性判断蜂群稳定状况;Amlathe[6]采用逻辑回归、支持向量机(Support vector machine)等机器学习方法处理蜂群声音并构建模型来评价巢内蜂群健康状况;Mezquida等[7]将蜂群声音强度与群体活动建立了联系,实现对蜂群规模化测定,并针对蜂群的强势性和蜂群产量开展相关性研究。
同时分蜂、失王等蜂群异常行为也可以通过对蜂群声音信息开展分析,并为养殖过程中提供问题早期预警服务。Murphy等[8-9]对蜂群声音滤波后开展噪声分析,发现如果噪声长时间增加,属于异常行为并发送告警信息;不同声音信息变化可以反应蜂群躁动程度,Vancata[10]和Ferrari等[11]通过对蜂群声音的音调(声音强度)分析,发现音调的提升规律变化可以有效防范分蜂行为;Bencsik等[12]利用主成分分析方法提取8个月巢内声音特征,可以实现分蜂的预测;刘一博等[13]利用提取的声音特征对蜂群是否失王进行判断,同时对巢内蜂王的老、新情况进行了区分。
疾病感染会导致整个蜂群衰败,因此通过对蜂群声音信息来分析蜂群疾病情况也是一个重要研究方向。Qandou等[14]利用线性判别分析、主成分分析对蜂群声音进行降维,结合SVM构建模型实现蜂群感染疾病与否的检测。Kulyukin等[15]用CNN(卷积神经网络)、逻辑回归、K近邻等机器学习的方法同时对蜂群常见几种异常行为构建模型和判别,为声音信息的应用打开了新的途径。
传统蜜蜂养殖中,蜂农进行巢内蜂群行为监测主要通过逐个开箱进行蜂箱内巢脾检查来掌握内部情况,如蜂群数量、蜂群繁育情况和疾病感染等。采用传统方法进行巢内蜂群检查不但耗时耗力而且容易对蜂群正常生产造成干扰。采用图像监测技术对巢内蜂群进行监测,可以通过非接触式、不开箱的手段获取巢内蜂群图像,实现蜜蜂健康状况的检查和判断。
巢内图像监测手段包括人眼直接观察、红外相机拍摄等方法来获取巢内蜂群的活动信息。Murphy等[8]设计了一种自动监测系统并使用红外相机拍摄巢内图像;谭庆忠等[16]利用红外光线拍摄巢内图像,便于蜂农封箱检查;Knauer等[17]对获取的巢内图像采用背景模型法,检测图像上巢脾未加盖的幼虫,帮助培育人员进行抗性蜜蜂的筛选;Larissa等[18]使用CNN对巢内蜜蜂感染的螨虫进行识别并对感染程度进行判断。
同时部分研究利用标签识别、图像识别技术等技术对蜂群的个体、群体之间的行为与关系进行探索研究。Hendriks等[21]在蜜蜂身上粘贴标签,研究蜜蜂的位置、速度和互相作用探究群体间关系;Tsai等[22]描绘蜜蜂运动轨迹后,总结不同的运动方式,探究不同年龄不同角色的蜜蜂行为;Benjamin等[23]采用深度卷积神经网络对贴有标签的巢内蜜蜂图像实现了行为分析的前期识别工作,此方法提高了对标签的识别精度;Maitra等[19]在改进粒子滤波跟踪基础上分析蜜蜂个体与群体的关系;Kimura等[20]采用矢量量化方法识别和跟踪蜜蜂,研究其社会行为如分工、摇摆舞等。使用标签与否的示意图及优缺点见表2。
巢内温湿度与蜜蜂生长发育、行为活动、生理代谢、群势增长等密切相关,是影响蜜蜂生产生活的重要指标。蜂农能根据巢内温度信息对食物消耗量、育雏状态、蜂群稳定状况和蜂群死亡情况等进行判断和预测[24]。巢内湿度则对蜜蜂胚胎期、胚后期发育以及对蜂巢内的温度皆有影响,如湿度过大会导致蜜蜂幼虫生病、巢中储存的花粉霉变。因此掌握蜂群巢内温湿度变化规律对研究蜜蜂种群动态、蜂群多样性、蜜蜂发育与生殖行为、丰富昆虫发育生物学和蜜蜂生态学具有重要意义,也对科学养蜂具有指导作用。
对巢内温度监测应用主要包括蜂群稳定性和异常性监测、蜂场内部控温机理监测2个方面。一方面,一个健康的、稳定的蜂群其温度具有稳定性、规律性,部分学者基于上述关系对蜂群稳定性开展监控和异常警示研究。冯宾[25]和谭庆忠等[16]用单片机结合温度传感器测定巢内温度值,当超过阈值时进行报警,结合连续温度数据在时间轴上的变化性考虑,当出现急剧变化时,监测系统会自动缩短时间间隔对温度值进行监控并进行提醒;Kridi等[26]使用聚类方法结合巢内与巢外的温度,对蜂群的出逃行为与温度的关系进行研究,并认为温度因素是蜜蜂出逃的主要因素;Evans[27]和Meikle 等[28]根据温度变化趋势与繁殖的稳定性、幼虫的规模建立联系。另一方面,对蜂巢内部控温机理进行研究是对于巢内温度监测数据的进阶分析工作。吕俊峰[29]设计开发了蜂箱内部多点温度测量,完成蜂箱内温度分布规律探究;Sanchez等[30]设置传统蜂箱底板和底板开口2 种情况,根据监测的温度变化研究蜂群热调节能力;李想等[31]采集巢内三维空间多点温度,闫宇等[32]同时对巢内多点及巢外温度采集,根据不同区域温度分布和变化规律,探究巢内恒温机制。
表2 获取的巢内图像类别和特点Table 2 Category and characteristic of nest picture
巢内湿度监测在早期依赖于巢顶端设置隔离空间安装湿度计模拟器,随着近年来传感器硬件技术的发展,巢内湿度监测设备变得更加小型化和具有应用价值。目前,巢内湿度监测应用主要有两个方面:1)通过巢内湿度监测反演巢内蜂群的分布状况。巢内的湿度分布和蜂群分布紧密联系,付月生[33]对巢内多点湿度信息与巢外温度进行相关性分析,结果表明外界温度较高时,巢内各点的湿度几乎相等,说明内部蜜蜂均匀分布;温度较低时,湿度从巢脾中间区域向外层递减,说明蜜蜂聚集在蜂巢中间,这给蜂农通过湿度信息掌握巢内蜂群分布情况提供新的策略;2)通过巢内湿度观测开展蜂群内部的控湿机理研究。Human等[34]在自然环境状态下获取巢内多个点湿度,分析结果揭示了工蜂对内部湿度控制的重要性;Evans[27]通过将湿度变化曲线和蜂群扇风活动联系,当内部温度过高或者其他干扰因素出现时,工蜂进行扇风降低湿度,可帮助在春繁时期调控育雏时间;此外,马德贵等[35]其设计的一套声音信息的远程采集、无线传输、储存维护系统,为开展湿度应用研究奠定较好数据基础。
蜂群重量是巢内蜂群监测的重要特征指标,蜂群重量包括成年蜜蜂群体、幼虫、蜂蜜以及花粉等主要蜂群元素,是衡量蜂群强度的关键指标之一。蜂群重量变化可以准确反应巢内蜂群的生产力、健康性、强势性等状况,通过对蜂群重量变化监测可实现蜂群的数字化管理,例如在越冬期可通过对蜂群重量监测来给出蜂群是否需要补充喂养、蜂群规模发展大小等管理方案。
蜂群重量信息获取常采用专业电子天平或电子称对蜂箱、巢脾、成年蜜蜂等进行整体称重。重量信息应用多以对蜂群的稳健性、强势性进行监控,Fitzgerald等[36]和Evans[27]对重量日变化情况与外出活动进行相关性分析,当蜂群外出活动增加时,重量数据会随之增加,基于这种关系对蜂群的外出状况、采集效率评估;Meikle[38]等利用重量数据构建蜂群的食物储存变化曲线,通过振幅估算蜂群消耗,在食耗角度上监测蜂群整体稳定状况,根据重量的变化趋势和成年蜜蜂数量的正相关关系对群体增长稳定性评估,在多个月份获得连续重量数据基础上,采用分段回归法构建多时期蜂群日活动重量模型,得出蜂群日活动周期开始和结束时间、夜间蜂箱变化特点、外出和采集归巢对重量增幅等结论[28,37]。
巢内监测研究发展时间长、实际应用广泛,但也存在着一些问题与不足,如较多传感器以及相关设备使成本居高不下,设备安装、维修更换等不便捷。因此,蜂群监测由巢内转到巢外成为蜂群监控新的需求。随着人工智能和机器视觉等相关技术发展,直接获取蜂箱外部的蜂群活动信息成为可能,基于计算机视觉的巢外监控方法,大大缩减了对于传感器的依赖、降低了监测系统的安装需求、避免了对原始蜂箱的改造,降低了应用中的难度与成本。
蜂群在巢门附近的活动取决于天气、温度、群体健康以及食物供应状况等多种因素,通过巢外信息监测分析可以为蜂群行为判断提供理论依据。基于图像的蜂群巢外监测技术是近期开展的一个研究热点,相关研究工作主要包含对蜂箱巢门区域蜂群数量检测和巢门口蜜蜂进出数量统计2 个方面:1)巢门区域蜜蜂数量反应蜂群出勤是否正常、巢内环境状况是否正常,一个正常健康、稳定健壮的蜂群在巢门附近数量有时间规律特性;2)巢门口蜜蜂进出数量统计则重点体现蜂群规模、出勤采集积极性和群体稳定状况。
巢门区域蜜蜂数量是蜂群活动情况重要特征指标,蜜蜂在蜂箱周围正常活动是蜂群状态良好的一个健康标志,因此对蜜蜂活动进行定量测量非常重要。近年来巢门区域蜜蜂数量统计主要通过图像处理技术对巢门区域连续图像或视频进行处理识别,具体流程包括蜜蜂检测和蜜蜂数量统计2个阶段:蜜蜂检测方法主要有轮廓检测法[12]、背景减除法[41-43]、像素分离法[12,39-40];数量统计方法主要有平均像素法[12,39-40]、HARR波峰法[44]、信噪比估计法[41-42]、模板匹配法[43]。
在平均像素法研究方面,Kulyukin等[12]采用轮廓检测法和像素分离法分别对图像中蜜蜂进行检测,用平均像素法对蜜蜂检测结果统计,其中像素分离法效果较好达到平均准确率73%;Kulyukin等[39]和Reka[40]在另一个试验中将图像处理空间从RGB转换到HSV,增加蜂箱白色起降台环境对比,在H通道中对目标进行背景分离,平均像素法统计结果显示,以绿色起降台环境80.5%、白色起降台环境85.5%的准确率优于第一次试验。在信噪比估计法研究方面,Ghadiri等[41,42]在背景减除法检测蜜蜂后,采用平均像素值法对蜜蜂进行数量预测,同时将背景图像建模为实际信号,将图像中的蜜蜂建模为噪声,通过信噪比的值分别与蜜蜂实际数量值和平均像素法预测的数量值观察曲线关系,结果表明在数量不多的时候信噪比估计法数量能对巢门蜜蜂数量进行很好的预测,但是当数量较大时,信噪会发生逆转关系,预测的数量与实际数量出入变大。在模板匹配法研究方面,Campbell等[43]采用背景减除法获取目标区域,构建椭圆形蜜蜂模板对前景目标匹配并计数。在HARR波峰法研究方面, Kulyukin[44]在检测中引入一维Harr小波波峰,用上下和下上峰值覆盖的所有像素计数,结果显示在计数误差5以内的准确率为63%、误差10以内准确率为94%。
蜂群进出量统计是蜂群一定时间段中进巢数量和出巢数量的计数,阶段进出数量是蜂巢健康状况的重要指标,可以分析蜂群的工作积极性、预测判定分蜂行为等。人工观测准确可靠,但耗时耗力、实际可操作性差,所以近年来蜂群进出量统计研究的热点主要在自动化监测获取方面。
当前使用自动化监测手段开展蜂群进出量统计研究,采用的辅助设备主要包括射频识别标签(RFID)、电容传感器、光电传感器以及摄像头,表4针对每一种辅助采集设备,展示了不同设备获取的图像和主要优缺点。
射频标签识别(RFID):RFID蜜蜂识别技术是将标签贴于成年蜜蜂上,利用巢门安装的探测器识别标签并对蜜蜂的进出进行判断,同时射频识别系统可以提供蜜蜂预期寿命、觅食时间等信息。Streit等[45]采用RFID技术进行蜜蜂进出统计,不过RFID检测器和标签昂贵,标签粘贴不便,蜜蜂生存周期较短且蜂群数量庞大,在实际中应用存在局限性。
电容传感器:电容传感器是利用电容桥感应原理对通过的目标检测,同时获取目标大小和速度信息。Campbell等[46]用电容传感器对蜜蜂进出实现统计,但该技术在安装、适用范围、价格上存在不足,实际生产中应用困难。
表4 蜂箱蜜蜂进出统计方法和特点Table 4 Statistical methods and characteristics of honeybee in and out of beehive
光电传感器:光电传感器利用光学原理根据遮挡前后信号变化实现计数。Struye等[47]构建了蜜蜂进出计数平台,平台的蜜蜂入口由允许单只蜜蜂通过的32个管道组成,通道前后各自安装一个光电传感器,蜜蜂运动方向由前后传感器光束中断顺序决定,从而完成蜜蜂进出统计;类似的工作还有王德朝[48]、Chen等[49]分别在传感器和入口巢门对蜜蜂进出进行了研究改进;柴秋子等[50]结合单片机和光电传感器,应用到草莓园授粉蜜蜂计数中,统计和检测授粉蜜蜂的活动规律并判断其活力。随着传感器的不断升级以及对影响条件限定,Jiang等[51]的研究中计数准确率有所提高,进巢与出巢计数准确率分别达到84.92%和85.95%。但基于光电传感器存在2 个无法克服的不足:第一个是计数装置对蜂箱改造大,改变了传统的蜜蜂进出方式;第二个是传感器受蜂群影响严重,如分泌物的覆盖、以及生产垃圾及死蜂对通道的堵塞,需要对计数装置进行高频的清理工作。
摄像头:摄像头的使用是获取巢门区域连续照片或视频,利用计算机视觉技术进行处理,实现蜜蜂进出巢统计,这种方法较于利用传感器可获得更多数据,如计算蜂巢入口处静态蜜蜂数量,这也是蜂群稳定性监测的指标之一;对入侵者进行检验,如甲虫、胡蜂等。使用摄像头设备数据获取简单、数据可分析空间充足,在计算机视觉快速发展下,近几年利用此技术统计蜜蜂进出巢数量研究兴起。已有研究中,区别主要是蜜蜂跟踪策略不同,其中,Campbell等[43]使用背景减除法对蜜蜂进行检测,为检测到的蜜蜂设定椭圆匹配模板,采用最大化二部图加权跟踪策略,用常见的运动模型(游荡、爬行、飞入、飞出)对蜜蜂活动进行描述和进出统计。Salas等[52]将SVM作为分类器检测巢门蜜蜂,使用贝叶斯跟踪器对检测的蜜蜂进行跟踪,完成进出计数。David等[53]结合背景减除法和blob分析法提取蜜蜂区域后,采用光流法和卡尔曼滤波法跟踪蜜蜂,结果中卡尔曼跟踪效果更好,在进出估计中误差最小时为4%,误差最大时为20%。Tu等[54]设计一种恒定光照条件的蜜蜂进出蜂箱,限定单层蜜蜂通行,对获取图像分割提取蜜蜂区域,采用上下帧间圆形搜索法描绘蜜蜂行为轨迹,进而判断和统计蜜蜂进出。Chen等[55]设计了蜜蜂单只通行通道并使用蜜蜂标签,霍夫变换法检测标签后采用SVM对标签分类识别,基于标签的唯一性实现计数,类比巢内图像蜜蜂标签识别具有的缺点,不能在实际生产中推广。
随着机器视觉、深度学习等人工智能技术的发展,蜂群的巢外监测将逐渐减少对传感器的依赖程度,推进低成本、易应用的设备研制,使得蜂群巢外观测技术可以更好服务于现代化蜂业发展。
自动化蜂群行为监测方式和传统监测方式相比具有稳定性、不惊扰蜂群、高效率、可靠性等优势,可以有效提升蜂业现代化和智能化、提高蜂农工作效率,从长远来看是蜂业发展大的趋势,但是在应用推广方面仍然存在一些问题和不足。
当前蜂群行为监测主要在信息分析、环境数据利用、养殖辅助决策等方面还存在一些不足之处:
1)信息分析关联性较弱:目前蜂群监测研究多偏向于以单一信息为监测指标来开展蜂群活动、蜂群行为、蜂群状态判断。多数研究针对声音、温湿度等单类信息进行蜂群行为处理,并利用相关性分析与蜜蜂正常、异常行为等建立联系,在结论方面可能会存在群体普适性、时间延展性上、判断准确性和分析有效性等方面的问题。
2)环境数据利用不足:对蜂群行为相关特征指标信息采集充足,覆盖巢内监测、巢外监测等数据信息,但是缺少对蜜蜂生活环境信息的采集和利用,而温度、湿度、风况、天气状况等蜜蜂的生活环境也是蜂群研究的关键信息,会对其行为特性、群体稳定性研究产生一定影响。
3)养殖辅助决策功能欠缺:对采集的蜂群信息分析得出结论后,需为蜂农提出可行的养殖辅助决策建议,例如在蜂行为使巢内蜂群躁动、活动量增加温度上升等情况下,应提醒蜂农开展及时人工干预;在判定螨虫疾病时可提醒蜂农给予喷洒药物和物理除螨设备安装建议等。
整体来看蜂群的蜂群行为监测将向多信息协同分析、蜂群与环境数据结合研究和养殖智能辅助决策等方面开展下一步的研究工作:
1)多信息协同分析:巢内图像、温湿度、声音,巢外采集的入口处蜜蜂数量、蜂群进出统计量,它们之间互相联系,是蜂群本身行为在不同方式上的体现。单一信息分析容易陷入结论过拟合,随着监测研究发展和实际应用需求增加,监测信息应用会朝多种信息协同分析发展,对行为判断、异常状况预警得出具有更强普适性的结论。
2)蜂群数据、环境数据结合研究:环境与蜂群数据是影响和被影响的关系,两类数据的结合分析能够找到蜂群行为产生更合理原因,提出更全面、更准确的解决措施。此外,蜂群对环境具有较强敏感性,外部环境数据的采集与应用结合蜂群行为,能对环境进行监测,也给予蜂农良好养蜂环境的选择和建议。
3)养殖辅助智能管理:养蜂业对自动化控制、自动化管理需求不断增加,随着人工智能的快速发展并在多领域的成功应用,信息分析方法不断创新和发展,问题处理策略趋于智能化和多样化结合,养殖智能辅助决策将向养殖过程智能获取、智能分析、智能处理解决方向迈进。
随着监测设备的小型化、智能化发展,蜂群连续自动监测将很成为养蜂作业和研究中的核心技术,在计算机视觉和人工智能等技术发展下,蜂群行为识别和信息分析方法在识别速度、识别准确率等方面都会有所提高。结合蜂群行为的自动监测、准确识别、生产智能决策为一体的终端设备和养殖技术会逐步替代传统养殖方式,技术应用将有效提高蜂群管理效率、蜂农经济效益和蜂场管理水平,有效促进我国蜂业现代化发展水平。