张晓伟 王建凯 郦希墨
(湖北远安沮河国家湿地公园管理处,湖北 宜昌 444200)
鸟类是对环境质量最敏感的指示物种,在维护生态平衡、丰富全球及地区生物多样性方面具有重要作用。我国虽发布了相关野生动物管理的法律、法规,但对于野生动物特别是鸟类保护管理等方面投入少,基础设备设施缺乏,保护技术和措施仍不健全。在野生鸟类的迁徙和栖息地的研究方面,传统的人工观测和生物脚环传感器的方法(刘坚,2019),主要依靠人工和经验积累开展鸟类的识别和管理,深受野外环境恶劣、人工工作任务繁重等因素的影响,不利于鸟类的保护和监管。随着人工智能的进步,以及在现在大数据的背景下,深度学习技术迅速发展,计算机视觉领域取得了显著的成果,有研究者将计算机视觉应用在了鸟类识别中,通过训练可以准确识别鸟类。采取人工智能实时进行鸟类监控识别,减少人工工作量,提高鸟类保护效率。为加快湿地公园信息化建设,湖北远安沮河国家湿地公园与成都胜维四通电子科技有限公司合作,开发野生动物保护监测智能识别系统。本研究将阐述野生动物保护监测智能识别系统中的主要人工智能技术以及该系统的应用,为人工智能技术在鸟类保护方面提供了新尝试和新方向。
人工智能领域的应用和相关理论研究迅速发展,促进了计算机视觉中图像识别这一领域的发展。目前,研究人员已经使用深度学习实现了高精度的人脸面部识别,并广泛应用到日常生活中,因此有研究人员将这些技术应用到鸟类识别中。
深度学习是一种机器学习技术,为了模拟数据之间的复杂关系。基于表征学习,利用机器学习技术自动获取每个实体或者关系的向量化表达,即模仿人类大脑,建立和模拟神经网络进行分析学习,然后用某种机制解释数据。它是通过模仿大脑神经元之间传递和处理信息的方式实现的,每个神经元在收到信息后进行处理,然后传递给相邻的数据,如图1所示。通过模仿人类大脑的神经元结构,构建网络,并结合海量的数据,解释数据的内在联系最后实现分类或回归等(智绪晔, 2019)。
图1 神经网络结构Fig.1 Neural network structure
卷积神经网络(Convolutional Neural Networks, CNN)是目前图像特征提取的主流方式,目前主流的卷积神经网络,比如VGG、ResNet都是由简单的CNN调整而来。卷积神经网络由卷积层、池化层和全连接层(可选)等构成,网络的卷积层每个节点同上一层的某个区域通过卷积核连接,CNN输出的结果是每幅图像的特定特征空间。处理图像分类任务时,可以将CNN输出的特征空间作为全连接层的输入,用全连接层完成从输入图像到标签集的映射(杨春兰, 2020),即分类。整个过程中最重要的工作就是如何通过训练数据迭代调整网络权重,即后向传播算法。
智能监测识别技术开发的目标是在基本的鸟类数据基础上,针对在国家湿地公园、国家自然保护区、国家森林公园等野生动物经常出没或偷猎、盗猎发生的重点区域,开展实施野生动物保护与检测工作,保障数据测量的有效性、准确性、可追溯,区域入侵、重点监测动物即时上报,人员入侵轨迹跟踪。
鸟类检测和鸟类识别部分是本技术的重要部分,首先通过摄像机对图像进行采集,精准定位鸟类头部、身体部位(翅膀、羽毛、颜色等特征),将检测到的鸟类图像传到前端IP Camera(IPC),图像信息存到云端。对于鸟类识别分类部分,对拍摄采集到的鸟类图片进行预处理后,对目标物体进行边缘的提取、图片降噪和归一化等处理,然后通过训练好的模型进行特征提取,完成识别。最后将结果实时返回到客户端,整体流程图如图2所示。
图像的预处理包含灰度化、图像对齐、几何变换、图像增强等操作。在RGB模型中,R=G=B时彩色表示灰度颜色,彩色处理时通常需要对这3个通道依次处理,灰度化可以达到提高应用系统处理速度的目的。几何变换通过平移、旋转、缩放等对图像进行处理,用来修正图像采集系统的误差和仪器位置的误差,通常采用最近邻插值、双线性插值的方法。图像增强可以有针对性地突出感兴趣区域,辅助目标任务。
系统如果检测到鸟类的局部特征更有助于鸟类识别,因此有些研究除了上述的基本预处理之外,还进行了局部特征的标记。公开的鸟类数据集Caltech-USCD Birds包含200种鸟类,一共11 788张图片,每张图片都有相应的标签文件,同时还具有局部特征的类别和属性标签,包含鸟类的眼睛、喙、翅膀、双爪、尾巴等局部特征。数据集中提供的局部特征在一定程度上推动了鸟类检测和识别的研究。
鸟类行为的分析、识别是一项复杂的工作,在识别之前需要确定是否存在鸟类。通常目标检测需要使用算法来判断图片中是否有目标,以及在图片中检测出目标的具体位置并标记出来。输入一张图片,通过指定的算法从图片中提取多个类别的目标区域,对候选区域使用卷积神经网络获取特征向量(闫贺等, 2021),然后进行分类,简单的流程图如图3所示。
图2 鸟类识别系统流程图Fig.2 Flowchart of bird identification system
图3 鸟类检测流程图Fig.3 Flowchart of bird detection
针对传统运动目标检测方法存在的帧间配准难度大、快速运动目标阴影特征不明显等问题,有研究者提出了一种基于改进快速区域卷积神经网络(Faster R-CNN)的运动目标检测方法(齐延荣等,2021)。该方法结合Faster R-CNN深度学习算法,利用K-means聚类方法对anchor box的长宽及长宽比进行预处理,并采用特征金字塔网络(Feature Pyramid Networks, FPN)架构对视频SAR运动目标的“亮线”特征进行检测。与传统方法相比,该方法具有实现简单、检测概率高、虚警概率低等优势。
本文中的智能监测识别系统,利用了经典的目标检测算法并有针对性地进行了改进(Juha Niemi,2018),实现了对鸟类的实时检测和跟踪。
图像识别技术作为当前计算机领域发展的热门技术之一,在医疗、交通运输、生物识别等领域广泛应用,进一步说明了图像识别技术逐渐成熟,图像识别技术主要包括如下4个阶段:图像采集、预处理、特征提取和图像识别(易中辉等, 2020)。
使用各种流行框架训练一个卷积神经网络进行鸟类识别,例如PyTorch、Caffe等。输入图像经过设计的网络进行卷积、池化等运算,提取特征,得到特征映射。研究者提出了很多经典的特征提取网络,例如VGGNet,每层卷积层使用3×3卷积核,利用多个卷积核进行组合,更好地提取特征信息。翁雨辰(2018)通过VGG16和残差网络Resnet,实现网络的特征提取功能,采用端到端的网络训练方法,在训练过程中,可以通过验证集查看是否过拟合,有没有达到预期训练效果。测试的方式之一是查看1:1的验证率,即将测试集划分正负样本对,在FAR为1%、0.1%和0.01%时求阈值和验证率,以此观察训练效果。
在对鸟类进行分类时,本研究中的智能监测系统的识别算法利用了鸟类身体的整体特征和局部特征,如头部、身体部位等,分别提取特征然后融合进行分类,最后输出鸟类的类别。结合前述的目标检测模块,网络结构如图4所示。
图4 卷积神经网络结构Fig.4 Convolutional neural network structure
该系统可以针对季节变化,实时监测记录湿地公园鸟类及其它野生动物种类和种群数量变化、觅食和栖息繁殖情况、生活习性和规律、周围环境因素对野生动物的影响及致病情况等,由此了解湿地公园生态系统野生动物资源及生态平衡影响因素和动态变化规律。在合作的一年半时间里,湖北远安沮河国家湿地公园通过人工智能技术实现的鸟类保护监测系统取得了良好效果,目前监测到沮河湿地范围鸟类种类已增加至165种,其中国家Ⅰ级保护鸟类2种,国家Ⅱ级保护鸟类14种。
本系统在湖北远安沮河国家湿地公园已投入测试和应用,系统架构包含设备及服务端、管理及服务端,通过前端IPC和人工智能及物联网系统对环境实施监测,同时进行鸟类识别、入侵检测、人体识别、车辆识别和实时预警。IPC部署在视野开阔、伪装隐蔽、避免潮湿的环境,设备采集数据效果更好。其中湿地公园监测情况和野生动物保护识别实时检测平台分别如图5、图6所示。图5展示了在琵琶州、洪家湾等水域的环境监测图片,图6展示了近一周鸟类活动和种类等信息。
该系统将人工智能技术和流媒体技术整合,形成完整的个体或群体的快速识别方案,在实时监控大屏中可以观测到湿地公园内重点保护动物和环境的情况,发现重点检测鸟类后主动语音并弹窗提醒,系统报警以弹窗及语音方式在系统Web界面展示,后台推送消息到管理员移动端设备,系统界面如图7所示。在测试中,此系统在200 ms内完成鸟类、人体、车辆等识别,最小识别像素为200*200,识别率达到95%以上,准确率在90%以上,同时系统在100 ms内完成区域入侵警报,最小识别像素为100*100,误报率小于1%,在不降低识别准确率的前提下,能够高效地检测重点鸟类。
图5 远安湿地公园监测情况Fig.5 Monitoring of Yuan 'an wetland park
图6 野生动物保护识别实时检测平台Fig.6 Real-time detection platform for wildlife protection and identification
图7 系统Web页面展示拍摄信息Fig.7 Display of the system Web page
远安沮河国家湿地公园中应用鸟类智能识别系统方便了对鸟类的监测和保护,促进了人工智能技术在生物多样性保护方面的应用。目前对鸟类的检测和识别取得了突破性的进展,但依然存在一些技术难点。在实际场景中拍摄到的鸟类图像往往背景和图像结构较为复杂,简单的特征在表达图像信息存在一定的困难。现有的大多数算法均采用CNN作为特征提取器,但CNN特征对鸟类图像识别来说,其表达能力依然有限,这将是后续改进的方向之一。在检测之后要对图像关键特征精准提取来实现鸟类识别,其难点在于图像类间差异较小,鸟类特征的区分主要在图像的细微局部区域。神经网络的精准表征是未来研究的主要方向。