通用航空飞行员异常行为检测及预警系统设计与实现

陈农田，满永政，袁 浩，董俊杰，宁威峰，李俊辉

（中国民用航空飞行学院a.航空工程学院；b.民航安全工程学院，四川广汉 618307）

0 引言

通航航空是民航交通运输重要组成部分。近年来，随着我国航空业的快速发展，通用航空已成为我国低空航空产业助力国家经济发展的重要引擎，广泛应用于空中游览，短途运输，应急救援等方面［1］。当前我国随着通用航空飞行总量不断增加，事故以及安全事件时有发生，极大影响了民众对通用航空的热情，不利于通用航空持续安全健康发展。根据民航局对近20 年的通航事故表明大多数事故由人为因素导致，占到通航事故起因的73%，其中飞行员操纵不当所占比重最高，达到事故诱因的61%［2-3］。因此，建立飞行员驾驶舱异常行为检测预警系统，从安全角度预防由于人的因素诱发通航事故具有重要价值。

20 世纪60 年代异常行为研究开始发展，主要关注作业场景对异常行为影响诱发机制［4-5］。在异常行为识别与检测研究方面，王涛等［6］将深度图法用于识别飞行员在驾驶舱内的手部动作，开展飞机进近着陆风险分析。张建辉等［7］提出基于飞行仿真软件Prepar3D 的航空气象教学实验平台建设方案。岳彬等［8］建立了一种智能视觉物联网检测系统架构，可以满足信号采集、传输、处理与反馈需求，提出一种视频语义分析模型，将人体行为识别与人脸识别进行协同分析，实现对人员行为的分析与检测。张晓平等［9］对基于视频的人体异常行为识别与检测，通过总结特征提取的方法给出常用异常行为检测数据集及相关算法表现。梁宇宁等［10］通过监控视频来自动检测操作任务中手部异常行为的系统。李自强等［11］设计了一种能同时捕捉外观和动作信息的孪生网络模型，能够在视频异常行为检测中更加充分地运用外观和动作信息。高振兴等［12］通过建立风切变场景飞行模拟实验，创建受湍流影响的动态飞行仿真模型。针对微下击暴流风切变，分析纵向和横侧改出飞行操作。Ko 等［13］利用深度卷积网络，将标准RGB 图像中检测、分析异常行为。

总之，国内外学者在异常行为识别方面开展了系列研究，但在面向通用航空的驾驶舱飞行员异常行为识别方面，特别在异常行为检测预警系统设计方面鲜见。依据民用航空规章［6-7］，本文将飞行员在驾驶舱内出现的吸烟、打电话等行为归类为驾驶舱异常行为。并提出了一种基于改进YOLOv3（You Only Look Once）的飞行员驾驶异常行为监测识别算法，采用基于深度学习的异常行为目标检测算法，利用改进的交并比（Intersection Over Union，IOU）进行定位，最后通过卷积神经网络提取特征对飞行员异常行为监测识别。为实现通用航空飞行安全精准智慧监管，本文以通用航空飞行员驾驶舱异常行为图像视频数据为基础，拟设计基于深度学习的驾驶舱飞行员异常行为检测预警系统，利用高精度大广角摄像头进行图像视频采集，利用Open CV软件的接口技术实现数据实时传输，通过改进的YLOVOv3 深度学习算法进行图像视频异常行为判据，最后通过系统硬件实现飞行员异常行为预警可视化，并将检测预警信息上传至云端，实现图像视频信息实时存储及可追溯。

1 系统总体设计

1.1 系统组成

本文设计的系统结构主要由异常行为识别、异常行为检测、异常行为预警、异常行为存储4 个模块组成，如图1 所示。异常行为识别模块主要解决通航飞行员飞行驾驶的时候，对其在驾驶舱内所有行为进行识别捕获。在捕获到飞行员所有行为之后，将其上传至异常行为检测模块，并将飞行员所表现出来的行为的图像与已存储至数据库内部的异常行为的图像进行对比，如图2 所示的飞行员驾驶舱异常行为识别检测功能流程所示。异常行为预警模块主要解决如果捕获行为与数据库内异常行为图像匹配度达85%以上，将会激发异常行为预警模块，预警方式为蜂鸣器发出声响以及灯光警示。异常行为存储模块会将预警信息存储至本地的内存卡，以及将相关数据上传至云端，实时传输异常行为数据并具备可追溯性。

图1 系统结构组成框图

图2 飞行员驾驶舱异常行为识别检测流程

1.2 功能模块及组成

（1）异常行为识别模块。通过摄像头对通航飞机驾驶舱内的飞行员在飞行驾驶时的所有动作进行捕捉采集。针对捕捉采集到的数据样本利用基于骨架识别算法改进的YOLOv3 算法融合，对飞行员在驾驶舱内的所有动作进行姿态判定，将摄像头捕捉到的疑似异常动作的画面上传至异常行为检测模块。

（2）异常行为检测模块。将异常行为识别模块经过初步筛选上传的疑似异常动作的图像，利用改进的YOLOv3 深度学习检测算法，让图像与原本存储在数据库内的异常动作图像进行对比，若相似度达到85%以上，即判定为异常行为，同时，将检测信息上传至异常行为预警模块，对其发出预警指令。

（3）异常行为预警模块。在接收到异常行为检测模块显示出已检测到异常行为的信息之后，自动开启蜂鸣器，发出设置好的预警声音，同时双色LED 灯开始闪烁。两种方式同时告警驾驶舱内的通航飞行员，使其对其发出的异常行为进行改正。在飞行员对自己的异常行为修正后的一段时间内，异常行为识别模块及异常行为检测模块将对其再次进行识别检测，若识别检测结果为正常，异常行为检测模块将向异常行为预警模块发出停止指令。在蜂鸣器及双色LED 灯开启或关闭的同时，异常行为预警模块将预警信息及异常行为图像上传至云端，并标注时间。

（4）异常行为存储模块。在异常行为预警模块将预警信息及异常图像上传时，摄像头会将所记录的视频材料保存至本地存储24 h，下一段24 h视频信息自动覆盖，同时所有内容上传至云端保存。地面监管人员可以登录云端，对通用航空飞行员在飞机驾驶舱内的异常行为进行观测分析。

2 系统硬件设计

设计的系统硬件主要包括树莓派主控板、云台及舵机、摄像头及蜂鸣器灯光告警等硬件，如图3 所示。

图3 异常行为捕获摄像控制流程图

（1）主控板。所用的树莓派4b（Raspberry Pi4B）作为面向通航飞行员异常行为检测预警系统的主控中心，图4 为树莓派4b 的主板。本文采用型号为BCM2711 的CPU 架构，该处理器是4核，并以1.5 GHz的频率运行；可支持以60 f／s 速度刷新，以及4K分辨率的双显示屏；提供8 GB 内存；板载2.4／5.0 GHz双频无线WiFi 和5.0BLE 低功耗蓝牙；1 个千兆以太网口；2 个USB3.0 端口；1 个5 V3A电源接口，具有多种串行、并行、PWM等扩展引脚。

图4 树莓派4b（Raspberry Pi4B）主板

（2）云台及舵机。舵机采用双MG90 舵机，尺寸为23 mm ×12.2 mm ×29 mm，在不安装摄像头情况下，其操作速度为0.12 s／60°（4.8 V）及0.10 s／60°（6.0 V），扭矩1.6 kg·cm（4.8 V）。该舵机工作电压3.5～6 V时，可在-30～60 ℃温度之间工作，可上下左右180°范围内活动。云台由双舵机进行驱动，舵机分别控制摄像头左右、上下180°范围内的可控调节，能够自主探寻被测者，并且始终能将目标放置于图像中央位置。

（3）摄像头及存储。本文选用3.6 mm／F光圈的摄像头，其视场角为170°，清晰度达5MP，用云存储容量可实现30 d 循环存储，白天有效距离可达30 m 及以上，夜晚有8 m 的夜视距离。同时摄像头内存为128 GB，20 d循环存储，可实现对驾驶舱内飞行员的所有动作进行观察记录，地面人员可登录云端对其进行实时观测。

（4）蜂鸣器。本实验采用电压式蜂鸣器，主要由压电蜂鸣片、多谐振荡器及共鸣箱等部件组成，其中最重要部件是多谐振荡器，内包含大量晶体管和集成电路。当异常行为检测模块发出指令到异常行为预警模块后，预警模块蜂鸣器接通电源，发出声响警示。

（5）双色LED灯。本实验采用三脚双色LED灯，在透明塑料内封装2 个不同颜色的发光二极管，并共用同一个正极和负极，其中1 个负极接通时，则接通的LED发光，若2个负极均接通电源，则2个同时发光，成为混色光，共发出3种颜色的光。当异常行为预警模块接收到指令之后，双色LED灯接通电源发出灯光警示。

3 驾驶舱异常行为检测深度学习算法

3.1 YOLO v3 检测模型

YOLOv3 是通过主干网络Darknet-53 来进行特征提取，由1 个DBL 模块和5 个残差体组成，Darkent-53有53 层卷积层，前52 层为核心网络。YOLOv3 采用这种网络模式，神经网络卷积层数增大会诱发“退化”情况［14］。

YOLOv3 核心思想是把单一图片拆解为13x13、26x26、52x52 大小网格，每个网格区域由网络点负责。解码过程就是计算得出最后显示的边界框的坐标bx、by以及宽高bw、bh，这样就得出了边界框的位置。YOLOv3 根据聚类法来提取候选框，将聚类中心划分成3 个大小不同的尺度进行预测，偏移量计算式为：

式中：（cx，cy）表示与左上角之间的距离；（pw，ph）为先验框的长和宽，pw和ph是根据目标大小而定；（tx，ty）是根据检测对象的中心点到网格左上角预测点的偏移量；预测框的宽度是tw，th表示预测框高度；σ 代表相应的激活函数，代表［0，1］之间的概率。

3.2 改进YOLO v3 算法

3.2.1 CIOU预测框的选取

YOLO v3 在进行预测框选取、边框选择和计算损失函数时，将预测框和真实框的IOU作为损失函数。IOU是预测动作与实际框架之间的收敛程度。因此，可以得到以下结论，损失函数IOU存在问题：IOU是一个比值。若实际动作与预测框之间不重合，那么损失函数IOU则为0，这样也会使梯度为0，则无法进行优化［15-16］。

为了解决上述问题，所以利用CIOU（Complete-IOU）来代替IOU，使用CIOU可以让真实框更加稳定地回归，考虑预测框与真实框之间的距离、重叠的面积、长和宽。CIOU示意图见图5。

图5 CIOU示意图

图5 中m为先验框和目标框最小矩形的对角线距离，n为2 个中心点之间的欧式距离。使用该方法把面积比转换成距离比，这样能将预测框与真实框之间的真实关系反映出来，这样能减少在训练时候的计算量，加快损失函数收敛速度，并可以快速地使预测框与真实框重合。CIOU评估预测框与真实框的相关性用v来表示，同时控制预测框尺度、移动方向和收敛样式利用α来表示。其计算式为：

式中：r2（b，bgt）为真实框中心点与预测框中心点的欧式距离；c为真实框和预测框的最小闭包区域的对角线距离；α为权重函数；v为检验是预测框与真实框之间比例是否一致的衡量参数。

3.2.2 损失函数设计

在YOLO v3 模型中，预测框生成期间其中包括物体的置信度，置信度是真实框与预测框的交并比，预测框内正确样本数量减少，损失函数速度会受到影响。

CIOU解决了IOU作为损失函数优化了损失函数IOU不能为0，解决了真实框与预测框二者之间最小距离及2 个框长宽比的一致性问题。把CIOU应用在YOLO v3 模型中，LCIOU作为边界损失函数，其表达式为

式中：S2为网格数；N为网格中预测框个数，若网格中含有目标则用obj表示；i为网格；j为预测框；lijobj为预测有效值（有效取1，无效取0），若目标在网格单元i中，则，预测值在第j个边框即有效，否则即无效。

4 实验测试及结果

4.1 飞行员驾驶异常行为检测测试

实验测试安排在民航飞行学院飞行模拟机中心通用航空飞行模拟器上进行，飞行员驾驶舱异常行为检测过程：①用摄像头对正在模拟飞行的飞机模拟驾驶舱内的飞行员所有动作进行捕捉采集，将采集到的视频以帧为单位获取图像；②采用改进YOLO v3 深度学习算法识别定位飞行员区域，根据模型检测识别飞行员异常行为；③当检测到有异常行为时，预警系统发出警报，然后该帧检测结束后，自动进入下一帧。本文选取了140 s 视频作为测试视频，如图6 所示为抽烟和打电话准确率变化图。

图6 准确率变化图

4.2 驾驶舱抽常行为测试

如图7 所示为飞行员驾驶舱抽烟行为检测测试，在视频中采集的图像中，发现与数据库内存储的抽烟行为相似的行为之后，进行局部框选并进行对比，并且在对比相似度超过85%（测试值为88%），判定为抽烟行为并触发预警。

图7 飞行员驾驶舱抽烟行为检测测试

4.3 驾驶舱打电话行为测试

如图8 所示为飞行员驾驶舱打电话行为检测测试，在视频中采集到的图像中，发现与数据库内存储的打电话行为相似的行为之后，进行局部框选并进行对比，对比相似度超过85%（测试值为92%），判定为打电话行为并触发预警。

图8 飞行员驾驶舱打电话行为检测测试

5 结语

本文设计并实现了基于深度学习的通航驾驶舱飞行员异常行为检测预警系统，建立了识别检测、预警和储存模块，提出了改进的YOLO v3 异常行为检测深度学习算法实施优化。通过应用该系进行通航飞行员驾驶舱异常行为检测实验测试，结果表明，该检测预警系统针对飞行员驾驶舱抽烟异常行为检测准确率达88%、打电话异常行为检测准确率达92%，表明该系统能有效实现飞行员异常行为检测预警，为下一步开展面向通用航空安全监测的记载设备原型系统适航工程验证奠定基础。