基于智能视频监控的流感患者行为识别研究

吴纪芸

（福州职业技术学院 福建省福州市 350000）

1 引言

1.1 流感患者初步筛查现状

目前，流感进入高发期，防控任务十分艰巨。据疾病预防控制局统计，2020年9月全国流感发病数高达18432 例，环比增加了43.63%[1]。流感患者的主要临床特点包括发热、流涕、干咳、呼吸急促等[2,3,4]，而发热仅占流感症状中的一部分，因此发热并不能作为是否患流感的唯一判断。

现阶段公众场所缺乏成熟的流感患者智能识别设备，在流感防控的非常时期，人工测量体温的简便、易行成为出入超市、小区、公司等公众场所时的唯一筛查方法。而流感主要是通过呼吸道飞沫传播和接触传播[5,6]。通过流行病学调查显示，病例多可以追踪到与确诊的病例有过近距离密切接触的情况。因此，人工体温检测将加大工作人员的工作量和患病的危险性。

1.2 基于智能视频监控的行为识别研究

智能视频监控已成为人体行为识别的热门研究技术，利用计算机视觉技术对视频监控中的目标进行提取、分析、检测，在无需人为干预的情况下对监控目标异常行为发出警报。目前智能视频监控的主要研究方向包括运动检测、目标分类和跟踪、行为识别及智慧城市建设等[7,8]。

卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一[9,10]。强大的学习能力致使它常常被应用于视频中的行为识别。视频行为识别初期，人们只是单纯对视频中截取的视频帧进行卷积神经网络训练，没有考虑视频的时域特征，所以针对运动性强的视频的识别效果较差。

Tran[11]提出 3D 核卷积的方法，在卷积神经网络中保留视频的画面信息和时间信息，与单帧图像特征训练的模型相比，通过时间域卷积运算后的网络模型对行为特征的区分度更高。

1.3 流感患者行为识别研究

图1：系统工作流程图

图2：C3D 网络架构图

在传统的机器学习分类算法中，必须具备以下两个基本条件才能训练出高准确性的分类模型：一、训练样本与测试样本独立同分布；二、训练模型的样本数量足够大。迁移学习是利用已有知识对不同但是相关的问题进行求解的一种深度学习方法[12]。该方法可以有效解决机器学习因受限于上述两个基本条件所面临的问题，运用大量现有公开的相关领域数据集进行训练，得到初始模型，再用少量带求解问题的样本数据对初始模型进行再训练，调整模型参数得到最终需要的深度学习网络模型。

流感患者行为识别是行为识别领域的一个应用场景，但是在该场景下没有公开的行为视频数据集，因此本文采用迁移学习方法识别流感患者的行为。

本文研究一种基于智能视频监控的流感患者行为识别系统，该系统在传统的红外检测温度的基础上加上行为识别，通过增加行为识别，能进一步识别那些不具有发热情况的潜在患病人员。其中，行为识别方法是通过3D 卷积神经网络提取视频数据中的有效行为特征，再运用迁移学习算法识别出“正常行为”、“干咳”、“流涕”、“腹疼”、“乏力”、“呼吸不畅”等行为。

2 基于智能视频监控的行为识别系统

2.1 系统构造

该系统包含四个主要的硬件设备，分别为红外体温探测器、监控摄像头、行为识别系统、报警器，其中红外体温探测器用于测量体温，监控摄像头用于拍摄目标行为视频，行为识别系统用于提取、分析、检测视频中目标行为是否异常，报警器用于发出警报。

2.2 工作流程

S1：利用红外体温探测器测量待检测人员的体温，与此同时监控摄像头拍摄该人员的行为视频。如果检测体温超过37.3 度，则系统显示体温异常，进行报警处理；

S2：若体温未异常，利用行为识别系统对视频进行提取、识别、分析，判断该行为是否异常，若异常则系统做报警处理；

S3：若经过S1 和S2 判断均无异常，则可让此人通行。具体流程如图1所示。

由于目前红外体温探测技术已十分成熟，因此本文研究的重点在于提出的行为识别方法是否能够有效识别出既定的行为类别，即上述行为识别系统的识别精确度。根据目前临床医学判断得知流感患者所具有的行为不尽相同，但大致集中在“发热”、“干咳”、“流涕”、“腹泻”、“乏力”、“呼吸不畅”这几个症状中。因此，本文主要识别“正常行为”、“干咳”、“流涕”、“腹疼”、“乏力”、“呼吸不畅”这六种行为。

表1：实验环境参数配置表

图3：基于迁移学习算法的行为识别步骤图

图4：行为识别的混淆矩阵

3 行为识别系统

基于智能视频监控的的流感患者行为识别，主要是在C3D 网络模型框架下使用迁移学习实现的。

3.1 C3D网络模型

卷积神经网络具有权值共享、稀疏连接、可生成多特征图，同时对于形变、几何变换、光照有一定程度的鲁棒性等优点。C3D 是行为识别中较为经典的模型之一，具有8 个卷积层、5 个池化层、两个全连接层，以及一个softmax 输出层[13]。网络架构如图2所示。基本的参数设定如下：图像块单元的输入设置为3×16×240×320，通道数为3，图像块单元包含有16 连续的尺寸为240×320 的图像帧。另外，设置第一层池化层卷积核大小为1×2×2、步长1×2×2，其余所有池化层均为2×2×2，步长为2×2×2。各卷积层特征图个数依次为64、128、256、256、256、512、512、512、512，每个全连接层有4096 个输出单元。

3.2 行为识别算法

迁移学习是从源数据域迁移到目标数据域的过程[14]。在迁移学习过程中，首先在源域数据集和任务上进行训练得到一个初始神经网络模型，并将该模型的前几层参数迁移到目标域网络模型中，最后利用目标域数据集及其任务进行网络训练并调整模型参数[15]。基于迁移学习算法的流感患者行为识别步骤如下，图3 为具体步骤图。

S1：对源域数据集进行预处理，形成源域训练集数据和测试集数据；

S2：利用源域训练集数据训练源域网络模型，用测试集数据测试模型识别精确度，并形成反馈学习，调整模型参数；

S3：对目标域数据集进行预处理，形成目标域训练集数据和测试集数据；

S4：将源域网络模型前几层卷积核参数迁移至目标域网络模型中，目标域网络模型后几层参数采用默认参数；

S5：利用目标域训练集训练目标域网络模型，调整模型参数；

S6：利用目标域测试集数据测试目标域网络模型识别精确度。

4 实验与分析

4.1 实验环境

实验所用到的软硬件参数如表1所示。

4.2 数据集

4.2.1 源域数据集

由于目前没有公开大量的流感患者行为数据集，而神经网络的训练需要相当大的训练量，所以本文训练模型时使用UCF101 数据集进行训练。UCF101（University of Central Florida）[16]数据集中有13320 个生活中常见的动作行为视频片段，来自BBC/ESPN 和YouTube等公共平台，其中包含101个类别的动作，分别在不同人物、动作幅度、光照条件等客观因素下产生。该数据集能够满足基于迁移学习行为识别对目标域数据集的基本要求。

4.2.2 目标域数据集

本实验共20 名实验对象，其中10 名实验对象模拟流感患者的行为特征，其中包括“干咳”、“流涕”、“腹疼”、“乏力”、“呼吸不畅”等状态；其余10 名实验对象模拟正常行为人的行为特征。通过240×320 分辨率的镜头采集实验对象的视频数据，将采集到的视频数据作为原始数据集。每种状态各拍摄20 段视频，每段视频截取5 秒有效行为片段长度，帧率为25 帧/秒。

4.2.3 数据集处理

本文模型输入数据是3×16×240×320 的图像块单元数据，将每16 帧作为一个单元输入，每个图像块单元都会对应输出一个4096维特征向量。将输出的特征向量按照4:1 的比例分为训练集和测试集，训练集和测试集中的正常行为和异常行为各占一半，正常行为标记为0，“干咳”、“流涕”、“腹疼”、“乏力”、“呼吸不畅”分别标记为1、2、3、4、5。

4.3 实验结果分析

本文提出的基于智能视频监控的流感患者行为识别方法精确度达到82.7%。其中，某些行为的识别精确度较高，而某些行为的精确度较低，如图4 为本实验行为识别结果的混淆矩阵。从图中可以看出，“干咳”行为的识别准确率较高，精确度为93%；“乏力”行为的识别准确率较低，精确度为65%；“乏力”行为被错判为“正常行为”行为的概率最大。从混淆矩阵可以看出，本文所研究的基于智能视频监控的流感患者行为识别总体达到较理想的效果。

5 总结

本文研究一种基于智能视频监控的流感患者行为识别系统，在传统的红外检测温度的基础上加上行为识别，通过C3D 网络模型提取的行为特征运用迁移学习算法能够有效识别不具有发热现象但行为异常的潜在患病人员，识别精确度达到82.7%。但由于实验条件有限，本文实验数据皆为健康行为人模拟流感患者行为，因此模拟数据与真实数据之间的误差不可避免。下一步，待具备流感患者行为公开数据集时，将进一步调整算法参数，提高系统的识别精确度。