基于残差时域注意力神经网络的交通模式识别算法

刘世泽，朱奕达，陈润泽，罗海勇，赵 方，孙 艺，王宝会

（1.北京航空航天大学软件学院，北京 100191；2.北京邮电大学计算机学院（国家示范性软件学院），北京 100876；3.中国科学院计算技术研究所，北京 100190）

（∗通信作者电子邮箱yhluo@ict.ac.cn）

0 引言

随着移动智能终端设备的飞速发展，智能手机已经逐渐成为人们日常生活中的必需品。搭载丰富内置传感器的智能终端设备具备多维度感知用户所处上下文环境信息的能力。近年来，通过捕获用户的上下文环境信息来感知用户的行为模式［1-3］成为了普适计算中的研究热点。用户行为识别通常基于两种数据源来完成，包括基于视觉信息的用户行为识别和基于轻量级传感器的用户行为识别。基于视觉的方法需要外部系统捕捉图像特征，对环境的要求较高并需要良好的光线条件。基于轻量级传感器的方法不依赖基础设施建设，具有较强的普适性。

交通模式识别是用户行为识别中一个重要的检测分支，其目的是识别用户当前的交通模式，即对用户所处的交通模式进行准确判断。用户在出行过程中常常使用不同的交通工具，在使用不同交通工具的过程中，常常会具有不同的出行需求。由于这些需求需要移动智能终端预先获得用户所处的交通工具状态，即交通模式，交通模式识别问题是一个在多个领域起到至关重要作用的基础问题，不同场景下基于精准的交通模式感知，才能够提供围绕用户出行的一系列服务，如交通状况预测［4-5］、用户轨迹挖掘［3，6-7］、智能出行推荐［8］等。交通模式识别需要用户随身携带数据采集设备，基于视觉的方法进行交通模式检测难以在实际应用场景进行部署，所以大部分的研究在围绕交通模式识别问题上使用基于传感器数据的方法［1，9-14］。交通模式识别在各行各业都有着较为丰富的应用需求:在外卖闪送等实际业务场景下，使用交通模式识别技术能够帮助大数据平台进一步精确识别订单的配送情况，平台对配送人员精确感知能够避免订单的异常配送状态，例如配送人员提前完成订单，平台难以对延迟配送进行判定，配送人员在配送过程中出现特殊状况，如交通事故、人身伤害等状况，更加精确的交通模式感知能够帮助保护平台用户的利益与配送人员的安全；在移动设备人机交互或移动地图智能规划的业务场景下，移动设备精准感知用户的交通模式能够帮助智能终端对用户的出行模式进行智能规划，向用户提供更加人性化的出行建议与出行规划；在用户轨迹与交通状况进行大数据分析的智慧城市业务场景下，大量用户的实时交通模式数据可以进一步帮助城市进行交通状况分析，及时规划公共交通工具的智能调度，提高城市公共交通资源调度的科学性，避免交通资源的浪费以及紧缺。

考虑到不同交通模式下传感器信号变化特点不同，文献［2，15-18］等在基于传感器数据的交通模式识别方法中人工提取多源传感器信号特征。他们将提取的特征输入到传统机器学习算法中完成交通模式的预测，例如支持向量机［1，6］、决策树［9，19-20］、集成学习［16-18，20］等。然而这些基于传统机器学习算法的方法主要取决于手工提取特征的有效性，这既耗时又需要领域相关知识。

近年来，深度学习的研究引起了广泛关注，由于深度学习不依赖特有的领域知识并具有从大规模原始数据中自动提取特征的能力。很多研究者［2，11-13］采用深度学习的方法来完成交通模式的预测。卷积神经网络可以通过叠加几个卷积运算自动创建抽象的层次结构特征。文献［1，9，12］利用卷积神经网络从加速度、陀螺仪、地磁等轻量级传感器分别提取特征后进行分类。传感器信号随时间序列变化，时间序列神经网络能够合理地模拟时间序列问题中的时间依赖性。文献［14，21］提出利用循环卷积网络和长短期记忆递归神经网络提取传感器的时域特征进行交通模式识别。

但是现有交通模式识别方法中依旧存在不足:卷积神经网络存在只能提取局部特征的问题，时间序列建模的循环神经网络由于其模型结构复杂并且不能并行计算，存在模型参数量大、训练时间长的问题；此外，没有对分类特征进行特征重要性校准。为了解决以上问题，本文提出了残差时域注意力神经网络进行交通模式识别，能够达到准确性与鲁棒性的平衡，满足了在对现代移动嵌入式设备友好的计算开销下的实际交通模式识别性能需求。

1 相关工作

近几十年来围绕机器学习算法的创新与应用得到了巨大发展，并在普适计算领域得到充分应用。在交通模式识别领域，学者们利用机器学习算法提供了许多解决方案。近十年来随着服务器计算能力的增强，使得深度学习算法快速发展，深度学习方法受到更多研究者的关注并为交通模式识别提供了新的解决方案。

1.1 基于移动传感器数据的交通模式识别

在交通模式识别问题的研究中，研究者往往关注交通模式识别的准确性与实时性，交通模式识别的过程需要在模型的准确度与普适性之间达到一定的平衡。在移动传感设备普及之前往往难以达到这样的效果，然而随着移动智能终端的逐渐普及，采集交通模式识别所需数据的硬件平台已趋于成熟。交通模式识别问题目前存在基于不同数据源建立的解决方案，包括基于全球导航卫星系统（Global Navigation Satellite System，GNSS）的解决方案与基于低功耗传感器的解决方案。近几年来随着低功耗传感器在智能手机中的大量普及，采用低功耗传感器数据的交通模式识别解决方案逐渐增多［1，2，15，22-24］。

1.2 基于机器学习算法的交通模式识别

在深度学习算法得到普遍应用之前，许多研究者提出多种基于传统机器学习算法的交通模式识别解决方案，但由于机器学习算法需要研究人员手动提取特征，这些特征依赖于领域知识，所以在识别精度上存在较大提升空间。文献［6］中提出了一种从GNSS 轨迹数据提取轨迹特征后，将特征送入到支持向量机分类器进行交通模式识别的方法，从而提供基于轨迹的交通模式分析。文献［20］利用GNSS 数据提取卫星相关特征并基于贝叶斯网络、决策树、随机森林、朴素贝叶斯以及多层感知机进行交通模式识别。

由于使用GNSS 传感器采集数据会导致移动终端功耗变大，很多研究者开始研究基于低功耗传感器数据进行交通模式识别。文献［1］提出了一种软硬件结合系统，通过搭建包含加速度传感器、地磁传感器以及陀螺仪的低功耗设备平台采集数据后，从而提取少量统计学特征，利用支持向量机（Support Vector Machine，SVM）作为分类器进行交通模式识别。文献［9］中利用智能手机中的加速度传感器、陀螺仪以及磁力传感器作为数据源，利用Filter 相关性度量（Correlationbased Feature Selection，CFS）算法对传感器数据时域、频域特征进行提取并采用分层的轻量级梯度提升器（Light Gradient Boosting Machine，LightGBM）算法对交通模式进行识别。文献［17］通过集成分类器XGBoost（Extreme Gradient Boosting，极端梯度提升）与多层感知机的方式，基于加速度传感器、陀螺仪、地磁传感器以及气压传感器数据提取统计学、频域等特征进行交通模式识别。此外，还有研究人员利用高功耗GNSS数据和低功耗传感器一起进行交通模式的感知。文献［19］提出了采用Wi-Fi、蓝牙、GNSS、加速度、重力加速度以及陀螺仪等传感器提取用户轨迹特征和时域特征并使用随机森林算法进行交通模式识别。

1.3 基于深度学习算法的交通模式识别

随着深度学习算法的快速发展，深度学习模型具备不需要领域知识即可自动提取特征的能力。在交通模式识别问题上，深度神经网络也逐渐显现出其重要价值。研究者逐渐受到深度学习模型的启发，在交通模式识别问题上提出很多新解决方案。

卷积神经网络在传感器信号特征提取过程中起到了一定作用，不少研究者基于卷积神经网络进行了交通模式识别问题上的探索。文献［12］提出了拥抱网络（EmbraceNet）来解决交通模式识别问题，对每个传感器分别利用卷积神经网络进行特征提取，在提取出的复杂时域与频域信号特征中利用一种基于多项式分布权重构建的融合层对特征进行融合后完成分类。文献［11］提出采用稠密网络（DenseNet）［25］进行多个传感器时域特征的提取，使用线性层进行特征融合来完成交通模式识别。

循环神经网络在时域信号特征提取上具有鲜明的作用，基于传感器数据的交通模式识别往往利用的是时间序列数据，许多研究者利用循环神经网络以及其变体进行时域特征的进一步挖掘。文献［10］提出将传感器数据送入循环神经网络进行时域特征提取，并利用提取出的时域特征进行分类预测。一些研究者［14，21］使用长短期记忆模型进行基于历史信息的特征提取，长短期记忆模型是循环神经网络的变体，引入了长期记忆与短期记忆机制，能够更好地对时域信息中的长周期特征进行挖掘。此外，文献［13］利用对抗自编码器针对时域传感器数据进行了交通模式识别。

然而上述工作一方面缺乏对时域特征的深层次挖掘，另一方面循环神经网络在计算复杂度与内存占用上仍然存在较大提升空间，许多工作仅关注于提高模型的准确率而使用大量的计算资源进行交通模式识别，难以在移动智能终端进行部署与优化，随着移动设备计算能力的不断提高，移动设备已经达到部署深度学习或机器学习算法的能力，但高计算开销也极大影响着实际模型端到端部署时实际运行的性能。此外，上述工作缺乏模型对细粒度特征的重校准能力，导致不同传感器信号的特征空间难以进行融合并且难以体现具有更明显交通模式特征的传感器在实际识别过程中起到的重要性，也导致了部分传感器特征的浪费。所以本文提出残差时域注意力网络以解决上述问题，本文模型能够结合时域卷积网络（Temporal Convolutional Network，TCN）的低计算开销同时也更为关注重要的传感器特征，避免了较低计算开销要求下模型性能的损失，具有较好的鲁棒性与稳定性。

2 残差时域注意力交通模式识别模型

本文提出了一种基于残差时域注意力神经网络的交通模式识别模型，如图1 所示，多源传感器时间序列数据输入到该模型后，该模型先利用残差卷积神经网络对不同感器进行局部感受野的特征提取。该模型在提取各传感器局部特征后将其输入到时域卷积神经网络中进一步提取全局感受野的深层特征。此外，局部特征对于交通模式识别也有一定的必要性，为了保证模型能够充分利用局部特征，本文借助残差连接的方式传递浅层特征到模型的分类层，使时域卷积网络能够提高对重要特征进行感知的能力，而时域卷积网络的膨胀卷积结构在提取局部细粒度特征时具有局限性也能得到弥补。由于不同传感器特征对于交通模式识别的重要性不同，本文使用了一种基于特征通道间关系的注意力机制对模型提取的交通模式识别分类特征进行特征重校准，使卷积网络能够充分感知真正具有较高重要性的复杂高维特征，从而降低了神经网络在识别过程中对无效高维特征进行大量计算导致的计算开销浪费问题，便于算法模型控制其算子规模，同时也提高了计算模型的鲁棒性，达到了计算效率与计算性能的平衡。

图1 本文模型结构示意图Fig.1 Schematic diagram of proposed model structure

2.1 基于注意力机制的残差卷积神经网络

深度神经网络是由多个非线性处理层堆叠而成的模型，卷积神经网络作为神经网络的一种，在提取小范围局部特征方面优势明显。但是随着网络层数的增加，梯度消失或梯度爆炸问题的出现导致深度神经网络在训练时难以收敛。残差卷积神经网络广泛应用于解决随着模型加深导致的梯度消失或梯度爆炸的问题，它使用的捷径连接将输入特征添加到输出特征上，从而提高浅层网络特征的流动性。残差连接能够确保模型中保持初始特征的恒等映射，在较深卷积网络之中依然能够保留原始特征，从而能够帮助模型在细粒度特征挖掘过程中获得更佳效果。针对时间序列传感器数据的交通模式识别，局部特征能够捕获交通模式在极小时间窗口内的变化规律，比如汽车突然的加速或者刹车、跑步中的摆臂等。本文提出的模型利用残差卷积神经网络对不同的传感器原始观测值进行局部特征的提取。

本文使用的残差神经网络由多个残差单元组合堆叠而成，本文使用的残差神经网络的框架如图2 所示。给定输入数据，首先模型将输入的传感器数据经过卷积层、批处理标准化层和指数缩放线性单元（Scaled Exponential Linear Unit，SELU）处理之后，将处理得到的特征送入多个残差单元中进行处理，将最后一个残差单元中得到的局部特征经过批处理标准化层和池化层后送入到时域卷积网络模型中进行细粒度全局特征提取。

图2 残差网络结构示意图Fig.2 Schematic diagram of ResNet structure

每个残差单元由卷积、批归一化和SELU 堆叠而成。图3展示了本文采用残差单元的示意图，其中第l个残差单元的输入为xl，则其输出可形式化为执行式（1）中的数学计算。

图3 残差单元示意图Fig.3 Schematic diagram of residual unit

其中:F(xl，Wl)为残差函数，Wl为该残差函数的对应权重参数；f(·)为非线性激活函数SELU；WS为瓶颈层的权重参数，瓶颈层能够保证输入特征和输出特征的通道数一致。残差单元块中残差函数F(·)形式灵活可变，能够堆叠多个卷积层。

2.2 时域卷积网络

残差神经网络只针对单一传感器进行了局部的特征感知，单一传感器包括加速度、重力加速度以及地磁传感器提供的高维特征空间，只具有模型对单一环境上下文的局部感知，仅仅关注于用户的姿态、用户环境的磁场变化等单一变化，不同环境上下文之间的相互关联关系等隐藏特征仍需要进一步进行挖掘，因此本文引入了时域卷积网络来进行粗粒度的时序挖掘，同时也对不同传感器之间进行了粗粒度的融合感知。

循环神经网络具有较强的提取时序特征能力，其分支例如长短期记忆与门控循环神经网络进一步改进了循环神经网络的时序记忆范围，将较早的时序数据也能够充分利用起来。然而循环神经网络也具有一些显著的弱点，例如循环神经网络由于运算时依赖上下文输入的特征，需要进行密集计算导致模型引入大量的计算参数；其次，循环神经网络内存占用也较高，难以大规模并行处理。

针对以上问题，研究者提出了时域卷积网络［26］，时域卷积网络在较长的时间序列中占用较低的计算开销便可以充分挖掘全局特征，从而达到了理想的特征提取效果。本文提出的模型中使用时域卷积网络提取长时间窗口下交通模式的全局特征。时域卷积网络可以接收任意长度的时间序列数据，并将其映射成任意长度的输出特征向量。本文模型中时域卷积网络的输入是由残差网络输出的传感器局部特征，然后利用时域卷积网络通过结构上的因果关系卷积充分挖掘时间序列上局部特征之间的潜在关系，从而保证在长时间序列下模型提取细粒度的全局特征。

本文提出的模型中的时域卷积网络由多个膨胀卷积块堆叠组成。膨胀卷积块是卷积神经网络的一个变种，虽然卷积神经网络能够对固定时间窗口的特征数据进行时序特征挖掘，但是由于传感器特征窗口本身即为连续的离散时间序列，通过卷积操作仅能够抽取在卷积核范围内的短期历史特征。为了能够在不改变卷积核大小的前提下扩大卷积核感受野，本文使用了膨胀卷积。对于一个特征窗口X∈Rn上第s个位置进行卷积操作f:{0，1，…，k-1}→R，则膨胀卷积为:

其中，d为膨胀系数，而xs-d·i即为时间窗口中s位置之前的前序位置。在多层膨胀卷积结构中，第i层的膨胀系数设置为di=2i-1。通过膨胀卷积，能够增大卷积核感受野范围，增强了模型对历史信息感知能力。通过增加膨胀卷积网络的深度，能够进一步加强膨胀卷积层对交通模式中历史信息更长时间尺度上的感知能力。在每次膨胀卷积之后本文引入批归一化和SELU 进行特征非线性变化。对于传统时序模型某一时刻的计算需依赖于上一层的计算结束，但是在时域卷积模型中由于共享卷积核的参与，可以保证模型能够进行并行计算。此外，传统时间序列神经网络在使用时需要将每个时间步的信息都保存下来，从而占据大量内存，本文模型在每一层膨胀卷积中共享卷积核，内存占用更低。一个多层膨胀卷积块的操作过程如图4所示。

图4 多层膨胀卷积结构示意图Fig.4 Schematic diagram of multi-layer dilated convolution structure

多层膨胀卷积块是本文提出的模型中时域卷积网络的基本结构，多层膨胀卷积的输出特征与输入特征具有相同的特征序列尺寸。为了避免训练过程中随着模型加深导致梯度消失的问题以及提高特征的流动性，本文模型在每个多层膨胀卷积块的输出层还加入了捷径连接，即将多层膨胀卷积块的输入特征与输出特征进行按位相加。在膨胀卷积块计算得到最终的输出特征之后，本文使用池化层对输出特征维度进行压缩并将压缩后的特征输入到下一个膨胀卷积块中。

2.3 特征重校准

在上述两种计算单元间进行特征传递的过程中，不同传感器特征从不同角度体现时间序列数据在交通模式上的变化规律，然而并非所有的特征都对交通模式分类任务起到相同作用。本文提出的模型在使用多维特征进行分类时考虑到不同特征之间的差异性，因此该模型引入收缩－激励注意力机制（Squeeze-Excitation）［27］对分类特征进行重校准，从而提高了交通模式的鲁棒性。特征重校准平衡了不同传感器特征空间中，由于单一传感器数据之间的差异性导致的特征空间差异性，在注意力机制的作用下，不同传感器通道之间得到了再次平衡，避免了机械地对异传感器间进行合并导致的统计差别针对不同特征通道的再平衡，充分发掘具有强重要性的特征通道能够在整个计算模型中发挥其代表性。

当不同传感器特征经由模型运算得到输出特征Wl+1后，本文利用式（3）～（5）进行基于通道间注意力机制的特征重校准。首先每个通道的特征经过全局压缩及拼接得到dc，然后通过使用Sigmoid 激活函数σ和SELU 激活函数δ的门控机制对压缩得到的通道指示器dc进行特征重要性的自动学习，最后将得到的通道特征放缩因子s对原始特征进行激励。

在对不同传感器特征通道进行重校准后，对交通模式识别更有帮助的传感器特征将被增强，不同交通模式下区分度较低的特征将被抑制，从而提高本文模型的识别准确性。

3 实验与结果分析

3.1 实验数据处理

本文采用数据丰富度较高的宏达通讯（data-rich High Technology Computer，HTC）提出的交通模式识别数据集［18］进行实验，该数据集将交通模式划分为站立、行走、跑步、自行车、摩托车、轿车、公交以及轨道交通共8 种类别。在实验过程中，本文随机抽取数据集中70%的部分作为训练集，30%的部分作为测试集。本文将使用6 种具有代表性的模型与本文提出模型进行对比验证本文模型的有效性与必要性，包括HTC 数据集 提出的基于SVM 的基准模型［1］、基 于CFS 的LightGBM 模型［9］、基于集成LightGBM 与多层感知机的分类器模型［17］、一维DenseNet 模型［11］、EmbraceNet 模型［12］以及双向LSTM 模型［21］。在比较各个方法的性能过程中，针对HTC 数据集的原始数据格式，本文运用相同的处理方式以及划分方式进行对比，避免了数据处理过程中引入的人为误差影响实验过程的可靠性。

HTC 数据集中包含的传感器类型有加速度、地磁与陀螺仪，现有工作中采用其他传感器的算法将会针对该数据集进行重新适配。HTC 数据集中传感器的每个样本分别为形如(x，y，z)的传感器数据三元组，为了丰富传感器原始观测数据，本文使用式（6）～（9）对每个传感器再提取了4 种分量，最终构成传感器数据七元组(x，y，z，f，h，i，d)。

其中:式（6）计算了传感器向量的总强度f；式（7）计算了总强度f在水平面上的投影，即水平强度h；式（8）计算了总强度d与水平面的夹角，即倾角i；式（9）计算了水平强度偏离北向的角度，即偏角d。提取上述分量后能够进一步提取传感器的物理特性，从而便于神经网络挖掘深层次特征。

用户乘坐交通模式下采集到的传感器数据在时间上具有连续性。在HTC交通模式识别数据集中，本文使用时长为5 s的时间窗口构建一个样本。本文对不同传感器数据在时间窗口内进行下采样来保证不同传感器数据长度一致。本文抽取了部分交通模式下某一时间窗口内传感器的总强度变化表现，如图5所示。

图5 部分交通模式的传感器总强度变化示意图Fig.5 Schematic diagram of total sensor intensity changes of some traffic modes

从传感器数值的总强度变化可见不同交通模式下具有明显不同信号变化趋势。图5（a）体现出用户在跑步过程中加速度总强度变化幅度较为明显，同样在图5（c）中用户在跑步过程中陀螺仪变化也较为明显。此外，在行驶状态变化较为明显的轿车交通模式中，如图5（a）所示加速度变化也较为明显。由上述例子可见在不同交通模式下，通过对传感器信号进行时序特征挖掘，使模型具有达到区分不同交通模式的潜力。

3.2 模型训练

在模型训练过程中，为了解决模型受传感器特征不同量纲的影响导致梯度收敛过慢甚至难以收敛的问题，本文对原始传感器数据进行了健壮归一化（Robust Normalization），对单一传感器数据X的健壮归一化过程如式（10）所示:

其中，Q1、Q3分别代表上四分位数和下四分位数。健壮归一化能够确保归一化过程中传感器特征不受异常噪声的影响，将归一化范围确定在大多数正常信号范围内。

本文在训练残差时域注意力网络的过程中使用自适应均方根梯度（Adaptive Mean Square Gradient，AMSGrad）［28］作为模型的优化器，起始学习率设为0.000 1。将训练数据按每批128 个样本训练200 轮。本文提出的模型采用4 个残差单元堆叠构建的残差神经网络提取每个传感器128 个通道的特征，此外，本文提出的模型利用3 层膨胀卷积块堆叠的时域卷积网络对每个传感器提取256个通道的全局特征。

本文模型训练目的是不断优化模型参数，并降低模型输出的软标签与实际交通模式标签之间的误差，详见式（13），为本文模型输出的预测结果，该结果与样本所属真实类别计算交叉熵作为模型损失函数。

3.3 总体分类性能对比

在实验过程中，本文以准确率作为主要模型评价指标，同时引入每种交通模式下的召回率与准确率来进一步分析模型的识别性能。在使用HTC 交通模式数据集进行实验过程中，本文选取已有的具有代表性的交通模式识别方法作为基准，其中准确率对比实验结果如表1 所示。可以看出，本文提出的残差时域注意力网络能够在测试集上达到96.07%的准确率，而其他基准模型中只有文献［11］模型，文献［12］模型能够达到高于90%的准确率。本文提出的模型在HTC 数据集下的识别准确率均高于其他基准算法。为了进一步深入分析各个交通模式的识别情况，本文对上述算法的召回率与精确率进行了对比，并分析不同交通模式在模型识别中的难易程度。

表1 不同交通模式识别算法的识别准确率对比Tab.1 Recognition accuracy comparison of different traffic mode recognition algorithms

3.4 单一交通模式识别性能对比

由表2与表3可见，对所有基准算法和本文提出的模型分别在不同交通模式下的召回率与精确率进行了计算。召回率与精确率计算方式如式（14）与式（15）所示:

其中:c代表某一类交通模式，而Xc指所有交通模式c下的样本；TP（True Positive）、FP（False Positive）、FN（False Negative）与TN（True Negative）分别指在样本真实情况正例预测结果为正例、真实情况负例预测结果为正例、真实情况正例预测结果为负例，以及真实情况负例预测结果为负例的个数。

召回率可以计算出在交通模式c下，模型能够在所有该类别样本中正确识别该交通模式的比例，而精确率可以计算出分类方法在预测结果中能够准确预测交通模式c的比例。从表2 中的数据可分析出，在所有交通模式识别算法中摩托车与公交车两种交通模式与其他交通模式相比在测试集中的召回率较差。由表3 可见，摩托车与自行车两种交通模式在查准结果中能够符合真实交通模式的比例普遍较低，而站立、行走以及跑步这类与用户姿态变化相关的交通模式往往更容易识别。其中文献［1］中SVM 分类器能够在公交车交通模式上达到较高的精确率，但该模型的召回率过低，上述情况也表明了公交车交通模式在该算法上难以在实际情况中得到准确的识别，同理这个现象也出现在其他交通模式识别基准模型中，但要优于SVM 分类器。本文提出的方法在识别公交车交通模式时相较基准模型在各个指标上都有所提升，但召回率也低于精确率，这也体现出准确识别公交车交通模式具有一定的挑战，传统方法将实际的公交车模式大量误判为其他交通模式，仅仅能够区分出部分情况下的公交车模式。此外，本文提出的模型能够在摩托车、自行车等在其他基准模型中较难区分的交通模式中得到较高精确率与召回率。

表2 不同识别算法的识别召回率对比Tab.2 Recognition recall comparison of different classification algorithms

表3 不同识别算法的识别精确率对比Tab.3 Recognition precision comparison of different classification algorithms

综合表2～3 可以分析出，本文提出的模型在多种交通模式下召回率与精确率相差较小，也表明本文模型在识别其他交通模式下具有较高鲁棒性。

本文还在HTC 数据集下对本文提出的模型计算了混淆矩阵，如表4 所示。从表4 中可以看出，本文提出的模型将部分属于公交车交通模式类别的样本识别为轨道交通模式和轿车交通模式。这几种交通模式具有一定的相似性且用户在这几种交通模式下运动姿态变化相对较小，运动状态较为稳定，当用户姿态变化较大时比如跑步、行走等模式下模型能够达到较好识别效果。

表4 残差时域注意力模型识别效果混淆矩阵 单位：%Tab.4 Confusion matrix of recognition results by residual temporal attention network unit:%

3.5 消融实验

本文提出的残差时域注意力模型在交通模式识别过程中分别针对不同时间尺度下进行了时序特征挖掘，该模型分别使用残差网络与时域卷积网络对短期时序特征与长期时序特征进行特征提取。本文首先通过消融实验对本文提出的交通模式识别模型中上述两个模块的影响进行了评估，其次本文提出的模型对残差网络与时域卷积网络提取的特征进行基于通道的注意力机制特征校准进行了分析。基于上述模型消融实验设计所得到的实验结果如表5所示。

表5 本文模型消融实验准确率对比Tab.5 Accuracy comparison of proposed model in ablation experiments

由表5 可见，本文提出的模型在缺少残差网络提取的短期时序特征时，模型在识别准确率上下降较少，但当模型缺少时域卷积网络提取的长期时序特征时，模型在识别准确率上下降较大。这也说明了全局特征在本文模型中对交通模式识别起到了更为重要的影响。当本文模型只利用传统的卷积网络进行特征提取时，该模型在测试集上的识别精度下降明显，只有65.68%的识别准确率，这表明残差网络和时域卷积网络在本文模型中对交通模式识别所提取的特征是十分有效的。本文模型包含针对传感器的残差网络、通道注意力机制以及针对特征空间的时域卷积网络，而当本文模型移除了基于注意力机制的特征重校准之后，模型精度从96.07%下降到85.77%，这表明模型的特征重校准模块有效地筛选出了交通模式识别中的重要特征，并帮助提高了模型识别的鲁棒性。从表5 中可以发现，本文所提出模型中各个模块均会对交通模式识别起到重要帮助作用。

由此可见，残差网络提供的细粒度感知能力在模型中起到重要作用。组合7 相较于组合1 提高了4.68 个百分点，而相较于组合5 可以对比得出，综合通道注意力机制与残差网络的表现，仅仅使用时域卷积网络的组合5 效果最差。通道注意力机制与残差网络均能够使整个模型对多源传感器的特征通道再平衡，但残差网络难以对不同通道特征进行通道级别的重新校准，只能通过卷积操作的细粒度权重进行简单平衡。只有通道注意力机制与残差网络配合起来分别在特征尺度与通道尺度进行重校准与特征提取，模型性能能够得到较大的提升，而任一部分缺失都能够极大影响模型总体的性能。其次，由组合2 也可以得出，缺失粗粒度时域特征感知能力的模型效果也难以达到理想水平，时域卷积网络在模型中起到了至关重要的作用。

3.6 算法计算开销对比

本文针对上述不同分类器算法进行了运算时间开销与空间占用的分析与对比。其中，针对基于传统机器学习算法的分类器方法，本文将针对原始数据中验证集部分进行特征工程处理的空间与时间开销也计入算法的时间与空间开销中。对于不同方法，本文通过统计分类器方法在验证集部分数据上花费的时间作为时间开销的指标，通过统计在验证集部分数据上花费的最大内存与显存占用值作为内存占用的指标，从而对不同方法进行针对计算开销的比较，详细计算开销对比如表6所示。

表6 不同交通模式识别算法的计算开销对比Tab.6 Comparison of computational overhead for different traffic mode recognition algorithms

由计算开销对比可以看出，本文算法在时间开销与空间开销上能够达到相对较低的占用。由本文提出算法的时间与空间开销测试结果可见，在计算开销与算法精度上本文算法能够达到较好的平衡。

4 结语

本文基于加速度、地磁以及陀螺仪等低功耗传感器数据提出了残差时域注意力模型进行用户所处交通模式的识别。该模型通过引入残差网络与时域卷积网络进行不同感受野的时序特征挖掘，并使用基于通道的注意力机制对传感器特征进行特征重校准，使得该模型在不同交通模式下获得更高的检测鲁棒性。本文所提算法在HTC 交通模式数据集上取得了良好效果，达到了96.07%的准确率，远高于其他现有基准算法。但本文算法仍有提升识别准确度的空间，同时随着移动智能终端的发展成熟，移动设备也具有适配该算法的潜力。未来将克服目前局限，进一步提升该交通模式识别算法性能，扩展交通模式识别算法新应用。