SF-CNN在驾驶行为识别中的应用研究

王忠民，张 瑶，衡 霞

WANG Zhongmin,ZHANG Yao,HENG Xia

西安邮电大学 计算机学院，西安 710121

School of Computer Sience&Technology,Xi’an University of Posts&Telecommunications,Xi’an 710121,China

1 引言

随着社会经济的进步和道路交通的发展，驾车已经成为大众出行的首选方式，伴随而至的交通安全问题也随之成为社会关注的焦点。已有研究表明不良驾驶行为是导致交通事故的一个主要原因，随意变道、掉头行驶等驾驶行为是交通事故的重要诱因；超速行驶、紧急制动等驾驶行为也增加了不良事故发生的可能性。实时监测驾驶者行为并予以警示，能够及时警示不良驾驶行为并遏制交通事故的发生，对构建健康安全的交通环境有重要意义。

近年来，利用移动终端进行驾驶行为识别方面已有较多的研究，大多使用移动设备中内置的多种传感器实时采集行驶数据，构建识别模型达到预警效果。文献[1]使用定制感知平台，并接入汽车控制系统，结合加速度计、GPS采集的行车信息，检测包括左右转弯、刹车、加速等驾驶行为。由于专用的感知平台难以普及，也无法进行数据统计进行进一步处理，难以进行推广。文献[2]针对安全驾驶和恶意驾驶两种驾车风格，使用动态时间扭曲和传感器融合来检测、识别和记录车辆行为。通过传感器的相关轴内数据融合到单个分类器，利用欧拉表示与标准模板比较进行行为分类。但在实际应用中因驾驶行为没有固定模式，难以使用单一的模板作为标准识别驾驶行为。文献[3]提出利用手机内置的加速度传感器采集到的行驶数据，计算一段时间里水平加速度最大值和最小值之间的差值来判断车辆在水平方向上是否有摇摆直行或转弯幅度大等危险行为。考虑手机放置位置的不确定性，极大程度地降低了行为识别的自适应性。为了解决这个问题，文献[4]提出了加速度计重定向的方法，将加速度数据从设备坐标系转换至行车坐标系，但与手动固定设备姿态的检测方法相比，识别率还有待提高。为了增加识别的准确性，文献[5]通过对多个传感器数据进行降噪处理，再对数据进行区间划分形成候选行为事件，并利用基于分类规则的机器学习方法对候选行为时间提取的行为特征进行学习分类。但多个传感器数据增加了时间复杂度，必将影响实际应用的实时性。文献[6]通过判定一段时长内的车间距和车道线距离的方差变化确定方差模型输出，并作为贝叶斯模型输入，综合方差模型输出与贝叶斯网络预测结果，最终判定当前驾驶行为是否存在危险。该方法在降低时间复杂度的情况下，识别效率还有待进一步提高。

综合以上因素，为了同时解决手机方位的自适应并提高驾驶行为的辨识效能，提出使用智能手机内置传感器采集的实时数据，通过稀疏滤波直接优化样本特征映射的稀疏性，从而改进卷积神经网络的首层输入，以更好的特征表达来识别行为。实验表明，在使用稀疏滤波-神经网络的组合模型后，驾驶行为的识别效果更加优异。

2 稀疏滤波-卷积神经网络（SF-CNN）

基于稀疏滤波-卷积神经网络识别驾驶行为模型由数据预处理优化特征、调整网络标签构建识别模型、输入数据进行行为识别等三部分组成，该方法的结构图如图1所示。

利用智能手机内置的加速度传感器和陀螺仪，采集驾驶者驾驶过程中的原始加速度信号和角度变化信息。将原始数据所处的手机坐标系利用欧拉角转换，投影至与手机方向无关的统一的大地坐标系中，以避免手机放置方位对分类器的影响。利用合加速度，提取加速度信息，经校准及线性变换角速度ω1,ω2，获取角速度信息。数据初始化完毕，稀疏滤波训练数据，获得的权值矩阵作为神经网络的输入。训练出识别模型的网络映射，用五类标记数据对网络进行微调，提高识别驾驶行为性能。

图1 稀疏滤波-卷积神经网络模型

2.1 稀疏滤波算法

稀疏滤波（Sparse Filtering）是Ngiam等人[7]提出的一种优化特征分布的无监督特征学习算法。在众多的特征匹配或特征设计任务中，由于需要大量的超参数调谐，致使当前的许多特征学习算法难以使用。例如稀疏受限波尔兹曼机（Sparse Restricted Boltzmann Machine，SRBM）具有高达6个的超参数和难以控制的目标函数，才可以使得调谐和监视收敛。

2.1.1 无监督特征学习

传统特征学习算法很大程度上试图构建真实数据分布的近似模型，如去噪自动编码器（Denoising Autoencoder，DA）、受限波尔兹曼机（Restricted Boltzmann Machine，RBM）、独立主成分分析（Independent Component Analysis，ICA）等，虽然在一些任务中有良好的特征表示，但因需要调整各种超参数而难以实现。本文旨在构建一个简单有效的特征学习算法，简化调整范围。因此，仅关注特征的一些关键属性：

（1）样本内稀疏（Population Sparsity）：用少量特征描述样本。即特征矩阵的每一列（一个样本）中只有少数非零项，其他值都为零。

（2）样本间稀疏（Lifetime Sparsity）：特征存在于少数样本内。即在特征矩阵中，每一行（一种特征）应该只有少量的非零元素。

（3）分散稀疏（High Dispersal）：特征分布较为均匀。即每种特征具有相似的统计特性。

这些特征分布性质在以往的神经网络科学文献中已被探讨[8-12]，例如SRBM[8]将特征的预期激活约束作为目标值；ICA[12-13]规范了每个特征的约束，并进一步优化其学习特征的样本间稀疏性；k均值[14]可以被看作是强制执行样本间稀疏，其中每个聚类质心仅对应一个特征，即在每个样本中仅有一个特征被激活。由以往的研究注意到，神经代码的表征传统上被视为特征分布的属性，而不是作为数据分布建模的方式。

图2 稀疏滤波处理示意图

2.1.2 稀疏滤波算法模型

以上讨论的特征学习方法都可以被视为生成特定的特征分布，而稀疏滤波采用特征分布导向的方法，深化特征分布的理想性能。为了清楚起见，假设样本矩阵为X∈RN×M，其中N为样本向量维数，M 为样本数量，W 为待求权值矩阵，Nf为特征向量维数，则X的特征矩阵即整个网络的输出就可以表示为：

根据稀疏滤波属性，首先对每一行进行L2归一化，即对A矩阵进行行归一得：

然后对每一列进行L2归一化，即对RS矩阵进行列归一化得：

以此来保证每个样本的特征具有稀疏性，得到最终的目标函数：

为了实现稀疏滤波，使用了由两层组成的深度稀疏滤波器，层1为大小16×16的数据块进行训练，首先对自然数据进行归一化，获得特征数据的绝对值，作为后续层的输入。第二层再次归一化得到稀疏特性。由两层深度稀疏过滤计算得到优化后的特征，通过逐层贪婪算法计算最终输出。如图2为稀疏滤波的处理示意图。

2.2 卷积神经网络

卷积神经网络通过层与层之间局部连接构成多层深度网络。信息通常在网络的不同层上传递，并且在每个层处，利用可训练过滤器和局部邻域聚集操作，产生易于观察的数据分布特征。整个卷积网络构架如图3所示，该网络包括两个卷积层，两个池化层和全连接层，在实验中，用稀疏滤波后得到16×16的数据块，作为卷积神经网络的输入进行行为识别，通过第一个卷积核为1×1×5的卷积和池化至第二个卷积核为2×2×10的卷积和池化到全链接层，最终得到驾驶行为标签。其中卷积层采用ReLu函数作为激活函数，如式（5）：

式中表示点(x,y)处通过卷积核计算得到的神经元激活度，n是该层中的核总数，其余为超参数，由实验验证，选取如表1的参数设置，以达到在使用不同核计算神经元输入的过程中创造对最大激活度的竞争。

图3 卷积神经网络模型

表1 归一化参数设置

为了得到更好的识别性能，在网络构建过程中，使用稀疏滤波器训练数据，达到加速训练和快速收敛的效果，具备更好的泛化能力。过滤器和局部邻域聚集操作交替使用，使低水平数据输入可以自动构建高级别特征表示。

对于最终层输出的损失估计，使用CNN架构中的交叉熵损耗，避免学习减速：

其中xj和 pj分别是第 j个输入和输出，K是输出神经元数量，tj是第 j类的目标标签。当反向传播时，通过偏导数计算损耗梯度：

其中δj代表输出层中的损耗梯度，将作为误差返回传播至最顶部的全连接层。

3 实验

3.1 实验数据集采集

本文是以内置ARM处理器的智能手机作为嵌入式系统硬件平台，搭载带宽为8～1 000 Hz，灵敏度为32～256 LBS/g的三轴加速度传感器，角速度量程为-100～+100 rad/s的陀螺仪，操作系统为Android5.0。在该平台上搭建轻量级行为数据采集器，能满足日常驾驶行为数据采集需求。实验采集了5名用户的驾驶行为数据，分别为点火、熄火、匀速行驶、静止和减速行驶等五种驾驶行为。采样频率为100 Hz，采集到包含不同行为的数据样本共4 960份，如表2所示。

表2 不同驾驶行为样本数据

在4 960份的样本数据中，每种驾驶行为数据按照7∶3进行划分，生成实验的训练集和测试集。数据初始化后，实验采用了软绝对函数作为激活函数，设置 ε=10-8，使用L-BFGS[15]包来优化稀疏滤波目标，直到收敛。通过测量算法的每次迭代函数值的相对变化比较不同特征数的收敛效能，当该变化下降到低于预设阈值时停止。

在特征学习之前，先将训练数据随机抽样形成的局部接收场减去自身的平均值，去除DC分量。通过稀疏滤波学习的第一层，类似Gabor的边缘检测器，使用贪婪层式方法学习标准稀疏特征。再经过相同算法学习第二层特征，得到优化特征。图4为第二层使用稀疏过滤学习池单元。显示每个第二层单元最强连接的第一层单元。

图4 稀疏过滤池单元

至此，特征分布完成了稀疏性的优化分布。

3.2 稀疏滤波特征性能

实验首先从数据集中抽取大小为w×w的数据块，进行ZAC白化。学习的特征数为K（即单层网络中隐含层的个数）。训练完成后，进行卷积提取，并进行四个象限划分采取平均聚合以减少特征维数。表3列出了w=8、12、16以及特征数 K=200、400、800情况下图像分类的正确率。

表3 稀疏滤波下驾驶行为的特征性能%

该实验针对五种驾驶行为，点火、匀速行驶、静止、减速行驶、熄火，分别调整实验特征数和数据分块大小。从实验结果可以看出，对于每一种驾驶行为，特征数增加，识别率有所提高，如点火行为，在数据分块为8时，特征数为400比特征数为200的识别率提高了2.78%；静止行为在数据分块为8时，特征数800比特征数为400的识别率提高了2.1%。对于每一种驾驶行为，数据分块越小，分类准确率有所提高，如匀速行驶行为，在特征数为400时，数据分块为8比数据分块为12的识别率提高了1.74%；熄火行为在特征数为800时，数据分块为8比数据分块为16的识别率提高了1.51%。实验结果表明，数据分块数越小，特征数越大，驾驶行为的识别效果会更佳。

3.3 SF-CNN识别模型

稀疏滤波-卷积神经网络模型，以引入稀疏滤波来优化卷积神经网络的数据输入，主要保存边沿、点和节点信息。为了评价SF-CNN网络模型在识别驾驶行为时的性能，筛选出多种常见的算法进行对比实验。借鉴上组实验结论，选取数据分块大小为8，特征数为800，进行对比实验。

独立成分分析算法将混合信息分离出独立信号，或尽可能使用独立信号对其他信号进行表征，但在分量数目太多时会影响计算的速度；K-means算法是典型的基于原型的目标函数聚类方法，从原始数据中随机选取K作为质心，利用求极值的方法得到迭代运算的调整规则，使得评价指标最小，而K的选取较难估计；传统的CNN网络，由于数据量较大，收敛速率可能有所下降。将实验数据依次放入三种传统算法，统计每种算法的输出结果，并与SF-CNN进行对比，得到驾驶行为识别准确率对比如图5所示。

图5 不同算法识别效能对比

由图5可以看出，在数据分块为8，特征数为800的实验条件下，传统算法与SF-CNN均获得更高的识别率。其中静止行为识别率最高达100%，相比ICA算法，点火行为的识别率提高5.83%，有较大改善；而与K-means算法相比，减速行驶行为的识别率提高9.31%，增长明显；对于静止行为，SF-CNN相比CNN算法识别率提高2.8%，减速行驶行为提高2.77%。

同时在几种算法的实验过程中，通过测量每次迭代的函数值的相对变化大小，由于不需要耗时调整超参数，SF-CNN模型相较于其他传统算法收敛至预设阈值更加迅速，如图6所示。

图6 不同算法收敛时效对比

通过以上实验的交叉验证，稀疏滤波-卷积神经网络结构在大容量的数据实验条件下，对于车辆在行驶过程中的驾驶行为识别上，具有较高的识别能力，改善了传统算法在此条件下容易过度拟合以及泛化能力较差等问题。同时，在数据分块的复杂性问题较之传统算法，仍表现出较快的收敛速率。结果分析表明，由稀疏滤波-卷积神经网络构成的联合模型，在车辆行驶过程中，对驾驶行为的识别速度和识别效果更佳。

4 总结

稀疏滤波-卷积神经网络模型实现了行驶车辆驾驶行为的识别，该模型将特征学习的输入数据由建模估计转变为优化分布。利用稀疏滤波后特征分布的稀疏性作为直接特征，放入神经网络进行行为识别。具有特征选取简单、调节参数少、数据处理维度高、信号区分性好等优点。分类结果验证了该方法的有效性与可行性，对规范驾驶行为，养成良好的驾驶习惯，同时将交通事故防患于未然，具有实际的应用参考价值。在现实生活中车辆行驶可能遇到过近跟驰、换道、超车等多辆车同时行驶时产生的复杂驾驶行为，下一步将研究结合摄像头、GPS等多种传感器数据，对多辆车驾驶状况进行模拟，提高识别的多样性，使识别网络更加智能化，为驾驶者提供安全辅助。

参考文献：

[1]Mitrovic D.Reliable method for driving events recognition[J].IEEE Transactions on Intelligent Transportation System，2005，6（2）：198-205.

[2]Paefgen J，Kehr F，Zhai Y，et al.Driving behavior analysis with smartphone：Insights from a controlled field study[C]//Proceedings of the 11th International Conference on Mobile and Ubiquitous Multimedia，2012：31-36.

[3]任静文.基于智能手机终端的驾驶行为风格检测[D].成都：电子科技大学，2014.

[4]Saiprasert C，Pholprasit T，Pattara-Atikom W.Detecting driving events using smartphone[C]//20th ITS World Congress，2013.

[5]Johnson D A，Trivedi M M.Driving style recognition using a smartphone as a sensor platform[C]//14th International IEEE Conference on Intelligent Transportation Systems（ITSC），2011：1609-1615.

[6]彭金栓，詹盛，徐磊，等.基于神经网络和贝叶斯滤波器的危险驾驶行为识别[J].武汉理工大学学报，2013（11）：85-89.

[7]Ngiam J，Pang W K，Chen Z，et al.Sparse filtering[C]//Int Conf on Neural Information Processing Systems，2011：1125-1133.

[8]Lee H，Ekanadham C，Ng A Y.Sparse deep belief net model for visual area v2[C]//Int Conf on Neural Information Processing Systems，2007.

[9]Field D J.What is the goal of sensory coding?[J].Neural Computation，1994，6（4）：559-601.

[10]Willmore B，Tolhurst D J.Characterizing the sparseness of neural codes[J].Network，2001，12（3）：255-270.

[11]Schwartz O，Simoncelli E P.Natural signal statistics and sensory gain control[J].Nature Neuroscience，2001，4：819-825.

[12]van Hateren J H，van der Schaaf A.Independent component filters of natural images compared with simple cells in primary visual cortex[J].Biological Sciences，1998，265（1394）：359-366.

[13]Bell A J，Sejnowski T J.The“independent components”of natural scenes are edge filters[J].Vision Res，1997，37（23）：3327-3338.

[14]Coates A，Lee H，Ng A Y.An analysis of single-layer networks in unsupervised feature learning[C]//Int Conf on AISTATS，2011.

[15]Schmidt M.minFunc[EB/OL].[2016-11-12].http：//www.cs.ubc.ca/˜schmidtm/Software/minFunc.html.

[16]Krause J，Gebru T，Deng J，et al.Learning features and parts for fine-grained recognition[C]//2014 22nd International Conference on Pattern Recognition（ICPR），2014：26-33.

[17]Krizhevsky A，Sutskever I，Hinton G E.Imagenet classification with deep convolutional neural networks[C]//Int Conf on Neural Information Processing Systems，2012：1097-1105.