基于Conv-Attention-MLP的新能源汽车电池异常检测方法

2024-05-21 10:40陈旭东何宏周焱平
科技资讯 2024年4期
关键词:异常检测深度学习

陈旭东 何宏 周焱平

摘 要: 针对于新能源汽车电池异常信号的检测,传统异常检测方法对多个维度电池数据检测精度低、泛化性差等问题,本文提出一种融合了卷积(Conv)、自注意力机制(Attention)和多层感知器(MLP)的Conv-Attention-MLP深度神经网络方法,该方法首先对多个维度的时序数据使用特征卷积进行降维,再利用多头自注意力机制(MultiHead-Self-Attention, MSA)对数据的时间不同步以及数据逻辑之间的重建模,最后经过多层感知机(MLP)的连续线性映射与非线性运算,产生复杂的分段映射,以达到更好的拟合效果。实现了对多个维度电池数据的有效检测,提高了模型对于多样化数据的准确性和稳健性。实驗结果表明,相比于传统异常检测方法,在vloongs数据集上Conv-Attention-MLP模型表现效果更加优越,展现出更高精度和更强的鲁棒性。

关键词:深度学习 异常检测 自注意力机制 模型融合

中图分类号:U472;TP274

The Anomaly Detection Method for New Energy Vehicle Batteries Based on Conv-Attention-MLP

CHEN Xudong  HE Hong*  ZHOU Yanping

College of Computer and Communication, Hunan Institute of Engineering, Xiangtan, Hunan Province, 411104 China

Abstract: For the detection of abnormal signals in new energy vehicle batteries, traditional anomaly detection methods have issues such as low detection accuracy and poor generalization in multi-dimensional battery data. This paper proposes a Conv-Attention-MLP deep neural network method which integrates convolution (Conv), the self-attention mechanism (Attention) and the multi-layer perceptron (MLP). The method first uses feature convolution to reduce the dimensionality of multi-dimensional time-series data, then uses the multihead self-attention (MSA) mechanism to recmodel the asynchrony of data time and the interrelationships among data logic, and finally uses the continuous linear mapping and non-linear operation of the multi-layer perceptron (MLP) to generate complex piecewise mapping, so as to achieve better fitting results, which realizes the effective detection of multiple-dimensional battery data, and enhances the model's accuracy and robustness for diverse data. Experimental results demonstrate that compared to traditional anomaly detection methods, the the Conv-Attention-MLP model has better performance on the vloongs dataset, showcasing higher precision and stronger robustness.

Key Words: Deep learning; Anomaly detection; Self-attention mechanism; Model merging

锂电池因高能量密度、轻便、低自放电率广用于汽车,但特殊情况下可能发生热失控,危及驾驶人员。目前,新能源汽车电池异常检测算法主要分为两类。无监督学习算法如聚类算法可处理多维特征[1],但缺乏实时监测能力。神经网络算法如LSTM在处理时序性数据方面表现优异[2],但存在梯度消失和梯度爆炸问题。结合两者的新算法,如VAE-LSTM-DTW[3],能有效判断异常,但仍缺乏实时性和边缘部署的效率。

近年来计算机视觉方面的不断发展,对图像处理主要采用卷积神经网络,卷积层使得模型拥有强大的建模能力。Transformer[4]是一种革命性的深度学习模型,其中的自注意力机制(Self-Attention)使得模型能够在处理序列对不同位置的信息进行加权。如徐浩森等人提出的基于自注意力机制的卷积循环网络语音降噪[5];张伟雄等人提出的时序自注意力机制对遥感数据时间序列分类[6]。本文在传统Self-Attention网络的基础上,设计出一种融合了卷积、自注意力机制和多层感知器的Conv-Attention-MLP深度神经网络方法,相较于单一方法模型有以下优势:(1)卷积层将有效捕捉时间序列中的局部特征和模式;(2)自注意力机制能够提取电池数据的上下文信息,增强模型的全局建模能力;(3) 多层感知器引入了非线性映射,对特征进行更高级别的抽象,有助于学习更复杂的数据表示。

1 模型与原理

Conv-Attention-MLP 模型,可分为三部分如图1所示。

卷积部分由三层卷积构成,使n个单维特征数据通过等长卷积核进行卷积,将数据降维,提取来自不同特征的一维数据关键性特征。卷积计算能够有效地挖掘时序数据的相关性,通过卷积中的归纳偏置能力提取时序数据中的局部关联特征。此方法可取代一般异常检测模型中直接堆叠线性层的做法,有助于减少模型参数量,并提高推理速度。

本文在以 pointwise(点级特征)为前提、基于重建的电池异常检测任务中提出一种网络模型结构。通过结合自注意力机制,在序列重建过程中构建一层掩码,以增强模型对电池时序数据中异常点处上下文语义信息的表征能力。减轻异常检测任务中正常模式对异常模式的主导,增加模型对于电车异常数据的全局建模能力,提升模型精度。

多层感知机(MLP)能够通过多层的非线性变换学习到更复杂的数据表示,并在各种任务中表现出强大的建模能力和適应性。使得模型对于被控对象的系统参数变化和外界的干扰具有很好的鲁棒性,能够处理复杂的多输入、多输出非线性系统。

1.1 多个维度特征卷积

卷积层是深度学习中的一种关键层次,一般用于计算机视觉以及图像处理任务,对输入二维数据进行特征提取。本文所描述的卷积结构如图2所示,与处理一维时序数据的卷积不同,第一层卷积针对n个电池特性数据,并考虑了来自m条不同行数据的相关性。这里的卷积核大小为m*n,在横向维度上应用了循环填充[m/2]*2行,以确保在卷积过程中数据长度保持不变。这一操作不仅降低了数据维度,减少了模型的复杂性和计算成本,同时也保留了数据的关联性和重要信息。后面两个卷积层所使用的卷积核都为1*1大小,最后将得到的多个维度数据合并为一个二维张量。

1.2 自注意力机制

近期的研究中,证实了自注意力机制在二维图像中表现优秀,能够有效计算不同像素之间的关联性。在时序数据中将数据转化为类似于图像的二维张量,通过自注意力机制处理图像的方式,计算每个像素(或指二维张量中的元素)之间的关系。考虑到电池数据中,异常片段中必然存在时间上的某种联系,且不同数据之间也可能产生内在联系。本模型将电池多个维度的时序性数据经过卷积处理拼合成二维张量,通过注意力机制捕捉同一数据时间不同步以及不同的数据特征之间的联系,提升了异常检测和特征提取的效果。本文中多头自注意力机制(MultiHead-Self-Attention,MSA)结构如图3所示,对输入数据进行处理,通过(key,query,value)三元组对全局信息进行有效捕捉,最终返回一个权重值。将输入特征分别乘以三个矩阵、和(通过训练获得)得到Q、K、V三个矩阵;Q是query,是输入的信息;K和V成组出现,通常是原始文本等已有的信息;引入一个表示自注意力机制有多少头,将Q、K、V分别与矩阵、、相乘得到、、(),多头自注意力公式如(1)(2)所示。

其中公式(1)中表示K的维度,用于控制点积的尺度,以提高模型的稳定性和训练效果。公式(2)中MSA是多头自注意力机制(MultiHead Self-Attention),用于连接两个或多个数组,是权重矩阵。操作会将多头自注意力的特征拼合,但是不同的头在计算时经过了不同的线性变换,所产生不同子空间的特征。需要对多头特征进行融合,匹配特征子空间。

1.3 多层感知机模块

MLP是一种高度自适应的信息处理系统[7],具备强大的并行处理能力。由连续的线性映射和非线性标量函数来执行,这些连续的映射和非线性运算匹配特征空间,产生复杂的分段映射,以达到更好的拟合效果。本文中的MLP结构如图4所示,包括两层线性层,通过第一层隐藏层其权重为,偏置为,输入,()经过线性映射为。将中间结果输入非线性高斯误差激活函数(GeLU),GeLU是一个光滑的函数[8],图形类似于S形曲线,在整个是实数范围内均有非零的梯度,在深度神经网络中不容易导致梯度消失问题,平滑性有助于更稳定的梯度传播和更快的收敛。

1.4 模型损失计算

交叉熵损失(Cross-Entropy Loss)通常用于分类问题中,它衡量了模型的预测与实际标签之间的差异。在异常检测这样的二分类问题上,模型输出最后的预测结果只有两种情况,对于每个类别所得到的概率为,则有公式(3)所示。

公式(3)中表示样本的标签,正类为1,负类为0,表示样本i预测为正类的概率。本文采用Mixup的方式对原始数据进行预处理,假设是一个样本,是该样本对应的标签;是另一个样本,是这样本对应的标签。是由参数的贝塔分布计算出的混合系数,计算过程如公式(4)(5)所示。

其中是指贝塔分布,是和混合后的样本。将混合后的输入模型进行前向传播,形式上给定一个已知参数的模型,用表示到的映射,对混合后的有公式(6):

公式(7)中Loss是模型的整体损失,它是由模型前向传播出来的结果,与其两个混合样本的真实标签之间的加权损失和,表示前面的贝塔分布。

2 模型训练与数据处理

2.1 数据获取与预处理

本文使用了昇科能源公司开源的新能源汽车电池信号数据集vloongs,由28389个训练样本和6234个测试样本构成。每个训练样本为元组类型分为数据(data)部分和元数据(metadata),根据对数据集的特征分析,发现电池的正异常样本在元数据中里程特征上存在的一定联系如图5、图6所示。将特征整合,每一列数据包含9个维度特征(电压、电流、电池SOC、最大单电压、最小单电压、最大温度,最小温度、时间戳以及里程数)。元数据包括数据标签(00表示正常、01表示异常),测试样本在元数据部分没有标签值。

数据的九个维度的特征分布很不均匀,结果容易呈现长尾分布。在数据的预处理方面,将特征缩放到0到1的范围,让数据归一化,这有助于确保各个特征对模型的权重贡献相对平衡。受限于训练样本数量较少,容易造成模型的过拟合,Mixup引入了数据的随机性,通过将两个不同的电池时序数据混合在一起,可以让模型学习到更一般化的特征,而不是记住训练数据的特定样本,降低了模型的过拟合风险,同时Mixup可以增强样本之间的关联性,适应不同样本的变化差异。

实验配置如下:硬件方面CPU Intel Xeon(R) Platinum 8255C,GPU RTX3080(10GB),软件方面采用Ubuntu 18.04操作系统,Pytorch深度学习框架,编程语言为Python。

2.2 评价指标

本文在分类模型性能采用精确度(Accuracy,ACC)作为评估指标。用来衡量模型在整个数据集上正确分类样本的比例。

其中,公式(8)中TP表示正确分类的正类别样本数量,TN表示正确分类的负类别样本数量,FP表示将负类别样本错误分类为正类别的数量,FN表示将正类别样本错误分类为负类别的数量。

3 实验与验证

针对于本文所提出的Conv-Attention-MLP模型,进行了大量的实验,对比记录了模型在vloongs数据集上的实验结果。

3.1 模型层次设定

在模型的层次中所使用的激活函数、Dropout参数以及数据预处理都会影响模型的精度。模型激活函数有两处:一处在模型的卷积层部分,另一处在多层感知机(MLP)中,将模型激活函数设定为Sigmoid或者分别在卷积层和MLP中使用ReLU与GeLU。Dropout中的设定取值会直接影响模型的随机失活程度,良好的数据预处理则有助于提升模型的魯棒性。如表1中所示,模型在卷积层使用ReLU、MLP中使用GeLU作为激活函数、Dropout值设定为(0.2,0.2,0)模型的精度最高。

3.2 模型表现

为了使实验更有说服力,本文对比了四种融合模型在vloongs数据集下的验证集和测试集性能表现。这四种对比模型分别是自编码器与多头自注意力机制模型(AutoEncoder-Multi-headed Self-attention,AE-MSA)、长短时记忆与自编码器融合模型(Long short-term memory-AutoEncoder,LSTM-AE)、多头自注意力机制与多层感知机模型(MSA-MLP)以及融合卷积、自注意力机制与全连接层融合模型(Conv-MSA-FC)。上述四种模型与本文所提出的模型表现如表2所示,由此可知本文所提出的模型在相同的训练轮次下在Accuracy有更好的表现,测试集精度达0.8657。另外一个观察是,在对比验证集和测试集后,发现本模型在验证集和测试集上的精度损失仅为0.0137,远低于其他融合模型。由此可见,Conv-Attention-MLP模型不仅在精度方面表现出色,其鲁棒性也高于其他模型。换句话说,本模型能更好地适应数据的变化。

4 结语

本研究提出了一种基于模型融合Conv-Attention-MLP网络,旨在对多个维度的新能源汽车电池数据进行检测。该方法在卷积层中采用多种卷积核对多个维度的电池数据降维,从而有效减轻了计算负担。在多头自注意力机制中,考虑了时间步之间以及数据逻辑之间的相互关系,以重新构建特征空间。同时,在多层感知机的线性映射与非线性计算过程中,产生复杂的分段映射,使得特征拟合效果更加出色。本研究在vloongs新能源汽车电池数据集上取得了令人瞩目的结果,Accuracy达到了86.57%。此外,Mixup数据预处理方式通过对训练数据进行混合,扩增了数据的多样性,从而有效缓解了数据不平衡和过拟合问题。这种方法的引入使得我们的模型能够更好地应对真实世界中各种复杂的电池工作状态和环境变化。未来,我们将进一步探索并整合其他有效的数据处理技术,以进一步提升该方法在电池数据检测领域的应用性能。

参考文献

  • 马速良,武亦文,李建林,等.聚类分析架构下基于遗传算法的电池异常数据检测方法[J].电网技术,2023,47(2):859-867.
  • 孙洁,刘梦,刘晓悦,等.LSTM神经网络算法对锂电池故障信号检测的研究[J]. 现代电子技术,2022,45(3):73-77.
  • 郭铁峰,贺建军,申帅,等.基于动态规整与改进变分自编码器的异常电池在线检测方法[J/OL]. 电子与信息学报,2023,(6):1-10.[2024-02-06].http://kns.cnki.net/kcms/detail/11.4494.TN.20230629.1011.002.html.
  • 周丽娟,毛嘉宁.视觉Transformer识别任务研究综述[J].中国图象图形学报,2023,28(10):2969-3003.
  • 徐浩森,姜囡,齐志坤.基于注意力机制的卷积循环网络语音降噪[J].科学技术与工程,2022,22(5):1950-1957. 
  • 张伟雄,唐娉,张正.基于时序自注意力机制的遥感数据时间序列分类[J].遥感学报,2023,27(8):1914-1924.
  • 方伟,江金光,谢东鹏.基于MLP神经网络改进组合导航算法[J].计算机工程与设计,2021,42(1):65-69
  • 郝建红,范宗皓,王晖.基于ELU卷积神经网络的视频烟雾检测[J].燕山大学学报,2020,44(4):397-402
  • 叶之骞,钟紫鹏,邓永聪,等.基于Mixup数据增强的CNN-GRU深度学习电火花线切割放电状态识别[J].机械,2023,50(9):8-15.

猜你喜欢
异常检测深度学习
基于LMD模糊熵的遥测振动信号异常检测方法
基于度分布的流量异常在线检测方法研究
有体验的学习才是有意义的学习
电子商务中基于深度学习的虚假交易识别研究
MOOC与翻转课堂融合的深度学习场域建构
大数据技术在反恐怖主义中的应用展望
无线Mesh网络安全性研究
无线Mesh网络基础知识
深度学习算法应用于岩石图像处理的可行性研究
基于深度卷积网络的人脸年龄分析算法与实现