双时间尺度下基于Transformer的锂电池剩余寿命预测

耿鑫月, 胡昌华, 郑建飞, 裴 洪

火箭军工程大学, 陕西 710025

0 引 言

作为具有高储能的新型电池,锂离子电池由于其快速充电速度、长时间使用寿命、高能量密度和无记忆效应等特点,广泛应用于电动汽车、电子设备和无人机等领域[1-2].然而,随着充放电次数的增多以及工作时长的累积,电池的容量呈下降趋势[3].预测和健康管理(prognostics and health management, PHM)技术是确保电子设备安全和可靠的必要条件,其中,电池剩余寿命(remaining useful life, RUL)预测是健康管理的先要条件[4].为确保锂电池运行的安全性和可靠性,预先的RUL预测对锂电池的维护和更换提供关键性的信息[5].

现有锂电池RUL预测方法主要分为两类[6-7]:传统建模的方法[8]、数据驱动的方法[9].数据驱动的方法不要求掌握关于锂电池运行原理的先验知识,可以利用电池的监测数据直接进行建模,从监测数据中获得电池的潜在退化规律,进而预测其RUL[10-11].对比传统建模方法而言,数据驱动的方法使用更加便捷,普适性更高.数据驱动方法分支中的深度学习具有学习复杂以及高层次特征的能力[12],可以更好地适应锂电池的复杂变化和使用情况,广泛应用于锂电池RUL预测中.史永胜等[13]结合经验模态分解与长短期记忆(long short-term memory, LSTM)网络将锂电池退化趋势分解为若干局部和主退化趋势,实现锂电池的寿命预测.ZHANG等[14]通过递归神经网络(recurrent neural network, RNN)和LSTM网络捕获退化容量之间潜在的长期依赖关系,构建锂电池RUL预测模型.REN等[15]针对锂电池退化数据量不足等提出改进(convolution neural network, CNN)和LSTM网络,挖掘有限数据中的深层信息.

现有关于锂电池RUL预测的研究中,通常使用RNN网络和CNN网络进行学习与预测.然而,使用基于RNN框架以循环方式对时间序列数据进行建模,会产生较高的时间成本,并且还会由于长期依赖而降低网络预测性能;而CNN网络受到卷积核大小的限制,在对时序特征的处理方面存在不能得到长距离特征的问题.并且,上述文献仅考虑了循环次数单一时间尺度下锂电池的性能退化,忽略了工作时长这一时间尺度下锂电池的性能退化.然而,实际工程中,锂电池在运行过程中的性能退化是由循环次数与工作时长两个时间尺度下的退化耦合作用的.循环使用次数是指电池充放电次数,每个循环都会造成电池性能一定程度的退化,如容量降低、内阻增加和温度升高等.电池的退化速率取决于电池的放电深度、充电速率等,充电速率越高,性能退化越快.工作时长是指电池使用时长,随着电池使用时长的增多以及不规范使用造成的长时间放电和充电,将会导致电池温度的升高以及内部化学反应的加剧,电池内部部件将会承受更多的应力.因此,仅考虑循环次数下锂电池的性能退化,将很难利用到不同时间尺度中包含的寿命信息,对RUL预测结果的精确度有所影响,也会导致电池的RUL信息不全面,进一步,影响后续健康管理与维护策略的制定.

为解决上述问题,本文采用VASWANI等[16]提出的一种基于自我注意力机制的网络模型Transformer网络,以应对RNN网络与CNN网络在RUL预测方面的局限性;并且,本文综合考虑了锂电池运行过程中两种时间尺度中蕴含的寿命信息,进一步提出了双时间尺度下基于Transformer网络的锂电池RUL预测模型,该模型以锂电池容量为网络输入,剩余循环寿命和剩余工作时长为网络输出,建立了容量与双重时间尺度的映射关系,引入的Transformer网络不仅可以有效地学习时间序列中的变化趋势,而且其多头注意力机制可以学习锂电池容量退化的长期依赖性,加速网络的训练性能.最后,通过马里兰大学公开数据集中的CS2锂电池数据集实例对比验证了该模型的有效性.

1 Transformer网络简介

Transformer网络在2017年首次被提出,此网络不仅可以有效学习时间序列的长期依赖性,还可以采用并行运算提高运行效率,在自然语言处理领域具有显著成果.近年来,Transformer网络也逐渐被应用于RUL预测研究上,比如:DING等[17]基于Transformer网络编码器,将注意力机制的全局上下文捕获与卷积操作的局部依赖性建模相结合,有效提高了退化的特征提取能力.MO等[18]将单独的门卷积单元与每个时间步局部上下文信息结合,并利用Transformer网络编码器层作为主要预测网络,取得良好的预测结果.

标准的Transformer网络是一个由编码器和解码器组成的序列到序列的结构.Transformer网络的输入序列被编码器映射至一个更高维的向量中,进一步,将向量通过解码器生成一个输出序列.与RNN网络的不同之处在于,Transformer网络通过多头注意力机制建立长期依赖关系.本文利用Transformer网络的编码器从电池的监测数据中获取了容量退化的长期依赖性,以及容量退化与不同时间尺度下RUL的相互关系,使用一个全连接层对编码器输出进行预测,获得网络的输出结果,其结构如图1所示.

图1 Transformer_Encode结构Fig.1 Structure of the Transformer_Encode

由图1可以看出,每个编码器层由多个结构相同的子编码器堆叠组成.单个子编码器由位置编码层、多头注意力机制层和前馈全连接层构成,且都经过规范化处理,采用残差连接,可有效防止梯度消失,加速模型收敛.在本文中,提出了一种基于Transformer解码器的RUL预测模型,充分高效地获取锂电池容量中的退化趋势,并建立其与双重时间尺度的映射关系.

2 双时间尺度下基于Transformer网络的RUL预测

2.1 数据预处理

数据预处理包括两部分:第一步是对数据进行平滑处理,去除数据的异常点;本文采用卡尔曼滤波对原始数据进行降噪处理,提高数据的平滑度.第二步即为归一化处理,为了减少输入数据分布变化对网络模型的影响,需对数据进行归一化处理,本文采用min-max归一化法对数据进行处理.设xt={xt(1),xt(2),…,xt(n)},表示长度为n的输入序列,令xt被映射到(0,1]

(1)

2.2 Transformer模型搭建

本文利用Transformer编码器从电池运行历史数据中学习容量退化的长期依赖性.Transformer层有两个子层:多头注意力层和前馈全连接层,为了充分考虑序列的位置信息,利用基础的位置编码对序列进行了一些相对的位置标记.采用了不同频率的正弦和余弦函数进行位置标注

(2)

(3)

多头注意力层的目的是捕获特征之间的依赖关系.多头注意力层将位置编码层输出序列Xt划分为多组,并对每组通过独立的自注意力机制处理.在每组中,输入序列被转换为3个向量:查询向量、键向量和价值向量.然后,计算查询向量和键向量之间的注意力得分,并将得分用于对价值向量进行加权.进一步,将加权的价值向量连接和转换,产生注意力机制的输出.最后,把每组自注意力机制的结果拼接起来进行一次线性变换获得输出序列.给出第L-1层多头注意力机制的表达

(4)

headi=Attention(Q,K,V)

(5)

(6)

MultiHead(HL-1)=Concat(head1,…,headh)Wo

(7)

前馈全连接层由两个线性变换组成,中间包含一个ReLU激活函数.前馈全连接层的加入可以增强模型学习输入序列前后间的复杂的非线性关系的能力.非线性激活函数允许层学习输入特征之间的相互作用,而线性变换允许层学习输入序列中不同位置的不同权重.为防止注意力机制对复杂过程的拟合度不够,加入前馈网络增加非线性表达能力,进而增强模型的能力.从上一层多头注意力层得到

HL=FFN(MultiHead(HL-1)),FFN(*)=w2·ReLU(w1*+b1)+b2

(8)

在网络的每个子层后加入一个规范化层,因为,随着网络层数增加,网络的计算参数会出现偏大或偏小的情况,有可能会引发网络学习异常,模型收敛速度减缓.因此,引入规范化层对数值进行归一化操作,使其特征值在合理范围.

2.3 锂电池RUL预测

网络的输出层为一个全连接层,利用全连接层来映射网络学习获得的剩余寿命信息,进而获得最终的预测结果,锂电池剩余循环次数和剩余工作时长.

(9)

2.4 损失函数的定义与训练

在模型训练和学习过程中使用均方误差(mean squared error, MSE)来评估损失,目标函数定义如下:

(10)

3 实例验证和结果分析

3.1 数据集介绍

本文选取美国马里兰大学先进寿命周期工程中心(center for advanced life cycle engineering, CALCE)公开的CS2型号电池数据集[19-20],来验证本文所提基于Transformer的双时间尺度设备RUL预测模型.将Arbin BT2000锂电池系统应用于锂电池退化实验中.室温下将额定容量为1.1Ah的CS2锂离子电池在0.55A的恒定电流下充电,直至达到额定电压4.2 V,在1.1 A的恒定电流下放电,直至电压降到2.7 V.数据集中共包含4块电池数据:CS2_35、CS2_36、CS2_37和CS2_38,数据结构在室温下由电流、电压、运行循环、工作时长和容量5种形式构成,其主要测试数据如表1所示,不同时间尺度下容量衰减趋势如图3所示.

表1 CS2电池主要测试数据Tab.1 CS2 Lithium-ion battery main test data

图3 CS2型号电池容量退化轨迹Fig.3 Model CS2 battery capacity degradation trajectory

3.2 数据预处理

数据集中部分电池数据由于测量误差等因素存在异常值,首先对原始数据进行卡尔曼滤波,去除数据中的异常点.然后,采取min-max归一化方法对电池容量数据、循环次数以及工作累计时长进行归一化操作,进一步使用滑动时间窗方法生成固定长度的训练样本.设置时间窗长度为32,步长为1,每组数据包含训练集、测试集和RUL标签3部分,训练集和测试集为锂电池的容量数据,RUL标签为锂电池循环使用次数和锂电池累计工作时长.最后,把经上述预处理的数据输入到Transformer网络进行RUL预测.

3.3 超参数设置

使用网格搜索法选取网络的最优参数,Transformer网络的主要参数设置如表2.

表2 网络参数设置Tab.2 Network parameter settings

使用表2中最优参数,将经处理的训练集输入模型中进行训练和预测.在训练过程中,使用CS2_36、CS2_37和CS2_38的全部数据和CS2_35的前32个数据作为训练集进行训练,选用CS2_35后848个数据作为测试集;采用Adam优化器对模型权值进行优化.

3.4 剩余寿命预测

为验证本文所提双时间尺度Transformer模型的优越性,引入3类常用于时间序列学习的网络模型,即GRU、LSTM以及Bi-LSTM.首先,基于本文所提网络模型验证双时间尺度RUL预测相较于单时间尺度RUL预测的精确性.然后,再分别实现每种网络考虑双时间尺度下的性能退化预测锂电池RUL,进一步验证本文使用网络模型的优越性.5种RUL预测方法,分别记为方法1～5.方法1为本文所提Transformer网络仅考虑单时间尺度下的性能退化去预测其RUL;方法2～5为4种网络考虑双时间尺度协同下的退化进行RUL预测,且方法5即为本文所提方法.

(1)预测模型对比试验

图4给出了仅考虑单时间尺度和同时考虑双时间尺度下的退化,并通过本文所用Transformer网络预测方法在一次全测试循环进行RUL预测的结果对比图.

图4 基于Transformer的锂电池RUL预测结果对比Fig.4 Comparison of lithium battery RUL prediction results based on Transformer

从图4可以看出,锂电池RUL预测结果与退化数据有关,尽管在预测前期预测值波动比较大,但随着获取的退化数据的累积,单时间尺度和双时间尺度模型的预测结果在预测后期都不再发散,收敛在RUL真实值附近.同时,本文所提模型的RUL预测结果在预测后期更加接近RUL真实值.仅考虑单时间尺度的RUL预测结果在预测后期大多小于RUL真实值,表明仅考虑单一时间尺度下的性能退化往往会低估RUL,因为没有考虑到另一个时间尺度的退化和寿命信息.由此可得,考虑双时间尺度对退化影响的建模更符合实际工程使用情况,可有效的提高锂电池剩余寿命预测的准确度.

(2)不同网络对比试验

为定量分析不同网络模型的性能,本文引入两个评价指标,均方根误差(root mean squared error, RMSE)和平均绝对误差(mean absolute error, MAE)作为评估模型RUL预测是否准确的指标.

RMSE计算公式为

(11)

MAE计算公式为

(12)

方法2～5将本文所提Transformer网络模型与GRU、LSTM以及Bi-LSTM 4种方法在CS2_35数据集上的单步预测结果进行对比,损失通过RMSE和MAE来表示,表3给出了预测最终趋于稳定时4种方法预测结果的损失值.图5给出了不同网络下基于双时间尺度影响下锂电池剩余寿命预测图.图5(a)是考虑锂电池工作时长影响的锂电池剩余循环次数预测结果,图5(b)表示考虑锂电池循环寿命影响的锂电池剩余工作时长预测结果.

表3 不同方法双时间尺度下的RUL预测结果对比Tab.3 Comparison of RUL prediction results on dual time scales of different methods

图5 不同网络双时间尺度下的锂电池RUL预测结果对比Fig.5 Comparison of lithium battery RUL prediction results under dual time scales of different networks

通过对比图5中预测结果和表3中的误差值可得,预测后期本文所提方法和RUL真值相差较小,从RMSE和MAE对比,本文所提基于Transformer的预测方法的预测误差均为最低.相对于基于GRU和LSTM的预测方法,基于Bi-LSTM网络的预测方法从前后两个方向上对时间相关性进行学习,因此,其RMSE和MAE相对更小一些.而本文所提的Transformer网络预测模型,进一步提高了RUL预测的精度,这得益于Transformer网络的多头注意力机制层可以有效学习电池容量退化过程中的长期依赖性,大大提高网络的预测性能.

4 结 论

针对锂电池运行过程中的性能退化由多时间尺度下的退化协同作用这一问题,本文提出一种基于Transformer网络的双时间尺度剩余寿命预测模型.其中应用卡尔曼滤波对原始数据中的异常点进行滤波,提升数据的平滑度.进一步应用Transformer网络有效学习锂电池容量衰减中的退化趋势,利用网络结构中的多头注意力机制层学习锂电池容量退化的长期依赖性,提高网络的预测性能.经实例验证,相比仅考虑单时间尺度影响的预测模型,本文所提预测模型具有更好的预测精度,并且此网络模型对比基于RNN基本框架的预测模型而言,可以有效降低长期依赖性对网络预测模型的影响.未来将进一步研究多状态影响下锂电池的性能退化对双时间尺度剩余使用寿命的影响,以提高锂电池RUL预测的精确度.