基于ResNet-Bi-LSTM-Attention的锂离子电池剩余使用寿命预测

王朋凯，张新燕，张光昊

（新疆大学电气工程学院，新疆 乌鲁木齐 830046）

锂离子电池性能较好，使用寿命长，使用较为广泛，其成本不断下降[1]。锂离子电池在长时间和复杂环境的使用下，电池内部除了正常充放电的化学反应，还有一些复杂的副反应，造成电池容量的永久下降[2]。如果超过电池使用寿命继续使用电池，可能会产生安全事故。因此，对锂离子电池RUL的准确预测可以提前获得电池的状态信息，预留足够的时间进行维修，降低了维修成本和维修时间，保证系统的安全稳定工作。

锂离子RUL 预测方法包括模型驱动法和数据驱动法[3]。模型驱动法通过分析电池内部的化学反应来建立模型，需要专业的知识，实用性不强[4]。数据驱动法是通过长期历史数据分析锂离子电池RUL 的变化规律，实用性较强，应用广泛[5]。基于数据驱动的RUL 预测主要使用机器学习方法。机器学习RUL预测方法有神经网络[6]、决策树算法[7]、随机森林算法[8]、支持向量机[9]等，能够适应各种数据量，特别是数据量较小的场景，但大多数机器学习算法的性能依赖于所提取的特征的准确度，需要专家确定特征并编码为一种数据类型，处理过程很耗时而且需要专业知识。为了解决这一问题，人们提出了深度学习。深度学习从数据中直接获取高等级的特征，这是深度学习与传统机器学习算法的主要不同。文献[10]介绍了一种循环神经网络(recurrent neural network，RNN)，其主要用于解决具有时间特征数据的问题，但无法解决时间依赖带来的梯度消失或者梯度爆炸问题。针对这一问题，文献[11]提出了一种长短期记忆网络(long short-termmemory，LSTM)，用于对多元时间序列中提取到的时域特征进行预测，并且通过改进的损失函数，进一步提高了模型的收敛速度和准确性。文献[12]提出了参数实时更新的改进LSTM 方法，利用历史数据离线生成LSTM模型，用在线测量的数据进行前向计算得到预测值，将预测值和真实值之间的误差不断修正LSTM 模型，解决了传统LSTM 方法不能合理利用在线数据的问题。在LSTM 的基础上，文献[13]介绍了双向长短时记网络(bi-directional long short-term memory，Bi-LSTM)预测模型，利用时间特征前向信息和后向信息作为模型输入，提高了预测模型的准确性，解决了LSTM模型无法处理从后向前信息的问题。文献[14]和文献[15]介绍了注意力机制(Attention)在预测模型中的使用，通过计算特征出现的概率，对其分配不同权重，可以进一步提高预测模型的准确性。

为了进一步提高预测模型的有效性，本文提出了一种结合ResNet、Bi-LSTM 和注意力机制优点的锂离子电池RUL 预测模型。从锂离子电池数据集中选取特征参数作为输入，之后利用RSENET提取特征参数间的隐含信息，然后使用Bi-LSTM网络结合前、后向信息进行预测，利用Attention对预测结果进行权重分配，训练得到最终模型。最后通过电池数据集进行实验，证明模型的有效性。

1 基础网络

1.1 ResNet

在网络深度到一定程度，误差升高，效果变差，梯度消失现象愈加明显，后向传播时无法把梯度反馈到前面网络层，前面网络参数无法更新，导致训练变差。针对这一问题，有学者提出了ResNet[16]。ResNet在CNN的基础上用通道直接连接输入和输出，将输入信息跳过网络直接输出，网络只需要对信息的不同进行学习和训练，减少了模型的运行时间，解决深层网络梯度消失的问题。ResNet 的基本单元是残差块，一般通过连接多个基本单元构成，残差块的结构如图1所示。

图1 残差块结构Fig.1 Residual block structure

1.2 LSTM

LSTM网络主要用于处理时间序列信息，可以一定程度上解决RNN 网络因时间依赖而产生的梯度消失或梯度爆炸问题，其结构如图2 所示[17]。LSTM结构包括遗忘门、输入门和输出门。遗忘门决定了上一时刻的单元状态有多少能进入当前时刻，其计算如下所示。

图2 LSTM结构Fig.2 LSTM structure

式中，ft为遗忘门输出；σ为激活函数；Wf为遗忘门的权重参数；xt为t时刻网络输入；ht-1为t-1时刻网络输出；bf为遗忘门偏置参数。

输入门决定了当前网络时刻的输入xt有多少保存到单元状态Ct，计算公式如下：

式中，Wi为输入门权重参数；bi为输入门偏置参数；tanh(·)为激活函数。

输出门决定了最终将要输出的信息，计算公式如下：

式中，Wo为输出门权重参数；bo为输入门偏置参数。

1.3 Bi-LSTM

在LSTM 只能利用前向信息的基础上，Bi-LSTM利用前向时间序列信息和后向时间序列信息进行预测，预测效果更好。Bi-LSTM是由两个方向相反的LSTM 结构组成，输入通过两个方向的LSTM网络，等到两个状态信息，两个状态信息共同作用和影响输出。其结构如图3 所示[18]。从时刻1 到时刻t计算，得到每个时刻前向隐状态；从时刻t到时刻1 计算，得到每个时刻后向隐状态；将前向隐状态与后向隐状态连接起来，获得需要送到输出层的隐状态，计算公式如下所示。

图3 Bi-LSTM结构Fig.3 Bi-LSTM structure

式中，xt为t时刻的输入，ht、h't分别为t时刻的前向隐状态和后向后向隐状态；w1、w2为前向隐状态的权重参数；w3、w4为后向隐状态的权重参数；w5、w6为输出层的权重参数；Ot为t时刻的输出。

1.4 Attention

注意力机制主要用于对输入的数据进行选择，突出其中的关键数据，忽略无用数据。Attention的核心是权重的分配，即利用评分函数计算权重参数，来实现对输入的权重分配，从而得到输出。本文的Attention评分函数为缩放点积。

式中，查询Q∈Rn×d、键K∈Rm×d、值V∈Rm×v表示query、key、value的矩阵；query和key具有相同的长度d。

2 ResNet-Bi-LSTM-Attention

2.1 模型构建

本文提出的基于ResNet-Bi-LSTM-Attention模型预测的步骤如图4所示。首先，导入数据集，根据数学公式的原理对数据集进行处理，提取特征参数矩阵，将矩阵调整为模型所需要的维度，按比例分为训练集和测试集。然后，将参数输入到ResNet 中，提取特征信息。之后，将提取的参数输入到Bi-LSTM中，利用每个时刻的前向、后向隐状态信息，提取时序信息。然后通过Attention 对Bi-LSTM的输出结果进行权重分配，将模型注意力集中在更重要的特征上，减小误差，得到训练模型，最后利用测试集对训练好的模型进行各种误差分析。ResNet网络是通过3个残差块和1个最后的全连接层输出组合而成，每个残差块里首先有2个有相同输出通道数的3×3卷积层，每个卷积层后接一个批量规范化层和ReLU激活函数。然后通过跨层数据通路，跳过这2个卷积运算，将输入直接加在最后的ReLU激活函数前。Bi-LSTM网络由前向传输层和后向传输层组成，每层由64 个LSTM 单元组成。

图4 ResNet-Bi-LSTM-Attention模型Fig.4 Schematic diagram of the ResNet-Bi-LSTM-Attention model

2.2 特征参数选择

本工作由美国马里兰大学先进生命周期工程研究中心(CALCE)提供锂离子电池数据集，选取CS2_35、CS2_36、CS2_37、CS2_38 共4 个电池的充放电实验数据作为模型的输入数据[19]。所有电池都经历了相同的充放电模式，使用0.5 C 恒定电流充电，当电压达到4.2 V 时，然后保持电压为4.2 V 进行恒定电压充电，当充电电流降至0.05 A时，使用1 C的电流进行恒定电流放电，当电压为2.7 V 时停止放电。对电池进行多次相同的充放电实验，等到电池的容量从1.1 Ah 下降到0.88 Ah 时停止。锂离子电池的容量衰退曲线如图5所示。

图5 锂离子电池容量衰退曲线Fig.5 Li-ion battery capacity decay curve

电池充放电实验需要进行恒压充电和恒流充电，其恒压充电时间(CVCT)和恒流充电时间(CCCT)与电池循环次数的关系如图6、图7 所示。当电池充放电的一直持续，恒流充电时间整体呈下降趋势，恒压充电时间整体呈上升趋势。

图6 恒压充电时间变化曲线Fig.6 Constant voltage charging time curve

图7 恒流充电时间变化曲线Fig.7 Constant current charging time curve

本文选取CVCT、CCCT 和循环次数作为锂离子电池RUL 预测的特征参数，对所选特征参数与锂离子电池的容量进行皮尔逊相关性分析，结果见表1。结果显示，所选的特征参数与锂离子电池容量具有较强的相关性，可以表现锂离子电池的容量衰减。

表1 所选特征参数的相关性分析结果Table 1 Correlation analysis results of selected characteristic parameters

3 实验与分析

3.1 评价指标

本文选择RMSE、MAE和寿命误差LE这3个评分指标度预测结果进行评估，用来表现模型的预测效果。寿命误差LE指电池容量衰退至失效阈值时，循环次数的实际值和预测值的差值与实际值的比值；MAE 和RMSE 分别指容量预测值和容量真实值的平均绝对误差和均方根误差[20]。其计算公式如下：

式中，m为总循环次数；yi和ŷi分别为第i次循环时电池容量的真实值和预测值；C和Ĉ分别为容量衰退至失效阈值时循环次数的真实值和预测值。

3.2 实验结果分析

为了显示本文所提ResNet-Bi-LSTM-Attention网络模型的预测能力，将其与ResNet-Bi-LSTM、CNN-Bi-LSTM、Bi-LSTM-Attention 网络模型进行对比。选取CS2_38作为实验数据，将数据50%分为数据集和50%分为测试集，然后将数据输入3种模型进行预测实验，结果如图8所示。将CS2_35、CS2_36、CS2_37、CS2_38分别输入到RESNET-Bi-LSTM-Attention模型进行实验，评价指标见表2。

图8 50%训练集预测结果对比Fig.8 Comparison of the prediction results of the 50% training set

表2 锂离子电池RUL预测结果评价指标Table 2 Evaluation indicators for RUL prediction results of lithium ion battery

由表2 可知，本文所提ResNet-Bi-LSTMAttention 网络模型对各组电池的预测效果都比较好。为进一步验证模型的预测性能，将其与其他预测进行比较，比较结果见表3。

表3 50%训练集评价指标对比Table 3 Comparison of evaluation indicators for 50% training

由图8 和表3 可知：相比于另外3 个模型，本文提出的ResNet-Bi-LSTM-Attention模型的预测结果更加接近真实的电池容量退化曲线，预测效果更好。而且本文提出的ResNet-Bi-LSTM-Attention预测模型的MAE 和RMSE 的值更小，表明其误差更小，预测精度更高。综合考虑4种模型的每个电池的评价指标，另外3个模型都对其中一组电池的预测结果并不理想，RESNET-Bi-LSTM-Attention 模型不仅精度更高，而且对各组电池的预测精度都不错，适用性更广。

为了对比数据集对预测结果的影响，将最后一组电池的数据60%分为数据集和40%分为测试集，输入各预测模型进行训练实验，结果如图9 所示。将4组电池数据作为输入数据依次实验，评价指标见表4。

对比图8 和图9 可知：60%训练集的各个模型预测结果比50%训练集的各个模型预测结果更接近真实值，其中ResNet-Bi-LSTM-Attention预测模型的预测结果最好。训练数据的增加使模型的预测结果明显变得更好。对比表3 和表4 可知：在4 种电池数据中，60%训练集的各个模型MAE 和RMSE 值比50%训练集的各个模型MAE 和RMSE值明显要小。训练数据的增加使模型的误差变小，预测精度变高。其中本文提出的ResNet-Bi-LSTMAttention预测模型的评价指标的值最小，表明其误差最小，预测精度更高。

图9 60%训练集预测结果对比Fig.9 Comparison of the prediction results of the 60% training set

表4 60%训练集评价指标对比Table 4 Comparison of evaluation indicators for 60% training

3.3 模型泛化性验证

为了验证本文所提出的RESNET-Bi-LSTMAttention预测模型的泛化性，使用NASA提供的电池数据集进行实验。该实验数据与CALCE 数据在类似实验条件下取得，但电池的特性不同，所以选用本数据可以更好地反映模型的适用性。本节选取B0005 电池的数据进行验证，50%数据作为训练集，50% 数据进行预测，结果如图10 所示。RESNET-Bi-LSTM-Attention预测模型对电池B0005的预测结果较好，MAE和RMSE分别为0.012 636和0.016 624，预测精度较高，因此可以证明模型的泛化性较强。

图10 泛化性实验结果Fig.10 Generalization experimental results

4 结论

针对锂离子电池RUL 的准确预测问题，本文提出的ResNet-Bi-LSTM-Attention 预测模型利用ResNet 网络提取锂离子电池充放电过程中的特征信息，通过Bi-LSTM 网络进行预测，Attention 机制对预测的结果分配不同的权重，从而更好地对RUL 进行预测。实验结果证明ResNet-Bi-LSTMAttention 锂离子电池RUL 预测模型精度更高，泛化性更强，适用性更广。

因为本文采用的ResNet-Bi-LSTM-Attention预测模型的结构复杂，在模型的超参数设置和调整较为困难，后续应考虑引入超参数优化算法来解决这一问题，进一步提高模型的预测准确性。