燃料电池汽车最优氢耗马尔科夫决策控制

付江涛,付主木,宋书中

(河南科技大学信息工程学院,河南洛阳 471009)

1 引言

为了避免过度使用石油资源和改善环境污染,只使用清洁能源氢气作为主要动力来源的燃料电池汽车无疑是汽车行业未来的最佳选择之一[1-2].

燃料电池汽车存在多种结构形式,如燃料电池单独驱动、燃料电池和锂电池复合驱动、燃料电池,锂电池和超级电容复合驱动等.无论何种结构,一般传动系统中都可能包括:燃料电池系统、锂电池系统、超级电容、电机及其他附件等.由于在传动系统中存在两种或多种动力源,因此动力源之间的能量流控制对整车的氢燃料消耗不仅是重要的,而且是不可避免的.为了能够设计良好的控制策略以实现需求功率在多个动力源之间的有效分配从而达到氢耗最优,未来的车辆运行工况和未来的车辆功率需求就应当充分考虑[3-4].

传动系统的控制是燃料电池汽车控制策略的主要控制目标,而控制策略的主要任务是对燃料电池汽车进行优化控制和容错控制.目前已有许多文献采用不同方法进行燃料电池汽车控制策略设计,这些控制策略可分为两大类:基于规则的控制策略和基于优化的控制策略.基于规则的燃料电池汽车控制策略利用理论分析和工程经验进行控制规则设定,容易进行整车实时控制.基于优化的控制策略通过定义燃料经济性,系统效率和系统功率等代价函数对整车进行优化控制.文献[5]中采用动态规划(dynamical programming,DP)的方法设计了全局优化控制策略,文献[6]中采用庞特里亚金最小值原则(pontryagin’s minimum principle,PMP)进行代价函数全局优化,但是基于这些方法的优化控制策略都需要事先知道车辆的工况,从而导致这些方法很难适用于实际的车辆运行环境,因为车辆的未来运行条件很难事先获得.为了克服这个缺点,模糊控制策略[7]和等效消耗燃料消耗策略(equivalent consumption management strategies,ECMS)[8]被用来在每一优化步骤内进行局部优化,但是当行驶条件发生改变时,为了保证控制策略的优化性能,模糊控制策略中的隶属度函数和等效燃料消耗控制策略中的等效因素都需要重新预先确定,同样导致这些控制策略不适用于工况一直改变的实际运行条件.

既然很难事先知道车辆的未来运行工况,模型预测控制看起来是一种有效的方法,因为模型预测控制可以根据当前的状态预测车辆的未来需求功率.模型预测控制策略通过在优化区间范围内对代价函数的优化以获得输出控制变量.模型预测控制方法已经被广泛应用于车辆控制策略的设计中[9-11].一些模型预测控制策略把未来目标需求功率认为是干扰输入以实现控制系统的稳定性[12],一些模型预测控制策略通过预测未来目标需求功率以实现车辆的某些性能.模型预测控制策略中存在的问题是:优化的控制输出量的控制效果是高度依赖控制模型的准确性,即便同一驾驶员,同一工况进行多次重复驾驶,每一次的目标需求功率也是不一样的.图1就说明这样的问题.原因在于驾驶员的驾驶意图是很难在优化范围内准确预测的,也就意味着模型预测控制策略很难准确预测实际的未来目标需求功率[13].

图1 3次实验下的目标功率需求Fig.1 Future power requirement of three times

为了剥离模型预测控制策略中车辆性能对模型预测控制方法和预测模型的依赖性,针对一种燃料电池系统和锂电池复合驱动的混合动力汽车,在建立车辆传动系统模型,燃料电池系统模型和锂电池系统模型的基础上,基于马尔科夫决策设计了氢耗最优控制策略,该策略以部分观测量为基础,以马尔科夫转移概率矩阵为条件,采用基于蒙特卡洛马尔科夫(Monte carlo markov chain,MCMC)算法的Metropolis-Hastings(MH)采样方法[14],获得平均奖励输出,进而通过最优氢燃料消耗代价函数的优化以控制在氢燃料电池系统和动力电池系统间进行能量分配.

本文建议的控制策略避免了系统性能对模型预测精度的依赖性,该策略采用平均奖励输出分布表示未来平均功率需求,而不是基于模型预测未来的功率需求.也即根据随机可观测变量矩阵(速度和加速度),采用MCMC-MH采样来确定不可测的未来功率需求,进而基于凸规划的优化方法获得优化控制输出以优化多能量源之间的功率分配.

2 车辆模型

本文研究的燃料电池汽车结构如图2所示.

质子膜交换电池系统(proton-exchange-membrane fuel cell system,PEMFCS)是进行化学反应以产生驱动车辆运行的主要动力来源,锂电池作为辅助动力来源,电机驱动车辆运行,直流变换器(DC/DC)实现电压转换.根据图2,假设附件没有能量消耗,PEMFCS 和电池的功率输出应该满足驱动车辆的功率需求,也即

式(1)中:PFCS(t)是质子膜交换电池的功率输出;PB(t)是锂电池的功率输出,但这个值是可正可负的,因为锂电池也可能处于充电状态;PR(t)是驱动电机驱动车辆运行的功率需求.如果考虑DC/DC和电机的功耗,式(1)可被改写为

式(2)中:ηDCDC是DC/DC的效率,这个值可被认为是一个接近1的常数;PEM(t)是电机消耗的功率.因此电机输入端的功率需求可由下式计算:

式(3)中ηEM是电机的效率.图3是电机的效率曲面,当电机的转速大于2500 r/min的时候,电机的效率也可被近似认为是一常数.

图3 电机效率Fig.3 EM efficiency

驱动车辆运行的功率需求PV(t)可根据下式计算:

式(4)中:T是电机的输出扭矩,ω是电机的转速.T和ω可由车辆的动力系统方程计算:

式(5)中:Fd,Fr,Ff,Fa分别是驱动车辆的驱动力、空气对车辆的阻力、车辆的滚动阻力和车辆的加速阻力;Croll和Cdrag分别是滚动摩擦系数和空气阻力系数;v(t)是车辆的速度;ε是车辆的加速系数.

燃料电池汽车控制策略的主要任务是通过优化氢耗代价函数以获得控制输出,从而在质子膜交换电池系统和锂电池系统间合理分配目标需求功率,因此为设计控制策略,有必要先建立质子膜交换电池和锂电池系统的模型.

2.1 燃料电池系统模型

燃料电池系统是一个非常复杂的非线性系统,许多因素诸如温度、氢气流量速度、燃料电池正负极输入压力等都会影响到燃料电池系统的性能,常用的描述燃料电池系统数学模型如下式所示:

式(6)中主要参数意义如下:Vstack是燃料电池堆电压,Vr是燃料电池堆开路电压,Va表示活性电压降,VΩ是电阻电压降,Vc表示浓度电压降.V0为标准气压下的燃料电池开路电压,R=8.31 J/(mol×K),x为氧气的摩尔克分子量,At表示电极反应的快慢,in为交换电流,i是燃料电池电流,RΩ是燃料电池内阻.

由于本文的重点在于进行控制策略的设计,而燃料电池系统模型对于控制策略的设计又是必须的条件,所以本文通过离线实验的办法建立燃料电池系统模型.燃料电池系统的最大输出功率为15 kW,通过实验,氢气的流量速率和燃料电池系统的输出电压及电流关系如图4所示.

图4 氢气流量对输出电压电流的影响Fig.4 Effect of hydrogen flow rate on voltage and current

虽然随着供给氢气流量速率的增加,输出电流会随之增加,但是输出电压会由于质子膜交换电池内部的化学反应而降低,如果其他诸如空气流量速率、温度、正负极输入气体压力不变,那么燃料电池系统的输出功率主要受到氢气流量速率的影响.消耗氢气所产生的能量也并非全部用来作为燃料电池的输出功率,因此氢气的效率可用燃料电池的输出功率和输入氢气的功率比值表示:

PH是消耗氢气所产生的功率,氢气功率PH可由下式计算:

式(8)中:Fflow是氢气的流量速率,Hheat是氢气的热值.综合式(7)-(8),并采用离线实验的方法,可以得到燃料电池系统不同流量速率QH和不同输出功率PFCS下的效率曲面.

为了使氢气的最优效率,根据图5可以得到最优效率下氢气流量和输出功率的对应关系,这一关系如图6所示.

图5 燃料电池系统效率曲面Fig.5 PEMFCS efficiency curve

根据图6,氢气的消耗QH(t)(PH)和燃料电池输出功率PFCS可定义为

式(9)中的a2,a1和a0是曲线的拟合参数.

2.2 电池系统模型

锂电池模型采用等效电路的方法建立,本文中的二阶电路电池模型如图7所示[15].

图7 电池二阶电路等效模型Fig.7 Second order equivalent model of the battery

根据图7的电池开路电压模型,电池的输出功率和母线上的电压之间的关系为

式(10)中:Vbo为电池的开路电压,Vbus是母线上的电压.进而可以计算电池的效率.当电池处于放电状态时,也即PB＞0时,电池的放电效率为

当电池处于放电状态时,也即PB＜0时,电池的充电效率为

根据电池ESPB25的参数,电池的效率如图8所示.

图8 不同功率需求下的电池效率Fig.8 Battery efficiency for varying power requirement

Vbo会受到电池的荷电状态(state of charge,SOC)影响,通常来讲SOC可通过母线电流的积分计算得到[16]

式(13)中:SOC(0)是电池的起始SOC 值,ηb是由式(11)-(12)定义的电池效率,C为电池的容量.为了在式(10)中考虑电池的SOC值对开路电压Vbus的影响,通过离线实验的方法得到母线电压和电池SOC之间的关系如图9所示.

图9 母线电压和电池SOC的关系Fig.9 Relationship of Vbus vs.SOC of the battery

实验中SOC被限制在0.2～0.8的范围内,根据图9,电池单体的SOC和Vbus可用简单的一次函数拟合:

式(14)中的b0和b1为拟合系数.

2.3 目标函数

控制策略通过优化目标函数以得到控制输出,从而在燃料电池系统和锂电池系统间进行功率的分配以实现氢耗最优的目的.对于燃料电池汽车而言,一定的SOC水平下,每一个母线上的电压Vbus都对应一定的电池输出功率,所以电池的功率可由调节母线上的电压间接控制,这里选择电池的输出功率作为控制变量.由式(9)和式(1)得到

同时电池的等效氢气消耗可根据下式计算:

ηb−e由下式定义:

综合式(15)-(16),总的目标函数定义为

式(17)中Qth(t)=Qh(t)+Qhe(t).

控制策略的基本原则是优化控制目标需求功率在燃料电池和锂电池之间分配以实现氢耗Qth(t)最优,具体的说就是采用凸规划的方法对目标函数(17)进行优化以得到决断输出µc.决断输出µc的定义是经过目标函数优化后输出的优化电池功率,本质上µc就是PB.

3 控制策略设计

本文的控制策略目的是优化目标函数(17),为了实现这一目的,本文采用了马尔科夫决策的方法来计算未来的车速和加速度分布,用计算的向量组来代表未来的目标需求转矩,从而避免了传统的计算目标需求功率的概率分布.本文基于MDP的控制策略结构如图10所示.该控制策略结构主要包括:自训练系统、MH采样估算系统以及控制选择输出系统.

图10 MDP控制策略结构Fig.10 MDP-based EMS structure

3.1 自训练系统

A) 概率转移矩阵:车速可以以1 km/h为带宽间隔进行离散,这样车速向量可表示为

本文中车速限制在0 km/h到50 km/h的范围内,因此向量v具有50个等级族.许多以前的文献中采用了一阶马尔科夫链来表示速度状态的转移,本文中采用k阶马尔科夫链反映速度变量由当前状态到下一状态的转移,k阶马尔科夫链定义为

vki表示当前状态的前k步的速度族,并且按照速度的大小进行顺序排列.基于建立的k阶马尔科夫链,可以通过离线实验的速度数据进行马尔科夫转移矩阵的计算.如果当前的车速vp发生变化,k阶马尔科夫链v会根据新观察到的速度而更新,进而该速度值所在的那一行的概率分布也会随之而改变.类似于速度的离散化,车辆的加速度值也采用同样的方法进行离散化,加速度值按照0.1 m/s2为带宽间隔进行离散,加速度向量可以表示为α=[α1α2··· αM],

本文中加速度被限制在0 m/s2到2.5 m/s2的范围内,加速度增量Δα设为0.1 m/s2,因此α也具有50个等级族.由式(5)可知,影响未来功率需求的主要因素为车速v和加速度α,为了体现速度和加速度,建立一个由v(t)和α(t)两个状态构成的二维概率转移矩阵ϕ ∈RNXM,采用二步转移的方法把矩阵ϕ表示为一个新的矩阵ψ,所谓两步法是指首先只考虑转移矩阵ϕ中的一个变量由当前状态sk转移到下一状态sk+1的概率(例如由ϕvk,ak转移到ϕv(k+1),a(k+1)),再考虑另一变量的转移概率.因此ϕ可以被变形改写为

式(18)中的每项都是一个矢量,这样对式(17)中的每一项,就能确定它的累积和,对式(17)进行增补0后,式(18)可被重新定义为ψ

完成概率转移矩阵ϕ的两步转化之后,新得到的矩阵ψ就是一个向量,向量中的每一元素都是一个介于0和1之间的值,ψ中每两个相邻元素ϕvk,ak的差值意味着ϕ中状态转移的概率,例如ϕ中有状态转移到ϕvk,ak(8,1),也就等同于

因此ϕ即为由前面k步状态下的速度和加速度转移到当前状态的速度和加速度的转移概率.因此如果采用基于MCMC算法的MH采样方法,就意味着要不断选择随机数µ∈[0,1],使得选择的µ值最终处于ψvk(8)和ψvk(7)之间,并且µ小于预设的接受率µa,这时就接受MH采样的结果,认为初始状态下以这个概率向状态ϕvk,ak(8,1)发生了转移.

B) 验证条件:当车速和加速度不断更新,根据马尔科夫收敛性质,如果多次重复实验,由大数定理,最终结果平均值应收敛于期望值,为了在MH估算系统中判定更新后的速度和加速度的有效性,选取ρ作为验证条件,ρ的定义如下:

式(21)中:vavg是某一工况下的速度平均值,verr是速度的标准差,αavg是某一工况下的加速度平均值,αerr,αt是加速度作用下的持续时间.为了接受或拒绝MH估算系统中的抽样结果,判断ρ是否能被满足,需要设置一个最大的误差范围(本文中设置为0.05),采样得到的结果和ρ的误差应在0.05以内认为满足,否则不满足.

ρ中的参数确定如表1所示.

表1 驾驶意图参数ρ的定义Table 1 Specifications for driving intention ρ

3.2 MH估算系统

为了进行MH采样以确定未来状态下的速度和加速度值,采用了基于正态分布的MH采样方法,定义v和α为

式中的v和α已在第3.1节中定义.基于ϕ ∈RNXM,构建新二维概率转移矩阵ϕ′,ϕ′具有N行速度量和M列加速度量,ϕ′中的每一元素都是由ϕ表示的N×M矩阵,代表由当前状态过渡到下一状态的转移概率.根据基于MCMC的MH算法原理,vk+1和αk+1可以通过随机数µ∈[0,1]的选取确定:

式(22)中的序号值z通过MH采样的方法确定,符号表示上取整和下取整函数,新状态下的速度平均值和加速度平均值可根据下式计算:

如选取随机数µ=0.25,假定ψ3,7的序号值为37和38,因此在下一状态下z的取值就应该选取38.这个过程可以用图11说明.

图11 MDP控制策略结构Fig.11 MDP-based EMS structure of the power control

需要注意的是,采样的长度和转移接受概率可以根据实际情况预设,采样长度越大,接受概率越小,越有利于式(17)的优化结果,但是计算的复杂度越大,计算时间越长,如果接受概率选择过小,有可能导致优化问题不能得以实现.基于MH的采样过程见图12.

图12 MDP控制策略流程Fig.12 The flow chart for MDP-based EMS

3.3 凸规划优化

对于燃料电池汽车,一定SOC水平下,母线电压和锂电池输出功率具有一定对应关系,所以可以间接通过调整母线电压来控制电池功率.离散目标代价函数(17)可得

式(23)中:β为氢气能量和电能的能比系数,t为步长,Ns为采样点数.式(23)中的第1项为燃料电池氢能消耗,第2项为电池等效氢能消耗.式(23)的每一步优化过程遵循如下规则:

1) 根据观测量车速和加速度更新ϕ;

2) 根据观测量车速和加速度更新ρ;

3) 根据ϕ,基于MH采样计算下一状态的v和α;

4) 根据式(1)(3)-(4),获得目标需求功率;

5) 根据优化函数(23),优化获得控制输出PB;

6) 发送PB和PFCS命令实现优化控制.

上面描述的优化问题总结为

4 结果

4.1 仿真和实验

本文的控制策略通过仿真和实验的方法进行了性能测设.根据BJEV160的结构,在Advisor燃料电池汽车模型的基础上二次开发了仿真模型,预先定义了实验路径,同一驾驶员在同一预先定义的路径下进行了多次的实验,仿真的工况信息来自于该路径下的4次实验结果,车速的工况信息如图13所示.

图13 仿真工况Fig.13 Driving cycles for simulation

为了验证所设计策略的性能,选取了3种典型的控制策略作为比较控制策略:

1) CD-CS:电量消耗-电量保持控制策略;

2) EMS1:假定工况事先已知,确定目标需求功率,进而对式(23)描述的问题进行全局优化;

3) EMS2:类似于EMS1,只是把当前的SOC(t)值认为是最终的SOC值.

仿真优化过程中用到的主要参数如表2所示.

表2 主要仿真参数Table 2 Main Specifications for simulation

图14是本文控制策略中在抽样长度为220的情况下的车速反映.由图14可以看出,本文控制策略得到的车速(点线)和实际预先提供的车速是不一致的(点化线),原因在于本文的车速获得是通过MH采样计算得到的速度,也即文中建议的控制策略对速度和加速度的预测是用前K次随机变量的向量来表示驾驶意图的平均性能,并非采用模型预测的方式而得到车速.

图14 工况b下的车速采样结果Fig.14 Vehicle velocity sampling result for cycle b

目前对于预测的精度,本文采用标准工况数据(EUDC)和实际的预测结果进行了比较,误差结果如表3所示.

表3 采样预测结果误差Table 3 Sampling results respect to error percentage

4种控制策略在4种预设工况下的氢气消耗状况如表4所示.

表4 氢气消耗量(g)Table 4 Hydrogen consumption(g)

如果把CD-CS控制策略控制下系统的氢气消耗量作为标准,表3的结果表明EMS1在氢耗性能方面是最优的,相比于CD-CS,氢耗可以降低10%到15%,EMS可以使氢耗降低6%到10%,本文控制策略MDPEMS可以使氢耗降低7%到11%.原因在于EMS1是一种全局最优的控制策略,而且进行优化的工况已经事先知道,本文建议的控制策略在氢耗性能上略优于EMS2,但本文的控制策略是不依赖于事先已知的工况的,它只依赖于驾驶员的驾驶意图历史数据并经MH抽样计算获得目标需求功率的替代值.

图15反映了在不同采样接受率情况下,对于工况b的目标功率需求的实验和仿真结果.由仿真和实验的结果对比,目标需求功率的变化趋势和大小是基本一致的,仿真结果和实验结果的差别主要是由驾驶员的意图差别引起的,因为真实状况下的驾驶员意图是和仿真情况下驾驶员模型的输出是不一样的,仿真中的驾驶员模型使用抽样的数据计算来获得驾驶意图的输出.由图15也可看出采样接受率对µa对本文控制策略的执行也具有重要意义,一般而言,这个数值越小,抽样的结果就越接近期望值,控制的效果越好,但是抽样的长度也会越长,计算的复杂度也会越高.

图15 工况b下目标需求功率的仿真和实验结果Fig.15 Simulation and experiment results of power requirement under driving cycle b

图16为4种控制策略在工况b下的SOC变化情况.SOC的值都位于0.5附近,这保证了电池的效率和电池的使用寿命.本文控制策略下的SOC值波动大于EMS1而略优于EMS2.在工况a,c和d下重复仿真和实验,SOC的变化趋势与母线电压的变化情况类似,证明了本文控制策略在合理使用电能方面的有效性.

图16 4种控制策略下电池的SOCFig.16 SOC performance of the four EMSs

5 结论

在分析燃料电池汽车的传动系统的动力模型基础上,根据燃料电池系统和锂电池系统的性能特征,建立了燃料电池系统和锂电池系统的模型.采用MCMC算法的MH采样方法设计了基于马尔科夫决策的控制策略,控制策略通过计算车速和加速度的后验分布以表示目标功率需求,进而进行氢耗最优目标函数的优化,实现氢耗最优的决策控制.控制策略避免计算目标需求功率的后验概率分布,优化控制策略不必依赖事先已知的工况.仿真和实验结果表明本文所建议的控制策略在降低氢耗,提高母线输出电压稳定性以及电池电能合理使用方面的有效性.

由于影响燃料电池性能的因素多,目前燃料电池还缺乏准确的数学模型,而燃料电池又是整车能量的主要来源,未来研究目标将围绕以下问题做深入研究:

1) 如何让本文建议的控制策略在任何工况下都具有良好的优化性能和稳定性能;

2) 燃料电池动态模型建立.燃料电池工作过程复杂,能量输出受氢气流量、空气流量、气体压力湿度、温度、电池老化等因素影响,如何建立燃料电池动态模型是实现动力控制和能量优化管理的前提和基础;

3) 燃料电池汽车动力系统控制和能量优化管理策略设计.避免基于规则和基于模型预测控制策略的缺点,依赖部分车辆观察量的输入,吸取优化控制策略的优点进行控制策略设计.