基于状态转移概率的混合动力客车控制策略*

唐先智，王 波，杨树军，邸立明，夏怀成

(燕山大学车辆与能源学院，秦皇岛 066004)

2016043

基于状态转移概率的混合动力客车控制策略*

唐先智，王 波，杨树军，邸立明，夏怀成

(燕山大学车辆与能源学院，秦皇岛 066004)

建立了混合动力客车的数学模型，以及动态规划的目标函数、状态转移方程和迭代方程。提出基于状态转移概率的混合动力客车动态规划控制策略。基于状态转移概率对驾驶循环工况进行预测，使动态规划迭代过程中状态转移的燃油消耗为基于车速状态转移概率的加权平均值。改进后的控制策略可用于实时在线控制，无需预先得知驾驶循环工况，提高了动态规划的实时应用能力。台架试验结果表明，改进后的控制策略可以在线对发动机和电机所需转矩进行合理分配，使电池的电荷状态处于平衡状态且换挡平稳，优化了发动机工作点，提高了整车的燃油经济性。

混合动力汽车；状态转移概率；动态规划；控制策略

前言

整车控制策略是混合动力汽车研究的核心内容之一，其控制效果的好坏直接影响混合动力汽车的性能。最优控制是国内外学者重点研究的内容，其中，动态规划是解决离散最优控制问题最常用的算法。理论上，动态规划可达到最优控制，但目前在混合动力汽车整车控制的研究领域里，主要用于对门限值控制策略的控制门限进行优化和作为控制效果的基准对其他控制策略进行评价，并没有直接应用到整车控制中[1-7]，其主要原因是，动态规划是一种逆序计算方法，迭代从末端开始，到始端为止，逆向递推，因此需要提前预知车辆的驾驶循环工况，这在车辆实际运行过程中很难做到，所以限制了该算法在整车控制中直接在线实时应用[8-10]。

本文中提出基于状态转移概率的混合动力客车动态规划控制策略。台架试验表明，改进后的控制策略可以在线实时对整车进行控制，提高了动态规划的实时应用能力，控制效果好，可改善整车的燃油经济性。

1 混合动力客车建模

1.1 混合动力客车结构与参数

本文中以某混合动力客车为研究对象，其整车结构如图1所示，具体参数如表1所示。

图1 混合动力客车整车结构示意图

参数数值轴距5600mm质心高度560mm空车质量13000kg轮胎滚动半径520mm发动机排量4760mL发动机最大转矩702N·m发动机最大功率140kW发动机最高转速2500r/min电机最大功率40kW电机最大转矩218N·m电机最高转速5000r/min电池类型NIMH电池容量60A·h1-6挡传动比7.28;4.19;2.48;1.56;1;0.84主减速器速比6.33

1.2 混合动力客车建模

由于本文中不涉及车辆动力学的研究，只研究系统内部变量之间的关系，故将车辆模型简化为静态离散数学模型：

(1)

式中：v(k)为k时刻车速，km/h；v(k+1)为k+1时刻车速，km/h；M为车辆质量，kg；rd为车轮半径，m；Twh,k为k时刻车轮转矩，N·m；Fr为滚动阻力，N；Fa为空气阻力，N。

Twh,k=TxRdηd

(2)

式中：Tx为变速器输出转矩，N·m，x为变速器挡位，x=1,2,…,6；Rd为主减速器速比；ηd为主减速器传动效率。

Tx=Rxηx(Te+TmRcηc)

(3)

式中：Rx为变速器传动比；ηx为变速器传动效率；Te为发动机转矩，N·m；Tm为电机转矩，N·m；Rc为转矩合成器速比；ηc为转矩合成器传动效率。

本文中不考虑发动机的动态特性，因此发动机的燃油消耗静态数学模型可通过实验法简化为

Wfuel=Wfuel(Te,ωe)

(4)

式中：Wfuel为燃油消耗量，kg/h；Te为发动机转矩，N·m；ωe为发动机转速，r/min。

发动机燃油消耗可根据当前时刻发动机的转矩和转速通过发动机燃油消耗特性查表插值得出。

电机效率可根据电机效率特性查表插值获得。

ηm=ηm(Tm,ωm)

(5)

式中：ηm为电机效率；Tm为电机转矩，N·m；ωm为电机转速，r/min。

电池的电压、电流和效率都与温度有关，因此电池的建模具有一定的复杂性。为了简化模型方便计算，本文中忽略温度对电池参数的影响，电池SOC数学模型为

SOC(k+1)=SOC(k)-

(6)

式中：Uoc为电池的开路电压，V；Rint为电池的内阻，Ω；Rt为电池的终端电阻，Ω；Qmax为电池的最大电量，C。

变速器换挡数学模型为

(7)

式中：gx(k)为当前时刻挡位；gx(k+1)为下一时刻挡位；gshift(k)为换挡信号，1表示升挡，-1表示降挡，0表示维持原挡位。

2 控制策略

本文中的动态规划控制策略以燃油消耗为基本目标函数，兼顾电池电量平衡和挡位的稳定程度，对基本目标函数进行修正：

β(SOC(N+1)-SOC(f))2

(8)

式中：bfuel(k)为k时刻时这一阶段的燃油消耗，kg；gx(k)和gx(k+1)分别为k时刻和k+1时刻的挡位；SOC(N+1)为电池SOC的终值；SOC(f)为电池初始值；α和β为权重因子。

状态变量的增加会导致计算量成倍地增长，为减少计算量提高算法的实时性，应尽量减少状态变量的个数并且仍能够反映出系统的特点。混合动力汽车燃油消耗由两部分组成：一部分是发动机的燃油消耗；另一部分是消耗的电量折算出的燃油消耗。发动机的燃油消耗可由式(4)求得；电量消耗可由式(6)求得。由于本文中所研究的混合动力系统为并联结构，若车速和挡位一定，整车需求转矩和发动机与电机的转速便可求得。因此与整车的燃油消耗有关的用来迭代计算的状态变量精简为车速和电池SOC，其状态转移方程如式(1)和式(6)所示。系统的控制量显然是发动机转矩、电机转矩和变速器挡位。

为保证混合动力系统安全稳定的工作，需要对系统的一些状态量和控制量进行如下约束：

(9)

动态规划算法的核心思想是以每阶段代价函数之和(即式(8)目标函数)最小为目标，确定一组最优的控制序列。如式(10)和式(11)所示，其中x(k)为k时刻状态变量，u(k)为k时刻控制变量，x(k+1)为k+1时刻状态变量。也就是要计算出一组控制序列u(k),u(k+1),…,u(N)，使式(11)表示的代价函数值最小。

x(k+1)=f(x(k),u(k))

(10)

(11)

动态规划采用逆序迭代法，如果优化过程有N+1个状态，优化过程可分为N个阶段，则从第N阶段开始迭代，即

Q(x,u,N-1)=J(x(N-1),u(N-1))+

V(f(x(N-1),u(N-1)),N)

(12)

V(f(x(N-1),u(N-1)),N)=0

(13)

(14)

以此类推，第N-1阶段：

Q(x,u,N-2)=J(x(N-2),u(N-2))+

V(f(x(N-2),u(N-2)),N-1)

(15)

V(f(x(N-2),u(N-2)),N-1)=Q(x,u,N-1)

(16)

(17)

第k阶段(即k-1时刻到k时刻)：

Q(x,u,k-1)=J(x(k-1),u(k-1))+

V(f(x(k-1),u(k-1)),k)

(18)

V(f(x(k-1),u(k-1)),k)=Q(x,u,k)

(19)

(20)

第1阶段：

Q(x,u,0)=J(x(0),u(0))+

V(f(x(0),u(0)),1)

(21)

V(f(x(0),u(0)),1)=Q(x,u,1)

(22)

(23)

从而得出最优控制序列：

u(0),u(1),…,u(N-1)

由于动态规划采用逆序迭代法，故须在确定的驾驶循环工况下进行优化计算。由于在驾驶循环工况中，车速随时间而变化，也就是要预先知道优化过程中每一时刻的车速。由于车辆在实际运行的过程中，下一时刻的车速是未知的，因此动态规划只能用于离线优化，并且优化结果只适用于特定驾驶循环工况，不能实时应用[11-14]。

下面将对传统的动态规划进行优化。假设在未知驾驶循环工况的情况下，如果能求出车速的状态转移概率，便可预测出下一时刻不同车速出现的概率，那么系统状态转移的代价函数便可根据下一时刻车速出现的概率加权平均得到。也就是说实际迭代过程中每阶段状态转移产生的代价并非两个确定车速状态转移产生的燃油消耗，而是基于车速状态转移概率计算每种状态转移的燃油消耗的加权平均值。那么在进行逆序迭代的时候就无须预先知道驾驶循环工况，即优化过程中每一时刻的车速。因此动态规划的迭代方程可优化为

Q(x(i),u(i),l)=J(x(i),u(i))+

(24)

x(j)=x(i+1)=f(x(i),u(i))

(25)

V(x(i),l+1)=minQ(x(i),u(i),l)

(26)

u(i)∈arg minQ(x(i),u(i),L)

(27)

式中：j为在状态i下一时刻可能出现的状态，j=1,2,…,m；Pij(x)为车速从状态i到状态j的一步转移概率；δ为收敛因子，其作用是使迭代尽快收敛，0<δ<1；l为迭代次数，l=0,1,…,L。

其中状态转移概率Pij(x)是通过对我国公交客车慢速驾驶循环工况、公交客车快速驾驶循环工况、北京驾驶循环工况、上海驾驶循环工况和长春驾驶循环工况等典型驾驶循环工况进行数理统计计算得到。在计算车速转移概率的过程中用到的各种驾驶循环工况，是在混合动力客车开发过程中，检验整车性能时常用的驾驶循环工况，能够代表我国公交客车在各种运行条件下的运行特点。因此对这些驾驶循环工况进行数理统计得到的车速转移概率可以反映出我国公交客车在运行过程中车速的变化特点。Pij(x)的计算公式[15]为

(28)

式中：nij为车速从状态i转移到状态j发生的次数；nitotal为车速从状态i转移到其他状态次数的总和。

在计算车速转移概率时，首先根据以上驾驶循环工况的车速覆盖范围选取[0,1,2,3,…,60km/h]为车速的状态空间，初始车速为非整数值时，均圆整为整数车速。式(28)中的状态i和状态j为状态空间里任意一个车速。根据式(28)便可得出车速从状态i变化为状态j的概率。通过计算车速状态空间里所有车速的状态转移概率便可以得到车速的状态转移概率矩阵，如式(29)所示。在动态规划算法迭代的过程中，已知当前时刻车速的状态，便可锁定状态转移概率矩阵中的一行。这一行中的每个元素便是由当前时刻转移到下一时刻各种车速状态的概率。在动态规划算法实际迭代的过程中可以查表得到。

(29)

3 台架试验

为验证优化后控制策略的在线实时控制效果，进行了台架试验。试验台架的整体构型和动力总成参数与混合动力原型客车基本一致，如图2所示，台架整体布局如图3所示。

图2 混合动力客车台架构型示意图

图3 混合动力客车台架

图4 行驶阻力模拟装置

为模拟车辆实际运行过程中的行驶阻力，试验台架除了有与实车相同的动力总成外，还有行驶阻力模拟装置，如图4所示。用AVL公司的底盘测功机模拟行驶阻力，转速范围0-3 500r/min，恒定功率为220kW，峰值功率270kW，可进行数据采集、处理和分析。以北京动态循环工况为目标循环工况。北京动态循环工况与传统的北京循环工况相比，其动态特性更明显，是在对大量的公交客车运行数据统计的基础上得到的，既可以作为汽车动力装置选型和设计的基础，又是汽车经济性、动力性和排放性能检验的标准工况。北京动态工况历时1 925s，行程7.24km，经历20个加减速的过程，最高车速46.7km/h，可以反映出北京客车运行的特点和动态特性。图5为北京动态循环工况循环车速时间历程曲线。

图5 北京动态循环工况

在试验中由驾驶员跟随目标循环工况，检验基于状态转移概率的动态规划控制策略的控制效果。要说明的是目标循环工况只作为当前时刻系统状态的输入量。在当前时刻动态规划运算的过程中，之后时刻的系统状态是未知的，保证台架试验是实时进行的。在改进后动态规划控制策略的控制下，试验台架实际车速可以跟踪目标循环工况，并且换挡平稳，如图6所示。图7和图8为发动机和电机的工作情况，可见改进后的控制策略可以根据目标循环工况的需求在线对发动机和电机的转矩进行合理分配。图9为电池的工作情况，可见电池SOC变化较平稳。

图6 实际车速与挡位

图7 发动机工作情况

图8 电机工作情况

图9 电池工作情况

为进一步检验控制策略控制效果，对发动机的工作点进行了对比分析。图10为混合动力原型车采用的逻辑门限值控制策略的发动机工作点，图11为基于状态转移概率的动态规划控制策略的发动机工作点。图中虚线为发动机最优工作线，可以看到落到发动机最优工作线附近的工作点更多，说明基于状态转移概率的动态规划控制策略对发动机工作点的控制效果更好。

图10 逻辑门限值控制策略发动机工作点

图11 改进后控制策略发动机工作点

表2为落入发动机高效率区域的工作点的统计结果。由表可见，原型客车采用的控制策略只有30.60%的工作点落入高效率区，而基于状态转移概率的动态规划控制策略控制下的发动机有45.26%的工作点落入高效率区，提高了14.66个百分点。

表2 发动机高效区工作点对比

台架试验采用量程为60kg电子秤称量油箱质量的方法，以试验开始前和试验结束后两次读数的差值作为整个试验消耗掉的燃油量，并根据标准GB/T 19754—2005中规定的电量消耗量和燃油消耗量的换算关系，计算出等效油耗。不同控制策略燃油经济性对比结果如表3所示。由表可见，基于状态转移概率的动态规划控制策略控制的百公里等效油耗比原型客车降低了18.88%。

表3 等效油耗对比

4 结论

(1) 基于状态转移概率的混合动力客车动态规划控制策略在进行动态规划迭代的过程中可预测出下一时刻不同车速出现的概率，并且基于车速状态转移概率计算每种状态转移的燃油消耗的加权平均值。因此改进后的动态规划控制策略在进行优化计算的过程中无需提前知道驾驶循环工况，为动态规划在混合动力汽车整车控制中的在线实时应用提供了理论支撑。

(2) 台架试验证明：基于状态转移概率的混合动力客车动态规划控制策略可以在线对混合动力系统进行实时控制；能够根据目标循环工况的需求在线对发动机和电机的转矩进行合理分配，换挡平稳，电池SOC在预定的区域内基本保持平衡；相比原型混合动力客车，本控制策略可以进一步优化发动机工作点，提高整车燃油经济性。

[1] 朱道伟,谢辉,严英,等.基于道路工况自学习的混合动力城市客车控制策略动态优化[J].机械工程学报,2010,46(6):33-38.

[2] 舒红,刘文杰,袁景敏,等.混联型混合动力汽车能量管理策略优化[J].农业机械学报,2009,40(3):31-35.

[3] 邹渊,侯仕杰,韩尔樑,等.基于动态规划的混合动力商用车能量管理策略优化[J].汽车工程,2012,34(8):663-668.

[4] 浦金欢,殷承良,张建武.并联型混合动力汽车燃油经济性最优控制[J].上海交通大学学报,2006,40(6):947-951.

[5] 隗寒冰,秦大同,段志辉,等.重度混合动力汽车燃油经济性和排放多目标优化[J].汽车工程,2011,33(11):937-941.

[6] SERRAO L, ONORI S, RIZZONI G. A Comparative Analysis of Energy Management Strategies for Hybrid Electric Vehicles[J]. Journal of Dynamic Systems, Measurement, and Control,2011,133(3):1-9.

[7] MURPHEY Y L, PARK J, CHEN Z H, et al. Intelligent Hybrid Vehicle Power Control-Part I: Machine Learning of Optimal Vehicle Power[J]. IEEE Transactions on Vehicular Technology,2012,61(8):3519-3530.

[8] BIANCHI D, ROLANDO L, SERRAO L, et al. A Rule-based Strategy for a Series/Parallel Hybrid Electric Vehicle: An Approach Based on Dynamic Programming[C]. ASME 2010 Dynamic Systems and Control Conference, Cambridge, Massachusetts, USA, September 12-15,2010:507-514.

[9] KUM D, PENG H, BUCKNOR N K. Supervisory Control of Parallel Hybrid Electric Vehicles for Fuel and Emission Reduction[J]. Journal of Dynamic Systems, Measurement, and Control,2011,133(6):1-10.

[10] ZHANG C, VAHIDI A, PISU P, et al. Role of Terrain Preview in Energy Management of Hybrid Electric Vehicles[J]. IEEE Transactions on Vehicular Technology,2010,59(3):1139-1147.

[11] KIM N, CHA S, PENG H. Optimal Control of Hybrid Electric Vehicles Based on Pontryagin’s Minimum Principle[J]. IEEE Transactions on Control Systems Technology,2011,19(5):1279-1287.

[12] ZHANG C, VAHIDI A. Route Preview in Energy Management of Plug-in Hybrid Vehicles[J]. IEEE Transactions on Control Systems Technology,2012,20(2):546-553.

[13] KUTTER S, BAKER B. An Iterative Algorithm for the Global Optimal Predictive Control of Hybrid Electric Vehicles[C]. IEEE Vehicle Power and Propulsion Conference (VPPC), Chicago, IL, United States, September 6-9,2011:6043004,1-6.

[14] GENG B, MILLS J K, SUN D. Predictive Control for Plug-in Microturbine Powered Hybrid Electric Vehicles Using Telemetry Information[C]. IEEE International Conference on Robotics and Biomimetics, Phuket, Thailand, December 7-11,2011:1468-1473.

[15] DAI J. Isolated Word Recognition Using Markov Chain Models[J]. IEEE Transactions on Speech & Audio Processing,1995,3(6):458-463.

Control Strategy for Hybrid Electric Bus Based on State Transition Probability

Tang Xianzhi, Wang Bo, Yang Shujun, Di Liming & Xia Huaicheng

CollegeofVehiclesandEnergy,YanshanUniversity,Qinhuangdao066004

A mathematical model for hybrid electric bus and the objective function, state transition equations and iterative equations of dynamic programming (DP) are established and an improved DP control strategy for hybrid electric bus based on state transition probability is proposed. Driving cycle is predicted based on state transition probability, to make the fuel consumption by state transition in the process of DP iteration be the weighted mean based on the state transition probability of vehicle speed. The improved control strategy can be used for real time online control without given driving cycle, enhancing the real time application capability of DP. The results of bench test indicate that the improved control strategy can reasonably assign the required torques between engine and electric motor online, resulting in a balance of battery SOC, a smooth gear shift with the working points of engine optimized and the fuel economy of vehicle improved.

HEV; state transition probability; dynamic programming; control strategy

*国家自然科学基金青年基金(51505414)、国家自然科学基金(51175449)、河北省高等学校科学研究项目(Z2015081)、国家自然科学基金青年基金(51406174)和燕山大学博士基金项目(B794)资助。

原稿收到日期为2014年9月28日，修改稿收到日期为2014年12月28日。