基于Q-learning的混合动力汽车能量管理策略

【摘" 要】随着能源与环境问题的日益突出，对混合动力汽车进行研究具有重要的意义。作为一种多能源汽车，能量管理和分配策略是提高混合动力汽车燃油经济性及降低排放的关键。混合动力汽车由内燃机和电池两种不同的动力源驱动，对于给定的功率需求，如何分配两种动力源的输出功率，使得整个循环的耗油量达到最小是混合动力系统控制需要解决的问题。文章以Q学习全局优化算法为基础，对整车能量进行分配，并获得发动机和电机的最优转矩，在保持电池荷电状态平衡的同时，提高整车的燃油经济性。使用MATLAB/Simulink并在NEDC循环工况下进行仿真分析，得到的结论为混合动力汽车的油耗为4.627L/km，相对于传统小型汽车6.88L/100km，降幅为32.75%。

【关键词】能量管理；Q-learning；混合动力汽车；燃油经济性

中图分类号：U469.72" " 文献标识码：A" " 文章编号：1003-8639（ 2024 ）08-0024-04

Energy Management Strategy of Hybrid Electric Vehicle Based on Q-learning

YOU jie

（Chongqing Jiao Tong University，Chongqing 400074）

【Abstract】With the increasing problems of energy and environment，it is of great significance to study hybrid electric vehicles. As a multi-energy vehicle，energy management and distribution strategy is the key to improve fuel economy and reduce emissions of hybrid electric vehicles. Hybrid electric vehicle is driven by two different power sources，internal combustion engine and battery. For a given power demand，how to allocate the output power of the two power sources to minimize the fuel consumption of the whole cycle is a problem that needs to be solved by the control of hybrid electric power system. Based on Q learning global optimization algorithm，this paper distributes the energy of the vehicle，obtains the optimal torque of the engine and motor，and improves the fuel economy of the vehicle while maintaining the balance of battery charging state. Under NEDC cycle condition，MATLAB/Simulink was used for simulation analysis. The results showed that fuel consumption of hybrid electric vehicle was 4.627L /km，which decreased by 32.75% compared with 6.88L/100km of traditional small cars.

【Key words】energy management；Q-learning；hybrid electric vehicles；fuel economy

1" 引言

随着社会发展，人们对产品的要求越来越高。混合动力汽车体现出了燃油效率高、价格实惠、节能高效、绿色环保、续航里程长和充电设施完善的优势，可以更好地满足人们的要求，在众多产品中脱颖而出，并在产品的技术研发过程中引起了广泛关注。由多个动力源所组成的传动系统可单独或共同为混合动力汽车提供动力，而动力源中能量流的有效管理对整车性能的提升有着至关重要的作用。

首先，基于逻辑规则的控制策略是一种常见的控制策略，它通过设定一系列的门限值来控制混合动力汽车的能量管理。当满足特定的条件时，系统会根据设定的门限值来执行相应的操作。模糊控制策略则是一种处理不确定性、非线性系统的有效方法，它通过将输入的变量模糊化[1-3]，并根据模糊规则进行推理，最终输出模糊决策结果。这种控制策略的优点在于能够处理不确定性和非线性问题，因此得到了广泛应用。神经网络控制策略[4]则是利用人工神经网络来对混合动力汽车进行能量管理，通过训练神经网络，使其能够根据输入的参数输出最优的能量管理方案。

其次，瞬时优化控制策略[5]也被广泛应用于混合动力汽车中。这种策略通过在每个时刻都优化混合动力系统的性能，以实现全局的最优性能。虽然这种策略能够得到最优的控制性能，但是由于计算量大，控制复杂，因此在实际应用中存在一定的难度。

最后，全局最优控制策略也被用于混合动力汽车的能量管理。这种策略通过预知行驶循环来得到混合动力系统的最优性能。虽然这种策略能够得到最优的性能，但是需要预知行驶循环[6-8]，因此在实际应用中存在一定的局限性。不过，对全局最优控制策略的仿真结果进行分析，可以为混合动力汽车的能量管理策略设计[9-10]提供有价值的参考。

综上所述，这3种能量管理策略各有优缺点，在实际应用中需要根据具体情况选择合适的策略，从而使混合动力汽车的性能得到显著提升。本文采用Q学习算法对混合动力汽车的性能进行优化，并在MATLAB/Simulink建立前向仿真模型，模拟驾驶员的行为，将Q学习的优化结果嵌套入Simulink中进行仿真分析。

2" 并联式混合动力汽车动力系统

2.1" 动力系统结构

单轴并联式混合动力汽车动力结构如图1所示。整车动力系统主要由车轮、传动系、电机、离合器、发动机和电池组构成。单轴并联式动力系统的特点是：电机和发动机都具有独立提供动力驱动车辆行驶的能力，并且发动机可以像传统汽车一样通过传动系统直接驱动车辆，或带动电机向电池组充电。

分析图1车辆结构，可以看出其结构与传统的汽车结构大致相同，发动机通过传动系统与驱动桥直接连接，减少了皮带或齿轮的能量损耗，能量利用率得到提高；与传统汽车相比，具有多种运行模式；电机提供动力进行辅助行驶，因而可以选择功率较小的电机和发动机；采用与传统车辆结构类似的车辆结构，可降低研发设计成本，提高利润。

2.2" 工作模式

该车的两套驱动系统都可以为车辆提供动力，既可以实现独立工作，又可以实现共同工作，同时电机不仅可以作为驱动电动机使用，还可以当作发电机使用。由于发动机和电机在不同工况下的工作效率不同，为了发挥出该车的优点，应采用与行驶工况相适应的工作模式来适应不同的车辆运行工况，在满足车辆动力性要求的前提下，提高燃油经济性和降低排放，减少能源消耗。并联式混合动力汽车工作模式根据车辆所行驶工况和能量分配管理策略可分为5种驱动模式，分别为：纯电动模式、发动机驱动模式、行车充电模式、混合驱动模式、再生制动模式。

3" 并联式混合动力系统数学模型

能量管理策略是混合动力汽车整车控制系统的重要问题之一，与整车系统的各个部件都有着密不可分的联系，其中最主要的是动力源模型、传动系统模型和整车纵向动力学模型。对动力系统主要部件进行建模，主要有试验建模和理论建模两种方式。试验建模是摸清物理现象本质的一种有效手段，通过进行试验采集数据的方法，测得系统的输入变量与输出变量之间的关系；理论建模想要得到表示该过程的各个变量之间的关系，就需要通过化学、物理等基本理论对某一过程机理进行深入研究和分析，从而推出其数学关系。采用ADVISOR仿真软件中的试验数据，在MATLAB平台中分别对整车各个部件进行建模。

3.1" 发动机模型

通过进行发动机特性试验并建立发动机模型，得到该试验数据，表示出燃油消耗率、发动机转速和发动机扭矩这三者之间的关系，即发动机燃油消耗数值模型fb（ωb，Te），如图2所示。同时建立发动机稳态转矩数值模型，如图3所示。

3.2" 电机模型

在并联式混合动力汽车的研究中，采用永磁同步电机作为驱动电机。电机模型为功率输出的核心部分，它连接着动力源和车轮，负责将发动机的动能有效地传递给车辆，使其行驶，得出其电机功率，公式如下：

Pm=Tm nm/ηm" "Tmgt;0

Tm nm ηm" "Tmlt;0（1）

式中：Pm——电机功率，kW；Tm——电机转矩，N·m；nm——电机转速，r/min；ηm——电机效率，%。

通过电机性能测试获得试验数据，运用插值法得到电机的瞬时效率。电机效率模型如图4所示。

通过电机模型的建立和试验数据的验证，可以更加准确地模拟该类型汽车的动力性能，为后续的优化设计和性能提升提供重要的理论依据。

3.3" 电池模型

电池作为电动汽车的能量源，其性能对整车性能有着至关重要的影响。通过一系列电池性能试验，建立了电池的电动势和内阻模型。

ESOC=E0+∑15EiSOCi（2）

RSOC=δ0（R0+∑16λiSOCi）（3）

式中：ESOC——当前状态下的电动势，V；RSOC——当前状态下的内阻，Ω；R0——电池的内阻系数；E0——电池电动常数拟合系数，V；SOC——电池的荷电状态；δ0——内阻随电流变化的补偿系数；λi——拟合系数；Ei——第i个电池的电动势。

电池SOC计算过程为：

SOC（t+1）=SOC（t）-I（t）/Qbat（4）

I（t）=（5）

ΔSOC=-（6）

式中：I——电池电流，A；Qbat——电池容量，A·h；Pbat——电池功率，kW。

此外还可以通过电池的充放电试验数据，结合电池容量和电池功率的关系，计算出电池的荷电状态。

通过电池模型的建立，可以更准确地模拟电池的工作状态，预测电池的能量输出和储能能力，为电动汽车的性能优化提供理论依据。

3.4" 整车纵向动力学模型

为了全面研究并联式混合动力电动汽车性能，建立了整车纵向动力学模型。这个模型能够描述车辆在行驶过程中的位置、速度、加速度等参数的变化关系。

式中：si、vi、mi、ai——第i辆车的位置、速度、质量和加速度；A——汽车迎风面积，m2；Fi——驱动力或制动力，N；CD——空气阻力系数；μ——滚动阻力系数；g——重力加速度，m/s；θ——道路坡度，°。

3.5" 车辆系统参数

混合动力系统参数见表1。

4" Q-learning算法

Q-learning算法是一种基于迭代的强化学习算法，通过不断更新状态-动作值函数来逼近最优策略。具体算法流程可大致分为如下几个步骤。

1）初始化状态-动作值函数Q（s，a）为任意值。

2）动作策略：开始一个无限循环，在每一个循环中执行以下步骤。

①根据当前状态s和探索率ε，以概率ε随机选择一个动作a，以概率1-ε选择当前状态下最优的Q值对应的动作。

②执行动作a，并观察新的状态s和奖励r。

③更新状态-动作值函数：

Q（s，a）←Q（s，a）+α[r+γminQ（s，a'）-Q（s，a）]（10）

式中：α——学习率；γ——折扣因子。

3）当算法收敛或达到预设的迭代次数时，结束循环。

4）根据最终的状态-动作值函数Q（s，a），为每个状态选择最优的Q值对应的动作作为最优策略。通过不断地迭代更新状态-动作值函数，Q-learning算法可以逐渐逼近最优策略，并在新状态下选择最优的动作。这种方法在许多实际应用中都取得了良好的效果，其中在混合动力汽车中得到了很好的应用。Q学习能量策略流程如图5所示。

5" 仿真结果分析

本文采用NEDC循环工况（图6）作为仿真工况，它由4个ECE和1个EUDC组成。

为了验证动态规划全局优化能量管理策略，在MATLAB中采用M文件编写动态规划计算程序、状态转移函数以及瞬时代价函数。选取新欧洲标准循环工况（New European Driving Cycle，NEDC）进行仿真，然后再把优化出的转矩结果嵌入Simulink模型中，进行仿真分析。在驾驶员模型内，使用传统的PID控制来对车速进行跟随，模拟驾驶员的行为，其输入为目标车速与实际车速之差，其输出为油门和制动踏板开度，进而控制发动机和电机的输出转矩。电机输出转矩曲线如图7所示，发动机输出转矩曲线如图8所示。

根据NEDC循环工况的试验结果可以看出，基于Q-Learning的能量管理策略可以调节混合动力系统的输出，使得混合动力汽车在实际运行工况时可以通过发动机和电机的输出转矩来满足需求转矩，让目标工况与混合动力汽车的实际运行工况相符合。

图9为发动机燃油消耗量在整个NEDC循环工况下的累计曲线图，整体呈现阶梯式增加，保持水平的部分为整车处在电动模式或者回馈制动模式。图10为电池SOC变化曲线，可以看出整个循环工况下SOC波动范围小，处于允许波动的范围内，并基本维持在[0.5，0.6]之间，电池工作效率高。循环工况结束时，SOCend=0.54与初始值0.6较为接近，想要更一步接近初始值，需要加入代价函数。

6" 结束语

本文提出基于Q-Learning的混合动力汽车能量管理策略，采用Q-Learning算法离线优化出发动机，在Simulink仿真模型中导入电机最优转矩表，然后建立离线仿真模型，将实际工况与模拟工况进行PID调节。从仿真结果可以看出，全局优化能量管理策略在基于Q学习的情况下，表现出良好的状态，在NEDC循环工况下的油耗为0.42L，油耗为4.62L/100 km，相对于传统燃油车具有更好的燃油经济性。

参考文献：

[1] Javier Solano Martínez a，Robert I. John b，Daniel Hissel a，et al. A survey-based type-2 fuzzy logic system for energy management in hybrid electrical vehicles[J]. Information Sciences，2012，190（3）：192-207.

[2] Schouten N J，Salman M A，Kheir N A. Energy management strategies for parallel hybrid vehicles using fuzzy logic[J]. Control Engineering Practice，2003，11（2）：171-177.

[3] Li S G，Sharkh S M，Walsh F C，et al. Energy and Battery Management of a Plug-In Series Hybrid Electric Vehicle Using Fuzzy Logic[J]. IEEE Transactions on Vehicular Technology，2011，60（8）：3571-3585.

[4] Zhu Dongbin，Wang Xiyang，Li Yanwen. Research Progress of Energy Management Strategy for Hybrid Electric Vehicles[J]. Machinery Design amp; Manufacture，2020（3）：293-296.

[5] 王锋，冒晓建，卓斌. ISG并联混合动力轿车最优转矩分配策略[J]. 重庆大学学报（自然科学版），2008，31（5）：499-504.

[6] Liu J，Peng H. Modeling and control of a power-split hybrid vehicle[J]. IEEE transactions on control systems technology，2008，16（6）：1242-1251.

[7] Pérez L V，Bossio G R，Moitre D，et al. Optimization of power management in an hybrid electric vehicle using dynamic programming[J]. Mathematics and Computers in Simulation，2006，73（1）：244-254.

[8] Johannesson L，Asbogard M，Egardt B. Assessing the potential of predictive control for hybrid vehicle powertrains using stochastic dynamic programming[J]. IEEE Transactions on Intelligent Transportation Systems，2007，8（1）：71-83.

[9] Shams-Zahraei M，Kouzani A Z，Kutter S，et al. Integrated thermal and energy management of plug-in hybrid electric vehicles[J]. Journal of power sources，2012（216）：237-248.

[10] Liu J. Modeling Configuration and Control Optimization of Power-split Hybrid Vehicles[D]. USA：The University of Michigan，2007.

（编辑" 杨凯麟）