协同进化遗传算法在电力市场ACE仿真中的应用

刘故帅，胡新刚，刘金刚，张 扬，王 欣

（国网山东省电力公司淄博供电公司，山东 淄博 255032）

0 引言

随着电力增量市场开放程度的进一步深化，电能供应者将发生巨大的变化。同时，更多的电动汽车（Electrical Vehicle，EV）参与到电力市场交易中，使得电力市场的交易策略发生了相应的变化［1］。

目前，电能交易合同将在具有签订潜力的多个交易方之间进行高频次（约每天几次）的谈判［2］，该谈判是在当地的用电需求和电能余量的基础上进行的。实践表明基于代理的计算经济学 （Agent-based Computational Economics，ACE）可以很好地仿真多个交易方之间的交易过程［3］。而市场参与者中的小余量个体（例如某时刻单台EV的可交易容量）几乎不会手动处理多代理系统 （Multi-agent System，MAS）因其自主性将会是用户很好的选择［4］。关于EV的研究主要集中在EV充电站优化布局［5-6］及EV优化调度［7］和对电网安全运行的方面［8］，关于 EV 在电力市场中的供用电角色演变的相关文献主要停留在研究大规模EV充放电对配网的峰谷差的影响层次上，较少涉及EV参与电力市场后的交易策略仿真研究。MAS应用方面，文献［9］将MAS应用于主动配电网中进行分布式电源自治分析，文献［10］则从主动配电网故障诊断角度给出了MAS的应用方法。MAS在EV中的应用方面，文献［11］通过Agent机构实现了EV的充放电控制，但是没有分析EV对电力市场的影响。目前，基于MAS的EV参与电力市场交易仿真的研究较少。

在V2G模式下，建立电力市场ACE三方交易仿真模型，并通过协同进化遗传算法实现了多个交易方的市场博弈纳什均衡。创新之处在于适应了少数交易方和随机博弈对电力市场交易问题的影响，便于对交易各方的博弈策略进行建模，并通过市场均衡价格的波动来评价交易策略的优劣。

1 V2G模式下电力市场特性分析

1.1 MAS基本架构

MAS的架构体系分为3层，下层是由EV组成的代理 EVA（Electric Vehicle Agent），中层是基于配网线路节点的代理NA（Node Agent），上层是基于母线的代理BA（Bus Agent）。一定区域内的EV由同一个EVA代理，同理，几个地理相近的、负荷特性相同的用户负荷节点由同一个NA代理，同一母线引出的分支线由同一个BA代理。同一层Agent之间时刻进行信息交互，Agent除收集被代理方的数据外，还为各交易方提供在谈判轮次中可能采取的行为制定电力策略，各级Agent将电价策略上传至MAS交易中心进行博弈，MAS交易中心统筹决策，并及时将市场交易信息反馈至各级Agent。MAS基本架构如图1所示。

图1 MAS的构架

两种不同类型的供电方，即电网公司和EV群，两者采用不同的价格策略，前者采用固定但价格更高的策略，而后者为用户提供更便宜但是价格变化的策略。这使得电力市场的价格场景更加复杂。通过简化交易方的基本元素建立ACE仿真模型，使得这种复杂的电力市场环境与博弈论联系起来。

1.2 电力市场特性分析

电力市场ACE仿真存在大量的多方并行交互博弈行为，而MAS是研究并行交易的有效工具。新电改背景下电力市场呈现出新的竞争姿态，其中EV的并网交易具有电力市场参与者的一般特性［12］。

1）主动性：EVA等各级Agent在电力市场交易过程中主动理性的追求自身效益最大化。

2）社会能力：EVA等各级Agent在MAS交易中心的决策调控引导下互相影响、互相制约，具有一定的社会属性。

3）动态学习能力：在不同时间节点，各级Agent根据电力市场实时交易信息主动修改自身策略以适应最优效益的约束。

电力市场是高度开放的，社会资本（包括EV群）在满足准入规则的前提下可以参与电力市场交易。基于Agent的电力市场仿真的基本思想是通过简化市场参与者的基本要素，模拟实际电力市场的交易过程，每个供电Agent的目标是经济效益，用户Agent则是设法获取满足自身能量需求的最低电价合同，每个市场参与者将自己的目标下达给Agent后，MAS能够自动完成交易。

2 电力市场ACE仿真

2.1 ACE仿真模型

ACE是通过Agent的方式为电力市场各成员实现自身经济最优，并在计算机上仿真以获取交易决策。

基于博弈论建立ACE仿真模型，博弈的参与者是电网公司、EV群和用户，交易时间设为1天，交易间隔设为60 min，假设博弈过程中各方之间的交易信息公开且互相之间不进行商议，即本模型为完全信息的非合作动态模型。各方独立参与博弈直至达到纳什均衡状态，即任一交易方改变自身电价策略都将使其收益减少。

智能Agent的谈判程序和平衡规则：第1步，需要通过收集每个用户的负荷需求信息和EV群的电能余量预测值，避免大量无用的电能生产；第2步，NA按照地理位置的远近，优先选择距离近且价格低的供电方，交易策略选定后EVA仍然剩余的电量上传至电网公司，若由于上传剩余电量所产生的收益小于成本时则算作弃能损耗，并计入EVA的成本中，弃能损耗成本系数用表示，其单位是元/kWh，直至遍历所有供电方；第3步，若此时NA的用电需求还没有被满足，则由电网公司提供需求缺额［13］。

2.2 电力市场成员仿真

2.2.1 EV群收益模型

模型假设：1）充电桩均可双向充放电；2）EV车主为理性人，即所有有电能余量的EV均参与市场交易，并将实时电能余量上传至EVA；3）电网公司实行阶梯电价，高峰时段电价pp和低谷时段电价pv均按平时段电价pu的60%上下浮动，尖峰时段电价pa按平时段电价上浮 80%［14］。

假设EV车主在每个交易日开始时保证EV充满电，EV在电力市场交易过程中通过放电套利获得的收入为

EV的放电套利行为需要电网公司提供一定的配套设施及相应服务，假设这类费用的系数为α，单位为元/kWh，则EV的支出为

定义EV的收益YEV为收入与支出的差值为

2.2.2 用户收益模型

用户在ACE仿真过程中是价格的接受者。用户的用电需求在电力市场交易过程中能否以最低电价满足自身用电需求是用户唯一关心的，EV参与电力市场交易后，用户不仅可以从传统电网购电，还可以通过EV放电套利行为获取电能。假设：1）用户负荷节点可以预测他们下一个时间间隔的负荷需求 （可以通过读取先前的用电量和目前电器的能量消耗的方法预测获得）；2）假设用户负荷节点数量为n，其中从EV群获取电量的数量为nE，从电网公司获取电量的数量为nG，满足n=nE+nG；3）根据博弈规则，假设以用户的用电需求是否得到满足作为用户满意度的重要参考，用 un，t表示。

式中：β为用户满意度系数，当用户用电需求得到满足时取1，其余情况取0。则用户的效用总值为

用户的支出费用为

式中：lG为电网公司的供电范围集合，配电网运行方式一般为开环运行，因此假设电网公司位于配电线路首端。lk为EV群k的供电范围集合，假设EV群随机分布在各个用户负荷节点附近。

定义用户的收益YNA为用户效用INA与支出的差值

2.2.3 电网公司收益模型

电网公司在电力市场交易中是电能的供应者，对接入电网的电力用户收取电费。此外，电网公司通过V2G服务向EV收入一定的服务费用。电网公司收入为

电网公司运营过程中需要承担系统运行维护、设备维修、人员管理费用及网络损耗等成本，用可微二次函数uGc表示成本与电量的关系。此外，电网公司吸纳EV群剩余电量产生的一定的支出，国家对于分布式能源并网具有一定力度的鼓励政策，假设补助系数为μ，则电网公司的总支出为

电网公司收益为

3 协同进化遗传算法在ACE仿真中的应用

协同进化遗传算法与传统遗传算法相比不再是单一种群的迭代寻优，而是多个不同种群之间的协同进化。本文有3个种群（博弈方），如图2所示，以电网公司种群迭代寻优为例说明协同进化的物理意义，即当选择电网公司最优电价策略个体时，将其与其他种群目前最优电价策略的代表构成组合策略，然后计算组合策略的适应度值，从而评判此电网公司个体策略的优劣，在每次迭代过程中，每个种群代表的策略都与其他种群代表的策略共同构成组合策略，以该组合策略所对应的适应度函数值为目标进行不断迭代。

图2 协同进化遗传算法框架

协同进化遗传算法实现步骤如下。

1）读入参数数据，信息初始化。

2）编码，采用实数编码的方法，组合策略用矩阵p表示：

3）对不同种群独立进行选择、交叉、变异等遗传算子操作，获得新的交易策略。

4）将上一次迭代产生的最优个体保留，替换掉本次迭代出现的适应度最低的个体，但上次迭代保留的最优个体也参与选择、交叉、变异的操作，即保证了群体的多样性，也避免迭代中出现的优秀个体被破坏。

5）独立计算各个种群的适应度值，通过协同进化的方式获取自身最优策略。

6）判断是否遍历所有种群，是则迭代结束，否则转入步骤3）。

4 算例

假设某地区电网面积为10 km×5 km，其中EV群3个，用户负荷节点4个（用户电量需求参考文献［13］中关于用户典型用电量的假设），电网公司1个，地理位置如图3所示。EV日行驶里程取68.49 km［16］。EV可选放电时段如图4所示。EV起始SOC正态分布如图5所示。

图3 地理位置

图4 EV可选放电时段

4.1 电价策略响应过程分析

协同进化过程可以充分体现各个市场博弈方主动追逐利益的特性，并且在各方互相牵制与互利的协同进化过程中实现纳什均衡。协同进化遗传算法代理在迭代过程中的电价分布如图6所示。

图5 EV起始SOC正态分布

图6 电价分布

图6中可以看出，在单个交易时间点内各级Agent根据电力市场情况不断调整自身报价策略，经过多轮报价撮合，不断摒弃次优点，最终各轮次报价集中在最优点附近，各交易方的报价策略趋于稳定，该过程说明，协同进化遗传算法是有效的，能够充分体现ACE过程的主动性、社会性和MAS动态学习能力。由图6中各交易方数据之间的差异性可以得出，在EV群参与下的电力市场多方博弈过程中，各交易方电价辨识度较高。

4.2 电价策略特性分析

在试验条件完全相同的情况下，分别采用协同进化遗传算法与Q-Learning算法，通过多次试验得出的平均数据如图7所示。

图7 不同代理算法的结果比较

由图7中数据可以看出，协同进化遗传算法代理模式下的市场均衡电价的各时段平均值比QLearning算法代理的高6.10%，说明协同进化遗传算法代理的报价策略可以获取更大的利润，愿意冒风险，相较而言，协同进化遗传算法的电价策略特性偏向激进型。由图7中各时段电价的变化趋势可以得出，各交易方的电价策略变化较为平稳，即在模拟的市场情景下采用协同进化遗传算法的MAS方式可以使各博弈方获取稳定的且自身利润最佳的电价策略。

4.3 EV群电价策略分析

EV群在放电套利时段具有供电方属性，在电力市场中作为交易价格的影响者。电动汽车群放电套利时段各交易方的电价策略如图8所示。

图8 电动汽车群的电价策略

图8中可以看出，达到纳什均衡时，交易电价在0.57～0.95元/kWh之间波动，各个EV群的电价策略的价格走势具有鲜明的特征且互相之间具有较高的辨识度，说明电动汽车群的放电套利可以进一步激活市场，在市场利益的引导下，各个电动汽车群互相独立地追逐自身利益，起到一定的稳定电价的作用。

5 结语

V2G模式下，基于协同进化遗传算法的ACE仿真过程具有主动性、社会能力和动态学习能力等特点。协同进化遗传算法代理的报价策略偏向于激进型，可以获取更大的利润。采用协同进化遗传算法的MAS可以帮助电力市场各博弈方更好且便捷的获取最佳交易策略。

本文未考虑MAS的通信方式及网络协议，在进一步工作中，可研究各层Agent的信息处理方式和指令控制手段，从而实现V2G模式下的以网络Agent为主环境的电力市场仿真。此外，后期将进一步考虑电网实际运行情况，结合不同算法进行对比分析。