计及用户贡献度的电动汽车主从博弈差异化充电套餐设计

王华昕，张高丽，刘 隽，孙华本，汤 波

（1. 上海电力大学 电气工程学院，上海 200090；2. 上海蔚来汽车有限公司，上海 201805）

0 引言

电力和交通行业是实现“3060”目标的主力军［1］，作为传统汽车的替代品，电动汽车EV（Electric Vehicle）作为一种需求侧的灵活资源，在参与节能减排与需求响应方面具有极大的发展潜力。依据EV用户反映制订适宜的需求响应策略，可以完善EV与智能电网的双向互动，保证电网的安全稳定运行，提高电动汽车聚合商EVA（Electric Vehicle Aggregator）的经济利益。

由于EV 车主行为差异较大并具有较强的主观性，参与需求响应时的积极性较低，加之我国大部分省份的电力公司尚未出台激励EV 用户参与需求响应市场的差异性策略，EVA 如何制定策略激励用户参与需求响应成为研究的热点。

充电电价作为EVA 引导EV 用户的重要手段，国内外学者已对其进行了相关的分析探索。在分时电价的策略下，文献［2］提出了考虑EV 移动特性的EV 最优分时充电电价定价策略；文献［3］考虑EV 用户行为模式，将积分制与分时电价进行结合。但上述文献仅从时空角度考虑用户充电行为制定分时电价，具有一定的局限性。对比之下，实时电价可以更精准地引导EV 用户。文献［4］基于实时电价的需求，探究EV 如何与充电桩匹配；文献［5］在EV 用户不愿意泄露隐私的前提下预测用户行为来制定电价策略。实时电价囿于政策和市场机制，因此仅处于理论研究层面。电价型策略使充电负荷的波动性较大，文献［6］以激励性电价为基础，提高了用户参与需求响应的积极性。

随着电力市场改革不断深化，EVA 可以聚合EV参与更多的辅助服务［7］，如绿色证书市场交易、碳排放市场交易等。文献［8］验证了EV在商业区进行绿电交易可以为EV 用户节省充电成本，同时提高了EVA的利润；文献［9］分析了充电设施参与碳市场交易的可行性，引入风险态度建立了碳交易决策模型。因此为加强用户参与车网互动的积极性，实现与智能电网的良好互动，通过引导EV用户参与多种辅助服务，改善仅通过固定的物理充电电价诱导EV用户响应积极性较低的问题。

国外为了提高EV 用户参与电网多种辅助服务的积极性，在探究充电策略的同时充分考虑了用户偏好［10］。文献［11］指出充电站要想盈利，必须采用手机服务商那样的资费方式。虽然国内针对EV 用户画像、充电套餐方面的研究比较少，但是金融行业、电信行业［12］、电力行业［13］已经针对用户画像开展了多年的研究，并且基于画像的移动套餐［14］、电力套餐［15］已经得到了广泛的应用，具有一定的借鉴意义。文献［16］采用数据挖掘技术和k-means 聚类算法对EV 进行分类，提出用户价值评价方法；文献［17］建立运营平台对EV用户进行服务，并且在充电服务模块中添加了套餐定制服务。基于上述研究，本文借助大数据技术，研究基于用户画像的多元辅助服务充电套餐，为差异化的EV用户推送精准个性化信息，极大地激励了用户参与辅助服务市场的主动性。

综合上述研究，本文从EVA、EV 用户和电网三者的角度出发，充分考虑EV 用户的响应意愿，结合客观充电特征和用户主观感知对用户进行精准画像；根据画像后的结果，为EV 用户制订合适的充电套餐。首先，针对EVA 与多元EV 用户之间的主从博弈关系进行概述，构建了主方以EVA 利润最大化为目标的套餐制定模型和从方以EV 用户效用最大化为目标的套餐决策模型；然后，设计了低谷阶梯套餐、低谷包月套餐、低谷月租套餐等多元套餐形式；最后，采用强化学习求解纳什均衡NE（Nash-Equilibrium）解。算例结果表明，针对不同用户设计精准化充电套餐可提高EV 用户对电网的贡献率，扩宽EVA的运营规模，从而实现多方互利共赢。

1 基于大数据平台的EV用户精准画像

借助大数据平台采集EV用户的相关数据，为充分保证用户隐私，采集数据前获得用户授权，并且所用数据均经过脱敏、解绑身份信息、加密等技术手段进行处理。建立标签数据库，采用机器算法对标签进行分类来完成对用户的精细化画像，增加EV用户对激励策略的匹配程度。

1.1 数据特征及数据来源

EV 用户的充电行为具备较强的主观性和随意性，海量的EV 用户数据涉及EVA 的多个业务领域，包含了静态数据、动态数据等多种数据标签形式。用于完成EV用户画像的数据来源渠道如下。

1）充电数据，来源于EVA充电管理系统。

EVA充电管理系统采集与电网联系最紧密的数据，其实时采集EV 用户的单次充电信息，即并网持续时间、充电持续时间、充电功率、单日充电负荷、充电地点、充电履约率等，同时将采集到的充电数据上传至相关数据库并进行处理，通过大数据平台挖掘生成用户月度充电信息。

2）用户数据，来源于EVA营销系统。

EVA 营销系统采集EV 用户的年龄、性别、工作、城市、车型等自然属性，这些数据可用于侧面分析EV 用户自然属性对充电套餐类型的接受程度和偏好。

3）app数据，来源于EVA的app系统。

EVA 的app 系统借助大数据平台充分挖掘EV用户行为数据，即用户浏览历史、参与活动响应情况、发表观点偏好等。通过这些数据的收集丰富用户画像的颗粒度，充分考虑用户充电满意度以及主观感知情况。

4）社会数据，来源于地图软件、气象软件。

社会数据主要是指充电站地理信息以及当地天气预报信息，通过多种平台融合可实现对用户需求的预测。

1.2 用户画像标签库的构建

全面、精准的标签体系是对EV用户进行精准画像的基础，对海量的用户数据进行清洗，然后进行相关性检验、去除冗余信息，挖掘具有行为评估能力的指标，最终建立用户画像标签库。用户画像标签库如表1所示。

表1 用户画像标签库Table 1 User portrait label library

1.3 基于大数据平台和利用层次方法的平衡迭代规约和聚类算法的电动汽车用户聚类画像

EV 用户数据具有实时性强、数量众多等特征，聚类分析方法的性能是否优良决定着用户画像的精准性。因此，本文采用利用层次方法的平衡迭代规约和聚类BIRCH（Balanced Iterative Reducing and Clustering using Hierarchies）算法完成聚类研究，与大数据平台有效结合，完成模型的并行化运行计算，从而实现对用户充电行为精准画像。

1）BIRCH算法简介。

BIRCH 算法融合了层次聚类和其他聚类算法，主要由聚类特征CF（Clustering Feature）和聚类特征树CF-Tree（Clustering Feature-Tree）构成［18］，具体说明见附录A。BIRCH 算法的特点是在聚类前可对数据进行预处理，能快速实现增量、动态数据对象的聚类分析，弥补了k-means算法聚类前需事先输入数字确定分类个数、仅适用于中小型数据库聚类的弊端。

2）BRICH算法的步骤。

（1）将所有数据样本读入内存中，建立CF-Tree。

（2）删除数据异常值后合并过于拥挤的集群，形成更加紧凑的CF-Tree。

（3）借鉴k-means 算法完成对所有CF 元组的聚类研究，分析后得到一棵性能较完善的CF-Tree，消除由于样本读入顺序造成的不合理的树结构。

（4）将步骤（3）中形成的新CF-Tree 的质心作为种子，重新分布数据到距离其最近的种子集群中；按照距离远近对所有样本点排序后进行聚类，获得可靠性较强的聚类结果。

（5）判别能否满足程序运行终止条件，若满足条件，则输出聚类结果；否则，继续更新k中心值，循环程序。

2 差异化充电套餐设计

2.1 差异化用电套餐

为充分激发EV 用户的潜在价值，增强EV 用户对电网的贡献度，EVA 提出主动激励策略-差异化充电套餐。对画像后的用户定制化推荐充电套餐［19］，以充电业务和需求响应业务作为基础套餐，碳市场业务和绿色电力市场业务作为附加套餐。灵活的充电套餐策略可以提高EV 用户与智能电网互动的积极性。EVA收入构成如图1所示。

图1 EVA收入构成图Fig.1 Revenue composition of EVA

2.2 套餐形式

借鉴移动通信资费套餐设计的思想，充分考虑EV 用户对电网的贡献度和响应积极性，将所有套餐使用时段限制为00:00—07:00、22:00—24:00，其他时段用户为保证出行需求可正常充电，但将不能享受电费优惠，拉开套餐用户与普通用户差距。收费模式可以分为动态比例收费模式-阶梯套餐、固定收费模式-包月套餐以及保底加动态收费模式-月租套餐。

1）低谷阶梯套餐。

阶梯充电套餐与传统的电力阶梯收费方式的不同之处在于，其对阶梯不采取叠加的方式，而是采取每档直接计算的方式，极大地激发了高质量用户的积极性。该类套餐的充电费用是随着充电量动态变化的，因此EVA 属于动态比例固定收费模式，此类套餐的收费IⅠ的计算公式为：

3 EVA-EV用户最优决策模型

EVA 和EV 用户2 个主体的决策行为相互影响，EVA在电力市场决策购电完成后设计充电套餐的价格，在博弈中处于领导地位；EV 用户在套餐发布后决定自身充电计划，套餐选购结果和充电响应信息将会反馈至EVA，在博弈互动中处于跟随地位。

3.1 购电成本

EVA 购电成本Ii主要来自双边和集中交易购电，如式（5）所示。

Ii=CB+CP，t=QBPB(QB)λ1+∑tQP，t PP，t(QP，t)λ2（5）

式中：CB、CP，t分别为双边交易购电成本、t时段集中交易购电成本；PB、Pp，t分别为双边交易购电价格、t时段集中交易购电价格；QB、QP，t分别为双边集中交易购电量、t时段集中交易购电量；λ1、λ2分别为双边、集中交易比例。

在中长期电力市场中通常以签订双边合约的形式购电，以减轻双方营业风险；在日前市场中通过集中交易的方式进行购电，以弥补中长期交易之外的差额。随着电力现货市场试点制度的不断完善，短期集中交易的比例逐渐增加。

3.2 售电收入

1）需求响应收益。

充电收益和需求响应收益相结合作为基础套餐部分。当用户将充电时间由高峰时刻转移至低谷时刻时，电网对EV 用户的贡献给予一定的激励，将需求响应收益融入电价，形成折扣电价的一部分。EVA的需求响应收益ID如式（6）所示。

式中：WD为需求响应的削减量，指实际EV 充电负荷与基线负荷（EV 用户没有参与需求响应时的若干相似日负荷的平均值）的差值，但在实际结算时，为充分调动用户积极性，低谷时刻充电的用户也享受该套餐优惠；VD为需求响应出清价格，根据已实施需求响应试点的情况，经济型削峰时VD=2.4 元／（kW·h），填谷时VD=0.9元／（kW·h）。

2）绿电收益。

绿电套餐作为附加套餐的部分，目标客户是热衷环保并且理解能力较强的高质量用户。各EVA通过对电网的贡献率认购不同比例的绿电，其中贡献率是指同一基准值下EVA 的充电曲线与电网绿电出力曲线的匹配程度，其计算公式如式（7）所示，各EVA的不同贡献率如图2所示。

图2 EVA的不同贡献率Fig.2 Different contribution rates of EVA

EVA通过对精准画像后的用户行为进行综合分析判断，从电力市场购买一定份额的绿电，借助大数据手段将所获得的绿色证书转移，作为用户践行环保的凭证，实现了用户的个性化需求运营。同时，缓解了国家对可再生能源资金补贴的压力，扩宽了EVA的盈利渠道。

EVA的绿电收益Ig如式（8）所示。

式中：Wg为绿电电量，根据EVA 与电网新能源出力曲线的匹配度来确定最大占比，本文套餐设计中以15%为例；Vg为每千瓦时的绿电价格，绿电价格通过在电力市场出清得到，月度套餐下选择1 个月的平均值，根据相关省份的试点情况，Vg比燃煤电价高0.044元／（kW·h）。

3）碳交易收益。

碳套餐也作为附加套餐的一部分，EVA 在EV充电的同时精准预测用户充电负荷曲线，由贡献率确定各电能种类比例，进而确定各能源的碳减排量。所认购的绿电部分认为是完全减碳的，而火电形式的电能则是将发电侧的碳排放转移至用户充电侧，相较于传统燃油车的碳减排量WC的计算公式如式（10）所示［20］。

式中：等号右侧第1 项为基期燃油汽车碳排放量，第2 项为报告期EV 充电量等效于发电机组的碳排放量；tc、td分别为EV 充电、行驶时段；θy为第y年新型项目减排量折算系数，体现社会平均碳排放水平随时间下降对减排量计算的影响；ξCpetro，ev为汽车燃油-CO2转化因子；ξev-drive，td为行驶时段td内消耗电量占上次充电电量的百分比；Hele为电能热值；ηc为充电桩充电效率；ηbatt为电池充放电效率；ηev为电动机效率；Qev，tc为充电时段tc内充电桩的充电量计量；μlossev为运输汽油损耗率；ηpetrol为石油提炼汽油平均收率；Hpetrol为汽油热值；ηfuel为发动机燃油效率；ξCgen为火电机组的燃煤-CO2转化因子；γClosstc为EV 充电时段tc内计及网损的电力煤耗系数。

综合上述两部分碳减排量，可得到各EVA 碳减排量的份额。EVA 聚合EV 用户自愿参与碳排放交易，将碳减排量出售给需要购买碳减排份额来完成减碳任务的相关机构和企业，获取一定的利润，在充分提高用户与聚合商互动黏性的同时，增加了EV在全寿命周期内的经济利益。

EVA碳交易收益IC如式（11）所示。

式中：VC为碳减排交易出清价格，根据相关试点情况取值为40元／t。

3.3 EVA目标函数

EVA 的购售电组合决策模型的数学表达如式（12）所示。

3.4 EV用户决策模型

3.4.1 EV用户效用模型

现实中的EV用户并非完全理性的人，在进行决策时容易偏离传统意义上的经济学理论做出超出预期结果的决策。采用行为经济学来评估用户的套餐选择行为具有重要意义［21］。本文以不同套餐下的自身综合用电满意度最大为目标进行套餐选择和用电方式的决策，数学表达如下：

式中：n取值1—3 分别表示低谷阶梯、低谷包月、低谷月租套餐；Ui为EV 用户i选择最优套餐的效用函数；Un，i、U′n，i、U″n，i分别为用户i选择第n类套餐中的基础套餐、附加绿色电力套餐、附加碳交易套餐时的效用函数；UBn，i、UCn，i、UDn，i分别为用户i选择第n类套餐时的充电成本满意度、充电方式满意度、外界综合影响的渗透率；ω1、ω2、ω3分别为用户综合充电效用对充电满意度、充电成本、外界影响的比重；Qmint，i、Qmaxt，i分别为t时段为满足用户i出行计划设定的最小充电量、t时段用户i电池状态下所允许充电的最大电量；Vlni为用户i初始充电成本，考虑基于固定单一电价计算；Vn，i为用户i选择第n类套餐后的充电成本；Qbeforet，i、Qd分别为用户i在t时段的初始充电量、选择第n类套餐后的第d档充电量；λn为用户对第n类套餐的偏好系数；p( )AB|A为用户在营销手段下的接受概率。

3.4.2 基于韦伯-费希纳的用户响应模型

EV 用户选择套餐的决策行为受到套餐价格、充电满意度、营销手段等多种因素的影响，在众多影响因素中，充电价格的影响较为显著。本文将韦伯-费希纳定律作为理论研究依据，构建EV用户选择套餐时的套餐价格对心理意愿影响的模型，寻找用户对套餐价格反映的阈值。当用户受到的心理影响越大、订购套餐的意愿越迫切时，对电网削峰填谷的贡献越大。因此，可以认为不同用户对套餐的订购比例是套餐价格的对数函数。

式中：K和C为常系数；Pcomp为EVA 设计的充电套餐价格。

则EVA 在低谷时刻聚合不同用户的充电量如式（19）所示，用户响应度与套餐电价之间的关系如附录B图B1所示。

式中：Prespond，t为t时段选择套餐策略响应负荷；Pt为t时段的总充电负荷。

3.5 求解算法

在求解套餐价格的主从博弈动态优化问题中，设计的套餐价格除了影响车网互动时用户的单次行为，还会长久影响用户行为，从而影响长期的收益。采用Nash-Q算法来求解这种前后时间状态耦合的动态优化问题［22］。

3.5.1 NE决策模型

本文采用主从博弈刻画EVA 和EV 用户之间的行为特征，如式（20）所示。

1）Θ、Ψ为博弈双方的参与者。其中：Θ为上层（领导者）EVA 智能体1—m的集合，EVA 会根据各用户群体充电量做出套餐定价决策；Ψ为下层用户智能体集合，用户通过选择套餐实现自身效用最大化，处于主从博弈的下层（跟随者）。

2）Ag为博弈双方参与博弈双方行为的集合，即EVA的套餐电价Pj、用户的套餐电量Qi的集合。

3）ug为博弈双方策略集，即EVA 的目标函数I（如式（12）所示）和用户的效用函数Ui（如式（14）所示）。

3.5.2 NE存在性和唯一性分析

在预学习过程中EVA 和EV 用户进行交互，最终会收敛到NE，具体的NE证明过程详见附录C。

3.5.3 Nash-Q强化学习流程

1）NE解求解流程。

求解博弈过程的关键就是求解各智能体在各时段下的NE解。快速求解某一时段的NE解的流程如附录D图D1所示。

2）Nash-Q算法。

4 算例分析

4.1 参数设置及相关场景分析

算例选取上海某EVA 10 000 辆电池容量为80～100 kW·h 的EV 充电行为实测数据，根据行为差异，按比例选取7 254 个公共桩充电用户、2 746 个家充桩用户。根据前期调研得知，目前EVA 对用户充电大多采用统一的固定电价收费模式，家充桩的收费和普通电价无异，见附录E 表E1，公共桩的收费标准见附录E 表E2。本文的激励策略是通过订购月度套餐的形式来调整EV用户充电行为。

在算例分析中，设定充电成本满意度、充电方式满意度以及综合影响的比重对用户的影响分别为0.60、0.25、0.15。通过综合评估分析，设定K=0.2276、C=1.048。本算例采用Nash-Q算法对EV 用户和EVA全部博弈过程进行求解，设置α=0.01、β=0.9。

4.2 EV用户个性化画像

4.2.1 用户个性化画像结果分析

本文采用Python 语言Sklearn 机器学习库中的BIRCH 算法进行聚类分析，选取区别性较强的充电属性标签对用户进行初步画像，得到了A、B、C 类用户，如附录E 图E1 所示，3 类用户的占比分别为23%、45%、37%。由图可知，各类用户特征比较明显。精细化画像分析结果如下。

1）A 类用户月度充电量处于较高水平，由于受到各种主客观因素的限制，较大比例的用户仍选择在白天、高峰进行充电（红色、深绿部分）；经过进一步分析可知，该部分用户充电功率较大、用户综合素质较高，更易于接受充电资费形式的转变。对于EVA 而言，这部分用户就是所寻找移峰填谷目标客户，后续应通过套餐策略激励其改变充电行为。而在低谷时期充电的用户，群体数量相差不大（深绿色、浅绿色、深蓝色部分），针对本身充电行为在低谷时刻的用户，应该维持其与电网的黏性，最大限度地发挥对电网的贡献率。

2）B 类用户在群体中占比较大，聚合充电行为在高峰（浅绿色部分），低谷（紫红色部分）的用户转移充电行为对于降低电网的峰谷率具有较大的潜力。与之相对应地，C 类用户充电量较小，由于充电时间较分散以及并网时长过长，聚合起来存在一定的难度。

进一步丰富画像颗粒度，将得到的3 类用户的用户属性、价值观属性等标签进一步聚类，最终得到的精细化聚类结果，其中A 类用户的精细化聚类结果如附录E图E2所示。

4.2.2 BIRCH与k-means算法对比分析

为验证BIRCH 算法在EV 用户画像构建中的聚类精度和收敛速度，在k-means算法中事先输入画像后的类别，将本文算法与传统k-means 算法进行对比，结果如表2 所示。由表可知，在计算时间以及聚类效果中，BIRCH 算法都略优于k-means 算法，并且随着数据增多，效果会更加明显。

表2 BIRCH算法与k-means算法的性能对比Table 2 Performance comparison between BIRCH algorithm and k-means algorithm

4.2.3 大数据平台可视化展示

本文借助大数据平台Fine BI，构建了EVA可视化展示面板，展示EV 用户对充电套餐的订购情况，如附录E 图E3 所示。EVA 可视化展示面板包括各类EV 用户对电网的贡献率模块、套餐订购影响模块、EVA盈利模块等，其通过可视化管理平台连接动态数据库，及时更新EV 用户的标签数据，实时展示各个公共站点的用户充电行为以及套餐订购情况，增强目标EV 用户与EVA 的黏性，提高参与车网互动的积极性。

4.3 Nash-Q算法分析

本文将Q算法用于线下学习阶段，需要对Q表进行预学习，学习训练数据来源于某EVA 试点项目中产生的数据。数据中包括各分档用户的充电量，以及EVA 对画像后的电量实施激励后用户的反映量。表初始值为0，将上述数据进行离散化处理，进行3轮博弈，每轮博弈80次，EVA智能体博弈的情况如图3所示。

图3 EVA竞价博弈过程Fig.3 EVA bidding game process

在完成对Q表预学习的基础上，对本文的算例概况进行分析，EVA 根据模型博弈优化后的套餐结果如表3 所示。家充桩的充电套餐价格优化过程和上述步骤是相同的，但公共桩在成本支出上有充电站建设成本和充电桩维护成本。

表3 套餐优化结果Table 3 Package optimization results

4.4 结果分析

4.4.1 EVA和EV用户对多元套餐的选择分析

通过Nash-Q算法求解多元套餐的优化价格，分析EV 用户在选择不同充电套餐时充电成本的变化及各类用户对不同套餐的偏好；同时，分析EVA 在EV 用户做出决策后的经济效益变化情况（如附录E图E4所示），具体如下。

1）对于月度充电量处于较高水平的EV用户（用户1、2）而言，选择包月套餐（套餐B）时充电成本最低，月度充电成本节省了29.42%左右，EVA 的利润增加了59.8%。该类用户的月度充电量大，选择附加套餐的比例也是相对较高的。

2）由于分时电价的低谷电价相对较低，低谷用户（用户3）节省的充电成本相对并不显著，约节省了14.4%的月度充电费用，而为了维持这部分用户，EVA 的利润下降了42.1%。因此，应主动采取策略对日高峰用户、晚高峰用户进行激励，改变充电行为，为电网平移峰谷做贡献。

3）对于月充电量处于中等的用户（用户4—6），套餐选择后充电成本下降了18.7%左右，套餐策略的激励效果会受到影响；但由于该类用户的数量较多，仍然会成为与电网互动的重要负荷。并且由EVA 的利润可知，EVA 在用户4、5选择套餐后，利润提升了约23.74%，但由于用户6 的充电行为没有改变，结算时贡献负荷不能与电网进行结算，并对充电价格进行适当的降低，使得EVA的利润有所下降。

3）对于月均充电量较少的用户（用户7、8），选择阶梯套餐（套餐A）充电费用节省17.9%左右，其原因在于：用户月度充电量少，动态比例收费模式使得用户无需缴纳固定费用；同时，该类用户对附加套餐的选择比例下降。但EVA 的利润相对于未选择套餐时有所增加。采用雷达图绘制了影响用户进行套餐决策时的效用因素，如附录E 图E5 所示。套餐制定充分考虑了消费者响应的主观意愿，对于EVA而言，剖析影响用户选择套餐时的因素，可在运营过程中实现对EV合理的引导调度。

4.4.2 套餐策略实施后性能分析

EVA 可以聚合EV 这一需求侧资源积极与电网互动，不同EV 响应度下的电网负荷曲线如图4所示。由图可见，00:00—07:00、23:00—24:00 时段电网处于用电低谷时期，11:00—21:00 时段电网负荷处于高峰时期，此时电网基础负荷的峰谷差为50 MW，峰谷差率为42%。当EV用户选择月度充电套餐策略时，改变自身充电行为，将充电负荷从晚高峰、日高峰时段转移至低谷时刻充电，平抑了电网的峰谷，避免了EV 无序充电造成的电网电能质量下降，减少了配电网基础设置的规模扩建。

图4 不同EV响应度下电网负荷曲线Fig.4 Power grid load curve under different EV responsiveness

00:00—07:00、22:00—24:00 时段内电网负荷增加了30.2 MW，A 类用户的贡献率最高，该时段负荷用电与风能出力较为相似，可以充分平衡风能这一清洁能源的出力，减少弃风现象的发生。充电高峰时段，尤其是18:00—22:00时段内削减负荷明显，减少了15.6 MW，峰谷差率优化为36%。填谷效果优于削峰效果，这是由于充电设施以及行为习惯的原因，部分EV 用户不能转移负荷。随着激励EV 数量的增多，对电网的贡献率更加明显，峰谷差率提升至30%左右达到相应阈值，同时电网的支出成本也增大。

4.5 不同算法性能分析

相比之下经由Nash-Q强化学习算法得到的EVA的长期利润更高，其最大优势在于新的环境下，可通过Q表根据历史行为进行预测做出动作决策，求解过程中对模型依赖程度较低，改善了KKT 求解方法模型因简化处理存在建模残差的不足，可以通过与环境交互中更新自身策略，降低残差对策略影响。同时该算法展现了良好的学习记忆性能，不会像遗传算法一样寻求局部最优解，在与环境互动过程中获得长远收益。

5 结论

本文基于大数据技术对规模化EV 用户进行高维精细化画像，降低了预测EV 用户充电行为的难度；探究EVA 与EV 用户之间的主从博弈关系，设计了激励与价格相结合的月度充电套餐，为EVA 聚合电动汽车参与辅助服务市场提供了新思路。研究表明，灵活的充电套餐能够在为用户节省充电成本的同时为电网削峰填谷做贡献，达到节能减排目的，实现双碳目标，通过算例得到以下结论：

1）差异化的月度充电套餐策略与传统电价策略、激励策略相比能够更好地吸引EV用户参与辅助服务，改善了对电网的贡献率，电网峰谷差率提升12%，用户月均节省22.64%的充电成本，EVA 的经济利益提高21.41%；

2）在EVA 智能体与EV 用户智能体的博弈中采用Nash-Q算法求解，能够实现与环境的互动，进行智能学习，充分保证各方利益，实现双方利益最大化。

由于算例数据存在一定的局限性，Q表仍然在不断更新中。未来伴随着相关政策的完善以及电力市场的逐渐放开，EV 所能参与的辅助服务种类会增多，下一步研究工作将扩展套餐形式，优化套餐价格，提高套餐方案的针对性，为EVA 的精准营销提供思路。

附录见本刊网络版（http：//www.epae.cn）。