智能电网中异构通信网络的自适应速率控制

郭起霖, 钟伟锋， 张浩川*， 张 涵， 余 荣

(1. 中国能源建设集团广东省电力设计研究院有限公司, 广州 510663； 2. 广东工业大学自动化学院, 广州 510006；3. 华南师范大学物理与电信工程学院, 广州 510006)

智能电网中异构通信网络的自适应速率控制

郭起霖1,2, 钟伟锋2， 张浩川2*， 张 涵3， 余 荣2

(1. 中国能源建设集团广东省电力设计研究院有限公司, 广州 510663； 2. 广东工业大学自动化学院, 广州 510006；3. 华南师范大学物理与电信工程学院, 广州 510006)

为了提高智能电网中家域网的传输控制协议(TCP)性能，提出一种自适应速率控制方法，利用无线局域网(WLAN)技术的通信机制提高电力线通信(PLC)的链路利用率，采用启发式动态规划，通过神经网络训练估计瓶颈链路的容量，根据应用的长期服务质量调整TCP数据包的发送速率. 仿真结果表明，该方法可以有效滤除PLC信道中冲击噪声的负面影响，其性能优于现有TCP的拥塞控制.

智能电网; 电力线通信; 无线局域网; 传输控制协议; 速率控制; 启发式动态规划

Keywords： smart grid; power line communications; wireless local area network; transmission control protocol; rate control; heuristic dynamic programming

在智能电网的分层通信架构[1]中，家域网(Home Area Networks, HANs)能够提供能量服务，包括家庭能量管理和需求响应等，同时也提供数据服务，包括宽带数字电视、多媒体共享和因特网访问等． 家域网需要高效的组网技术来支持设备连接的便利性和庞大的通信量． 家域网中主要的无线组网技术有IEEE 802.11无线局域网(Wireless Local Area Networks,WLAN)[2]和IEEE 802.15无线个人域网(Wireless Personal Area Networks,WPAN)[3]． 而电力线通信(Power Line Communications,PLC)技术则是家域网中典型的有线组网技术． PLC技术利用电力线作为媒介进行数据传输，在智能电网中有巨大的应用潜力[4]． 而PLC与WLAN结合则是一种混合的组网方案[5-6]，可增大通信覆盖范围，便于移动设备接入．

无论对于无线或有线网络，绝大部分应用都在传输层采用传输控制协议(Transmission Control Protocol, TCP)． 现有的TCP能提供可靠的端到端的通信，但其性能依赖于无差错信道． 然而电力线和无线信道都属于差错信道． 特别是电力线，其信道的噪声具有频率选择性和冲击性的特点，不同于无线信道的高斯白噪声[4]． 所以，TCP数据传输在异构的PLC/WLAN家域网中，会出现较差的通信质量，如吞吐量低、延时高等．

针对在异构的PLC/WLAN家域网中传输TCP数据的问题，本文提出一种自适应速率控制方法． 该控制方法利用WLAN的通信机制，实现基于启发式动态规划的集中式控制，可以提高PLC的链路利用率，同时有效滤除PLC信道中冲击噪声的负面影响．

1 系统模型

家域网的用户包括用电负载和移动设备(图1)，用电负载通过电力线获得电能和传输数据． 这里考虑用电负载采用用户数据报协议(User Datagram Protocol, UDP)，无拥塞控制． 移动设备通过接入点(Access Point, AP)访问因特网，采用TCP协议． PLC和WLAN的信道质量都是时变且易出差错． 无线信道的带宽随时间抖动． 电力线信道的噪声包括背景噪声和冲击噪声． 背景噪声与工作中的用电负载有关． 文献[7]用排队模型来描述噪声源的个数． 用电负载的开关会改变PLC网络拓扑并产生冲击噪声． 冲击噪声幅值很大，足以抹去数据块． 文献[8]用马尔可夫链来描述冲击噪声的到达． 因为PLC信道质量较差，PLC链路是瓶颈链路．

图1 异构PLC/WLAN家域网

移动设备作为TCP数据的发送端，速率控制器在AP上实现，根据应用的长期服务质量(Quality of Service, QOS)，控制每个TCP流的发送速率． 所以，发送端需要上报其QOS水平给AP，然后AP计算各个TCP流的速率． 发送端根据AP计算得到的速率和实际需求调整自身的实际发送速率． 此过程可在WLAN中实现． 用户发送数据给AP前，必须先发送RTS包． 然后AP回复1个CTS包，允许或禁止用户的数据发送． 因此，通过修改RTS和CTS，可以实现速率控制所需要的信息交换[9]． 基于发送端的反馈信息，控制器能通过在线学习估计瓶颈链路的容量，从而控制发送速率最大化链路利用率，提高应用QOS．

2 问题描述

2.1 网络状态

整个速率控制过程划分为一连串阶段，记为k=1,2,…． 阶段数有无限个． 每个阶段里有T个时隙． 每个时隙记为t(t=1,2,…,T)． 1个时隙的长度是1个循环时间(Round Trip Time, RTT)． 发送端记为n(n=1,2,…,N)． 发送端有应用程序产生并发送TCP数据包． 用Rn(k)和Dn(k)表示应用的参数．Rn(k)表示在阶段k发送端n的数据生成速率．Dn(k)表示数据的延时期限． 在发送端，数据产生后在缓冲区内排队． 如果有些数据包的排队时间超过了延时期限，那么这些数据包就被认为超时并丢弃． 超时数据包数量和丢包率作为应用QOS的度量．

(1)

(2)

(3)

(4)

(5)

2.2 控制决策

每个发送端都会有一个当前的发送速率． 通过速率控制，在下一阶段发送端n的发送速率为

(6)

其中，Δrn(k)是速率控制器对发送端n的控制量． 基于网络状态x(k)，速率控制器给出一个控制决策r(k)最小化系统代价． 定义阶段k的控制决策为

r(k)={Δrn(k)|n=1,…,N}.

(7)

发送端的实际发送速率取决于分配得到的速率和当前的需求，即

(8)

2.3 代价函数

定义代价函数与应用的QOS水平有关，表示为

(9)

此代价函数表示为阶段k应用的QOS下降量． 定义系统代价为整个控制过程中应用的长期QOS下降量

(10)

其中，γ(0≤γ≤1)为折扣因子． 当γ=0时，只考虑当前阶段的代价；当γ=1时，所有未来阶段的代价都同等重要． 速率控制器的目标就是计算得到一个优化的控制策略{r*(k),r*(k+1),…}，从而得到整个控制过程中最小的系统代价J*(k)．

3 启发式动态规划

根据Bellman最优性原理，阶段k的最优系统代价表示为

(11)

阶段k的最优控制决策表示为

r*(k)=argmin[C(k)+γJ*(k+1)]，

(12)

通过最小化紧接下来的系统代价，从而最小化所有阶段代价的总和． 但由于庞大的状态空间和决策阶段数量的增多，采用传统的动态规划会造成维数灾难，计算机无法承受如此巨大的计算量． 故采用启发式动态规划(Heuristic Dynamic Programming, HDP)来估计未来长期的系统代价． 故第k阶段的控制决策表示为

(13)

3.1 HDP结构

HDP结构是自适应动态规划中一种常见基本结构[10]，包含执行网络、模型网络和评价网络(图2)． 采用BP神经网络实现各个网络的功能．

图2 启发式动态规划结构

3.2 执行网络

(14)

Wa(k+1)=Wa(k)+ΔWa(k)，

(15)

其中，la(k)是执行网络的学习率，Wa(k)是执行网络的权重参数． 每个阶段，执行网络以最小化评价网络的输出为目标，更新一次网络权重． 执行网络与评价网络一起进行在线网络训练．

3.3 模型网络

(16)

(17)

其中，x(k+1)是模型网络的期望输出值． 所以模型网络的权重更新公式为

(18)

Wm(k+1)=Wm(k)+ΔWm(k)，

(19)

其中，lm(k)和Wm(k)分别是模型网络的学习率和权重参数． 为保证HDP的控制性能，在进行速率控制之前，先完成模型网络的离线训练．

3.4 评价网络

(20)

当Ec(k)=0时，有

(21)

由式(21)得到了式(10)，即实际的系统代价． 因此，最小化式(20)，可在下一个时段得到近似的系统代价． 所以评价网络的权重更新公式为

(22)

Wc(k+1)=Wc(k)+ΔWc(k)，

(23)

其中，lc(k)和Wc(k)分别是评价网络的学习率和权重参数． 通过评价网络训练，可以估计出速率控制过程中应用的长期QOS下降量．

4 仿真与分析

4.1 仿真设定

考虑图1的PLC/WLAN家域网结构． 有10个用电负载，发送UDP数据包． 有10个移动设备，发送TCP数据包． 每个UDP流的发送速率恒定，为25 kB/s，且不受速率控制． WLAN链路最大带宽为30 MB/s． PLC链路最大宽带为12 MB/s． 链路实际宽带受噪声影响． 1个TCP数据包大小为1 kB． 数据包排队延时期限为10 ms． 仿真中TCP发送端有不同数据生成速率． 1个阶段为100 ms． 对于PLC链路噪声，有20个冲击噪声源，用排队模型[5]描述其到达率． 冲击噪声源的打开时间是随机的，用泊松过程描述冲击噪声的到达，平均到达率为每阶段1个，1次仿真实验为10 s．

4.2 收敛性能

首先给出HDP方法的收敛性能． 执行网络和评价网络的学习率分别为la(t)=0.02和lc(t)=0.001． 折扣因子为γ=0.9． 评价网络的输出曲线如图3所示． 可见，在速率控制过程中，系统代价的估计值收敛至最小值水平． 说明自适应速率控制方法能通过在线学习，得到近似最优的速率控制策略，最小化应用长期QOS下降量． 图3中曲线的波动由链路中的噪声所导致．

图3 评价网络的输出曲线

4.3 速率控制性能

不同场景下采用不同控制方法，将自适应速率控制与现有的TCP拥塞控制进行比较(图4)． 设有3个仿真场景． 场景1：设PLC和WLAN都是无差错信道，在图4中用点线表示． 场景2：PLC信道存在背景噪声，同时也考虑WLAN链路带宽的抖动，用虚线表示． 场景3：在场景2的基础上，在PLC信道中加入了冲击噪声，用实线表示． 图4横坐标是发送端数据生成并进入缓冲区的速率，称为源速率．

基于HDP的自适应速率控制比传统TCP获得更高的链路吞吐量(图4A)． 因为在自适应速率控制中，可以通过神经网络训练来估计瓶颈链路的容量． 控制器可控制发送速率匹配瓶颈链路容量． 而传统的TCP拥塞控制采用AIMD算法，使发送速率波动而减少了吞吐量． 在场景2，背景噪声减少了链路的平均带宽，所以也减小了链路的吞吐量． 在场景3，冲击噪声会抹去数据块，导致数据包的重传． 所以有效的吞吐量会进一步减小．

图4 不同控制方法下的速率控制性能

因为自适应速率控制能获得更高的吞吐量，所以其对应的数据包延时和超时数据包数量都有所下降(图4B、C)． 值得注意的是，基于HDP的自适应速率控制在场景2与场景3下的性能几乎一样． 而传统的TCP拥塞控制在场景3的性能明显比场景2的更差． 冲击噪声破坏数据块，导致数据包重传． 在TCP拥塞控制中，丢包的原因会被认为是网络拥塞，并降低发送速率以避免拥塞． 然而，自适应速率控制方法通过神经网络训练估计瓶颈链路的容量，能够辨别冲击噪声所造成的丢包． 所以丢包后只会重传，不会减低发送速率． 故自适应速率控制方法有效地过滤了PLC信道中冲击噪声的影响．

5 结论

为了提高PLC/WLAN异构家域网中TCP传输性能，提出一种自适应速率控制方法． 该控制方法利用WLAN的通信机制提高PLC的链路利用率，采用启发式动态规划，通过神经网络训练估计瓶颈链路的容量，根据应用的长期QOS调整发送速率． 仿真结果表明，该方法可以有效滤除PLC信道中冲击噪声的负面影响，提高应用的QOS，其性能优于现有的TCP拥塞控制．

[1] YU R,ZHANG Y,GJESSING S,et al. Cognitive radio based hierarchical communications infrastructure for smart grid[J]. IEEE Network,2011,25(5):6-14.

[2] IEEE. 802.11 working group for wireless local Area networks[CP/OL]. [2015-07-01]. http://grouper.ieee.org/groups/802/11.

[3] IEEE. 802.15 working group for wireless personal area networks[CP/OL]. [2015-07-01]. http://grouper.ieee.org/groups/802/15.

[4] PAVLIDOU N,VINCK A J H,YAZDANIJ,et al. Power line communications:state of the art and future trends[J]. IEEE Communications Magazine,2003,41(4):34-40.

[5] MUNIZ A,TSUKAMOTO K,KAWAHARA K,et al. An effectiveness evaluation of PLC/WLAN cooperative transmission scheme under practical network environment[C]//International Conference on Network-Based Information Systems. Salerno:IEEE,2014:438-443.

[6] MUNIZ A,TSUKAMOTO K,KAWAHARAK,et al. Cooperative transmission scheme between PLC and WLAN to improve TCP performance[C]//2013 IEEE Pacific Rim Conference on Communications,Computers and Signal Processing (PACRIM). Victoria:IEEE,2013:142-147.

[7] YOON S G,BAHK S. Adaptive rate control and contention window-size adjustment for power-line communication[J]. IEEE Transactions on Power Delivery,2011,26(2):809-816.

[8] ZIMMERMANN M,DOSTERT K. Analysis and modeling of impulsive noise in broad-band powerline communications[J]. IEEE Transactions on Electromagnetic Compatibility,2002,44(1):249-258.

[9] SHI K,SHU Y,FENGJ. A MAC layer congestion control mechanism in IEEE 802.11 WLANs[C]// Fourth International Conference on Communications and Networking in China (ChinaCOM 2009). Xi’an:IEEE,2009:1-5.

[10] WANG F Y,ZHANG H,LIU D. Adaptive dynamic programming:an introduction[J]. IEEE Computational Intelligence Magazine,2009,4(2):39-47.

Adaptive Rate Control in Smart Grid Heterogeneous Communications Network

GUO Qilin1,2, ZHONG Weifeng2, ZHANG Haochuan2*, ZHANG Han3, YU Rong2

(1. China Energy Engineering Group Guangdong Electric Power Design Institute Co., Ltd. Guangzhou 510663, China; 2. Faculty of Automation, Guangdong University of Technology, Guangzhou 510006, China; 3. School of Physics & Telecommunications Engineering, South China Normal University, Guangzhou 510006, China)

An adaptive rate control is proposed to improve Transmission Control Protocol (TCP) performance in the Home Area Networks (HANs) in smart grid. The proposed method exploits the communications mechanism of Wireless Local Area Network (WLAN) to improve the Power Line Communications (PLC) link utilization. The Heuristic Dynamic Programming (HDP) technique is employed to obtain the optimal rate control policy. The bottleneck link capacity is estimated by neural network training. The sending rate of TCP data packet is adapted according to the long-term quality of service (QOS) of applications. Simulation results illustrate that the proposed method effectively filters out the negative impact from the impulse noise in PLC channel and outperforms the existing TCP.

2015-12-22 《华南师范大学学报(自然科学版)》网址：http://journal.scnu.edu.cn/n

国家自然科学基金项目(61501127,61422201,61370159，U1201253)；广东省自然科学基金项目(2016A030313705,2014A030310347)；广东省应用型科技研发专项(2015B010129001);广东省优秀青年教师培养计划项目(YQ2013057); 广州市珠江科技新星专项项目(2014J2200097)

*通讯作者:张浩川，副教授，Email:haochuan.zhang@qq.com.

TN915.853

A

1000-5463(2017)05-0026-05

【中文责编：谭春林 英文审校：李海航】