基于光纤通信的新式智能电能表数据采集架构与实现

董永乐,李轩,余佳,张理放,白露薇

(内蒙古电力科学研究院,呼和浩特 010020)

0 引 言

智能用电技术作为智能电网必不可少的组成部分,在供电、发电、输变电等多个领域发挥着越来越重要的作用。2009年,美国提出智能电网计划,宣布美国家庭安装智能电能表[1-3]。随后,英法等各国也相继提出电力系统智能化方案[4]。我国近年也推出了电力光纤的试点项目,为建设智能电网奠定了基础[5]。

智能电能表是智能电网系统的一种重要设备,基于智能通信管理和信息平台,实现了远距离自动化抄表采集数据,取代了手动采集,提高了抄表效率和正确率,降低了人工成本[6-7]。我国学者针对智能电能表进行相关研究,文献[8]简述了远程费控智能电能表的功能及其应用价值;文献[9]分析了新一代智能电能表的功能定位和设计需求;文献[10]对智能电能表的关键部件进行了风险评估 。传统智能电能表受限于传输链路的复杂、通讯接入覆盖深度不够、以及电能表串口模块自身技术等诸多因素的影响,仍然存在着数据传输效率低、数据采集指标匮乏、设备在线率无法实施监控等多种弊端。究其原因是现行电能表采集模式采用的是三层结构体系,即电能表-集中器-主站系统。电能表作为用电的计量设备是电量信息数据的发起端,集中器类似于中间存储,电能表通过电力线载波将数据冻结在集中器端,再通过2G无线通信信道发送到主站系统。由于集中器只是简单的存储中转设备,不具备数据分析统计功能,因此数据在集中器端并不能有效的得到控制和利用,同时也无法对电能表进行实施的监控。三层结构中的任何一层设备出现故障,其他两层的设备均无法同时感知,例如:电能表部分出现故障,主站系统无法第一时间获知;主站系统出现故障,集中器依旧会对电能表数据进行采集并冻结,如果此时主站系统不及时对集中器数据进行提取,数据将会丢失。此外,由于仪表数据通过电力线载波传输到集中器,通过2G无线网络上传到主站,链路复杂、传输效率不高对数据指标采集完整性有很大影响。现阶段主站系统采集的指标仅仅能够支撑日常业务,大量的数据指标无法得到采集,也阻碍了后期电力大数据的建设和发展。

在此背景下,文中提出了一种基于光纤传输和互联网技术的数据采集体系结构方案,实现高并发采集百万台电能表数据,达到数据实时传输、数据指标定制化、设备在线率监控等多种目的。

1 设计方案

新式数据采集架构方案是在传统智能电能表基础上增加了以下几部分模块:光纤接入与光电转换模块、千兆以太网交换机、高速电力线载波数据模块和相关接口模块。通过光电转换将光信号转为可处理的电信号,经过以太网交换机将一路以太网变为两路以太网,其中一路信号通过串口模块进行交互采集电能表数据后返回到光模块,将数据信息封装成数据包通过光纤进行输出。系统结构框如图1所示。

图1 系统结构框图

智能光纤电能表使得海量电能表数据包可以通过光纤进行高速传输,在整体应用架构上分为五层,包括展现层、应用层、支撑层、数据层、基础层,其中最核心的是应用层和数据层,智能电能表应用架构如图2所示。

图2 智能电能表应用架构

展现层位于架构的最顶层,直接与客户进行业务交互,处理电能表数据的上报、采集、汇总、查询统计等业务功能。

应用层是处理系统业务的核心模块,电能表数据的处理功能(查询、计算、分析等)大部分位于这一层,该层的业务处理划分为业务层、服务层和数据库层。

支撑层主要包含工作流、数据管理、统计报表、权限认证,用于支撑整个系统的业务完善、数据规范严格、权限划分严密等。

数据层是系统存储、交互、计算、同步数据的核心,建立安全、高效、实时交互的数据体系是采集平台的重点任务,在完成数据存储统计计算等功能外,也为日后电表系统的信息化发展提供了基础数据保障。

基础层是整个平台系统运行的硬件环境,其中包括网络系统、机房建设、存储设备、安全设施。整个平台系统从业务运行、数据管理、安全三个方面建立了完善了运行管理体系、数据规范体系和安全保障体系。具体核心设计如下。

1.1 通信接口设计

通过内置通讯接口模块与主站进行数据交互以及采集,接口规范以及通信协议由前置机和主站共同约定,形成统一的通讯标准。前置机和主站共同约定如图3所示。

图3 前置机和主站共同约定

接口规范中约定了双方通讯的协议、数据传输格式、数据存储形态、数据指标以及命令参数等。在数据传输安全性方面,采用非对称加密方式对电能表数据进行一级加密解密,前置机与主站各保存私钥以及对方的公钥,用私钥进行加密公钥进行解密,如需提高安全级别,可以采用对称加密的方式再次对私钥与公钥进行二级加密解密,确保数据通过接口传输的安全。

接口转发层位于整个架构的最下端,主要实现与供电公司的主站系统进行数据交换,为主站系统分担来自电能表的高并发请求,保证在光纤通讯的高速传输交互下业务系统的正常使用。通过基于Http协议的WebService接口,也可以通过基于TCP的远程方法调用(RPC),同时还支持异步消息队列的方式传递数据,并可以控制与主站数据交互的频率、指标项以及数据量等。

1.2 负载均衡设计

当面临大量用户访问、高并发请求和不断增加的数据量时,单台机器的容量性能将达到极限。为了解决高峰时段用户请求对服务器造成的压力,在建设初期考虑业务拆分和分布式部署。在拆分应用程序之后,它们被部署到不同的机器上,以实现大规模的分布式系统。分发和服务拆分解决了从集中到分发的问题,但是每个部署的独立服务仍然存在单点和访问统一门户的问题。为了解决单点故障,采用冗余方法,将同一应用程序部署到多台机器上。为了解决统一入口的接入问题,可以在集群前增加负载均衡设备,实现流量分配。

负载均衡是指均衡负载(工作任务、访问请求),并将其分配给多个操作单元(服务器、组件)执行。它是高性能、单点故障(高可用性)和可扩展性(水平扩展)的终极解决方案。负载平衡原则:系统扩展可分为垂直(垂直)扩展和水平(水平)扩展。纵向扩展是从单台机器的角度出发,通过增加硬件处理能力,如CPU处理能力、内存容量、磁盘等方面来增加服务器的处理能力,不能满足大规模分布式系统(网站)、大流量、高并发性和海量数据等问题。因此,有必要采用横向扩展的方式,通过增加机器来满足大型网站服务的处理能力。例如,如果一台机器不能满足要求,将增加两台或多台机器来分担访问压力。这两个应用程序集群将同一个应用程序部署到多台机器上,形成一个处理集群,该集群接收由负载平衡设备分发的请求,对其进行处理,并返回相应的数据。负载均衡设备根据负载均衡算法向集群中的处理服务器分发用户访问请求(向服务器群集中的可用服务器分发网络请求的设备)。负载均衡设计图如图4所示。

图4 负载均衡设计图

负责均衡采用LVS+KeepAlived+Nginx组合实现。LVS是Linux Virtual Server的简写,意为Linux虚拟服务器,是虚拟的服务器集群系统,可在UNIX/LINUX平台下实现负载均衡集群功能,通过核心IP负载均衡技术实现网络地址转换,将一组服务器构建成一个高性能的虚拟服务器集群。

KeepAlived通过VRRP协议实现高可用功能,解决负载均衡集群中单点故障问题,保证集群的高可用性(HA)。通过测试发现以LVS+KeepAlived实现的负载均衡集群可以达到F5性能的60%～70%。

Nginx是一个高性能的HTTP和反向代理服务器,同时支持TCP长连接,是负载均衡与实时交互的连接层,负责转发网络长连接请求到交互层。整个负载均衡层是实现应对百万台终端请求高并发连接的核心。

采用Nginx作为HTTP负载平衡器,将流量分配到多个应用服务器上提高性能,可扩展性和高可用性。解决了网站服务器对外可见的问题,提高了网站服务器的安全性,节约了有限的IP地址资源,后端服务器均可使用私有IP地址与代理服务器进行通信,加速了系统的访问速度,减轻了真实Web服务器的负荷。

1.3 缓存系统设计

对于Web系统来说,大量的用户请求不断的与服务器和数据库进行交互,高并发、海量数据会给整个系统带来严重的负荷,而与服务器请求的数据往往都是使用频繁或是一些固定的资源如热点数据(新闻、政策、时事)、静态的图片、文档等,这些资源访问频率高、每次都从数据库中获取会给数据库带来不小的压力,因此,设计一套完善的缓存机制可以有效提高整个系统的数据访问性能,减少延迟。因为请求是从缓存服务器(更靠近客户机)而不是从源服务器发出的,所以这个过程花费的时间更少,从而使Web服务器看起来更快。减少网络带宽消耗;客户可以节省带宽费用,控制带宽的需求的增长并更易于管理。通常情况下,用户与系统交互最高的资源是数据,对于访问以及使用频率较高的数据,如用户信息、班组信息、日报数据等可以放入缓存(通常为内存数据库,内存数据库提供更快更高效的访问性能)中,应用程序读取数据时,先到缓存中取,如缓存中没有或失效,再到数据库中取出,重新写入缓存以供下一次访问。因此,可以很好地改善系统性能,提高数据读取速度,降低存储访问压力。缓存系统设计图如图5所示。

图5 缓存系统设计图

有时在高并发的情况下,读操作要远远高于写操作,用户的写操作请求要等待很长时间才能得到响应,严重影响了系统的性能,降低了客户体验。在设计缓存时,可以考虑将用户的写操作数据存入缓存中,在同步到数据库中,避开系统访问的高峰期。

1.4 实时交互设计

实时交互层是负责处理连接请求,与电能表实时交互数据的重要部件,位于负载均衡层之下,主要有应用服务器集群组成,并通过分布式一致性框架Zookeeper实现统一配置和管理,实现应用服务器集群组的动态扩容,并监控每个应用服务器的运行状态以及连接负荷。整个应用集群在逻辑上分为三部分。

一、数据实时交互处理,用于处理电能表连接请求交互数据;

二、接口转发层通路,用于传递数据到接口转发层,属于整个架构体系中的内部接口调用组件;

三、热插拔扩展接口,由于数据前置主要实现的是负载请求,交互数据以及接口远程调用等功能,并不对电能表数据进行处理,后期通过热插拔扩展接口可以动态的实现第三方业务服务,如数据分析加工处理服务、数据动态展示服务、数据存储服务等,实现动态整合集成到数据前置机中。

2 电能表系统功能及测试结果

该电能表除保持原有功能外,还新增以下新的功能。

2.1 基于光纤数据回传的抄表功能

通过嵌入到电能表中的光纤传输模块,将原电能表中通过电力线载波抄表的全部电能计量信息通过连接到电能表的高速光纤进行数据上传,而不再采用过去信息经电力线载波到集中器传输方式。这样就彻底解决了今后移动网络标准不断变化带来的电网数据传输方式的更新换代问题,大大节约了人力物力资源。

2.2 光纤高速宽带上网接入功能

目前家庭上网主要采取运营商提供的光猫(光纤接入)或ADSL(电缆接入),通过家庭铺设有线或无线WIFI方式组建家庭网络需要预先家庭墙壁上进行布线施工或使用有一定辐射危害的大功率路由器。“单相智能费控网络电能表”具备了中国移动运营商光纤宽带接入功能,可以实现在同一入户电能表下,通过低压配电线(380 V/220 V用户线)为家庭用户提供高速上网功能,用户通过房间任意电源插座连接的电力猫即可方便快速上网。

2.3 基于大数据的智能数据处理功能

需求侧管理是指通过采取有效的激励措施,引导电力用户改变用电模式,提高终端用电效率,优化资源配置,改善和保护环境,实现电力服务成本最小化而开展的电力管理活动。促进电力工业与国民经济和社会协调发展是一项系统工程。

结合大数据的技术优势和电力系统的应用需求,发挥大数据的价值。从电能表到大数据处理平台采集用户用电数据,通过数据图表等多种显示方式对用电信息进行挖掘、分析和详细比较。从而创造个性化的节电和节能策略,让用户真正感受到智能电网的互动性、信息化和自动化。

2.4 实验测试方案及结果

为了测试新式智能电能表的数据采集功能的准确性,依据《电能量信息采集与监控终端技术规范》,进行准确度测试,电能表误差在1 %以内。选取测试区321户居民作为测试区,安装新式智能电能表,采用光纤通信进行采集数据。对整个测试区进行了10万次不间断采集测试,其中采集频率最高可达0.5 s/次,测试结果100 %完全成功。

为了测试新式智能电能表的数据采集速率,对测试区所有电能表进行抄读,最长耗时2.3 s,最短耗时0.7 s。分别采用100 Mbps上行速率测试全天24小时网线和Wi-Fi通信速率如图6所示,其中网线下行速率平均可达82.90 Mbps,Wi-Fi通信速率可达37.44 Mbps。设备平均温度51.21 ℃。

图6 24小时数据采集图

为了测试新式智能电能表高并发采集的性能,使用LoaderRunner 工具测试,模拟百万个终端同时在线,测试时间 633分钟,每秒处理事务平均数 1 758个,执行用户数成功率可达99.7 %,能够完全达到设计指标。

从测试结果可以看出,光纤远程收集方案不仅大大提高了电能信息采集的成功率。尤其在并发采集上完全达到设计指标。利用光纤远程采集系统实现高速、实时的电力信息采集效率。同时与传统方式相比,利用光纤网络设计可以提供双向的高带宽、更长的距离和更广的覆盖范围,提供全业务的接入能力。在传输过程中,信号损耗小,传输过程不需要继电器设备,且传输距离长,安全性高;作为一种纯介质网络,完全避免了雷击和电磁干扰的影响,非常适合在恶劣的自然条件下使用。

为了进一步提升采集成功率及出账率,保障应用数据的完整性、准确性,通过对采集数据进行智能分析,从而对采集数据合理性进行判别,提升采集数据质量。在每个用户前一年采集电量分析基础上,形成预测下一阶段的用电量最大值。针对每个用户的用电量进行量化分析,找出该用户用电规律,相对采用统一判断规则更具有针对性,能兼顾不同类型用户用电规律。支撑线损精细化、反窃电、在线监测。

3 结束语

文中提出了一种应对百万台智能电能表高并发采集的数据采集前置机方案,该方法基于光纤通信技术TCP/IP协议,从逻辑上将架构分为三层,数据实时分布式采集配置项、资源协调服务中心配置项、数据存储配置项,实现了电能表数据回传抄表功能,高速宽带上网接入功能实时数据传输和智能数据处理功能,测试结果表明新式智能电能表数据采集方案能够完整地实现设计功能,执行用户数成功率可达99.7%,设备运行稳定,网速测试结果满意。该方法为光纤通信采集电能表数据提供了重要的基础保证。