基于PCI-E总线的智能变电站网络记录分析仪研制

檀永， 侯明国， 沈健(国电南瑞科技股份有限公司，江苏 南京 210061)

基于PCI-E总线的智能变电站网络记录分析仪研制

檀永， 侯明国， 沈健
(国电南瑞科技股份有限公司，江苏 南京 210061)

网络记录分析仪是智能变电站内的网络数据记录、监视、分析设备，它可提前发现通信网络的薄弱环节和故障设备，预防电力系统事故的发生，并在发生电力系统故障时，还原电力系统一次设备故障波形以及二次设备动作行为记录，便于事故发生后进行分析和快速查找故障原因。智能变电站内海量网络数据的实时采集、高速存储、高效提取是研制网络记录分析仪的难点。在深入分析第三代总线通信接口标准PCI-E总线的基础上，详细介绍了一种基于PCI-E总线的智能变电站网络记录分析仪硬件平台，同时简要概述了驱动软件的设计要点，为网络记录分析仪海量网络数据的采集、存储提供了一个切实可行的实现方案。

智能变电站；网络记录分析仪；PCI-E；DMA; MSI

0 引 言

近年来，随着智能变电站的迅速发展，变电站站控层、间隔层、过程层的通信网络报文已经成为变电站智能设备间信息交互和共享的主要方式。各智能电子设备和通信网络的健康状况将直接影响整个智能变电站的通信，网络报文的发送端、接收端及通信网络异常或故障均可能导致电力系统重大事故，因此需要对网络报文进行有效的监视、记录和诊断，提前发现通信网络的薄弱环节和故障设备，预防电力系统事故的发生。当电力系统故障发生时，不仅需要对网络原始报文进行记录，还需要将网络报文进行解析，还原为电力系统一次设备故障波形以及二次设备动作行为的记录，便于进行分析和快速查找故障原因。为更好的规划网络记录分析仪的产品功能及检测规范，国家电网公司于2012年发布了两项企业标准：《Q/GDW 715-2012 智能变电站网络报文记录及分析装置技术条件》[1]和《Q/GDW 733-2012 智能变电站网络报文记录及分析装置检测规范》[2]。

随着数据采集和传感技术的不断发展，海量数据的高速、实时、可靠传输已成为一种必然趋势。原有的PCI总线因传输速率低、系统带宽小等缺点，已无法满足高速数据采集传输的要求。与PCI总线相比，PCI-E总线是Intel公司于1997年提出的第三代I/O总线技术，在2012年推出了PCI-E 1.0标准[3]，其速率为2.5 Gbps，目前PCI-E总线已发展至3.0标准，速率可达10 Gbps。PCI-E总线采用点对点串行通信方式，采用LVDS串行链路接口和时钟数据恢复同步技术，并利用8b/10b编码机制将时钟信号嵌入数据信号，保证数据传输的可靠性。将PCI-E总线应用于智能变电站网络记录分析仪中，可满足智能变电站内海量网络数据的实时采集、高速存储、高效提取的需求。

1 PCI-E总线体系概述

PCI-E总线是一个面向连接的、可靠的、高速的点对点串行通信协议，它简化了应用软件、硬件设计的复杂度。它采用了三层体系结构[4]，与OSI互联网参考模型有相似之处，但PCI-E总线的各层都是使用硬件逻辑实现的。其体系结构如图1所示。PCI-E设备发送数据包(Packet)时，报文依次经过传输层、数据链路层、物理层，最终发送出去。而接收端的数据包也需要依次通过物理层、数据链路和传输层，到达PCI-E设备。

图1 PCI-E体系结构

传输层是PCI-E总线层次结构的最高层，它用于处理PCI-E总线规定的各种传输事物，如存储器读写、I/O读写、配置读写总线等。该层内传输的报文称为TLP(Transaction Layer Packet)报文。传输层将保证PCI-E报文的有序传输。数据链路层主要用于保证数据包可以可靠、完整地在传输层与物理层之间传递。数据链路层使用ACK/NAK协议实现差错控制，提高报文传递的可靠性。该层内传输的报文称为DLLP(Data Link Layer Packet)报文。PCI-E总线的物理层为PCI-E设备间的数据通信提供传送介质，为数据传送提供可靠的物理环境。

2 网络记录分析仪的硬件平台设计

2.1 网络数据综合监测系统概述

智能变电站内，典型的网络数据综合监测系统如图2所示。网络记录分析仪通过接入过程层的SV网络和GOOSE网络的交换机采集智能二次设备的网络收发数据，或者采用点对点方式与设备直连。网络记录分析仪同时也可采集站控层设备的网络报文，如监控系统、保信子站等。

图2 网络数据综合监测系统示例

网络记录分析仪将对采集的网络报文进行有效的监视、记录和诊断，它可以实时分析采集的报文数据，提前发现通信网络的薄弱环节和故障设备，预防电力系统事故的发生。同时，网络记录分析仪还可以对存储的网络报文进行离线分析，尤其在发生电力系统故障时，可以还原电力系统一次设备故障波形以及二次设备动作行为的记录，便于快速查找故障原因。

2.2 网络记录分析仪硬件平台设计

根据《Q/GDW 715-2012 智能变电站网络报文记录及分析装置技术条件》要求，站控层设备接入网络记录分析仪可采用RJ45接口和/或光纤接口，过程层宜采用光纤接口接入，其以太网监听端口数不少于8个百兆口。装置正常工作时，总的报文处理能力应不小于240 Mbps；装置满负荷工作时，总的报文处理能力应大于等于400 Mbps。同时，该技术条件还要求，网络记录分析仪应在24 h内，连续存储所有网络报文。本文结合以上技术要求，为满足其高速采集、大容量存储的需求，设计了基于PCI-E架构的网络记录分析仪，如图3所示。

图3 基于PCI-E的网络记录分析仪硬件架构

该平台中，主CPU采用了飞思卡尔基于PowerPC E500内核推出的一款高性能、低功耗双核微处理器P2020，该处理器最高主频可达1.2 GHz，具有三路PCI-E接口，均支持PCI-E 1.0a标准，理论传输速率可达到2.5 Gbps。

P2020的一路PCI-E通道与FPGA通信，用于实现高速数据采集，FPGA将接收的网络报文通过该PCI-E总线写入主存中。一路PCI-E与硬件压缩卡相接，P2020将FPGA写入主存中报文通过该硬件压缩卡压缩后再写入SATA硬盘，由于使用了硬件压缩和得益于PCI-E总线的高速传输性，可大大减少CPU的占用率，同时提高了系统的存储报文能力。由于P2020不含有片上SATA控制器，因此本设计使用了P2020的第三路PCI-E连接了SATA控制器，由于PCI-E总线传输高速率、高带宽的特性，因此使用PCI-E总线外接SATA控制器依然可以达到很SATA的读写性能。

利用FPGA实现以太网报文采集是本方案的一个重点。它实现了八个独立的以太网控制器(Mac)，通过RMII方式与外部的以太网收发器芯片相接，用于实现以八路百兆以太网网络数据的采集。为提高网络记录分析仪的吞吐能力以及降低FPGA软件设计的复杂度，FPGA将采集的报文首先缓存于DDR2中，然后通过DMA的方式，将收到的报文通过PCI-E总线写入P2020的主存中。

该平台还提供了两路以太网管理通信接口，由P2020芯片内部的以太网控制器TSEC1和TSEC3通过外接RMII接口的PHY芯片实现。

3 PCI-E总线DMA驱动软件设计

由于网络记录分析仪不仅要求实现大容量数据的高速采集和高效存储，还需具备分析、诊断等复杂功能，因此其驱动程序不仅要满足高速采集、高效存储的要求，还应当尽量的减少主CPU的资源占用率和内存消耗。使用DMA方式传输数据，是满足上述要求的一个有效方法。文献[5]和文献[6]详细介绍了如何在FPGA侧实现DMA引擎，以达到高速传输的目的。本设计则通过将DMA与MSI中断相结合的方式，实现以太网报文的高速采集与高效传输。其中，MSI/MSI-X中断是PCI-E设备必须支持的一种中断机制，它的本质是取消了传统中断中使用的INTx信号，而使用存储器写请求TLP报文向处理器提交中断请求。

本设计中，FPGA申请了通过BAR0申请了一段16 K字节的内存空间，用于实现DMA控制。其定义如表1所示。

表1 BAR0空间数据定义

其中，dma_ctrl 是DMA控制使能寄存器。主CPU通过写1启动DMA传输，写0则禁止DMA传输。cpu_addr是CPU缓存首地址寄存器，用于存放CPU接收报文的缓冲区首地址。在本设计中，主CPU申请了一段总大小为32 M字节的内存空间作为环形缓冲区，每个缓冲区的空间为256 K字节，用于接收FPGA发送的以太网报文数据。当接入网络记录分析的报文流量达到400 Mbps时，该32 M缓冲区约可缓存400 ms左右的数据。writePtr是CPU缓冲区的写指针，每当FPGA写满一个256 K字节的缓冲区空间后，FPGA会将该寄存器值加1，同时，FPGA也将触发一个MSI中断，用于告知主CPU一个256 K字节的缓冲区已经被填满，CPU可以将该缓冲区内的数据取走。因此主CPU侧的驱动软件，将会根据FPGA触发的中断请求，实时的接收网络报文，这提高了主CPU的实时响应能力，同时也避免了使用查询方式而导致的资源浪费。

4 实验数据

为验证本硬件平台的最大报文接收能力，本文使用Spirent公司的Smartbits 600B数据网络测试平台进行了试验验证。Smartbits 600B发送了7种典型帧长的以太网报文，如表2所示，通过比较15分钟内测试仪发送的报文字节数与P2020接收报文字节数，可验证本平台的报文接收能力。经验证，本设计的最大报文接收能力可达到800 Mbps，完全满足《Q/GDW 715-2012 智能变电站网络报文记录及分析装置技术条件》和《Q/GDW 733-2012 智能变电站网络报文记录及分析装置检测规范》要求。

表2 最大报文接收能力监测

5 结束语

随着智能变电站技术的不断发展，接入网络记录分析仪的智能一二次设备逐渐增多，通信网络容量逐渐增大，这对网络记录分析仪的数据采集和处理能力提出了更高的需求。本文将PCI-E总线技术应用于智能变电站网络记录分析的硬件平台中，满足了其海量网络数据的实时采集、高速存储、高效提取的需求，为网络记录分析仪的平台设计提供了切实可行的实现方案。

[1] 宋小会，金华蓉，刘明慧,等，Q/GDW 715-2012 智能变电站网络报文记录及分析装置技术条件[S]．北京：国家电网公司，2012.

[2] 黄鑫，李芹，王永福,等，Q/GDW 733-2012 智能变电站网络报文记录及分析装置检测规范[S]．北京：国家电网公司，2012.

[3] PCI Express Base Specification 1.0a[S]．PCI SIG，2003.

[4] 王齐.PCI Express体系结构导读[M]．北京：机械工业出版社，2010.

[5] 王嘉良，赵曙光.用FPGA实现PCI-E接口和DMA控制器设计[J].计算机技术与发,2011,121(6):181-185.

[6] 李木国，黄影，刘于之.基于PCI-E总线的高速数据采集卡设计与实现[J].测控技术,2013,32(7):19-21.

Development of a Network Recording Analyzer in the Smart Substation Based on PCI-E Bus

TAN Yong, HOU Ming-guo, SHEN Jian
(State Grid NARI Technology Co., Ltd.,Nanjing Jiangsu 210061, China)

The network recording analyzer is a device for recording, monitoring and analyzing network data in the smart substation, which can find weak links and the malfunction equipment of the communication network in advance, prevent failures in the electric power system, and restore the faulty waveform of the primary equipment of the power system as well as the records of the action and behavior of its secondary equipment in case of power system failures, thus facilitating analysis and quick trouble-shooting once an accident happens. Real-time acquisition, high-speed storage and efficient extraction of massive network data in the smart substation are the difficult points in the development of a network recording analyzer. Based on a deep analysis of PCI-E, this paper gives a details introduction of a hardware platform for the network recording analyzer of the smart substation based on PCI-E bus, and briefly describes the key points for the design of the driver software, thus providing a feasible implementation scheme for the acquisition and storage of massive network data in the network recording analyzer.

smart substation;network recording analyzer; PCI-E; DMA; MSI

10.3969/j.issn.1000-3886.2015.05.026

TM76

A

1000-3886(2015)05-0081-03

檀永(1983-)，男，江苏南京人，硕士，主要研究方向：电力系统自动化。 侯明国(1982-)，男，湖北恩施人，工程师，硕士研究生，主要研究方向：电力系统自动化。 沈健(1979-)，男，江苏南京人，硕士，高级工程师，主要研究方向：电力系统自动化。

定稿日期: 2014-11-05