调速器通讯模块故障造成机组紧停的分析及处理

四川武都电站有限公司 王腾辉

某水电站位于四川省境内， 总装机3×50MW，3台发电机组分别接成发变组单元接线，各经1台63000kVA 的主变压器升压至220kV，经220kV 线路并入省电网。电站内3台发电机调速器系统采用可编程PCC 作为控制的硬件平台，具有“自动”、“电手动”两种控制方式；“转速”、“开度”和“功率”三种调节模式，当机组在正常“发电”状态下时，分别对应“自动”、“开度”模式。

1 事故经过、现象及初步分析判断

1.1 事故现象

2020年10月21日13点，某水电站监控系统突然报警“3号机组微机调速器电气故障2动作”，“3号机组紧急停机动作”，正在运行发电的3号机组启动紧急停机流程。工作人员收到通知立即到达3号机组现场，首先检查了3号机“紧急停机流程”是否执行正确，“紧急停机流”动作后果如下：跳发电机出口开关；跳发电机灭磁开关；投调速器紧急停机电磁阀；投事故配压阀；关闭进水口快速门；启动机组正常停机流程。经确认，紧急停机流程执行完毕且正确。在此过程中，电站已开启另一台备用机组并网发电，以免造成上网发电量的缺失。

1.2 检查过程

在监控报警报文及事故记录中查到启动“3号机组紧急停机动作”的条件：是因为3号机监控单元收到了“3号机组调速器电气故障2”这一开关量信号，而该信号由调速器电柜内“电气故障2”继电器一常闭接点控制。现场检查调速器电柜，发现柜内“电气故障2”继电器指示灯已熄灭，常闭点已导通，符合实际。此外，智能触摸屏界面显示“PLC NOT RESPONDING”,意为“PLC 无响应”，且触摸屏无法读取控制器任何参数；检查柜内PLC 发现通讯模块IF1030“STATUS”状态灯为报警红色，说明此时通讯模块IF1030异常。

1.3 初步分析

初步分析为：调速器通讯模块IF1030异常，“电气故障2”继电器线圈不带电（正常情况下常带电），其常闭接点导通，该信号发至3号机组监控单元后监控系统即启动紧急停机流程，说明监控系统流程及启动均为正常动作。

那么“调速器电气故障2”为什么会动作？调速器系统正常情况下会对“电气故障2”继电器发出一常电源信号，使其永久带电。当调速器控制器接收到几项故障信号之一时，调速器自身会判定“调速器电气故障2”。这几项故障包括：导叶反馈故障、伺服环故障、主阀信号故障、比例阀功放故障、PT测频信号和齿盘测频信号同时消失故障。若调速器自身会判定“调速器电气故障2”，“调速器电气故障2”继电器失电，则“调速器电气故障2”故障信号发至监控。技术人员对这几项信号进行排查，发现此次事故期间这几项故障信号均未报警，说明“电气故障2”继电器失电并非这几项信号造成。在此暂时将“电气故障2”的问题排除，认为可能是通讯模块IF1030异常或其它原因造成了“电气故障2”继电器失电。

1.4 初步处理

随后将调速器控制柜断电重启，发现通讯模块IF1030“STATUS”状态灯恢复为绿色（正常状态）；触摸屏“PLC NOT RESPONDING”告警已消失；其余各指示灯均正常；柜内“电气故障2”继电器指示灯亮（已带电）。随后将3号机组各部位复归，待监控显示3号机开机条件都满足且无其余故障报警，开启3号机启励建压观察正常后执行并网运行操作，并网运行6个小时均未发现异常。于是分析此次事故源头通讯模快IF1030异常可能为偶然现象，3号机组可以并网运行观察。

2 事故二次发生及重新梳理分析

经上次事故处理后，3号机组一直正常发电运行，然而至10月24日21点3号机组再次出现“调速器电气故障2动作、3号机组紧急停机动作”的事故紧急停机情况，检查监控报警与现地调速器报警，发现所有现象与之前一致，包括“PLC NOT RESPONDING”、通讯模块IF1030“STATUS”状态灯为报警红色一系列现象。再次将调速器电柜断电重启后，恢复正常情况亦与之前一致，3号机组再次开机并网，在短时间内观察无异常后再将3号机组停机至备用状态。技术人员再次对该事故做从头梳理排查，认为调速器通讯模块IF1030两次事故中发生异常并非偶然现象。

从头梳理此次故障发生的大致步骤如下：调速器通讯模块IF1030异常，触摸屏无法读取任意参数且无法进行操作；器电柜“调速器电气故障2”继电器失电，其常闭接点导通；3号机组监控单元后收到“调速器电气故障2”中断开关量；3号机组启动紧急停机流程。

此上四条步骤，除第一条外均已证实、无需再次检查，当下需查明原因有两点：一是调速器通讯模块IF1030为何异常？二是如何证实通讯模块IF1030异常造成“电气故障2”继电器失电？

首先，采取横向比较方法：技术人员认为3号机组发生此事故，而1、2号机组无此现象且运行发电正常，于是将3号机组与1、2号机组调速器PLC 进行对比，以待发现新的线索。通过对比，发现3号机组通讯模块IF1030“RxD”（意为接收）灯时亮黄灯时灭，“TxD”（意为发送）灯常灭，而1、2号机组通讯模模块IF1030“RxD”“TxD”均常灭。由现象得知，1、2号机组通讯模块IF1030并无对外通讯的收发，而3号机组通讯模块IF1030对外有着通讯外发。那是否3号机通讯模块IF1030异常与其对外通讯有关？

图1 正常状态下的3号机通讯模块IF1030（最左）

经查验设备相关图纸即现场核对，发现1、2、3号机通讯模块IF1030在设计上均有两根RS485通讯线对外接至对应机组监控单元柜内的通讯服务器。然而1、2号机的这两根RS485通讯线在调速器电柜的2个对外中转端子上已经将连片分开，而3号机该中转端子上目测到连片并未完全分开（半接触状态），且1、2、3号机的该2个对外中转端子均未注明用途，于是怀疑，3号机此2个对外中转端子本来应该分开，可能有人员误碰、或者机组的抖动下造成了连片移位，以致未完全分开。这也解释了3号机组通讯模块IF1030“RxD”（意为接收）灯时亮黄灯时灭的原因。而此现象又是怎样造成通讯模块IF1030异常的呢？

由于能在外观察到的现象已经就此了，工作人员随后联系了调速器厂家。调速器厂家技术人员通过提供后台软件，连接调速器控制器后获取了控制器内部运行日志，显示有2个错误记录，其时间间隔与3号机调速器2次故障时间记录吻合（见图2）。两次相同报错“Error”描述为“AR-SIOS：I/O cycle time violation.”翻译为“业务中断,输入输出循环时间违规”。

图2 第71、75条为2次故障记录日志

就此，通过查看运行日志说明了存在通讯连接造成3号机调速器控制器报错。随后就1、2号机调速器该2个对外中转端子连片已分开情况告知调速器厂家，调速器厂家解释该调速器通讯模块IF1030并不需要与监控进行数据收发交换，该通讯回路应为最初建站时的设计，但实际安装设备后发现此设计有错，所以通讯对外中转端子连片必须分开。

到此时，第一个疑问即调速器通讯模块IF1030为何异常已经查明，原因为通讯模块IF1030原本不需要与监控进行数据收发，但因误接线通讯模块IF1030一直有数据接收（连片处于半连接状态），但因该数据接收并无意义，当数据接收过多时即造成通讯模块IF1030异常。

第二个疑问即如何证实通讯模块IF1030异常造成“电气故障2”继电器失电？首先可知通讯模块IF1030与“电气故障2”是没有直接联系的，且引起“电气故障2”的几项故障条件并未发生，而与“电气故障2”存在直接联系的只有调速器控制器的其它部分，由运行日志查看到调速器控制器已经存在报错。

此外，再结合两次故障发生时现象一致，对故障特点进行总结：触摸屏无法读取控制器任何参数且无法进行操作；控制器本体上的通讯模块IF1030“STATUS”亮红灯；必须对控制器进行掉电重启才能恢复故障，否则无法进行任何操作。

以上特点表明故障时调速器控制器已经死机，那么，造成调速器控制器死机的其它原因还应逐一分析，包括有程序原因与硬件原因如下：调速器程序原因。由于调速器刚经历改造升级完成后已运行两年时间，期间运行稳定，且该控制程序已在其它许多电站的不同控制器上得到验证，可以排除程序本身问题；控制器硬件原因。控制器经重启后又能正常工作，不符合硬件故障的特点，也可以排除。

以上两点均排除后，唯一造成控制器死机的原因已确定为调速器通讯模块IF1030异常。调速器控制器正常运行时，会对“电气故障2”继电器一直发送电源信号，使“电气故障2”继电器永久带电。当调速器控制器死机（PLC 状态异常）时，将不再对“电气故障2”继电器开出电源信号，而“电气故障2”继电器采用常闭点接至监控，此时监控收到“电气故障2”后，即启动机组紧急停机流程。这已解释了通讯模块IF1030异常是如何间接造成“电气故障2”继电器失电。

至此，该故障每一环节的疑问均已理清，重新梳理，导致事故发生的先后原因如下：调速器通讯模块IF1030存在对外通讯接线（错误接线），以致通讯模块IF1030异常，造成了调速器控制器死机；调速器控制器死机造成了调速器电柜“电气故障2”继电器失电，其常闭接点导通；3号机组监控单元后收到“电气故障2”中断开关量；3号机组启动紧急停机流程。

3 后续及整改

事故原因明确后，决定将3号机调速器通讯模块IF1030对外通讯接线的中转端子连片完全断开，并取出连片上的金属片（图3），此后将3号机组开机并网运行，至今再无该事故发生，查看后台运行日志亦无报错项。

图3 135、136端子为通讯模块对外通讯接线端子

为吸取教训，将1、2号机调速器柜对外通讯接线的中转端子连片上的金属片也取出，防止人员误碰或机组开停机过程中的抖动导致该连片误接触而导致类似事故发生。随后电站人员做好设备相关台账记录及事故故障记录，亦便日后复盘。

综上，经此事故，我们明白设备管理工作来不得半点马虎，必须以科学的态度来对待，对此亦做几条总结便于日后的工作规整如下。

一是设备的设计图与竣工图纸存在一定的差别，运行管理中应核对实际接线，并以竣工图纸为准，且技术人员应弄清设计图与竣工图不一致的具体原因。

二是要求相关工作人员对设备的特性与功能进行了解，例如调速器电柜内的该通讯RS485接线连片为什么断开、调速器控制器各指示灯的含义、各模块的功能等等。

三是对于电站内非正常停机事故应做好相关记录，特别是此类并不完全属于“电气事故”与“机械事故”分类的较为罕见情况的非正常停机，以便于日后总结参考；四是对于电站消除设备故障的技术人员，要求各方面能力全面发展电站工作不只应该了解“电气”部分的知识原理，对于计算机通讯知识也应该有或多或少的了解，电站内控制设备通讯设备较多，掌握相应的知识对于日后的工作必将有很大的帮助。