武 萍
(中国民用航空东北地区空中交通管理局通信网络中心,沈阳 110043)
沈阳区域管制中心工程综合信息显示与处理系统(以下简称SIPDS)是空管自动化系统的辅助配套设施,主要完成对气象信息、航行情报信息、飞行计划信息、空军活动信息、专机保障信息、通用航空信息和其他静态航行资料信息的处理和显示,以及班前准备和交接班的服务功能,为管制员提供丰富详实的航行情报信息、气象情报信息以及各种静态资料,并且将各种信息综合到一个界面上切换显示,方便管制人员对各种信息的获取,减轻管制人员的劳动负荷,提高工作效率,保障空中交通安全。其中,航行情报信息由飞行服务中心发布,气象情报信息则通过气象中心实时获取,飞行计划和电报信息通过前置系统或自动化系统获取。
系统主要包括数据接口,核心服务,管制终端和远程维护端等几个部分,参见系统结构图。其中数据接口实现外部系统数据的接入,核心服务实现业务逻辑,管制终端为最终用户提供与系统交互的人机界面,远程维护是技术支持人员的系统入口。
系统机构图
SIPDS系统的网络拓扑结构主要包括几个部分:外接系统,SIPDS机房,塔台管制室、进近管制室和区管中心的终端席位。
(1)外接系统包括气象系统、通告系统、报文处理系统,通过路由器与SIPDS系统互连。
(2) SIPDS机房内放置所有的服务器和核心网络设备。
(3)SIPDS系统的终端分布在塔台、航管楼和区管中心的管制大厅、模拟训练室、岗前准备室和应急搜救室。不同终端运行软件不同,根据客户实际需求确定。
(4)区管SIPDS系统均采用双网设计,一楼汇聚交换机连接至二楼的东、西汇聚交换机,各岛交换机分别连接至东、西汇聚交换机。各岛的用户终端双网卡连接至本岛交换机。用户终端的双网卡建立网桥,配置IP,将网关设置成本岛交换机。
日常对SIPDS系统的数据库、网关的维护十分重要,出现的问题维护人员要及时分析总结。下面列举一下网关数据库方面的案例:
故障现象:2月16日区管监控告警,网关及数据库全部标红,网关及数据库出现连接不上等故障,按照岗位应急预案及时处理,重启网关服务器手工同步日志,清理数据库日志等一系列操作,随后恢复正常。
处置过程:重启网关服务器手工同步日志,清理数据库日志等一系列操作,随后恢复正常。
故障原因分析:根据故障现象分析得出,网关出现故障很有可能是服务器出现了问题,在重启服务器以后得到了解决,数据库故障是因为备份日志把磁盘空间占满导致数据库节点2启动不起来被踢出了集群造成的。
建议及措施:
(1)定时对网关服务器进行系统层面巡检,预防此类事情再次发生。
(2)重新对清理数据库日志脚本进行了编写,防止数据库日志再次占满磁盘事件再次发生。
(3)清理冗余文件脚本。
故障现象:数据库监控告警,发现集群中节点1出现故障,经过排查,发现数据库集群软件启动失败,存储资源连接不上,确认是网卡出现了故障,故而集群软件启动失败,集群中检测不到数据库节点1的存在,把节点1踢出了集群,节点2单节点运行。
造成的影响;集群中一个节点故障,另一个节点保障,未造成影响。
处置过程:值班员发现监控告警,立即对网卡和集群软件进行重启,集群节点恢复正常。
故障原因分析:
(1)当发现问题的第一时间,查看数据库日志,集群日志以及一致性日志和系统日志,发现集群节点1网卡出现故障,导致数据库集群节点之间通信出现故障,节点1被踢出集群。
(2)抓取及分析日志
抓取了告警日志,集群日志,一致性日志和系统日志进行分析,发现是因为集群节点1网卡出现故障,重启集群软件失败,无法通过集群软件控制集群造成的。
(3)重启网卡故障得到解决
在重新启动网卡后,数据库节点1恢复正常,为了防止类似事情再次发生,联系相关部门对网卡进行更换。
建议及措施:为了防止同类故障再次发生,采取措施如下:
(1)定时对数据库集群进行巡检,保证集群安全正常运行。
(2)联系硬件厂商IBM售后对故障网卡进行检测及更换。
(3)定时对数据库日志,集群日志,一致性日志,系统日志进行追踪分析,预防类似事情再次发生。
通过以上案例了解到,SIPDS系统数据库及网关日常维护操作是对系统安全运行起到至关重要的作用,归纳为维护主用数据库及备用数据库两方面如下:
SIPDS主用数据库:
(1)服务状态查看(每天查看一次):使用grid 用户。
(2)查看数据库存储状况(一星期查看一次):查看asm磁盘组使用情况。使用客户端查看表空间情况,如有使用率超过80%的,需要扩展表空间。查看表空间使用情况,如果发现超过80%的表空间,对表空间进行扩展,否则不操作。
(3)查看两个节点alert日志有无报错(每天查看一次):使用Oracle 用户查看。
(4)查看rman备份情况(每天查看一次);在192.168.167.2节点查看。查看rman备份目录使用情况。查看rman备份日志。cd/rman/logs 查看最近的备份日志,如日志中出现错误,需要排查。
SIPDS备用数据库:
查看监听(每天查看一次),使用oracle用户执行lsnrctl status。查看alert日志。
保障SIPDS系统正常运行,维护人员需要检查系统监控工具各个监控项是正常状态,并查看网关日志输出栏日志是否正常,日志输出时间是否是最近的。同时查看服务器及磁盘阵列前面板LED是否有错误警告,最后确认查看客户端软件运行正常。
[1] 李欢.西南地区SIPDS系统负载均衡的配置.科技创新与应用,2014年 第36期.
[2] 张蕾.浅析通过局域网络安装SIPDS系统终端[J].空中交通,2017年 第9期.