摘 要:随着路网规模的持续扩大,其结构也变得越来越复杂,机电设备呈现出分布较广、类型多、不易管控等问题,单一的经营管理模式已难以匹配机电设备的高效运转,自动化和精细化管理已成为公路设备的必然发展方向。然而,多源数据接入和处理存在效率低、时延低等问题。因此,文章基于数据接入问题,提出了一种接入模型和方法,通过数据库构建和实时处理,实现高并发的接入,为设各运维夺实信息基础,从而提升运行效率,从源头上处理运维中出现的问题。
关键词:机电设备:公路:数据接入:通信机制
中图法分类号:TP311文献标识码:A
1 引言
国内公路建设纵向布局,公路施工、运营和管护的机电装置也随之增多,因此所需处理的信息呈上升式增长。按照有关文件要求和智慧交通的发展,设计符合新时代需求的公路机电运维管理系统已是必然方向,其中,实现实时监测和安全预警尤为关键,其形成的数据将是公路运维发展的核心突破口,但因数据格式不统一、数据指标不同,研究存在数据无法规模化、价值可能丢失等问题。因此,为解决上述难点,本文对多源运维数据处理框架进行了分析。
2 公路多源状态设备数据处理框架及系统性能要求
按照公路业务需求和技术发展情况,基于全面服务以及全业务管理,面向公路机电设备,针对数据接入标准、拓展设备不统一,以及可能发生断电的现象,提出机电运维数据处理框架。数据采集层是对设备状态有关数据开展采集,如车速、视频等;对于接入层,其借助接口、网关等方法达到数据接入;对于系统处理层,其通过数据处理方法达到挖掘,提高数据利用价值;对于系统储存层,其以达到数据高效、低延迟保存为主;对于系统应用层,将根据处理价值,对不同的机电业务进行数据开展处理,并开发相关功能,为智慧系统构建奠定数据基础,以提高公路监管的自动化和精细化程度[1] 。系统性能需求如表1 所列。
3 公路多源设备运维数据的接入模型和方法
针对公路多源设备运维数据的接入方法,本文主要从运维数据接入、数据安全管理和传递方面进行探究,其中运维数据安全管理和传输,又包括权限管理、公路机电设备协议转换及安全传输等,以期为相关研究起到一定的借鉴作用。
3.1 公路多源设备运维数据动态接入
目前,公路机电设备不断增长,各个路段设备也选用了不同厂家的型号,并具备特殊数据传递的方式,为了实现实时管理和运维,本文对多源数据接入方式开展探究。公路机电设备一般包括传感器、摄像头、条形码等,其形成的数据可以分为多种数据,如运行和公路运维数据,但因为厂家、数据格式不同容易造成数据孤岛、安全度不高等问题。基于此,为达到高效分析和及时响应,提供接入模型,将数据接入适配器中,并将数据接入和解析相结合。为提高处理能力并实现统一处理,针对非结构化数据,将其转变为结构化数据,并根据知识图谱和引擎等开展搜索,然后在服务器上开展部署,将各种来源数据注册,给予其注销、查询等能力,从而满足业务和功能需求。
3.2 采取智能网关方法达到远程控制
数据安全是联网运营的关键,达到加密保存与分级管理是研究的重点。因此,基于各种设备数据,通过智能网关的方法达到数据远程控制,以及设置权限对数据开展访问和操作。(1)访问模式。基于以下访问模式达到数据安全,首先最高权限的管理者层次,这一类人员一般是部门领导,能根据需求开展数据访问;其次,运维工作者,可以访问设备状态数据,进而判定设备工作状况;最后,外部人员,仅能对数据开展读取,基于权限管理,给予相应的权限,在满足用户需求的基础上,确保数据安全。(2)公路机电设备协议转换。为了打通信息壁垒,借助协议转换确定标准协议,对机电协议根据标准协议开展转换,以实现各机电协议间的彼此操作,从而转变为标准化数据。(3)数据加密传输。为了避免数据出现丢失、被篡改等问题,网关使用通信技术,以及融合加密技术,达到加密传输,采取多种方式避免数据泄密,如数字签名、身份认定,从而确保传输的安全与全面。
4 公路多源机电设备运维数据动态适配
在数据接入中,数据适配是核心,能够提供检索功能,达到系统的后续适配。
基于此,提出一种Spring Batch 的批处理框架以达到数据适配,并实现复杂数据处理,定期应用,框架给予了可重用功能,對处理数据尤为关键。框架包含应用层、处理层与设施层。对于应用层,是程序员开展底层的开发,如开发库;对于框架的核心处理层,包括功能实现所需的类;对于框架设施层,是外界用户,给予数据端口和控制端口。基于数据库构建、数据解析和持久化达到动态适配。
4.1 公路机电运维数据预处理及数据库建设
4.1.1 保证数据引用的有效与精准
在接入后,预处理属于提升数据质量的首步,基于数据清洗、聚类等消除数据处理重复值、异常值造成的影响,确保引用的精准性及有效性。
(1)公路多源设备运维数据清洗步骤。
在数据接入中,伴随时间改变呈现出数据增长的形式,为了挖掘有用的知识,清洗属于提升数据质量的首步。所以,对于公路状态数据出现的问题,如重复录入、不集中、分析程度不高等,提供分布式并行框架的方法,并结合Hadoop 平台的优势,使用聚类算法特征,根据期望值对数据开展清洗。以下是详细步骤:以Hive 保存多源设备运维数据,且导入知识库;开展模型训练,针对数据源提供属性权重;利用SNM算法开展聚类分区;针对权重系数及相似度,把二者进行相乘,获取数据间的相似度,且记载;整合相识度大的记录;衡量数据能否达到质量监测;符合则写回库中,不符合则进行清洗[2] 。
(2)公路多源设备运维数据标准化处理。
为了达到运维数据标准化,采取数据编码的方法,对数据开展压缩,在确保精度的基础上,处理零散、稀疏等问题。之后,根据式子(1)达到转换,确保数据处于映射区域,其中xi 表示变量,xmin 表示最小值,xmax表示最大值,Mr 是映射最左端,Mi 是最右端,根据式子(2)开展归一化为x′。
x′ =xi -xmin / xmax-xmin?(Mr -Mi )+Mi (1)
x′ =xi -xmin / xmax-xmin (2)
(3)公路设备运维数据聚类。
为了让数据聚类精度高,以及有较强的抗噪声能力,使用數据聚类算法,维持数据保存长度与方式,便于2 次处理和应用,以下是详细的步骤:明确类别数目(用k 来表示),且定位k 个中心点;基于所有样点,确定间距最短的中心点,与其间距最小的点是一个类,如此一来,实现了1 次聚类;衡量类别状况是否一样,若一样,那么算法结束;若不一样,则对不同类别的样本点,计量它们的中心点,当作新中心点,返至第二步。基于以上几步,达到数据聚类。
4.1.2 空间及属性数据库建设
在接入很多数据时,短期内会导致系统压力过高从而造成丢失,有时还会造成系统崩溃,因此接入时以空间、属性数据库建立为主。对于空间数据库,其包括道路信息、高程模型;对于属性数据库,其包括桥梁、机电对象类,一般用于描述位置信息。采取这一方法达到对设备状态的数据开展压缩与保存。面向对象建设数据库的方法,确保模块低耦合特点。针对设备状态数据的保存,因为规模扩大,单机难以保存,所以选择分布式方法扩大保存规模。
4.2 公路机电运维数据解析、转换及持久化保存
(1)公路机电运维数据解析和转换。
在实现接入和数据库建设后,使用给予的数据读取、处理等达到解析,基于读取数据,对其开展处理,转变为统一格式之后开展并发。针对源数据库,将其转换至中间数据库,然后基于关联关系,把数据转换至目标数据库,再在其中达到转换和集成的目的,此方式有效防止转换期间因为意外造成数据质量降低的问题。
(2)公路机电设备运维数据持久化。
在公路机电设备发生故障、断电等现象时,容易出现数据丢失,为了防止这类情况的发生,需借助设备运维数据特性,把数据储存到服务器中,尽可能使用数据库特性,以实现对数据的读取和查询等,从而确保数据的全面性和持久性。根据Spring Batch 技术,以下是详细过程:在其中设置功能接口,一般情况下,会涉及多类接口,如事件类接口,之后开展逻辑关系处理,在库中达到端到端的保存,数据有着保存和读写能力,方便开展筛选、提取。
5 公路多源机电设备运维数据通信机制
随着公路设备运维数据交互越来越多,传统单一的数据传输手段已难以符合数据的指数级增长。因此,基于发布机制和订阅机制,结合面向业务,以及根据需求分发的设计思想,基于研究业务流程,明确数据通信机制。主要从以下方面进行了探讨。
(1)数据提供方。在公路设备运维信息传递模型中,发布方也就是信息提供方,管理发布信息,且基于详细的主题信息和接收方构建关联,在域内发布主题。所有发布者发布的信息并非一个,主题便是构建一个数据写入人员,对机电运维数据进行管理。
(2)消息。对于话题信息通信而言,主要指发布者与订阅者采取话题信息的方式接发信息,使用者能够设计消息数据种类、主题信息等,相同话题可存在数个话题的订阅者,因此消息能够达到一对一或一对多的通信[3] 。
(3)数据接收者。在设备运维信息传递模型中,订阅方也就是信息接收方,对主题订阅进行负责,使用者能够结合具体应用和个人需要订阅相应的信息,同时在域中能够找到信息提供方,从而构建二者的基本通信状况,接收者订阅的主题也并非仅有一个,如在车辆管理控制系统中,除了需接收路段线圈信息,也能够订阅交叉路口信息。
6 结束语
本文针对数据接入方式的不足,提供一种接入模型和实现方式,切实使用设备形成的数据,通过数据库构建、数据解析和持久化,以达到高时效的接入,保证数据的精准性和全面性,为公路防汛、数据统计提供有力的保障。
参考文献:
[1] 孙文侠,何涛.高速公路机电运维管理智慧化发展浅析[J].公路,2022,67(2):386?391.
[2] 范敬光.高速公路机电设备智慧运维实践[J].交通世界,2022(Z1):219?220.
[3] 赵琪,郭森科,潘成瑶.智慧运维管控平台系统[J].中国交通信息化,2021(10):130?131+134.
作者简介:
罗剑(1977—),本科,工程师,研究方向:设备维护与系统集成。