基于HadOOP的桥梁监测数据管理系统

郑金明

摘要：文章针对现有桥梁监测数据多源异构、海量数据难以处理、信息“孤岛化”严重等问题，结合桥梁健康监测数据实时变化、纷繁复杂和分布式存储技术低成本、高容错性、可移植的相关特点，提出基于Hadoop的桥梁监测数据管理系统。通过建立桥梁监测数据库，搭建桥梁监测系统，用实验验证了Hadoop集群存储监测信息的有效性。该方法充分利用了Hadoop平台高效率、低成本、高可靠性的存储特性，对监测到的桥梁监测数据进行了分布式存储，有利于桥梁监测数据的高效存储和处理。

关键词：Hadoop;HDFS;桥梁监测;数据管理

中图分类号：U446 文献标识码：A DOI：10.13282/j.cnki.wccst.2020.11.038

文章編号：1673—4874（2020）1卜0140-03

0引言

桥梁作为交通大动脉的重要组成部分，在国家经济建设与社会发展中具有重要地位。截至2018年年底，我国公路桥梁已达85.5万座。近年来，结构健康监测（Structural Health Monitoring，SHM）技术在桥梁养护管理中应用广泛_2_。目前已形成桥梁日常巡检、经常性检测、定期检测、荷载试验及健康监测组成的桥梁健康管理养护体系，积累了海量的桥梁监测数据。桥梁监测数据多源异构，一座配置了SHM系统的桥梁每月监测数据量达GB级，呈现出显著的“大数据”特性。然而，随着桥梁监测数据的高速增长，我国大部分桥梁仍在采用“一桥一系统”的管理养护系统，桥梁病害检测、健康监测数据管理、桥梁定期巡检等各信息化系统均独立运行，各种多源异构信息“孤岛化”严重。在现有的桥梁运营管理技术实际应用中，同业主的预期差距较大，综合管理各类桥梁监测数据的系统亟待构建。基于此，本文提出一种基于Hadoop云平台的桥梁监测数据管理系统，对采集得到的桥梁监测数据进行分布式存储，有利于桥梁监测数据的高效存储和处理，改善监测数据信息孤岛化问题。

1Hadoop技术概述

Hadoop是一个开源的分布式系统基础架构，广泛应用于国内外大数据处理，能够以一种高效、可靠、低成本的方式对海量数据进行分布式数据管理。Hadoop框架中的核心是高容错的分布式文件系统（Hadoop Distributed File system，HDFS）以及高性能的数据处理MapReduce系统。HDFS层主要存储Hadoop集群中所有节点的文件，其中Name-node和Datanode两类节点以管理者一工作者模式并行，管理节点记录每个文件中各个数据块在节点上的信息，而工作节点响应来自HDFS客户端的读写请求，以及管理节点的创建、删除、复制块等命令。Mal3Reduce是一个分布式计算框架，主要通过映射（Map）和归纳（Reduce）对数据进行处理，Map读取HDFS中的文件，将原始数据解析成很多键值对，而Reduce则对键值进行分组及处理。见图1。

2桥梁监测数据管理系统

2.1桥梁监测系统的构成

伴随着桥梁的长期服役，混凝土材料日渐老化，由于荷载作用、施工缺陷、材料特性、环境因素等影响，在役桥梁会不可避免地产生裂缝、蜂窝、麻面等病害，故而对桥梁的关键部位进行监测十分重要。目前中国已有多座在役桥梁安装结构健康监测SHM系统，如香港青马大桥、苏通大桥、杭州湾跨海大桥等。而一个完整的结构健康监测系统分为硬件部分和软件部分。硬件部分主要是指安装在桥梁上的具有不同功能的传感器，包括以加速度传感器、应变计、温度传感器等为代表的传感器监测系统，用于信息的采集和处理;软件部分则包括数据采集与传输，数据处理与分析以及数据库的管理三个模块。桥梁监测系统软件部分构成如图2所示。

3基于Hadoop平台构建桥梁监测数据管理系统

3.1桥梁监测数据库

传统的数据管理主要通过文件系统进行管理，其中数据一般面向特定的应用，数据独立性差、共享性能低、管理成本高。Hadoop平台用来解决目前桥梁监测系统中海量数据的存储及运算，其保存在云服务器上的各种监测数据又能为后续研究人员提供科研数据，解决桥梁现有问题，保障桥梁的运营安全。本文基于Hadoop平台构建桥梁监测数据管理系统，采用高可靠性、高性能的HBase分布式数据库，适合存储非结构化和非关系型数据。其中RowKey为行键，Timestamp为时间戳，对应当时的时间值。CF1、CF2为数据中的列族，HBase中每一个表在水平方向会有一个或多个列族，其中一个列族又有任意多个列组成，类似于数据的几级索引（见表1）。

桥梁监测数据库存储着诸多信息，具体名称可由业主方自己定义，如存储桥梁名称、桥梁类型、桥梁评估结果、加速度、位移等信息。同时鉴于云平台需要处理复杂的数据信息，也对语言要求具有较强的扩展性，XML（可扩展标记语言）将信息串行化作文本存储，以保障存储数据在各种复杂场景下使用（见表2）。

桥梁监测数据管理系统可按用户需求划分为多级节点，内容也可由业主方制定。根节点包括桥梁总体数据，桥梁传感器数据，数据传输，安全预警系统等。而一级节点如传感器系统下的温度、风速、加速度、位移、应变传感器等，如图3所示。

3.2实验环境及结果

为验证该监测系统的有效性，搭建了一个Hadoop集群进行数据存储测试。一共有3台服务器，内存为2G，硬盘为250g，以ubuntu9系统作为测试环境，其中一台用于部署Namenode，另外两台部署Datanode。使用某座桥梁183个传感器节点数据进行存储，比较单机和配置了3台服务器Hadoop集群的数据存储时间，实验结果为单机的响应时间为800ms，而配置了服务器集群的响应时间为150ms，Hadoop集群的存储信息时间明显低于单机存储，表现出低成本、高效率的特点。

4结语

本文针对现有桥梁监测数据多源异构、海量监测数据难以处理、信息孤岛化严重等现象，提出基于Had00p平台的桥梁监测数据管理系统。利用高容错的mFs分布式文件系统和高性能数据处理的Ma-pReduce系统对现有监测数据进行高效率存储和计算，通过建立桥梁监测数据库，搭建桥梁监测系统，并用实验验证了搭建Hadoop集群的可行性，其信息存储时间明显低于单机存储信息，有利于桥梁监测数据的高效存储和处理。