大数据下的结构性态监测信息管理系统设计与应用

吴　杰,衣枚玉,张金辉,张其林

(1.同济大学 土木工程学院，上海　200092; 2.上海同磊土木工程技术有限公司，上海　200433)



大数据下的结构性态监测信息管理系统设计与应用

吴杰1†,衣枚玉1,张金辉2,张其林1

(1.同济大学 土木工程学院，上海200092; 2.上海同磊土木工程技术有限公司，上海200433)

论述了一种适用于处理海量监测数据的结构性态监测信息管理系统(MIMS)的设计方案.基于三层浏览器/服务器架构搭建软件系统，利用多服务器协同工作机制提升系统性能.应用大数据技术，充分考虑海量监测数据对数据管理系统的高要求，选用MongoDB数据库作为数据管理平台，论述了数据库结构和采用的数据格式.最后以宁波南站结构性态监测为例，展示了系统的实现效果.结果表明该系统具有很好的扩展性和通用性，每天可接收远程数据约10 GB，能实现对海量监测数据的实时吞吐和高效组织管理.

结构性态监测；大数据；MongoDB数据库；多服务器协作；浏览器/服务器

土木工程领域的结构健康监测研究始于上世纪70年代末.目前，对结构健康监测技术的研究大多集中在传感网络子系统设计及损伤识别和安全预警等方面.在结构性态监测软件的开发方面，近几年也出现了一些技术创新和实践成果，如土石坝安全监测软件[1]、桥梁结构健康监测系统软件[2]和上海中心大厦结构健康监测软件[3]等.但这些软件基本上都是针对特定结构开发，系统的可移植性、可维护性和可扩展性表现较差.在监测数据的组织管理方面，已有的结构性态监测软件大多是从海量的监测数据中获取有效的关键数据形成数据报告，不能实现全部监测数据的实时吞吐，并且存在数据采集与存储不同步的问题.

随着物联网、云计算和社交网络等新兴技术与服务的出现，数据类型和数据量正以惊人的速度扩张，如何更好地管理和利用大数据开始备受关注[4-6].在结构健康监测中应用大数据技术，对实时监测数据流进行统计分析，可以预测出数据发展的趋势，从而实现系统对结构损伤的识别、诊断和预测.达到这一目的的关键在于实现监测数据的实时吞吐和高效组织管理.由于土木工程结构健康监测与物联网的融合以前所未有的速度生成数据，这些数据即使经过过滤，只保留有效的数据，其数据量也是惊人的庞大.如何实现对海量监测数据的组织、存储、查询和分析，既是实现对结构全寿命周期跟踪式在线监测的前提，也是对结构进行有效的损伤识别和安全评定的基础.

针对以上问题，本文提出一种大数据技术下的结构性态监测信息管理系统(MIMS)设计方案.该方案以实现高效的数据管理和安全的数据共享为目的，实现监测数据实时或近实时的、动态的、数字化、网络化和可视化的管理.系统已应用于多个大型项目的结构健康监测，如宁波南站、上海中心大厦、兰州西站和上海世博轴阳光谷等.

1　系统架构

目前，基于网络化的监测软件实现模式主要有两种方式，一种为客户机/服务器(Client/Server,C/S)模式，另一种为浏览器/服务器(Browser/Server,B/S)模式[7].

B/S模式是Web2.0兴起后的一种网络结构模式，该模式由服务器安装数据库和Web应用，承担系统的核心功能；客户机安装浏览器作为客户端，浏览器通过服务器端的Web应用间接同数据库进行数据交互.这一模式解决了传统C/S模式中专用客户端软件开发成本高，升级维护困难等问题(见图1).

图1　三层浏览器/服务器体系结构

该体系结构具有以下优点：

1)广域网/局域网都可使用，对客户端软硬件环境要求不高，只要有操作系统和浏览器即可；

2)各层在逻辑上相对独立，具有很好的灵活性、可重用性和可扩展性；

3)系统功能集中在服务器端，可随时进行更换或更新，从而实现无缝升级，降低系统维护成本；

4)可添加用户管理机制，利用业务逻辑层阻止未授权用户访问数据层，实现数据的安全管理；

5)浏览器即客户端，一方面可降低开发难度和成本，另一方面可充分利用页面制作技术与用户进行更加生动和丰富的交流.

2　系统功能实现

2.1服务器软件

MIMS的功能主要包括数据的采集与接收、过滤与转换以及处理与查询，如图2所示.系统核心功能集中在服务器端.考虑到各功能环节对服务器有各自不同的要求，且具有不同步性，因此将各个功能模块设计成相互独立的服务器软件.

MIMS的运行模式是以系统的自动运行为主，一旦服务器软件或硬件出现故障，系统的运行将终止，如果不被及时发现并加以维护将会造成不可预计的数据损失乃至工程损失.因此，MIMS设计有独立的自检服务器软件，以实时监视服务程序，当有异常状态发生时，以邮件和短信的方式通知相关技术人员.

图2　系统功能模块划分

2.2多服务器协同机制

MIMS采用多服务器协同机制对服务器进行管理.Internet的快速增长要求服务器具备提供大量并发访问服务的能力，因此对于大负载的服务器来讲，CPU，I/O处理能力成为瓶颈[8].通过提高硬件性能来提高单台服务器性能的效果有限，而采用多服务器协同工作机制和负载均衡技术可以很好地应对大量并发访问的情况.

MIMS中的各功能模块被设计成独立的服务器软件，这些软件可以在单台服务器上运行，但效率较低.为提高运算效率，可以采用多服务器协同系统来均衡服务器负荷，将各服务器软件设计在不同服务器中，并形成相互协作机制.如图3所示，服务器1负责将传感器网络传来的数据进行采集并存储于数据库；服务器2首先实现和服务器1的数据库同步，然后对这些数据进行过滤、筛选和转换并存储于另一个数据库中；服务器3同步已经过转换的数据，再根据客户浏览器通过Web服务器提交的指令对数据进行分析和处理.各服务器通过数据库的管控进行数据同步，以C/S模式相互访问，实现相互调用和协同工作.

3　数据管理方案

3.1数据库

结构健康监测系统对数据库的要求非常高.已有的较为成熟的结构健康监测系统大都采用文件形式存储数据，也有一部分采用关系型数据库对监测数据进行管理.采用文件形式显然不能实现数据的实时存储与查询，且组织管理效率非常低，而关系型数据库的应用也受到诸多限制，一般只能实现对部分关键数据的存取，不能实现对海量监测数据的实时吞吐.目前，监测系统正在向网络化发展且监测数据的规模也在不断扩大，监测系统对数据库的要求越来越高.对海量监测数据的高效率存储访问以及对数据库的高并发读写和高可扩展性等要求已经成为传统的关系型数据库无法应对的难题[9-10].

图3　多服务器协同工作

近年来，随着大数据时代的到来，NoSql(Not Only SQL)数据库得到了迅速的发展，NoSql数据库具有传统关系型数据库无法比拟的高并发、高效率和高可扩展等特性，其中MongoDB数据库的表现尤为突出[11-12].MIMS采用高性能、易部署、易使用且存储数据方便的MongoDB数据库对监测数据进行管理，实现了对海量监测数据的实时吞吐和高效存储与查询.

3.2数据格式

3.2.1数据存储格式

这里的数据存储格式是指数据保存在数据库或文件中的编排格式.其应满足一定条件：1)保证记录所需要的全部信息；2)充分利用存贮空间，提高存贮效率；3)采用统一的格式，方便与数据处理模块间的数据交换.MongoDB使用BSON(Binary Serialized Document Format)结构来存储数据，可以满足以上要求.BSON是一个轻量级的二进制数据格式，可以存储内嵌的文档对象和数组对象.MIMS采用以BSON格式存储的文档对象存储信息，其中每条记录包括测量点位(position)、传感器类型(dimTyp)、测量批次(batch)、测量时间(datetime)和测量值(value)，示例如下：

{″position″:″S-W-GJ1-2″,″dimTyp″:″stress″,″batch″:null,″datetime″:newDate(2014,4,6,16,12,9),″value″:-23.396}.

3.2.2数据交换格式

为了整合资源，建立统一的信息化平台，MIMS中的数据交换采用统一的标准数据格式.格式标准化可以极大地提高对数据的管理效率，让用户快速简单地得到必要的数据.

当前比较流行的数据交换格式有XML(Extensible Markup Language),JSON(JavaScript Object Notation)和YAML(Yet Another Markup Language).由于数据存储格式已选用是类似JSON的BSON格式，为了方便与数据库的数据交互，MIMS数据交换格式选用JSON格式.JSON 是一种轻量级的数据交换格式，易于阅读和编写，同时也易于机器解析和生成，可以满足本设计对数据格式的要求.

JSON简单说就是JavaScript中的对象和数组，对象数据结构为 {键:值,键:值,…}，键为对象的属性，值为对应的属性值，属性值的类型又可以是数字、字符串、逻辑值、数组或对象.数组数据结构为 [字段1,字段2,字段3,…]，其中字段值的类型又可以是数字、字符串、逻辑值、数组或对象.利用对象、数组两种结构可以组合成多层嵌套的数据结构，如以下示例，最外层是包含″Stresses″和″Temperatures″两个属性的对象，他们的属性值又嵌套了多个子对象的数组.

{

″Stresses″: [

{″position″:″S-W-GJ1-1″,″value″:[-23.396,-23.63,-24.352 …]},

{″position″:″S-W-GJ1-2″,″value″:[-24.153,-24.953,-23.303 …]},

…

] ,

″Temperatures″: [

{″position″:″S-W-GJ1-1″,″value″:[31.1,30.5,31.9 …]},

{″position″:″S-W-GJ1-2″,″value″:[29.3,30.2,32.3 …]},

…

]

}.

4 　应用实例—宁波南站结构性态监测系统

4.1工程结构概况

宁波南站站房采用南北地上进站、高架候车、地下出站的功能格局.新建站房共3个主要层面：地下一层(主要负担进出站功能)、站台层(地面层)和高架层(含商业夹层).地下二层(地铁2号线站厅层)和地下三层(地铁2的站台层)的土建工程大部分位于铁路站房下，详见图4.高架层东西向总长度114.0 m：该方向柱距不均匀，为24+21+24+21+24 m；南北向总宽度185.5 m，柱距为25+2×21.5+43+2×21.5+31.5 m.地下一层、站台层东西向总长度66.0 m(柱距为21 m及24 m)，南北向宽度185.5 m.

图4　宁波南站站房结构模型

本工程的监测内容主要包括：1)施工和运营过程中钢结构关键部位的应力监测；2)运营过程中结构关键部位的振动加速度响应监测；3)运营过程中风敏感部位的风压监测；4)运营过程中整体结构所处风环境的风速监测.

4.2系统配置

宁波南站结构性态监测系统包含静态(应力应变)采集通道167个，动态(风速风向、风压力和加速度)采集通道87个.采用单台服务器配置即可满足性能要求.

服务器配置：2路处理器，每路采用主频1 800 MHz，L3缓存10 MB的4核心4进程处理器；安装内存为8.00 G；3块3TB硬盘作为RAID5.

数据库配置：采用MongoDB主从模式配置为采集端数据库(主)和分析端数据库(从).

网络传输配置：采集现场局域网带宽100 M，VPN远程传输带宽为3 M.

4.3系统展示

宁波南站结构性态监测系统功能包括首页、系统说明、系统管理、设备总览、实时监测和监测回放.首页包括登录、项目概述和监测分项简介，系统说明包括项目功能说明和监测点位详细说明，系统管理包括密码管理、角色管理和用户管理.设备总览画面如图5所示，包括监测设备的最新运行状态统计和测点设备的详细状态表，共分为应力应变统计、风荷载统计、风压统计和加速度统计.

图5　设备总览画面

实时监测是对所有动态点位(风速风向、风压力和加速度)和静态点位(应力)的实时监测.监测点位的选取方法如图6所示，将监测结构分为不同的监测区域，点击每个区域可弹出传感器布置细节图，以选取监测点位.静态点位取最新一天的监测数据，动态点位取最新30 s的监测数据，分别绘制时程图进行展示，如图7和图8所示.

图6　实时应力监测点位选取

监测回放是对所有监测点位历史监测数据的回放.选择要查询的时间段和监测点位(点位选取方法与实时监测页面相同)后会获取相应的历史监测数据显示在页面中，如图9所示为2014年2月1日至2014年3月1日的应变监测记录.在时程图上拖动鼠标选择相应区域后还可放大进行细节展示，如图10所示.图11展示了2014年9月22日2:15:00-2:30:00的风荷载监测统计数据.风压力和加速度监测画面和以上界面类似，不再赘述.

图7　实时应力监测数据

图8　实时加速度监测数据

图9　应力监测回放画面

图10　应力曲线局部放大图

图11　风荷载监测回放数据

5　结　论

本文研究了大数据技术下的结构性态监测信息管理系统设计，从系统架构、系统功能实现和数据管理方案等三个层面论述了本结构性态监测信息管理系统的可行性和优越性.最后以宁波南站结构性态监测项目为例，展示了系统的应用效果.主要结论有：

1)应用三层B/S架构搭建的系统具有很好的扩展性和通用性，可方便灵活地加入各种数据分析功能，并且适用于多种工程结构的性态监测.

2)系统具有高度的伸缩性.根据项目对性能和经济性的不同需求，可选择配置一台服务器，或利用多台服务器协同工作.

3)基于大数据技术，以MongoDB数据库为数据管理平台，能实时吞吐海量的监测数据，每天可接收远程数据约10 GB，可同时供多方分析、查看和使用.系统设计时已考虑大数据分析，设有监测数据中心，通过多个监测项目以及长期的数据积累，可获得海量、高增长率和多样化的监测数据.

4) 网页设计采用基于HTML5的新一代WEB技术，用户界面简约大气，使用舒适方便，并兼容多种终端平台，如工作站、笔记本和平板电脑等.

5)目前系统各功能模块服务器均采用单台服务器，支持不多于300个动态采集通道，数据分析速率也有一定限制.若要进一步扩充采集通道、提高数据分析速率，可通过搭建服务器集群来实现.

[1]刘德志,李俊杰.土石坝安全监测软件系统设计与实现[J].大连理工大学学报,2006，46(3): 407-412.

LIU De-zhi,LI Jun-jie.Design and implementation of earth rockfill dam security monitoring software system [J].Journal of Dalian University of Technology,2006,46(3): 407-412.(In Chinese)

[2]WANG Jian-guo,SU Mei-yan,ZHAO Guo-min,et al.Design and implementation of the earthquake precursor network running monitoring software based on C/S structure [C] // 2010 6th International Conference on Wireless Communications,Networking and Mobile Computing (WiCOM).Piscataway,NJ: IEEE Computer Society,2010,4: 1-4.

[3]胡笳,李晗,杨晖柱,等.上海中心大厦结构健康监测软件集成设计及应用[J].同济大学学报:自然科学版,2014，42(3): 460-467.

HU Jia,LI Han,YANG Hui-zhu,et al.Integrated design and application of structural health monitoring software system of Shanghai Tower [J].Journal of Tongji University: Natural Science，2014,42(3): 460-467.(In Chinese)

[4]孟小峰,慈祥.大数据管理:概念、技术与挑战 [J].计算机研究与发展,2013,50(1): 146-169.

MENG Xiao-feng,CI Xiang.Big data management: Concepts,techniques and challenges [J].Computer Research and Development,2013,50(1): 146-169.(In Chinese)

[5]KAMBATLA K,KOLLIAS G,KUMAR V,et al.Trends in big data analytics [J].Journal of Parallel and Distributed Computing,2014,74(7): 2561-2573.

[6]MARTINEZ M A,CUESTA C E,ARIAS M,et al.The solid architecture for real-time management of big semantic data [J].Future Generation Computer Systems,2015，47: 62-79.

[7]张燕.基于C/S模式的远程数据监测系统设计[J].计算机与网络,2008,34(17): 68-70.

ZHANG Yan.Design of remote data monitoring system based on C/S model [J].China Computer & Network,2008,34(17): 68-70.(In Chinese)

[8]罗天洪,罗文军,陈小安.网络环境下协同设计的多服务器技术[J].重庆大学学报:自然科学版,2006,29(9): 5-9.

LUO Tian-hong,LUO Wen-jun,Chen Xiao-an.Multi-server technology for internet-based collaborative design [J].Journal of Chongqing University: Natural Science,2006,29(9): 5-9.(In Chinese)

[9]张文盛,郑汉华.基于MongoDB构建高性能网站技术研究[J].吉林师范大学学报:自然科学版,2013,34(1): 123-127.

ZHANG Wen-sheng,ZHENG Han-hua.Research on the construction of high performance Web site based on MongoDB technology [J].Journal of Jilin Normal University: Natural Science,2013,34(1): 123-127.(In Chinese)

[10]PARKER Z,POE S,VRBSKY S V.Comparing NoSQL MongoDB to an SQL DB [C] //Proceedings of the Annual Southeast Conference.Savannah,GA: Association for Computing Machinery (ACM),2013,5: 1-6.

[11]BARBIERATO E，GRIBAUDO M,IACONO M.Performance evaluation of NoSQL big-data applications using multi-formalism models [J].Future Generation Computer Systems,2014,37: 345-353.

[12]STEVIC M P,MILOSAVLJEVIC B,PERISC B R.Enhancing the management of unstructured data in e-learning systems using MongoDB [J].Program: Electronic Library and Information Systems,2015,49(1): 91-114.

Design and Application of an Information Management System for Structural Behavior Monitoring Based on Big Data Technology

WU Jie1†,YI Mei-yu1,ZHANG Jin-hui2,ZHANG Qi-lin1

(1.College of Civil Engineering,Tongji Univ,Shanghai200092,China; 2.Shanghai Tonglei Civil Engineering Technology Co Ltd,Shanghai200433,China)

An information management system for structural behavior monitoring,named MIMS,was developed based on big data technology.The system performance was improved by using three layered browser/server architecture and multi-server coordination mechanism.To satisfy the requirements of big data processing,mongoDB database was employed in the data management platform,and the structure and format of the database were discussed.The developed system was applied to the structural behavior monitoring of Ningbo South Station,and the interfaces were illustrated.The application results of the system show that approximately 10 GB data can be remotely received every day,and the massive monitoring data can be processed efficiently.

structural health monitoring; big data; MongoDB database; multi-server coordination; browser/server

1674-2974(2016)09-0076-06

2015-07-30

国家高技术研究发展计划(863计划)资助项目(2009AA04Z420)；上海市自然科学基金资助项目(16ZR1438900)

吴杰(1975-)，男，安徽人，同济大学副教授,工学博士

†通讯联系人，E-mail:wj536@163.com

TP274

A