大坝可视化数据的存储与管理

摘 要：针对大坝可视化处理中的监测和分析数据量较大，用于观测分析的成果、属性以及图形等数据之间的关系较为复杂的问题，提出了观测大数据的存储和管理模式，采用了测点时序索引表的数据管理方法，较好地解决了数据可视化检索速度慢的问题，便于数据处理和绘图所需的灵活存取，实现快速可视化。

关键词：观测数据；数据存储； 数据管理

中图分类号：TP311.13 文献标识码：A

Abstract：Considering that the monitoring and analysis data of dam in visual processing is great，and the relationship between the results data in observation and analysis，attribute and graphic data is complicated，the mode in the large amount of observation storage data and management data is proposed.The data management method of sequential index table in observation points is used.The method resolves preferably the problem of searching in slow data retrieval.It is good for flexible and easy access to data processing and drawing required to achieve visualization rapidly.

Keywords：observation data；data storage；data management

1 引言（Introduction）

三十年来，国内外就大坝观测资料的分析已进行了多方面的研究，大坝观测资料分析产生的数据量巨大，虽然目前已有多种软件投入运行，但现存的大坝分析软件在实际工程计算时，只能利用已知的几个控制层参数，而不能得出大坝在任意部位处相应的分析数据；同时在分析过程中的计算机图形处理技术主要针对二维数据的可视化分析，而所有数据的可视化分析大多数是以二维图形效果展示，缺乏立体、直观效果[1]。

大坝应力成果分析数据、仪器所测得的监测数据量非常庞大，应力成果、属性和图形数据之间的关系比较复杂。采取何种数据结构，实现对数据一致的存储管理，方便数据检索和可视化需要进行灵活存取，实现其三维可视化表达，是对大坝应力成果可视化检索、测量数据处理可视化的最为关键的环节，本文就大坝数据可视化研究课题的数据存储管理做一探讨。

2 大坝观测数据存储和管理（Dams observationdata storage and management）

大坝应力分析和观测数据是一个动态的数据，而且信息量非常庞大，甚至是海量数据，有关大坝数据可视化中的信息不仅仅是由数字、文字组成的，同时还有一系列的图表等非文字性质的数据。大坝的分析成果和监测到的数据一般具有较为稳定和动态更新两种情况，一般工程的特征信息、枢纽信息、观测设备的坐标、属性等资料不会经常变动，是属于较为稳定的数据；而应力的监测数据、位移监测数据和分析的成果数据等是动态变化更新的。对较为稳定的数据，因数据容量不大，系统处理中较为常定，以存放在稳定表中处理；而对观测和分析到的数据则是存储容量大，检索频率高，而且速度较慢，所以对这部分的数据如何存储和管理，直接影响到系统可视化检索的性能。

2.1 大坝数据存储方式

由于大坝有限元分析的工况节点数据非常多，一个工况的节点数据就达到20000多个，而分析的工况数一般达到40多个，同时，大坝监控的监测项目类型多，需要用到各类监测仪，一般大坝安置的仪器少则十几种，多至几十种，为了利于数据库的管理和维护，有限元分析数据按工况种类分表存放，监测数据按仪器类型分表存放。这样，存放有限元应力成果数据和监测数据的基础数据表就有工况表、工况节点表、仪器特征表、监测值表等。

就课程研究的某大坝中布置了近200个监测仪，大坝一年的监测数据就有上万条，随着时间的推移，表中的数据将达到上千万，从该类型表中检索某些时间段和方位点的数据值，检索速度是一个大问题。虽然当前流行的数据库管理平台都提供快速检索的索引功能，但不能满足大坝监控数据的检索速度和时间段检索，为解决这个问题，本课程采用了下面解决方法。

（1）建立有效的索引机制。

（2）对表结构进行优化管理。表设计的标准要求达到3NF，冗余度降。大坝观测数据表由点名、时间、上下游水位和观测值等属性字段，其国点名和时间字段组合为主码，以保持数据完整性，工况节点表有12个字段：正应力3个字段、剪应力3个字段、位移3个字段、节点坐标3个字段，以z和y轴字段作为主键。

（3）使用视图。

2.2 数据管理方式

2.2.1 数据检索

检索数据可通过SQL和缓冲区快照两种方式。使用SQL是顺序检索数据，而缓冲区快照则是在附加检索条件下把数据表中全部或部分记录映射到内存区，缓冲区数据保持与原表数据完全一致的索引性质。通过该快照数据既能进行顺序查询，又能通过索引值定位检索，读取某些特殊数据。

2.2.2 数据操作

对数据库的主要操作是数据录入和查询。大坝监测数据通常是按采集时间先后顺序存储。在对大坝进行数据分析时，需要对各测点和各时间段内的观测数据进行不断读取，若通过缓冲区快照附加检索条件，具有一定的灵活度，但分析效果较慢，检索条件的改变将需频繁连接数据库，重新生成快照，缓冲区数据刷新率高，这对系统效率是一大打击。为此可通过测点时序检索表优化数据结构，以降低缓冲区快照的刷新频率[2-5]。endprint

2.2.3 测点时序索引表

根据大坝对观测数据的检索是按测点和时间查询的特点以及观测数据的存储特点，建立了测点时序索引表。测点时序索引表是按时间序列划分原始观测值表，从原始观测值表中找到测点时序的逻辑行，存入测点时序索引表中。检索时以测点时序索引表中的测点时序逻辑号作为索引值，在原始观测表中定位数据段。索引表具有测点名、时序起点年和终点年、观测点值在原表中的起始逻加行、观测值记录条数等属性组成，其中以测点名和时序起点年作为主码。

在检索观测值时，先用缓冲区快照方式生成全部观测数据的全映射。根据缓冲区快照数据与原始表具有一致的顺序规律，索引值对缓冲区的划分也相同。检索测点观测数据时，先识别该数据的观测时间在测点时序索引中所在的时序记录；再从这些时序记录中，查到该测点时序的原数据记录行号和记录条数；然后从缓冲快照区中相应记录段中读出所需的数据，从而完成一次检索。在这种检索机制下，每次检索不同的测点时序数据，只是改变一下索引值，就可以检索到所需观测数据，不需重新生成快照，而不需要不断更新缓冲区快照。大大提高快照的使用率，优化了系统整体性能。

为保证索引表的正确性和有效性，测点时序索引表与原始表应保持同步更新管理。根据观测数据的存储是按时间次序采集入库的，所以在有观测点数据入库时，需要先在索引中增加这一新时序观测数据的索引记录，然后根据增加的记录数目，修改其后各索引记录的起始行数值，以保证索引表各索引条目中记录的原始数据起点位置的正确性；删除原始观测数据也用一样的原理，先找到删除数据在索引表中的索引记录，若跨多条时序索引条目，则删除前面的时序条目，修改最后一条索引条目记录的起点行数值，否则只修改找到的第一条索引的起点行数值，然后同样需修改后面各索引条目中记录的起始行数值。

在原数据入库有时间顺序这一特征，索引的维护简单容易，能够快速更新管理，可通过触发器实现索引自动维护更新。

3 数据入库处理（ Data loading and processing）

仪器测得的数据和有限元分析数据，经过前处理软件进行前处理之后，得到.txt类型文件和.out类型文件，根据系统数据的存储特点，这些数据入库存储的表名按规定的格式命名，如：工况节点表数据的文件名格式：“y上游数据_下游数据”，若工况是上游24m，下游10m的节点数据表名为：y24_10；监测数据以监测仪类型规格命名。每个数据文件在入库前都必须按照一定的格式记录数据。工况节点数据和监测数据有自动入库和手工入库（即编辑）两种方法。

主要数据的入库方法是：

首先，用户确定入库数据的类型（应力成果数据或观测数据）、文件路径和数据存储名称（工况表名或仪器类型规格）。

然后，系统在工况表或仪器特征表中搜索该数据资料：

（1）若未找到信息，则提示用户继续输入完整资料，实现对工况表和监测仪器特征表的数据的输入，利用recordset对象的addnew方法和update方法实现，然后系统自动生成新表，并把数据文件加载到库表中（用BULK INSERT … FROM…WITH实现）。

（2）若找到信息，系统自动识别数据文件记录是否已经存在，若不存在，则加载入库。

4 结论（Conclusion）

本文就大坝可视化数据主要针对大坝应力数据和观测数据的特点，在数据库存储方式和管理技术方面进行了详细的研究和论述，根据大坝咨询系统的需求，对数据库表的分类管理、数据结构以及数据的入库方法提出了详细的解决方法。并对大坝数据量大而造成访问速度低、数据利用率低的现状，提出了采用测点时序索引的数据管理方法，较好地解决了数据查询速度慢的问题，有利于快速生成大坝数据可视化分析视图。

参考文献（References）

[1] 李曙光，刘天佑，杨波.基于OpenGL的综合地球物理可视化及其应用[J].工程地球物理学报，2008，5（2）：205-209.

[2] SHASHI S，著.谢昆青，等，译.空间数据库[M].北京：机械工业出版社，2004.

[3] 郭薇，郭箐，胡志勇.空间数据库索引技术[M].上海：上海交通大学出版社，2006.

[4] 史文中，郭薇，彭奕彰.一种面向地理信息系统的空间索引方法[J].测绘学报，2001，30（2）：156-16.

[5] 史万明，等.数据分析[M].北京：北京理工大学出版社，2002.

作者简介：

何小苑（1971-），女，硕士，副教授.研究领域：空间数据库技术，空间索引技术，数据库系统.endprint