基于大数据、云计算的水利工程质量风险管理研究

胡军伟

摘 要：水利工程作为国民经济发展和生活区域保护的基础，对其质量风险管理的研究成为焦点。同时，云计算，物联网等新兴服务引发了数据类型和规模的巨大变革，昭示着大数据时代的到来。相比传统的水利工程质量风险管理的研究，本文从大数据、云计算、工程质量风险管理三个方面进行分析，旨在利用大数据和云计算的优势，在数据的视角下对水利工程质量风险进行管理与预测，以达到“事先”识别风险和规避风险的目的。

關键词：水利工程 风险管理 大数据 云计算

1.引言

水利工程通过提供洪水防护和沿海保护促进经济发展和生活区域的安定，并且通常与其他基础设施融合，来改善我国水电资源分布不均匀的现状，同时促进农业的发展。如果水利工程质量不合规程、规范和质量标准，将会直接影响工程的使用甚至危及人名群众的财产安全同时给国家带来危害事件。传统的水利工程质量管理的缺陷在于质量意识薄弱，对工程前期的勘测设计不合规范以及技术力量的薄弱。以上管理模式主要体现在“事中”或者“事后”的机理分析，对工程质量风险的预测与规避所提供的指导非常有限。同时，大数据时代的到来也促进了水利数据中心的搭建，因此，通过数据挖掘技术从大数据中提取影响水利质量风险的影响因素之间的信息和知识，用于构建预测风险的模型来指导规避风险将具有极大优势。

2.大数据的含义与特征

大数据（Big Data）从具有分布式和分散式控制的大容量异构，自治元开始，旨在探索数据之间复杂和不断发展的关系。

大数据主要具有以下特征：第一，数据体量巨大。国际数据公司（IDC）计算出从2009年全球数据为0.8ZB（万亿GB），估计到2020年讲增加到40ZB。实际上，由于高速广域网接入的广泛推出和下一代应用的激增，大数据在过去5-8年间一直处于技术领域的最前沿，在金融，零售，智能传感器网络（物联网） 和物理等不同领域正在经历类似的大量数据。这种大型数据集的出现具有显著的存储空间，更重要的是具有计算意义。

第二，处理速度快。数据以前所未有的速度生成，需要实时处理，例如 RFID标签与传感器和智能电表的普遍应用正在推动近乎实时处理数据的需求。

第三，数据种类繁多。格式从传统数据库中的结构化数字数据到非结构化文本文档，电子邮件，视频，音频，股票报价数据和金融交易，给数据的存储分类带来极大挑战。

第四，可变性强。除了处理速度和数据种类的增加之外，数据流还可能随着周期性峰值高度的变化而变化。例如，季节性和事件触发的峰值数据负载可能难以管理。同样非结构化数据更是如此。

第五，复杂高。今天的数据来源比较广泛，这使得难以跨系统链接，匹配，清理和转换数据。但是，有必要连接和关联关系、层次结构和多个数据链接，否则数据可能会迅速失控。

这些特征使得从大数据中发现有用的知识成为极大的挑战。因此，海量的数据处理离不开云计算（Cloud Computing）强大计算能力的支持。

3.云计算

云计算为大数据挑战提供可扩展且经济高效的解决方案；美国国家标准与技术研究院（NIST）给出云计算定义：“按使用付费模式，以实现方便，按需网络访问”，但在很大程度上不明确且广泛滥用以表示“在线”的任何内容。共享可配置计算资源池（例如，网络、服务器、存储、应用程序和服务），可以用最少的管理工作或服务提供交互快速供应和发布。

云计算的服务类型主要包含以下三种：第一，基础设施服务（IaaS）。云计算提供商投入大量资本支出以投资监理和维护高性能计算（HPC） 基础架构或者数据中心，然后按照“按需支付”为基础向客户提供这些基础架构或者数据中心，并提供相关的细粒度计算。此举意味着用户不会承担构建HPC环境的任何成本，特别是考虑到这种环境的使用通常是“突发性”，而基础设施往往未充分利用；第二，软件服务（SaaS）指的是通过因特网运在远程云基础架构上运行应用程序的过程；第三，平台服务（PaaS）允许用户通过构建已经由云提供商开发的软件库或者开发平台来构建软件应用程序。

现代大数据技术已经设计出解决方案来提供使用可扩展且经济有效的技术处理和分析大规模并行化数据集。对比发现，大数据集中于数据的采集、挖掘、分析和知识学习，而云计算强调的是计算能力，也即是处理数据的能力。如果没有大数据，再强大的云计算也无用武之地；相应地，如果没有云计算，那么也很难挖掘数据的价值并利用数据。

4.大数据、云计算对水利工程质量风险管理的影响分析

传统的水利工程质量风险管理模式大多数体现在“事中”，即是通过对在建的水利工程进行质量检测或者对已经出现的工程质量进行管理，以达到提高工程质量的目的。而“事前”对水利工程质量管理方法较少，如果能够综合各方面的信息，建立科学完善的综合评价体系，对项目前期和潜在的质量风险进行分析，提前采取奖励风险的措施， 达到规避风险的目的。

水利工程质量风险管理因素是形成大数据的核心，而此数据依赖云计算的强大算力来挖掘其中的数据价值。大数据、云计算的视角下对水利工程质量的风险管理的内容主要包括对数据源的和特征挖掘以及对工程质量风险管理框架的设计。大数据的分析处理可以利用云计算体系下的数据挖掘、机器学习、统计分析等技术，关键要解决数据准备和分析等过程中的海量数据计算问题。数据挖掘（Data Mining）指的是从巨量的、不完全的、模糊的、有噪声的实际应用数据中，提取隐藏在其中、人们事先未知但有潜在利用价值的信息和知识的过程，例如从影响工程质量风险的因素中提取关联性。站在狭义的角度来看待大数据对水利工程质量风险的管理，主要体现在数据的结构形式上[5]。从这个角度来讲，大数据不仅包含结构化数据，更多指的是半结构化的数据和非结构化数据，表现为数据形式的多样性和复杂性。

因为水利工程的质量风险因素多而复杂又具有不稳定性，如果利用传统的质量风险管理模式，并不足以发现内在规律，因此需要利用数据挖掘技术（例如统计技术，决策树和神经网路等）去挖掘数据间的关系，并预测风险。

目前我国建筑工程质量风险识别的方式主要为：试验数据或结果、核对表、专家调查法、问卷调查或者访谈、事件树分析法和工作分解结构。这些传统的风险识别方法大多数从风险的形成出發，依赖于人为判断，往往不能有效反应实际的情况。如今，云计算超强的计算能力以及普及，使得大数据分析技术逐渐应用于水利工程质量风险的管理。而管理体系的构建是一项复杂的工程，主要包括以下三个阶段：一是以质量风险管理的需求为目标来构建用于水利工程质量的初始风险清单，例如技术风险的设计，施工和其他方面，以及非技术方面的自然与环境，经济，政治法律，合同，人员和材料设备等；二是根据水利工程质量初始风险清单中的风险收集相关数据，例如技术风险里的设计内容、设计缺陷、错误和遗漏等，非技术风险里的自然环境方面，比如洪水，火灾，台风或者地震等均可以数据的形式收集；三是利用数据挖掘方法，如关联，分类，决策树，神经网络等方法对所采集的数据进行分析，根据质量风险清单对项目质量风险进行分析与预测，同时根据工程质量问题的实际数据对初始的质量风险清单进行优化更新。

5.结语

本文从大数据、云计算的角度出发，针对水利工程质量风险管理的问题进行分析。与传统的工程质量风险管理模式相比，大数据、云计算角度下的工程质量风险管理模式更具有客观性，并且能够提供预测风险及规避风险的能力。此外，在云计算强大算力的支撑下，本文所提出的工程质量风险管理模式更具有准确性和高效性。

参考文献：

[1]郑国栋，张照全.浅谈水利工程质量管理[J].科学技术创新，2011 （6）：246-246.

[2]Gantz，John，and David Reinsel."The digital universe in 2020：Big data，bigger digital shadows，and biggest growth in the far east. " IDC iView： IDC Analyze the future 2007.2012（2012）： 1-16.

[3]秦荣生. "大数据，云计算技术对审计的影响研究[J]. "审计研究6.5（2014）.

[4]莫荣强，艾萍，吴礼福，et al.一种支持大数据的水利数据中心基础框架[J].水利信息化， 2013（3）： 16-20.

[5]李梅杰.大数据视角下水利工程质量风险管理[J].城市建设理论研究（电子版），2018，No.252（06）： 187-188.