基于增强现实的心墙堆石坝施工进度可视化仿真

钟登华，王志宁，关 涛，王 栋，鄢玉玲



基于增强现实的心墙堆石坝施工进度可视化仿真

钟登华，王志宁，关 涛，王 栋，鄢玉玲

(天津大学水利工程仿真与安全国家重点实验室，天津 300072)

目前心墙堆石坝施工过程可视化仿真研究多是基于施工仿真结果构建的纯虚拟三维可视化，其地形模型多根据前期勘测数据建立，其渲染消耗资源多且不易被修改，且与实际施工场景有很大差别．针对此问题，将增强现实技术(AR)引入水利水电工程施工仿真中，提出了基于增强现实的心墙堆石坝施工过程可视化仿真方法，该方法主要解决两个方面的问题：如何利用虚拟相机的三维注册技术解决虚拟场景与真实场景不处于同一空间的问题，以使可视化仿真具有动态时效性；如何通过视频监控获取的三维场景信息与虚拟物体叠加，以解决传统可视化仿真中地形模型占用过多资源的问题，并提高可视化仿真效率．结合西南某大型水利水电工程，利用AR技术对该工程的施工进度仿真进行可视化展示．首先在无需建立地形模型的情况下实现了施工仿真和施工现场的紧密结合；其次，基于web service的数据查询和传输实现仿真成果的交互式动态三维场景查询，同时通过基于硬件的增强现实方法以更少的资源消耗实现了更真实直观的可视化仿真，为水利水电工程施工可视化仿真提供了新思路．

心墙堆石坝；增强现实技术；交互式动态三维场景；施工仿真；可视化

随着水利水电行业的发展，我国心墙堆石坝工程规模越来越大，如在建的雅砻江两河口心墙堆石坝(295,m)，大渡河双江口心墙堆石坝(312,m)，拟建的300,m级澜沧江如美心墙堆石坝等，这些工程建设规模大、工期长、施工强度大、施工高峰期长，因此施工进度控制面临严峻的挑战．当前计算机仿真技术已经得到了广泛应用，为大型水利水电工程设计及建设提供了有效的进度分析手段[1-4]．为了实现对仿真结果的有效分析，随着施工进度仿真技术的不断进步三维可视化仿真技术已成为仿真结果直观分析表达的重要手段．

众多国外学者利用三维环境进行仿真分析以解决时间和空间冲突[5-7]，但是目前有关进度控制三维可视化的研究多集中于土木工程[8-11]；在国内，钟登华[12]课题组率先对可视化仿真在水利水电工程中的应用进行了研究，并提出了可视化仿真的理论和方法，其实现方式主要基于GIS技术．胡程顺等[13]利用VC++开发了基于GIS的三维展示软件，将土石方调配的结果在三维空间中展示出来．钟登华等[14]将土石方调配和土石坝施工过程仿真结合，提出了土石坝施工系统可视化仿真的概念，并利用GIS技术将大坝施工面貌进行三维动态可视化输出．刘宁等[15]对高心墙堆石坝交通仿真进行研究，并对其仿真成果进行交互式三维可视化展示，为交通仿真三维动态可视化分析提供了条件．钟登华等[16]利用CATIA进行堆石坝参数化建模并实现了施工动态可视化仿真．在施工过程相近的碾压混凝土坝方向，钟登华等[17]对仓面施工的精细化模拟进行研究，并利用unity3D开发了碾压混凝土施工仓面的精细化仿真程序．钟登华等[18]针对沥青混凝土心墙堆石坝的特点对其施工仿真进行了研究，并开发了基于unity3D的可视化仿真系统．钟登华等[19]对水电站厂房设备的相关信息在三维环境下进行了统一管控，实现了水电站厂房设备信息的三维可视化交互式查询．在相近研究方向，刘东海等[20]对截流工程进行仿真分析并利用GIS平台对仿真结果进行了三维可视化展示．钟登华等[21]设计了混凝土坝仿真与三维可视化的集成模式，实现了集界面可视化、计算过程与结果可视化和基于GIS的大坝上升过程三维动态可视化于一体的三维可视化系统．以上研究将可视化仿真理论与方法不断完善，使其由单一的数据图表到平面图形，再到三维模型、可交互式动态三维场景，从而以更加友好、更加直观的方式展示给管理者、决策者，使仿真计算更有效率地投入生产实践．然而，目前相关研究仍然存在如下不足：①可视化仿真大都基于仿真计算结果并结合虚拟三维可视化成果进行分析，同时在三维场景中地形、地物等均采用静态信息进行展现，因而难以体现真实场景中地形、地物的变化；②为准确还原地形，故在建立地形模型的时候需要精细化划分网格，从而导致地形模型占用较多的系统资源，增加了计算机的负荷．增强现实技术AR作为可交互式虚实结合的新兴可视化技术可以有效解决以上问题．

增强现实(AR)[22]技术最早由Webster等[23]引入AEC(architecture，engineering，and construction)行业，其目的是解决将虚拟的物体带入到真实的场景 中[24]，当前已经在ACE领域得到了广泛的应用[25]. Carozza等[26]利用平板电脑和内嵌于平板电脑内部的传感器实现遮挡感知增强现实，将自动从项目数据库中获取的BIM模型融入城市环境，并在真实城市环境中完整地展示了管道系统等一些可视化结果．Haynes等[27]围绕洪水淹没场景讨论了利用智能手机展示增强现实洪水场景，包括实时几何建模、应用程序操作和现场演示等，以教育警示民众．Mcclean等[28]利用城市建筑物立面中大量平行线以及灭点在单幅二维图像中生成三维平面，并以此为基准融合三维图形实现增强现实．其中，在施工进度控制方面，Golparvar-Fard等[29-30]开发了一套进度控制系统，实现了在真实施工场景中显示各施工单元的进度，同时可以自动检测各施工单元进度完成情况，按照计划进度的完成度用增强现实的方式以不同颜色显示出来，但是由于该系统采用SfM(structure from motion)模型重建方法，将日常无序照片集生成增强现实图片．此种方法耗时较长且生成的结果为静态，因此不具备动态实时性．本文考虑到大型心墙堆石坝工程特点及实时性需求，采用动态实时差分全球定位系统(real-time kinematic difference-global positioning system，RTK-GPS)与惯性测量单元(inertial measurement unit，IMU)相结合的增强现实方式解决了以上问题，基于增强现实技术对心墙堆石坝施工可视化仿真研究包括：①增强现实是通过对虚拟相机的三维注册以及显示设备的显示在真实的场景中直接显示出虚拟的物体，并与真实场景很好地融合在一起，这使得虚拟的进度模型可直接融合到真实场景中，两者共同存在于一个空间，解决了虚拟模型与现场场景在不同空间的问题；②由于视频码流的解码、渲染以及大坝模型的渲染相对于大范围地形模型的渲染极大地降低了计算机资源的消耗，利用视频监控等技术在获取的地形地物视频信号中直接叠加虚拟物体、从而构建三维场景，解决了地形地物模型的建立和渲染占用较多资源的问题．通过在我国西南某大型水利水电工程中仿真计算和增强现实的结合，实现了在真实施工场景中施工仿真进度的实时动态展示，并通过与传统可视化仿真的对比，验证了基于增强现实的可视化仿真技术具有的优越性．

1 基于增强现实的心墙堆石坝可视化仿真研究构架

基于增强现实技术的施工进度可视化仿真研究框架如图1所示．基于增强现实的心墙堆石坝可视化仿真研究主要分为4个部分：相机三维坐标和姿态的获取及虚拟相机注册、施工仿真计算、大坝模型的建立及处理、虚实融合以及信息交互．

第1步，建立大坝三维实体模型．根据大坝设计设计信息提取大坝三维尺寸，同时按照各分区以真实的大坝坐标系建立大坝三维实体模型，并按照各个分区不同材质对模型进行材质贴图．

第2步，仿真计算．心墙堆石坝施工主要分为坝面施工和上坝运输两个子系统，根据施工组织设计的方案和各施工工序的衔接关系，采用CYCLONE (cycle operation network)技术对施工过程进行描述，并用双回路并行仿真对两个子系统建立施工进度仿真模型，其后对施工进度进行仿真计算，获得仿真 数据．

第3步，获取相机参数并注册虚拟相机．利用固定在相机上的GPS和IMU传感器，通过数传技术，按照一定频率将传感器数据传送到客户端，客户端解析并进行卡尔曼滤波，同时获取相机三维坐标和姿态6个参数，实时注册虚拟相机，从而获取大坝模型图像.

第4步，虚实融合及信息交互．通过将摄像机实时获得真实场景图像和虚拟相机注册后获得的大坝模型图像以大坝模型成像像素点优先显示的原则进行叠加实现虚实融合，由web service实现信息的交互式查询并将大坝形体信息发送至可视化工具包VTK(visualization toolkit)进行大坝模型处理．

图1 基于增强现实的心墙堆石坝可视化仿真构架

2 基于增强现实的心墙堆石坝可视化仿真理论与方法

基于增强现实技术对心墙堆石坝的可视化仿真进行研究，即将真实拍摄的心墙堆石坝施工场景与基于仿真计算的虚拟大坝三维模型进行叠加的过程．通过将相机拍摄获得的实景图像代替传统可视化仿真三维地形、地物的渲染图像，既降低了对计算机资源的消耗，同时又使得可视化场景和真实施工场景保持同步，便于对仿真结果进行直观实时的分析．

2.1 心墙堆石坝仿真理论与方法

心墙堆石坝施工系统可抽象为两个相互关联的子系统，上坝运输系统和坝面填筑系统，如图2所示．上坝运输仿真在离散事件仿真[31]的模型下采用循环网络技术[32]，以运输车作为驱动系统向前推进的对象来实现施工全过程仿真．上坝运输过程可抽象为：装料、重行、岔口、加水、卸料、空返等几个事件，整个过程是由这些事件按照具体的工程情况组合、连接形成的闭合回路，并根据工程具体情况采用可视化建模方法[33]建立仿真模型，如图3所示．坝面填筑是按照不同的分区、分期，逐层施工的，每个填筑层又划分为施工单元，其工序为：摊铺、洒水、碾压、质检．一个单元是否能够开始仿真，除了取决于高差约束和日最大上升高度等约束条件外，还取决于上坝运输仿真在该单元卸料事件是否结束；上坝运输仿真在某单元卸料事件应发生在坝面填筑仿真中质检事件之后及碾压事件事前．两个系统相对独立又互相约束，双回路并行仿真同步进行[34]．仿真计算应既能从初始状态开始，又能从当前工程施工状态开始，即从任意时刻开始到任意时刻结束[35]．通过仿真计算，得到施工工期、填筑方量、填筑高程等信息．

图2 心墙堆石坝施工系统原理

图3 上坝运输仿真示意

2.2 相机成像原理

为准确描述相机成像原理，计算出空间中点在拍摄图片上的位置，需通过4个坐标系的互相转换来完成，即：世界坐标系、相机坐标系、图像坐标系、像素坐标系．为统一坐标、描述相机以及物体的空间位置，本文采用大坝坐标系作为世界坐标系．相机模型为针孔相机模型，则相机坐标系坐标原点为相机的焦点，光轴的方向为轴方向，垂直于光轴距焦点长度为焦距处为成像平面，其上定义两个坐标系，图像坐标系p-pp和像素坐标系px-pxpx，如图4所示.

图4 相机成像原理中坐标系相互关系示意

其中：

w-www代表世界坐标系，单位m；

c-ccc代表相机坐标系，光心为坐标原点，单位m；

p-pp代表图像坐标系，光心为坐标原点，单位mm；

px-pxpx代表像素坐标系，左上角为坐标原点，单位pixel；

代表空间中三维坐标点；

代表成像平面二维坐标点；

代表成像平面；

相机焦距，即c和p的距离，＝||c-p||．

计算大坝模型在相机拍摄图像中成像的位置，即是从世界坐标到相机坐标，再到图像坐标，最后到像素坐标转换的过程．

2.2.1 世界坐标转相机坐标

由于本文研究大坝等大型建筑物，变形可以忽略，认为所有物体都是刚体，其变换过程只有旋转和平移，没有变形；所以可以用旋转向量和平移向量来描述坐标转换．刚体在空间中的旋转是由3个独立的转角组成的，当绕轴旋转时，如图5所示，则有

 (1)

 (3)

 (4)

从而得到转换矩阵＝123．世界坐标系和虚拟相机之间的空间关系如图6所示，其中为平移向量，所以大坝模型任意点从世界坐标系到相机坐标系的转换关系为

 (5)

2.2.2 相机坐标系转图像坐标系

将得到的相机坐标系转换为图像坐标系属于透视投影关系，如图7所示．由空间几何关系得

图7 相机坐标转图像坐标示意

 (7)

 (8)

 (9)

2.2.3 图像坐标系转像素坐标系

获得图像坐标后，根据传感器尺寸确定图像坐标对应的像素坐标，二者同在成像平面上，各自的原点和单位不同，其关系如图8所示．图像坐标系的单位是mm，其是连续的长度单位；像素坐标系的单位是pixel，其是呈矩阵状分布的离散单位．因此，用d和d表示每个像素的长和宽(mm)，即1,pixel＝dmm，则有

   (10)

 (11)

(12)

综上所述，通过3次坐标转换可得到一个大坝上三维空间点的世界坐标对应的像素坐标，如式(12)．

图8 图像坐标转像素坐标示意

2.3 增强现实成像原理

根据第2.2节的相机成像原理可知，若相机的参数相同，则空间中的同一点会在相同的像素点成像，因此，当虚拟空间坐标系与真实空间坐标系相同、虚拟相机参数和真实相机参数一致时，二者拍摄的图像叠加在一起，即可反映出真实空间中物体和虚拟空间中物体的空间关系．一般地，将虚拟相机的参数设置为与真实相机一致的过程称为相机的注册[24]．

本文采用RTK-GPS加IMU对增强现实相机进行三维注册，由于采用的相机为定焦镜头，故此相机模型可认为是6自由度模型，即包括三维空间坐标和三维空间转角．

首先，利用RTK-GPS实时地获取相机精确的真实场景的三维空间坐标()，利用IMU获得实时的三维姿态，即空间的三轴转角()．为减小IMU原件传感器和GPS噪声产生的误差，本文采用卡尔曼滤波器对数据进行滤波[36]，某时段内转角数值序列经过滤波前后的数据对比如图9所示．然后，将()这6个参数实时传递给虚拟相机，即完成相机的三维注册，如图10所示．

图9 卡尔曼滤波前后数据对比

图10 注册6参数相机模型

相机注册后虚拟空间的坐标系和真实空间共同使用大坝坐标系，则虚拟相机所获得的图像上物体的空间位置关系与真实相机获得图像上物体的空间位置关系一致．在获取相机参数注册虚拟相机后，在同一大坝坐标系下，虚拟相机具有和真实相机相同的参数，经过虚实点的融合获得增强现实的成像，如图11所示．设为虚拟空间中大坝模型上的任意点，根据相机成像原理，该点在虚拟相机中的成像点为，如图11(a)所示；为在真实空间中施工场景周围地形上的任意点，根据相机成像原理，该点在真实相机中的成像点为，如图11(b)所示；由于虚拟相机与真实相机的参数一致，因此将真实像与虚拟像叠加后得到大坝虚拟模型上的点和施工现场实际地形上的点在同一空间里所成的像，可反映两个空间点的位置关系，如图11(c)所示．

图11 虚实点融合

2.4 基于AR的堆石坝可视化仿真

2.4.1 基于AR的虚实场景构建

(1) 大坝虚拟三维实体模型的构建．大坝三维实体模型作为基于增强现实的心墙堆石坝可视化仿真中重要的一部分，负责增强现实中虚拟物体的表现，为了更好地融合虚拟三维实体模型、真实地展示工程现场的场景，采用3,ds Max对大坝进行三维实体模型的建立．图12为大坝三维实体模型．

结合仿真技术和VTK技术，能够显示仿真中各个分期、分区各月份的形态面貌，如图13所示为大坝施工中三维实体模型，不必预先手动切割，这样减少了模型上的网格，使整体效率更高．VTK切割模型

主要应用命名空间Kitware．VTK的vtkClipPolyData类、vtkPlane类、vtkCutter类、vtkPolyData类、vtkStripper类和vtkTriangleFilter类．具体流程为

步骤1 获取模型数据；

步骤2 根据当前高程生成切割平面(vtkPlane)，如图14(a)所示；

步骤3 ,根据切割平面切割分区模型数据(vtkClipPoly Data)，如图14(b)所示；

步骤4 根据切割平面生成切割面(vtkCutte、vtkPolyData、vtkStripper和vtkTriangleFilter)，如图14(c)所示；

步骤5 输出切割后模型数据，如图14(d)所示.

图12 大坝三维实体模型

图13 实施切割后的大坝三维实体模型

图14 坝体切割过程

(2) 大坝真实施工场景的获取．真实场景通过工程现场的摄像头获得，包括动态摄像头(航拍等)和静态摄像头(安置于固定点的监控摄像头)，通过有线、无线图像传输技术传回．摄像头获得图像数据后，连同其位置信息(RTK-GPS)和姿态信息(IMU)即包含摄像头位置和姿态信息的图像一同发送到客户端. 图15为航拍的枢纽区附近现场真实图像．

图15 航拍枢纽区现场图像

通过客户端的计算，得到相机的位置()和姿态()，利用第2.3节的AR成像原理进行相机注册，使虚拟相机和真实相机具有相同的参数，通过第2.2节的相机成像原理计算大坝模型在当前相机状态下拍摄的图像，该图像拥有和真实场景图像相同的参数，同时检测两张图像上的所有像素点，由于不考虑遮挡，所以，大坝模型成像的像素点优先显示，而最终获得增强现实效果．由于真实场景可以进行实时动态的拍摄、传回和计算，不需要重建模型便可实时动态地反映大坝的施工进度和面貌；同时通过拍摄获取地形、地物信息的方式比传统方法降低了计算机资源占用率．

2.4.2 基于AR的心墙堆石坝仿真信息交互

模型和数据的关联是信息交互的关键所在．本文只涉及到大坝模型的各个分区，则对每一分区进行唯一分区编码．由于查询仿真数据时需要用分区ID作为关键字，因此需要在数据库表中添加数据映射，使每个分区编码和每个分区ID具有一对一的映射关系．根据当前选择的时间和选择的坝体分区两个条件，在仿真结果数据表中可查询唯一一条数据，其流程如图16所示．

基于AR的堆石坝可视化仿真数据传递过程为：首先，根据仿真输入参数进行仿真计算，并将仿真数据录入仿真数据库；其次，硬件外设部分实时将传感器采集数据(视频码流、IMU数据、GPS数据)发送到客户端，客户端获取数据后进行多传感器数据的融合，进行相机的三维注册；然后，客户端通过web service的数据接口来获取仿真数据和交互信息，可显示任意月的面貌和在当前施工状态下当前时刻之后的面貌等，此部分数据存在仿真数据库中．

图16 三维模型与数据关联和数据传递逻辑

基于AR的堆石坝可视化仿真信息交互客户端部分代码如下．

private WebServiceHelper datachanger

＝ new WebServiceHelper()；

//构造WebServiceHelper用于数据交换

private CameraReal camraReal

＝ new CameraReal()；//真实相机

private CameraVirtual camraVirtual

＝ new CameraVirtual()；//虚拟相机

void initialize()//初始化

{

SimulationCal()；//仿真计算

LoadMode()；//加载大坝模型

LoadScheduleBar()；//加载仿真进度条

}

void OnFrame()//每帧动作

{

CameraParas cameraParas

＝GetCameraParas()；//获取相机数据

cameraParas＝KalmanFilter(cameraParas)；

//卡尔曼滤波

SetCamera(cameraParas)；//注册相机

Pic picReal＝camraReal．getFrame()；

//获取真实相机当前帧

Pic picVirtual＝camraVirtual．getFrame()；

//获取虚拟相机当前帧

Fuse(picReal，picVirtual)；//真实虚拟融合

if(ScheduleBarSelectedChanged())

//如果仿真进度选中值改变

{

VTKCut(datachanger．getAppearance(Time))；

//根据选中时间获取大坝面貌数据并切割模型

ReloadMode()；//重新加载模型

}

if(ModeIsSelected())//如果有模型被选中

{

ShowInfo(datachanger．getInfo(

Time，Block))；

//根据当前时间和选中坝块获取其信息并显示

}

}

3 工程实例

以我国西南某心墙堆石坝为例进行基于AR的可视化仿真研究．大坝主要分为15个分区，总填筑方量为4160×104,m3，工程计划分14期进行，2016年6月大坝开始填筑．将施工作业方式、施工有效天数、机械配套方案以及高差约束等作为仿真边界条件，通过建立的心墙堆石坝施工仿真模型对施工全过程进行仿真计算，以获得大坝施工分期、分区、施工月份、填筑方量等数据，仿真结果显示分14期进行，2016年6月大坝开始填筑，2022年12月大坝填筑结束，共计78个月．

可视化仿真界面如图17所示，采用双进度条设计，下方的进度条表示分期，分期上方的进度条表示该分期下的施工月份，通过交互式查询可显示总填筑仿真信息表格(图17(a))，以及当前施工月份各分区设计高程统计图(图17(b))．在增强现实的环境下对仿真进度进行可视化展示并通过交互式信息查询获得当前时刻某一分区的施工信息．如图17(a)所示，工程总分为14期，选择第2期，可知第2期共分7个月施工，从2016年11月—2017年5月，以2017年5月为例，则可获得大坝当前月份的施工面貌，通过鼠标点击大坝分区模型向web service数据接口传递输入参数(arg0＝＂XYDS＂，arg1＝＂2017/ 05＂)，返回值为当前月份、所选分区的施工信息，施工分区为下游堆石区，施工期数为2期，设计高程为2,629.21,m，施工方量为2×104,m3，施工月份为2017年5月．同理，图17(b)为上游过渡区施工信息：工程分区为上游过渡区，施工工期为第2期，设计高程为2,629.21,m，施工方量为2×104,m3，完成时间为2017年5月．

为了进一步阐述基于增强现实技术的心墙堆石坝可视化仿真方法的优点，应用传统的三维环境可视化仿真方法对该堆石坝进行展示，如图18所示，为仿真进度下2017年5月大坝面貌．通过图18的对比，可以得到基于增强现实的可视化仿真的如下优点.

(1)基于AR的可视化仿真方法的可视化场景能够与施工现场保持同步并动态更新，能够将仿真信息直接和施工现场相融合．在传统的三维环境可视化仿真中，其周围的地形模型都是根据勘测和设计阶段的数据建立的，为静态的模型，其不能随着施工的进行而实时更新，场景中枢纽区等地形地物面貌改变较大的区域会随着施工的进行和现场差距越来越大，如图18(b)中，其中虚线框、、、表示真实工程场景中的区域，图18(c)′、′、′、′表示传统虚拟场景中的区域，图18(a)中的″、″、″、″表示增强现实场景中的区域，枢纽区附近的引水发电和泄水工程的水工建筑物和开挖边坡都是按照设计阶段成果建立的模型，其不能表现当前时刻施工现场真实的状态(如与)，其中在上下游堆石区附近(和区域)由于传统的三维地形模型的更新滞后，导致地形高于当前月的坝体填筑高程而产生遮挡(′与′)，而基于增强现实的可视化仿真，则可以避免这个问题，开挖工程、水工建筑物工程都是现场真实的情况(如与″)，实时获取，以更直观、更直接的方式展示仿真信息．此外，其他原因(如季节等)也会导致现场的改变，基于增强现实的可视化仿真不论现场如何改变，均可以实时地在真实的施工现场环境中展示仿真信息，实现将仿真信息与施工现场实景融合．

图17 基于增强现实的仿真结果可视化展示

图18 传统三维可视化仿真及与AR、真实场景对比

(2)基于AR的可视化仿真方法无需建立地形模型．传统的三维环境需建立庞大的地形模型，如图18(d)所示，地形模型共106,793个点，其生成和渲染都需消耗大量的计算机资源(实时精细渲染1,600×900分辨率图像，加载时间为15,s左右)，而且还需要根据设计资料建立地物模型，所有的地物模型(如道路、渣场、料场等)都需与地形做布尔运算，才能获得开挖的效果，如图18(e)所示，此过程又极其繁琐，消耗资源．而基于增强现实的可视化仿真不需要建立地形模型，只需要建立用于可视化仿真的大坝模型即可，其他地形地物都是真实的，无需虚拟成模型，这不仅减少了大量的计算机资源消耗(同等条件下，加载时间减少约66.7%,)，也减少了人力消耗．

综上所述，基于增强现实的可视化仿真在获得更好的显示效果的同时又减少了资源的消耗，其是水利水电工程施工可视化仿真的有效手段，性能指标对比如表1所示.

表1 基于AR的可视化仿真和传统三维可视化仿真性能指标对比

Tab.1 Comparison of AR-based visual simulation and traditional 3D visual simulation

4 结 语

现代大型水利水电工程对施工仿真可视化提出了更高的要求，本文考虑到传统三维可视化仿真中地形的模型建立和渲染消耗资源大、地形地物模型建立后不能随工程进度而动态修改等问题，提出了基于增强现实的可视化仿真方法．该方法采用RTK-GPS和IMU技术相结合的相机注册方法，通过视频监控等技术，以视频流码的解码、渲染代替传统三维可视化仿真中地形地物的渲染，既降低了对资源的消耗，亦保证了可视化仿真场景和真实施工场景的一致性，其具有节省资源、实时更新、更加直观等优点，实现了仿真数据和施工现场的融合，为会商讨论、指挥施工提供了一个更加直观、更加高效的途径，为现代水利水电工程仿真可视化研究提供了新思路，推进了现代水利水电工程的数字化、智能化、智慧化[37]发展.

［1］ 钟登华，张发愈，李明超，等. 面向对象的堆石坝施工系统仿真与优化研究[J]. 水力发电，2003，33(3)：87-89.

Zhong Denghua，Zhang Fayu，Li Mingchao，et al. Object-oriented system simulation and optimization research for rock-filled dam construction[J].，2003，33(3)：87-89(in Chinese).

［2］ Zhong Denghua，Zhang Ping，Wu Kangxin. Theory and practice of construction simulation for high rock-fill dam[J].：，2007，50(1)：51-61.

［3］ 钟登华，张 平. 基于实时监控的高心墙堆石坝施工仿真理论与应用[J]. 水利水电技术，2009，40(8)：103-107.

Zhong Denghua，Zhang Ping. Theory and application of construction simulation for high core rock-fill dam based on real-time monitoring[J].，2009，40(8)：103-107(in Chinese).

［4］ 钟登华，赵晨生，张 平. 高心墙堆石坝坝面碾压施工仿真理论与应用[J]. 中国工程科学，2011，13(12)：28-32.

Zhong Denghua，Zhao Chensheng，Zhang Ping. Theory and application of construction simulation for roller compaction of high core rock-fill dam[J].，2011，13(12)：28-32(in Chinese).

［5］ Al-Hussein M，Niaz M A，Yu Haitao，et al. Integrating 3D visualization and simulation for tower crane operations on construction sites[J].，2006，15(5)：554-562.

［6］ Mawlana M，Vahdatikhaki F，Doriani A，et al. Integrating 4D modeling and discrete event simulation for phasing evaluation of elevated urban highway reconstruction projects[J].，2015，60：25-38.

［7］ Elnimr A，Fagiar M，Mohamed Y. Two-way integration of 3D visualization and discrete event simulation for modeling mobile crane movement under dynamically changing site layout[J].，2016，68：235-248.

［8］ Wang Weichih，Weng Shaowei，Wang Shihhsu，et al. Integrating building information models with construction process simulations for project scheduling support [J].，2014，37(6)：68-80.

［9］ Brito D M，Ferreira E A M. Strategies for representation and analyses of 4D modeling applied to construction project management[J].，2015，21(1)：374-382.

［10］ Park J，Cai H，Dunston P S，et al. Database-supported and web-based visualization for daily 4D BIM[J].，2017，143(10)：04017078.

［11］ Li Xue，Xu Jing，Zhang Qun. Research on construction schedule management based on BIM technology[J].，2017，174：657-667.

［12］ 钟登华. 可视化仿真技术及其应用[M]. 北京：中国水利水电出版社，2002.

Zhong Denghua.[M]. Beijing：China Water & Power Press，2002(in Chinese).

［13］ 胡程顺，钟登华，张 静，等. 土石方动态调配模型与可视化研究[J]. 中国工程科学，2003，5(12)：73-79.

Hu Chengshun，Zhong Denghua，Zhang Jing，et al. Study on the model and its visualization for dynamic allocation of earth[J].，2003，5(12)：73-79(in Chinese).

［14］ 钟登华，胡程顺，张 静. 高土石坝施工系统可视化仿真与应用研究[J]. 水利水电技术，2004，35(12)：50-55.

Zhong Denghua，Hu Chengshun，Zhang Jing. Visualization smiulation for embankment dam construction and its application[J].，2004，35(12)：50-55(in Chinese).

［15］ 刘 宁，钟登华，张 平. 高心墙堆石坝施工现场交通可视化仿真研究[J]. 水利水电技术，2012，43(4)：73-78.

Liu Ning，Zhong Denghua，Zhang Ping. Study on visualized simulation of in-situ traffic for construction of high rock-fill dam with core[J].，2012，43(4)：73-78(in Chinese).

［16］ 钟登华，张琴娅，杜荣祥，等. 基于CATIA的心墙堆石坝施工动态仿真[J]. 天津大学学报：自然科学与工程技术版，2015，48(12)：1118-1125.

Zhong Denghua，Zhang Qinya，Du Rongxiang，et al. Dynamic construction simulation of core rock-fill dam based on CATIA platform[J].：，2015，48(12)：1118-1125(in Chinese).

［17］ 钟登华，张元坤，吴斌平，等. 基于实时监控的碾压混凝土坝仓面施工仿真可视化分析[J]. 河海大学学报：自然科学版，2016，44(5)：377-385.

Zhong Denghua，Zhang Yuankun，Wu Binping，et al. Simulation and visual analysis for construction of storehouse surface of RCC dam based on real-time monitoring [J].：，2016，44(5)：377-385(in Chinese).

［18］ 钟登华，陈永兴，常昊天，等. 沥青混凝土心墙堆石坝施工仿真建模与可视化分析[J]. 天津大学学报：自然科学与工程技术版，2013，46(4)：285-290.

Zhong Denghua，Chen Yongxing，Chang Haotian，et al. Construction simulation modeling and visual analysis of rockfill dam with asphalt concrete core[J].：，2013，46(4)：285-290(in Chinese).

［19］ 钟登华，谷金操，佟大威. 水电站厂房及设备可视化交互仿真建模方法与应用[J]. 天津大学学报：自然科学与工程技术版，2014，47(2)：95-100.

Zhong Denghua，Gu Jincao，Tong Dawei. Method and application of visual interactive simulation modeling for hydropower house and its equipment[J].：，2014，47(2)：95-100(in Chinese).

［20］ 刘东海，钟登华，郑家祥. 数字化截流及其三维动态可视化仿真[J]. 天津大学学报，2004，37(4)：298-302.

Liu Donghai，Zhong Denghua，Zheng Jiaxiang. River closure digitalization and three-dimensional dynamic visual simulation[J].，2004，37(4)：298-302(in Chinese).

［21］ 钟登华，练继亮，朱慧蓉. 混凝土坝浇筑过程三维动态可视化仿真[J]. 天津大学学报，2004，37(1)：45-49.

Zhong Denghua，Lian Jiliang，Zhu Huirong. 3D dynamic visual simulation of concrete dam construction [J].，2004，37(1)：45-49(in Chinese).

［22］ Sutherland I E. A head-mounted three dimensional display[C]//. San Francisco，USA，1968：757-764.

［23］ Webster A，Feiner S，Macintyre B，et al. Augmented reality in architectural construction，inspection，and renovation[J].，1996：913-919.

［24］ Azuma R T. A survey of augmented reality[J].：，1997，6(4)：355-385.

［25］ Behzadan A H，Dong Suyang，Kamat V R. Augmented reality visualization：A review of civil infrastructure system applications[J].，2015，29(2)：252-267.

［26］ Carozza L，Valero E，Bosché F，et al. UrbanPlanAR：BIM mobile visualisation in urban environments with occlusion-aware augmented reality[C]//. Heraklion，Greece，2017：229-236.

［27］ Haynes P，Lange E. Mobile augmented reality for flood visualisation in urban riverside landscapes[J].，2016：254-262.

［28］ Mcclean E，Cao Y，Mcdonald J. Single image augmented reality using planar structures in urban environments[C]//2011. Dublin，Ireland，2014：1-6.

［29］ Golparvar-Fard M，Peña-Mora F，Savarese S. D4AR-a 4-dimensional augmented reality model for automating construction progress monitoring data collection，processing and communication[J].，2009，14(13)：129-153.

［30］ Golparvar-Fard M，Peña-Mora F，Savarese S. Automated progress monitoring using unordered daily construction photographs and IFC-based building information models[J].，2012，29(1)：04014025.

［31］ Law A M，Kelton W D.

[M]. New York：McGraw Hill Book Co，2000.

［32］ Halpin D W. Cyclone：Method for modeling of job site processes[J].，1977，103(3)：489-499.

［33］ 钟登华，胡程顺. 复杂工程系统可视化仿真建模方法与应用[J]. 系统仿真学报，2012，14(7)：839-843.

Zhong Denghua，Hu Chengshun. Theory and applica-tion of visual simulation modeling for complex engineer-

ing system[J].，2002，14(7)：839-843(in Chinese).

［34］ Fujimoto R M. Parallel discrete event simulation[J].，1989，33(4)：30-53.

［35］ 刘珊珊，周宜红，刘 全，等. 堆石坝施工的实时动态仿真系统研究[J]. 系统仿真学报，2004，16(11)：2525-2528.

Liu Shanshan，Zhou Yihong，Liu Quan，et al. Real-time dynamic simulation system of rock-fill dams[J].，2004，16(11)：2525-2528(in Chinese).

［36］ Kalman R E. A new approach to linear filtering and prediction problems[J].，1960，82：35-45.

［37］ 钟登华，王 飞，吴斌平，等. 从数字大坝到智慧大坝[J]. 水力发电学报，2015，34(10)：1-13.

Zhong Denghua，Wang Fei，Wu Binping，et al. From digital dam toward smart dam[J].，2015，34(10)：1-13(in Chinese).

(责任编辑：王晓燕)

Visual Simulation of Construction Schedule for Core Rock-Fill Dam Based on Augmented Reality

Zhong Denghua，Wang Zhining，Guan Tao，Wang Dong，Yan Yuling

(State Key Laboratory of Civil Engineering Simulation and Safety，Tianjin University，Tianjin 300072，China)

At present，researches on visual simulation of construction schedule for core rock-fill dam are in majority virtual 3D visualization constructed by the construction simulation results．The terrain model is built according to the previous exploration data．By this method，rendering consumes more resources，the model is not easy to be modified and is quite different from the actual construction scene．To solve this problem，augmented reality(AR)technology was introduced into the construction simulation of water conservancy and hydropower projects in this paper and a visual simulation method for construction schedule of core rock-fill dam based on augmented reality was proposed．Two problems can be solved by this method：the problem that the virtual scene and the real scene are not in the same space has been solved using three dimensional registration technology of virtual camera in order to achieve the dynamic timeliness of visual simulation；the problem that the traditional terrain model takes too many resources has been solved by superimposing 3D scene information obtained by video surveillance with virtual objects and the efficiency of visual simulation has been improved．The AR technology was applied to visualize the construction progress of a large water conservancy and hydropower project in southwest China．Firstly，the construction simulation and construction site were closely integrated without the establishment of terrain model．Secondly，interactive dynamic 3D scene query of simulation results has been realized by using data query and transmission based on web service． Lastly，a more real and intuitive visual simulation has been achieved with less resource consumption by augmented reality method based on hardware．The study of this paper provides a new idea for visual simulation of water conservancy and hydropower project construction.

core rock-fill dam；augmented reality(AR)technology；interactive dynamic 3D scene；construction simulation；visualization

TV512

A

0493-2137(2018)10-1072-14

10.11784/tdxbz201710028

2017-10-31；

2017-12-20.

钟登华（1963—  ），男，教授，博士生导师，中国工程院院士，dzhong@tju.edu.cn.

关 涛，tao.guan@tju.edu.cn.

国家自然科学基金雅砻江联合基金资助项目(U1765205)；国家自然科学基金创新群体基金资助项目(51621092)；国家自然科学基金资助项目(51439005).

the Yalong River Joint Funds of the National Natural Science Foundation of China(No.,U1765205)，the Innovative Research Groups of the National Natural Science Foundation of China(No.,51621092)and the National Natural Science Foundation of China(No.,51439005)．