融合数字孪生与混合现实的震损建筑指导加固方法

刘占省，白文燕，杜修力

(1.北京工业大学 城市建设学部，北京 100124；2.北京工业大学 城市与工程安全减灾教育部重点实验室，北京 100124)

0 引 言

随着建筑行业的兴起和建筑数量的增多，现有建筑的改造、加固、修复等建设活动成为建设部门关注的重点之一[1-2]。与此同时，研究的重点从早期的设计施工转移到建筑的维护、翻新、解构等方面[3]。震后损伤建筑作为现有建筑中的分支，其加固工作与灾区人民的安全和日常生活紧密相关[4]。对于震损建筑而言，加固进程中所需信息种类繁多、数量庞大，尤其是原有建筑的图纸模型等数据对加固至关重要[5]，设计人员与施工人员、办公室经理与现场工人以及远程专家与现场人员之间存在一定的信息壁垒，难以及时沟通交流。如何实现信息流的循环，自动地将信息从设计阶段转移到施工阶段，从虚拟空间转移到物理空间，是当下要解决的主要问题之一。为了提高虚拟空间与物理空间之间的信息透明度，利用数字孪生和混合现实技术弥补信息传输过程中的差距[6]。

随着“工业4.0”时代的到来，新一代信息技术正与传统生产管理方式形成互助交融之势，也催生新一轮的科研、技术、生产管理方式的创新革命。数字孪生技术应运而生并逐渐被用于建筑行业。数字孪生是一种能够实现物理空间和虚拟空间实时连接和动态映射的有效方法[7-8]。数字孪生的概念首先来自航空航天领域，应用于飞行器的维护和质量监测[9]。之后，不同领域的研究人员也相继提出了数字孪生的相关定义，例如控制车辆寿命、资源管理以及产品周期管理等[10]。目前，美国航空航天局(NASA)给出了最常用的数字孪生的定义：数字孪生是一种集成的多维度、多物理量、多学科的仿真模拟系统，它通过传感器等实现物理实体和虚拟模型的镜像映射[11]。陶飞等[12]在此基础上进行拓展，提出数字孪生系统包括物理实体、虚拟实体、孪生数据、相关服务以及各部分之间的连接五部分。

目前数字孪生的应用范围已经不局限于航天航空和制造业，它体现出的信息传输优势使得它逐渐应用到建筑行业的各领域中[13]。将数字孪生应用于建造的全过程中，可以解决传统建造业中信息化程度较低等问题，从而推动智能建造的发展[14]。具体来说，在设计阶段可以利用CAD和BIM快速搭建数字孪生模型[15]。在施工领域，利用数字孪生判别和评估预应力拉索张拉过程中的力学参数敏感性和安全性能，可以有效提高施工效率[16-17]。此外，数字孪生还可以与人工智能方法相结合，实现建筑物的智能运维，例如利用Dijkstra算法对数字孪生模型中的人员进行疏散路径规划[18]，通过支持向量机(SVM)算法对孪生数据进行训练得到评估模型，根据实测数据预测结构的安全风险等级[19]。

尽管数字孪生可以实现数据和信息的有效传递，但随着信息数量和种类的增多，它难以用直观的方式向用户展示传递的信息[20]，可视化方式还停留在传统的看板系统和2D显示器[21]，难以全面直观地表达海量的孪生数据。混合现实(Mixed Reality,MR)可以弥补数字孪生在多维展示方面的缺陷，并且可以将多种类信息融合到虚拟模型中。

1994年，Milgram等[22]给出了混合现实的明确概念，它被定义为增强现实(Augmented Reality,AR)和增强虚拟(Augmented Virtuality,AV)的组合，即实现虚拟世界与现实世界的同时呈现。

近年来，MR在建筑行业的实用价值开始逐步体现出来，随着计算机和建造技术的快速发展，允许用户关联交互建造过程中的信息并实现可视化成为趋势[23]。MR通过将真实世界和虚拟空间融合来创建新的视觉环境。在新的可视化环境中，物理和数字对象共存并实时交互[24]。MR的这种特性可以有效缩短许多建造任务的时间，提高效率，例如设计审查、建筑优化、建设管理、安全管理、设施维护和建筑运营等[25]。

在设计阶段，MR可以提供替代媒介，使用户能够以面对面或者远程的方式共享相同的工作和通信空间[26]。此外，还可以帮助新手获取专业知识，以解决当前建筑业存在的技能差距[27]。在建设过程中，用户可以利用MR在建筑物内部导航漫游，然后通过实时比较对构件进行检查[28]。将MR用于电气管道建设，还可以提高生产效率，减少了解设计所需的时间，降低装配误差[24]。在运维阶段，用户可以通过MR自动分析捕捉到的构件损伤，并实时显示其维度信息以及条件状态[29]；还可以实现在设备维护过程中，现场工作人员和办公室经理之间的远程协作和视觉沟通[30]。

虽然MR在建筑行业中的新建工程领域得到了较为广泛的应用，但是在现有建筑的修复方面，尤其是震后建筑的加固领域，还缺乏较为系统的研究。因此，本研究提出了一种基于数字孪生的混合现实指导损伤加固系统(Digital Twin-based Mixed Reality Damage Reinforcement System，DTMR-DRS)，将混合现实技术与数字孪生技术相融合，加强数字孪生系统中的人机交互，从而进一步提高施工效率。

1 方法概述

借鉴数字孪生技术发展理念，提出适用于MR的震损建筑加固指导方法，如图1所示。该框架主要包括虚拟环境、物理环境以及两者之间的交互：

图1 融合数字孪生与混合现实的震损建筑加固指导方法

(1)在虚拟环境中为加固做准备工作。首先采集来自物理加固空间中的建筑损坏信息，如损伤部位、损伤程度等数据，提供加固工程的基本数据；然后完成MR虚拟加固开发环境和损伤建筑模型的搭建，通过虚拟加固指导流程设计形成损伤构件加固指导流程片段并与损伤编码进行匹配；最后调度和分配加固任务给施工人员。

(2)在物理环境中完成加固任务。现场人员根据分配任务匹配相应的损伤加固方案，融合物理加固环境感知模型将虚拟加固指导解决方案注册到物理加固场景中，结合人机交互方式，依据所佩戴的MR眼镜提供的指导解决方案进行损伤加固操作；加固完成后，提前安装好的传感器会对结构的裂缝形成、变形形态等进行实时监测，并同步映射到数字模型中，为加固后建筑的使用安全提供保障。

(3)孪生数据库用于融合、更新、检索与加固有关的数据；MR设备则是虚拟环境与物理环境的交互渠道，可以将虚拟指导工具融合到施工现场。

为了构建DTMR-DRS，需要集成各种类型的数据并对其进行处理，该过程包括3个阶段：①数字孪生模型搭建阶段，包括4个运行空间、各空间中的操作以及孪生数据；②数据处理阶段，包括对工程基本信息、BIM模型、加固方法以及反馈数据的收集和管理；③信息交互阶段，利用MR将处理后的数据与物理对象进行交互。

1.1 数字孪生模型搭建

震损建筑加固过程的数字孪生模型如图2所示，包含4个空间：物理空间(Physical Space，P)、虚拟空间(Virtual Space，V)、管理空间(Management Space，M)以及加固空间(Reinforcement Space，R)。一次加固进程主要由各空间中的操作(Operations，O)和产生的信息即孪生数据(Data，D)组成。

图2 数字孪生模型

在物理空间中，加固准备进程中的各项措施(OP)取决于工程的基本信息(DP)，包括抗震设防烈度、建筑结构、加固要求等。加固准备措施OP包括搭建物理模型(Build)、收集工程相关信息(Collect)以及安装传感器(Arrange the Sensor)。

OP={BP，CP，aP}

(1)

依据物理空间中的准备措施，在虚拟空间中开展相应的施工前准备工作，这一关联模型APV(OP)为

APV(OP)=OV={BV，CV，aV}

(2)

在虚拟空间中构建的模型需要上传到管理空间，由管理人员进行统筹分配，关联模型AVM(OV)为

AVM(OV)=OM={BM，CM，aM}

(3)

进行模型分类时，需要依据数字模型中集成的建筑结构信息，关联模型ADB(DV)为

(4)

(5)

在加固空间中，施工人员通过头戴式设备将指导加固指南与现实环境中的实体对齐，对损伤构件进行加固。

(6)

(7)

1.2 数据管理

数字孪生模型的各操作空间都会产生或传递大量的数据，需要对这些孪生数据进行管理。搭建数据库，共包括4个数据库：损伤数据库、数字模型数据库、加固指南数据库、反馈数据库，如图3所示。在数据处理阶段，首先需要对建筑的相关信息进行收集，其中最主要的是结构受损情况，并将收集到的信息存储在损伤数据库中，这一任务是在物理空间中完成的。然后，依据采集到的信息在数字模型数据库中创建并保存建筑的虚拟模型。在虚拟MR开发环境中制作加固指南并分配给用户。施工人员依据分配的任务在指南指导下进行加固，加固完成后继续对结构进行实时监测并将实时数据上传到反馈数据库中。数据的处理流程如下：

图3 数据管理流程

(4)对施工现场进行区域划分，并对每一区域进行编号，依据该区域损伤情况和鉴定结果分配DM和施工人员。管理人员会给同一施工任务的施工人员分配相同的账号，以确保工人在加固时可以登录并查看指南。

(5)施工人员按照分配的账号登录后，即可使用MR设备查看DM并在指南的指导下完成任务。

(6)加固完成后，传感器会继续监测结构在使用过程中的数据DR，并存储在反馈数据库中，包括结构使用时长、内力变化、变形情况等。这些数据将同步映射到数字模型中，以保证结构的正常使用。

1.3 信息交互

为实现物理空间与虚拟空间之间的双向映射与虚拟仿真，既需要完成对损伤构件虚拟加固指导过程的仿真，也需要完成物理环境与虚拟环境之间的信息交互。本节从DTMR-DRS的信息交互出发，实现物理空间的实体构件状态参数对虚拟加固空间的加固指导过程的双向映射，借助于HoloLens，开发适用于MR的人机交互机制。

为实现人机交互和虚实融合，首先需要获取当前图像对应的注册信息，然后将由计算机生成的虚拟对象根据注册信息进行投影变换，再将投影变换后的结果叠加到真实场景上，从而达成与真实物体的位置在透视关系上的一致性，这也是三维虚拟注册的主要任务[32]。

基于人工标志的三维注册技术发展非常成熟，该技术常通过在物理空间场景中放置一些较为特殊且易于辨识的图像标志，并通过摄像机来识别跟踪标志点，从而实现对物理场景中标志点的快速识别[33]。QR二维码作为一种常用的人工标志，具有较高的辨识度，同时还可处理图形旋转变化点对不同行的信息自动识别。因此本研究选取二维码作为人工标志。

DTMR-DRS中MR系统基于二维码的跟踪注册原理如图4所示。在系统初始化阶段，将特定的二维码标记放置于物理空间中，HoloLens会主动扫描物理空间中的施工环境来获取可见特征，从而创建周围环境的地图。通过对齐标记与定位点检测获取二维码图像。对采集的每一帧图像，首先转换为灰度图像，再进行二值化处理，然后将其与识别出的特定标志进行比较识别，从而判定摄像机的位置和姿态。经过坐标系的转换来校准虚拟对象的位置，最终将虚拟构件从数字模型数据库中提取出来，载入真实加固空间中的建筑坐标系统中，其中，三维注册的关键在于各坐标系统之间的转换。

图4 基于二维码的MR系统跟踪注册原理

DTMR-DRS中MR设备的成像模型为基于二维码的针孔成像模型。针孔成像模型是一种线性的摄像机成像模型，如图5所示，它涉及4种坐标系：世界坐标系Ow-xwywzw，以HoloLens摄像机的光心为坐标原点Oc建立的摄像机坐标系Oc-xcyczc，以摄像机的成像平面与摄像机主光轴的交点O1为原点建立的图像物理坐标系O1-xy，以像素为单位且坐标原点O位于图像的左上角的图像像素坐标系O-uv。

图5 针孔成像模型

厘清针孔成像原理涉及到的各个坐标系之间的转换关系很重要，以下为顶点空间坐标系转换过程。

世界坐标系与摄像机坐标系可以进行相互转换，其公式为

(8)

(9)

式中：R为旋转矩阵；T为平移矩阵；M为摄像机外部参数矩阵，它与摄像机相对于世界坐标系的位置有关。

依据针孔成像原理和相似三角形原理，可以得出摄像机坐标系与图像物理坐标系之间的转换公式为

(10)

(11)

式中：f为摄像机的焦距。

图像物理坐标系与图像像素坐标系的转换体现为度量单位从mm转换为像素和坐标原点的移动。物理坐标系O1-xy与像素坐标系O-xy的转换公式为

(12)

(13)

式中：(u0，v0)为图像物理坐标系的原点在图像像素坐标系中的坐标；dx、dy为摄像机图像的每个像素在x轴与y轴方向上的物理尺寸。

由公式(8)、(11)、(13)可得虚拟空间中三维模型上某顶点映射到MR设备光学镜片上的像素值参数的转化关系，即

(14)

式中：s为比例因子；P为摄像机的内部参数，默认为已知，由ax、ay、u0、v0决定；ax=f/dx，为u轴上的缩放因子；ay=f/dy，为v轴上的缩放因子。

综上可知，DTMR-DRS借助HoloLens对人工标志进行捕捉扫描，通过多坐标系的转换得到虚拟模型的位置，实现虚拟模型基于该位姿信息的渲染显示，完成DTMR-DRS中基于二维码的三维注册虚实融合。

2 案例分析

2.1 实用性测试

为了评估所提出的DTMR-DRS的实用性和效率，通过一个测试场景进行可用性测试。为了评估本方法的广泛适用性，有必要选择一个对加固施工没有实践经验的群体。因此，本研究采用立意抽样法招募参与者，包括20名研究生，他们目前的研究方向均与抗震加固无关，且他们都没有加固施工相关的工作经验。每个参与者被随机分配使用2D纸质版(PAPER，对照组)或者DTMR-DRS模块(试验组)执行相同的加固任务。

本测试的主要任务是使用灌胶法加固裂缝。DTMR-DRS可以帮助测试人员定位施工位置，也可利用图像或视频来解释施工过程，从而帮助参与人员完成复杂步骤。在整个测试过程中，DTMR-DRS模块参与人员可全程佩戴HoloLens眼镜，以便随时查看施工步骤。DTMR-DRS使用界面如图6所示。

图6 DTMR-DRS使用界面

具体试验步骤如下：

(1)介绍。向参与者介绍试验的流程，解释试验的要求，并简单介绍要承担的加固任务。对2个试验组的工具、文件、应用程序以及HoloLens眼镜进行了描述和演示。

(2)熟悉工具和文件。所有参与者都有机会花时间熟悉所提供的试验介质工具和文件。对使用PAPER的参与者提供图文版施工步骤详解；对使用DTMR-DRS模块的参与者进行HoLolens设备的使用培训。

(3)试验过程。一旦熟悉了设备和文档，参与者就可以开始任务。参与者可以根据各自媒介提供的指导信息进行加固。参与者必须单独完成试验。研究人员观察每个人的表现，并记录他们完成每项任务的时间以及每个人在测试过程中遇到的技术或操作问题。

(4)试验后问卷。在完成任务后，参与者被要求完成调查问卷，以获取他们在使用试验中提供的设备和人机交互方面的经验和意见。

根据记录的时间和问卷进行统计分析：①DTMR-DRS的有效性，包括参与人员完成指定任务的准确性和完整性;②施工效率，即参与人员完成任务所需时间;③参与人员的满意度，即测试过程中人员对系统使用的舒适度和可接受程度。

(15)

式中：j为任务步骤编号；Ej为步骤j发生的错误数；R为参与测试人数。

由表1可以看出，在节约时间方面，DTMR-DRS相较于PAPER似乎并不占优势，使用DTMR-DRS的试验者完成步骤1、3、7、8消耗的平均时间更长。不少参与人员表示尽管之前参与了设备使用培训，但是加固过程中还是会因为对HoloLens设备不熟悉、操作不熟练导致前期指导过程耗时较长，从而使得整体加固时间加长。在提高施工效率方面，DTMR-DRS比PAPER有明显的优势，除步骤8的平均错误率略高外，其他步骤的错误率均不高于PAPER。因此，DTMR-DRS可以提高完成指定任务的准确性和完整性。

表1 完成每个步骤的时间平均值和平均错误率

2.2 有效性测试

调查问卷的目的是确定影响指导过程和加固质量的因素以及2种方法协助完成试验任务的能力。2组调查问卷相同，包含对人机交互质量的主观测量。为了测试参与人员对MR技术和加固流程的了解程度，问卷中的问题与性别、施工经验和对MR的熟悉程度有关。此外，为了评估DTMR-DRS的有效性，需要参与人员对列表中的施工影响因素的重要性和满意度进行打分。最后，参与人员可以提出关于加固任务或DTMR-DRS有关的任何意见或问题。

本研究总结了加固施工过程中较为重要的几个因素[30]并让参与者对每个因素的重要性和满意度进行打分：①设备易用性；②施工效率；③信息准确性；④团队协作；⑤方法易学性。图7为参与者对2个系统的满意度统计，得分越接近1，即雷达图越靠近内圈，满意度越高。可以看出，2个模块在团队协作方面的表现相当，而在其他4个方面，DTMR-DRS体现出了明显的优势，参与者的满意度打分集中在1～2分，相较于PAPER得分更接近于1，可见参与人员对DTMR-DRS的满意度普遍高于PAPER模块。图8为参与者对2个系统的满意度与重要性匹配关系，2个雷达线圈越贴近，匹配度越高。可以看出，DTMR-DRS在各因素体现出的匹配度都很高，PAPER仅在“施工效率”方面有很高的匹配度。总体来看，相较于PAPER、DTMR-DRS拥有更高的匹配度，更能满足参与人员对施工过程中的各项要求。

图7 参与人员满意度

图8 参与人员重要性与满意度匹配关系

表2总结了参与人员在测试期间对其使用模块的评价，其中也包括他们认为可以改善DTMR-DRS的建议。可以看出，DTMR-DRS可以为无经验者提供自主学习的机会，文字-语音-视频-模型的展示也使得施工指导更为立体全面。相较于PAPER的文字说明，HoloLens在户外的续航能力较低，也会出现视频播放卡顿或者模型无法加载的情况。一些参与者提到，他们感觉头戴式设备过于笨重，不适合在整个施工任务中佩戴。

表2 参与人员评价

(16)

式中：N为任务总数；R为参与人员数量；nij为用户j执行任务i的结果，如果任务完成且没有出现错误，nij=1，否则nij=0。

然后计算统计误差σE，即

(17)

最后计算DTMR-DRS的总体有效性E，即

(18)

图9给出了使用DTMR-DRS的有效性，成功完成任务参与者的百分比以深色显示，未成功的以浅色显示。结果表明，整体有效性E=91.07%，统计误差σE=±10.8。表3为有效性范围，可以看出DTMR-DRS的有效性优秀，具有较高的可信度。

表3 有效性范围

图9 DTMR-DRS的有效性

3 结 语

(1)与使用纸质文档相比，DTMR-DRS在帮助施工人员提高施工效率、降低返工率上具有显著的优势。据观察，数字孪生模型更易于理解，提高了复杂施工工序的施工速度，并减少了施工过程中的错误数量。

(2)在满意度调查方面，调查问卷的结果显示DTMR-DRS更能满足施工人员在设备使用、施工效率、信息准确性、团队协作、方法易学性几个方面的需求。参与者表示DTMR-DRS可以清晰地展示模型和影像，并指导其进行正确的操作。可见对于震损建筑加固任务，DTMR-DRS比纸质文件更易于传递施工信息。

(3)本研究通过试验测试证明了开发的DTMR-DRS的潜在价值，为相关知识体系的研究做出了贡献。然而由于研究方法和试验测试的客观受限，本研究结果存在一定的局限性。例如，参与人员评价和满意度的打分具有一定的主观性，因此，需要对更多的来自不同背景的参与者进行进一步研究，以便更好地研究系统有效性与专业背景之间的关系，从而得出更广泛的结论。未来的研究将侧重于确定施工任务的属性，以使该方法带来的利益最大化，从而使未来的研究人员和从业者能够对其进行战略规划。