基于增强现实的多层次协同可视化系统

韩晓阳 程世宇 李晓兴 单桂华*

1(中国科学院计算机网络信息中心 北京 100086)

2(中国科学院大学 北京 100049)

1 引 言

近年来，可视化交互数据在规模和维度上出现迅速增长，放大了传统交互设备在展示高维数据方面的局限性[1-2]。相较于传统的显示器，移动交互设备虽然具备交互方便、易于携带等优势，但二者的用户交互手段没有太大区别。微软HoloLens 作为全新的混合增强现实(Augmented Reality，AR)设备，相较于传统的显示器扩充了信息展示的维度，颠覆了传统的用户交互方式，提高了交互分析的能力[3-7]。但在现阶段，传统显示器在交互操作的普适性和学习成本方面均明显优于增强现实设备[8]。

鉴于微软 HoloLens 为增强现实提供了全新的人机交互手段和方法，现阶段，国内外有较多针对增强现实可视化的研究。Bottani 等[9]尝试在移动手机和 HoloLens 上安装相同的应用程序进行工业生产的故障维护；陈杰等[10]提出基于HoloLens 多人协同交互方法，旨在将人机交互扩展到整个物理空间、信息空间和社会空间，形成人、机、物相互沟通与融合，此外，在人机交互过程中支持多人协同功能；商蕾等[11]提出基于 HoloLens 的船舶辅机虚拟拆装模拟系统，实现了多人协同功能，并证明了多人协同可视化的有效性。

虽然大部分基于 HoloLens 的可视化交互手段都尝试在多台设备进行交互，而且很多研究工作也提出了多人协同功能，但随着数据量和数据维度的增长，在可视化交互过程中，对数据进行多层次多角度的可视化需求越来越大。虽然微软 HoloLens 设备能将交互空间无限扩大，给用户一个无限广阔的交互空间来进行海量数据的局部细节探索，但是，深入的探索也会使用户沉浸其中，难以把握数据的整体信息，缺少宏观层面的信息获取。为了解决这一问题，需要设计支持整体和局部的多层次可视化系统，主要的挑战包括：(1)如何同步并且同时进行高维数据的整体和局部细节交互；(2)如何在可视化交互的过程中支持整体可视化交互和局部可视化交互的切换。

本文根据传统交互设备和 AR 交互设备的优缺点，设计了一个基于 AR 设备——HoloLens的多层次协同可视化系统：以传统移动交互设备作为主要交互操作终端和整体特征信息的展示终端，并以 AR 设备进行细节信息探索和高维数据的交互。同时，该系统还支持多部 HoloLens 协同[12]，以支持多人实时协同讨论和信息交流。本文基于这一系统构建了会场安全监测系统，对会场传感器日志数据进行分析，包括会场日程安排、参会人员类型及移动规律、会议期间的异常事件等。与传统工作相比，本文在移动设备和 HoloLens 上进行了不同工作的分配；不同于 Bottani 等[9]在不同设备安装相同程序，本研究进行了不同任务的分配，能够很好地发挥每个设备的优势，达到效果互补。另外，与传统的只使用 HoloLens 的协同相比，将移动设备 iPad 和 HoloLens 结合，能够促进多层次信息的全面展示。

总体来说，本文的主要贡献包括：(1)结合了传统交互设备和 AR 设备的各自优势，设计实现了新的可视化交互方法和系统，为高维多层次数据可视化交互提供了新的方法；(2)设计了多人多终端协同，为实时讨论、监测和信息交流提供了可能。

2 方法

2.1 系统架构

系统主要由服务器、移动设备 iPad 和多部增强现实设备 HoloLens 组成。服务器端还包括数据库 MySQL。服务器通过调用数据库的接口对数据进行操作的同时，维护用户的交互信息和场景信息。在使用过程中，用户通过操作 iPad 中的Web 界面可以同步交互动作到服务器，使服务器端进行交互动作的解析与转发，并将相应的场景信息和数据同步到 HoloLens 中，与此同时，多台 HoloLens 也借助服务器实现空间信息与交互同步，完成多终端的协同交互可视化分析。系统架构如图 1 所示。

图1 系统架构示意图Fig. 1 System architecture schematic

2.2 案例数据

本文主要使用 ChinaVis 2019 挑战赛的会场传感器日志数据进行分析[13]。传感器日志数据模拟的是学术会议通过无线传感器技术来获取参会人员的实时位置信息。参会人员在进入会场时需要佩戴电子胸牌，胸牌内置信号发射器并绑定其个人信息。会场内布置的无线传感器可以实时接收并记录其覆盖范围内的信号发射器发出的信号。数据包括了传感器分布和日志数据。

传感器的分布如图 2 所示，在传感器布置地图中，使用的传感器单体可以覆盖图中的一个小正方形格子，除灰色格子不可通行外，其他区域均紧密铺设了传感器，每个传感器可以接收其所处正方形格子区域内的信号器发出的信号。传感器日志数据只保留了人员产生位置变化时的传感器日志数据,包括对应人员的编号，进入某传感器的时间和离开该传感器的时间。

图2 传感器分布情况Fig. 2 Sensor distribution

2.3 数据分析方法

数据分析中侧重的是与会人员的类型和特征。人员类型由多重特征决定，但不同特征的分类能力不同。决策树算法是一种逼近离散函数值的典型分类方法[14-16]，通过对数据进行处理，利用规则对数据进行分类。决策树算法可以通过制定规则，逐步对数据进行分类，适宜对会议人员进行分类处理。通过构建决策树，可以分析可能的参会人员类型，通过进一步分析可以得到各类人员的移动规律，进而大致分析各个会场的日程安排。

本文主要使用二叉分类的 ID3 决策树算法，决策树的生长主要依靠信息熵[17-20]——用来度量包含的“信息量”。如果样本的属性大致相同，意味着样本包含的信息较为单一，基本没有差异，可以认定为同一类型；相反，如果样本的属性差异大，那么包含的信息量也就大，可以认定为属于不同类型。信息熵的计算方法如下：

其中， 为当前样本集合D中第k类样本所占的比例。ID3 决策树算法的具体生成过程是，先将所有数据看作二叉决策树的根节点，并计算其信息熵；然后根据移动规律依次划分节点的信息熵；再比较划分前后的信息熵计算信息增益[21-24]，由信息增益的大小决定属性的划分次序。信息增益的计算方法如下：

案例数据的传感器日志提供了人员编号、进入传感器的时间和传感器 ID。因此，与会人员的移动轨迹成为决策树算法的最重要分类依据。如图 3 所示，将会场一楼按照区域进行划分，根据数据，计算前序传感器(即人员的上一传感器)位置。以主会场为例，若当前传感器为主会场区域，前序传感器为 W7 或 W5 区域，则说明该人员产生了进入主会场的移动轨迹。

图3 数据区域划分Fig. 3 Data region distribution

3 可视化设计

根据案例数据的特点，本文构建了会场安全监测系统，设计了会场人流监测、参会人员监测、异常监测等分模块，每个模块均使用移动交互设备 iPad 和多部增强现实设备 HoloLens 协同可视化的设计方案。

3.1 会场人流监测

根据人员的移动情况，系统监测每个会场和房间的出入口，以 5 min 的时间粒度记录穿过入口的总人数，若传感器上一次记录的位置在会场内，则穿过入口被视为“离开会场”，反之视为“进入会场”。将会场内部人员的短时间移动人数定义为会场内部 “嘈杂程度”，通过每 5 min统计一次传感器的前后位置均位于会场内的数据来反映会场内人员短时间移动的频繁程度。

如图 4 所示，在 iPad 端上，通过折线图和柱状图的形式监测主会场及各分会场的出入口人流情况和会场内部嘈杂度，对比分析会场的日程安排，进行会场安全监测。其中，橙色折线为进入会场人数，蓝色折线为离开会场人数，下方绿色柱的高度表示会场内的嘈杂程度。进入会场的人流高峰与离开会场的人流高峰之间的时间应为会议时间，两会议之间为休息时间。

图4 移动终端人流监测Fig. 4 People flow monitoring in mobile terminal

由于 iPad 端缺少细节层次上的时序分析，因此本研究在 HoloLens 端绘制了分时段的人员流动热力图。每张热力图记录了 5 min 内的人员流动情况，颜色越红代表该时刻穿过该传感器的人数越多。如图 5 所示，所有时间段的热力图采用图书馆式排序，每 1 h 内的 12 张热力图为一列，分析人员可穿梭其中监测会场，也支持选择特定时段的热力图进行深入分析。

图5 AR 终端会场监测Fig. 5 Venue monitoring in AR terminal

3.2 参会人员监测

根据参会人员去向、是否有签到行为以及人员移动轨迹，可通过决策树和时间占比分析对人员进行分类。如图 6 所示，在 iPad 端，利用桑基图展示决策树分类过程，显示各类人员占比，并通过选取人员类型，以层叠图的方式展示各类人员在参会期间的不同时段内，在会场不同区域的分布情况。

图6 移动端人员监测Fig. 6 Person monitoring in mobile terminal

AR 移动终端通过三维建模还原会场场景，监测人员可监测特定参会人员的移动轨迹路线情况。如图 7 所示，绿色方块展示停留位置，方块的透明度表示停留时长，或通过视点注视方块来展示具体时长。

图7 AR 端轨迹监测与多人协同Fig. 7 Personal trace monitoring in AR terminal and multiplayer collaboration

传统的可视分析系统通常采用个人单终端系统的分析方式。若需要小组合作分析，则通常采用多人单终端分析，但多人单终端分析往往发现问题的效率较低；而采用多人多终端会使多终端之间的协同缺乏相同的交流场景。基于 HoloLens将数据可视化扩展到现实空间，同时具有多终端协同的特殊机能，本研究实现了多人协同功能。相较于传统的小组合作分析，采用 HoloLens 的多人多终端协同，既能实现多人独立发现问题的需求，又能实现多人实时分析讨论，将单人发现的问题无障碍地反聩给其他成员，从而增加研讨效率与准确性，也为安全监测添加了保障。

3.3 异常监测

会议的异常事件监测和分析是维护会议安全的重要方面。因此，异常事件的监测同样需要结合移动端和 AR 端进行可视化交互监测。其中，移动端按照异常事件的危险等级，以金字塔形结构展示会议期间存在的异常事件；当监测到会场出现异常状态时，用饼图展示异常事件的人员占比。监测人员可以在移动端选取；AR 终端展示具体的异常情况，并根据异常状态类型，展示对应的可视化视图、对应发生异常事件的时间和事件类型说明等，如图 8 所示。如，发生轨迹类异常，则在 AR 端展示对应异常情况的人员的移动轨迹；发生人流异常，则对应展示热力图信息等。

图8 异常监测Fig. 8 Abnormal events monitoring

4 结果与分析

4.1 数据分析

系统根据人员参会去向、是否有签到行为以及人员移动轨迹，通过决策树和时间占比分析对人员进行分类，人员类别主要包括专家与大咖、晚宴嘉宾、工作人员、学界人士、商界人士、社会人士、参赛人员和媒体等 8 类，具体的决策分类过程如图 6 所示。例如，根据人员是否签到，可将人员分为两大类，在没有签到的人员里：一部分会在到达会场和离开会场前去二楼的room6，根据该部分人员在其他时间内长时间停留在某些特定位置，包括签到处、服务台、各会场出入口、整个会场区域出入口、楼梯等位置，可推断此类人员应当是大会工作人员；另一部分与会人员来到会场之后会去 room2，并且有特定的会场出口和上下楼楼梯，参加主会场的会议位置较为靠前，其中部分人员会在主会场或各个分会场讲台位置进行报告，由此可推断此类人员为专家、room2 为专家休息室等。经统计分析，整个大会有工作人员 74 名、专家 300 名、记者 31名、晚会嘉宾 46 名、参赛人员 199 名、其他社会人士 4 606 名。

根据会场人流监测，可以分析会场的日程安排，以主会场第一天上午为例，如图 9 所示：根据入场人数检测、出场人数检测和会场内部嘈杂度检测，得出主会场在第一天上午 8:30 出现入场高峰，伴随较大嘈杂度，随后嘈杂度降低，9:00 又出现嘈杂度高位，并出现一部分人离场，该段时间应该进行会议，推测可能为开幕式；根据 9:00 出现入场高峰以及嘈杂度高峰，随后入场人数降低、嘈杂度降低，到 9:40 左右出现离场，9:45 左右达到离场高峰和嘈杂度高峰，由此推断开会时间为 9:00～9:45。组织者可以根据监测结果和日程进行安排，同步监测会场安全。

图9 会议日程分析Fig. 9 Schedule analysis of conference

根据人员轨迹监测，可以分析参会人员类型，以及特殊权限区域，同时也可以反方向监测会场传感器的运行状态。轨迹监测是发现异常事件的重要手段，如图 10 所示：会议第一天，ID为 16632 的人员出现伪造胸牌的异常情况，通过轨迹图可以看出，该人员第一天上午 8:34 进入会场区域，随后进入 room2、主会场、room3 以及餐厅，并在 9:40～10:50 期间轨迹出现远距离异常跳变，考虑到传感器位置固定，只有该人员数据出现问题，而其他人员未出现类似情况，因此排除传感器异常。通过轨迹分析可以看出，这些跳变的轨迹是由于两条轨迹线在时间上有交集而产生的：其中一条轨迹线走向是入口-room2-主会场-room3-room2-主会场-餐厅等，另一条是入口-room2-出口。即有两个佩戴有胸牌 ID 为16632 的人员同时出现在会场区域活动，分析可能出现参会人员胸牌盗用或伪造胸牌的情况。

另外，在会议第二天的数据中，展厅部分区域出现接近 700 名人员的传感器数据跳变事件，即这些人员的传感器数据在x方向上跳变 2 格或以上，而在会议的其他时段未出现此类情况。考虑到人数较大，由此分析，此区域传感器在该时间段内出现故障。

4.2 系统分析

通过会场安全数据分析，本文系统充分发挥了移动端便于交互操作和 AR 端广阔维度的可视化展示。如果只采用传统交互显示设备，受限于交互维度，很难快速发现人员轨迹异常跳动，而通过 AR 交互，则可以迅速发现这类异常事件。与此同时，如果单纯以 AR 设备进行细节信息探索和高维数据的交互，容易造成整体信息的丢失，如传感器故障这样的全局监测，就会很难实现。因此，结合两种设备各自的优势设计交互系统，能够发挥各自的长处，互相弥补。另外，AR设备所支持的多人多终端协同监测，在同场景下的交流，能够极大提升交互效率，也能避免传统分设备导致的分场景屏蔽情况，提升了安全性。

5 结 论

本文通过数据划分和聚合，结合决策树算法，进行了数据分析，同时设计和实现三维立体视角的交互方式，配合多人多终端协同，改变了传统的信息展示方式和交互形式，为用户展示多层面、多维度的信息，并提高信息分析的效率和准确性。通过结合 HoloLens 和移动终端的优势，解决了高维多层次数据的同步交互探索问题，利用后端服务器实现了整体信息、局部信息的实时同步与切换，这种多层次协同可视化系统具有交互简易、信息维度展示全面、利于协作分析等优点，为沉浸式信息展示提供一种新的方案。在当前的协同可视化系统中，细节展示端HoloLens 进行的细节探索较难归并到整体信息展示端，未来将继续探索如何进行细节信息的归并和展示视角的选取。