混合与增强现实国际学术研讨会江西分论坛：XR为AI研究找到突破点

邱江勇

编者按：10月20日上午，2019混合与增强现实国际学术研讨会（ISMAR）江西分论坛召开。本次活动由南昌市红谷滩新区管委会、南昌虚拟现实检测技术有限公司、南昌北京理工大学虚拟现实标准检测与评测中心联合承办。活动旨在促进国内在混合现实与增强现实、人工智能领域的快速发展，为国际化产学研平台的建设创造条件。本报特编发演讲嘉宾的精彩观点，以飨读者。

布鲁斯·托马斯：虚拟现实

帮助人类找到更健康未来

我们在支持行业发展中有两个应用案例，一个是使用远程技术和AR技术，我们希望能够帮助设计员设计非常复杂的系统。通过控制器，我们还可以帮助健康行业找到更加健康的未来。在智慧医疗和医疗器械方面，我们希望能够利用到这些技术搭建智慧城市。其中有一个方法，就是使用我们最新的虚拟现实和增强现实的技术。在国防方面，我们还可以增强战士的战斗力，增强战士的认知能力。还可通过

“视界化”的方式，管理好现有的军队。在基础设施方面，我们也做了很多研究。

我们有些研究小组正在研究自动移动化的增强现实。同时，我们对认知心理学、神经科学，以及由增强现实所激发的视觉科学也非常感兴趣。同时我们还有一个大规模的视觉中心，我们可以把一些大型的东西，比如车或者家具进行视觉化，在增强现实当中，可以利用视觉化技术帮助大家。心理医生也可以使用我们的技术，还可以使用这些数据进行分析。

如何利用AR、VR来设计一些非常复杂的空间？比如我们研究了如何设计核潜艇。我们设计了在核潜艇中睡觉的休息舱，我们正在打造下一代核潜艇，希望通过VR、AR技术设计得更好，然后在现实中进一步进行修改。我们请了一些专家帮助进行评估，整个过程大概花了一个星期。我们还要花半年到一年的时间，把原型机做出来。在做原型机上花的时间，比我们做电脑要多得多。另外我们也可以帮助医院搭建他们的手术室，这些都是非常好的例子。不同领域的专家通过使用我们的技术，都可以形成非常好的解决方案。

纪尧姆·莫罗：沉浸和互动是虚拟现实面临的

两大挑战

上世纪70年代，AR、VR技术开始发展，现在被运用到各种各样的应用中。业界有了成本非常高昂的设备应用，还有一些不太现实的设备应用。2010年以来，AR、VR的新时代开始了，出现了一些低成本的终端设备，还有一些大众可以用的设备。

AR、VR表现的并不是真正现实的生活，在这里有两大挑战，就是沉浸和互动。沉浸式应用和技术方面有关系，比如比较大的像素;互动是虚拟现实重要的元素，它讲的是人和人机之间如何进行交互。

AR、VR的应用非常多，主要是视觉化方面的应用，同时AR、VR的视觉并不是真实视觉当中的视觉，是非常复杂的感知。沉浸是虚拟系统当中非常重要的特点，比如视野，水平方向是200度，如果你转动你的头，以比较快的VR眼镜的转动速度，可达每秒600度。把人的视野、视觉和机器来进行比较，有的时候人眼可以看到很多，但是现在整个虚拟现实没有真正做到像人眼一样，视力没有得到很好的应用。在现实生活当中我们可以看到，手、眼睛可以进行很好地配合，但是在VR当中可能有点不一样。

我们看看虚拟现实中城市的环境，看起来跟现实不太一样。在现实当中，这些楼宇是非常陈旧的。通过虚拟环境可以做出很好的效果，看到完全不一样的情况。

杜本麟：

增强现实在实际应用中尚处开发阶段

身为一个增强现实研究者，大家常常会问我，杜教授你研究的未来的愿景是什么？我很喜欢放一部电影中的片断，主要是未来人和电脑系统。未来人和电脑系统可能会有一种交互，你会跟虚拟的物体，在真实的空间进行交互。它涉及的技术，除了图形、图像、人机交互，还有美术、艺术、光学。事实上，Gartner每年都有所谓最新科技

的预测，我们在10年前就关注了，那时候虚拟现实还是在上升阶段。2018年之后，VR到了比较成熟的阶段。增强现实在实际应用上，还是在开发的阶段。虽然我们现在在教育的方向上看到很多应用，但对于更多方向，尤其是对C端来说，还有继续努力的空间。

过去20年中，虚拟现实科研的议题主要在几个方向。一个是属于技术性的，计算机跟踪、计算机视觉;另外一个应用的方向比较特别，是增强现实在医学上的应用。其他三个方向，比如移动端的增强现实，过去20年，随着智能手机的普及，研究者也特别关注这个领域。在游戏或者学习领域也有比较多的应用，还有一个方向是关于设计的方向。

從显示端来说，头盔早期都比较重，现在体积越来越小。当然学界期望在头盔市场有一个爆发性的成长，在未来也许能够跟我们目前戴的眼镜一样重，或者一样好看。增强现实怎么跟隐形眼镜相结合，这是未来5-10年的研究和发展方向。

今天的医疗影像都是2D的，现在我们要在增强现实的环境下做呈现。传统上来说，你看到的2D影像，我们当然可以转成3D的物件。在虚拟现实中，我相信这是非常普遍的，也比较容易做得到的事情。我们现在做的事情，事实上是在增强现实的环境下，直接把医疗图像转成3D图像，转成3D图像的同时，与人工智能诊断相结合。比如一个肝癌的医疗图像，我们转成3D，可以通过它看到在肝里面的肿瘤，这是我们在实验室中为医学应用做的事情。

清川清：

在人工智能时代重新定义视觉

在人工智能时代如何重新定义我们的视觉？在视觉之前先看看听觉技术的变化。助听器很多人在用，在过去几年中，助听器变得越来越先进，它可以采用数字信号处理的方式帮助听觉。过去几年我的听觉下降很大，用了一种最新型的助听器之后，我发现我的听觉有了很大的改进。因为现在新型传感器是非常不一样的，通过数字信号处理的方式，它变得越来越智能，让我们获得很好的感觉，比如降噪。

头戴显示器可以被称为第二代的助听器，或者叫做第二种助听器。它有很大的优势，未来会变得非常舒服。尽管现在的尺寸还是太大，但未来头盔显示器的尺寸会进一步变小，我们用起来会越来越舒服。视觉感知包括很多问题，有一些典型的视觉感知问题，比如视野、视力，还有动态范围等。

还有非典型视觉感知的问题，比如有些人患有斜视，有些人患有黄斑，还有人有超感官的感知等。我们可以随心所欲地对视网膜图像进行操作，可以设计一个非常完美的视觉头盔，但这还不够。OST头戴显示器是影视原生的头戴显示器，它有超广阔的视野、非常低的时延，还有非常好的其他一些功能，在非常强烈的光线照射下也可以使用。还有更多的技术，比如有角膜成像的校正技术。

下一步将会怎样？去年我们做了一个项目，包括典型、非典型的视力。对非典型人体眼球带来的问题，我们可以通过非典型的原理，再加上新型技术，能够对人的视觉进行很好的矫正。这样能够解决任何人所碰到的视觉问题。还有一个例子，在现实中的烧饼、一般的普通面条，在你戴上眼镜之后，面条不但样子看起来好看，还能够操纵你的大脑感觉到味道，认为这个拉面吃起来味道会更好。

温晓君：

虚拟现实行业目前面临三大瓶颈

随着虚拟现实产业的迅速发展，越来越多的虚拟现实产品涌入市场，各行业消费者对虚拟现实产品性能的要求也逐步提高。

为什么要对虚拟现实终端进行检测？一是标准化的终端检测技术规范与测量手段可以对快速普及的产品进行描述与约束;二是精确、快速的检测技术是确保虚拟环境真实性和强烈沉浸感的基石;三是利于不同企业VR设备规范化，促进形成VR行业规范;四是引领技术创新，促进VR行业的进一步发展。

那么检测什么？包括VR设备清晰度性能关键指标，比如有效像素比、显示分辨率、角分辨率;VR设备沉浸感性能关键指标，包括视场角、屏幕刷新率、跟踪模式、动显延迟、传输速度;VR设备功耗与续航时间，包括功耗、续航时间;VR设备其他性能指标，如光学/显示/成像指标，包括瞳距范围、出瞳距离、出瞳直径、畸变、色散、视度、亮度对比度、虚像距离等;定位追踪指标，如移动跟踪范围、角度漂移、位置采样频率、转/移动跟踪误差、转/移动灵敏度等。

谁来检测？目前来看，专业的VR检测单位偏小。北京理工大学在南昌设了一个点，是南昌虚拟现实标准检测和评测中心，日本和芬兰有一些检测机构，目前都在做专业的VR检测。不管是工信系统还是在ICT领域做检测的机构，未来也可以在VR业务上适当进行拓展，然后联合办VR检测。我们希望专业的VR检测认证机构越来越多，为产业提供更多的公共服务。

虚拟现实行业目前面临三大瓶颈，一是标准缺失、规范缺乏，终端硬件设备、音视频、人机交互、场景建模、信息安全、人体健康适用性等方面相关标准研究方面尚处于起步阶段。二是虚拟现实技术以及检测人才紧缺，中国VR专业化技术人才数量仅占全球2%，远低美（40%）英（8%）;终端检测涵盖硬件、软件平台以及VR内容分级等多方面专业知识，复合型人才缺失;传统计量检测技术人才缺乏专业的VR终端检测知识储备。三是检测认证平台发展滞后，VR技术、产品、行业应用等多方面严重缺少专业的第三方检测与评估机构。

克里斯·桑德尔：高质量增强现实

一定是跨学科的

过去20年，我最自豪或者最感兴趣的是开发了一个系统：一团火随着手的移动而移动，现在看起来有点像魔术一样，并且可以通过3D来模拟，2017年这个系统逐渐形成。我们有自己开发的3D软件，可以做出模型，并加强颜色，还可以通过立体相机展示出来手的运动，不但能够展示深度，还能展示移动和流动，这样帮助我们建立一个了3D的手。你可以看到在模拟的过程中，火的密度、温度都实时变化，而且这种变化都是在30毫秒内完成的。

2017年，我发表了一篇关于增强现实的论文。通过技术你可以看到自己，然后看自己学习的状况。年轻的医学院学生很喜欢这一套系统，他们自己表现得特别好。可是对年长一些的医生或者学生，这个系统不太好用。

现在高质量的增强现实，一定是跨学科的，而且不止一个学科。实际上我自己感兴趣的，比如说光学、计算机视觉、计算机神经等，所有这些一定是跨越学科的。就好像谷歌眼镜，大家觉得很好，但从视觉角度来看，却完全是一个失败案例。

迪特尔·施马尔斯蒂格：虚拟现实

让我们对数据了解得更好

虚拟现实如何帮助人们处理各种各样的数据？很重要的一点是实现可视化。可视化过程讲的是如何产生数据，如何让数据能够被我们理解。信息技术人员每天都和很多数据打交道，重点是如何让这些数据变成一种很好的、能够有说服力的数字。有了虚拟现实之后，我们能够让数据使用者在非常好的沉浸式环境中，对数据进一步使用。利用增强现实，能够通过可视化技术让手机用户获得更好的用户体验。当我们把可视化和AR、VR结合起来，就产生了非常好的效果，这就是我们今天做的工作。

现在可以肯定的是虚拟现实就是在朝这些方向发展，当然，其中并不仅仅是为了理解这些数据。VR如果用得好，能让我们的游戏变得更加生动。比如空间注册或者叫空间注册的视觉化，可以使用人体上的一些传感器来做到。在可视化的同时，还必须把可视化和增强现实结合起来，进行更加深度的观测。在现实中，用户是如何看待一些参照物的？如果工程师要对它进行修理，或者要了解某一个零件的情况，通过VR、AR的方式，工程师就可以了解到某一个需要修理的零件到底是在哪一个位置，它处于一种什么样的情况，这样就可以

获得一个空间注册。增强现实一个非常重要的应用，是X光视

觉。增强现实给我们这样一个能力，就是找到问题所在，以便对机器里损坏的部件进行修理。同时也能够让我们了解到，这台机器所有部件的位置。

章国锋：

借助三维视觉定位未知环境移动设备

增强现实、机器人是当前信息技术领域的前沿研究方向，他们都需要解决移动设备在复杂未知环境中的定位和三维感知问题，我的研究就是借助于三维视觉技术来解决这两个关键问题。

室内机器人、无人机、增强现实等应用需要实时定位设备在环境中的方位。多数定位方案存在局限性。比如，GPS无法在遮挡严重的环境中使用且精度较低;高精度惯导系统成本太高且难以民用。视觉SLAM技术有硬件成本低廉、小场景范围内精度较高、无需预先布置场景等优势。目前，SLAM的应用领域主要有机器人、无人车、虚拟现实和增强现实等。

在一个非常复雜的城市大场景中，空中有无人机在飞，地上有无人车在开，人们可能会戴着AR、VR头盔在看。你会发现这里面都需要对自身的位置进行恢复和对环境的三维结构进行实时的重建，这就需要用到SLAM技术。在SLAM系统中，首先输入传感器信息，可以包括RGB图像、深度图、IMU测量数据等。前台线程根据传感器数据进行跟踪求解，恢复每个时刻设备的位姿。后台线程对恢复的关键帧的位姿和场景三维点云进行局部或全局的优化，减少误差累积;另外，检测回路，并进行回路闭合。

基于视觉的三维定位和感知主要有两大挑战：由于场景是动态变化的，存在大量的缺乏特征或特征相似的区域，导致特征匹配不准，高维度优化容易陷入局部最优，从而导致计算的精度和稳定性不高。另外，由于场景规模大、计算维度高，导致需要巨大的计算量，难以在低计算能力的移动平台上实现实时的计算。

王莉莉：

用多试点绘制提高VR产业漫游效率

绘制实际上是计算机图形学的重要研究内容，同时绘制也是虚拟现实中的重要研究内容之一。因为人的感知有70%以上来自于通道，绘制为虚拟现实提供了视觉的反馈。绘制与虚拟现实相碰撞的时候，会有哪些与传统图形学不同呢？

我们做了多试点绘制方法，将它应们用于提高VR产业的漫游效率。比如说，中间的场景是教堂，有很多柱子，存在遮挡，需要到柱子后面看遮挡区域。如果一个柱子后面没有找到目标物，要退到其他的柱子后面去看。有没有更为高效的浏览方法呢？为了能够高效去除这些遮挡，我们会遇到三个问题：第一，如何检测到遮挡;第二，如何建模遮挡;第三，怎样去除这些遮挡。我们在传统绘制的基础上，对深度图进行不连续性的分析，然后建立遮挡的入口。同时，我们利用非传统相机模型制造图像机，然后可视化遮挡入口，将图像机和多试点透视进行结合，自动去除这些遮挡。

刚才这个方法可以去除一般深度不太复杂的场景遮挡。如果场景中有更复杂的遮挡，比如说有树、人群等，遮挡环境比较复杂时，怎么办？我们在刚才的基础上，引入细粒度的策略，检测细度，用多试点的方法做。我们还将这种多试点透视的渲染方法和其他方法进行了对比，在复杂遮挡环境下，实验表明多试点透视方法，能够大大提高浏览的效率。