图像渲染技术在虚拟现实头盔中的应用和发展

邱振青

摘要：图像渲染技术是当今热门的虚拟现实头盔设备中的核心技术，本文从虚拟现实头盔设备的特点出发，分析了图像渲染技术在其中的应用以及由此发展而出的特有的渲染算法：异步时间扭曲算法、眼球追踪与焦点渲染技术等，并对图像渲染技术与人工智能以及5G通讯技术的结合在未来虚拟现实设备中的应用进行了展望。

关键词：图像渲染;虚拟现实;焦点渲染;人工智能;5G

中图分类号：TP391.9 文献标识码：A 文章编号：1007-9416（2019）03-0076-01

什么是渲染？渲染是通过计算机程序从2D或3D模型（或者可以统称为场景文件的模型）生成图像的自动过程。承担这个过程的主要硬件载体是图形处理器（GPU，Graphics Processing Unit）。从计算机的快速发展到智能手机的普及，GPU及图像渲染技术的重要性日益突出，当虚拟现实头盔（HMD，Head Mounted Device）这种产品形态出现后，它的核心地位更加突出。虚拟现实头盔追求沉浸式体验，其本质就是要通过用户的感知（主要是视觉）蒙蔽用户的大脑，使用户能够沉浸在一个虚拟的世界中。图像渲染技术在早期满足虚拟现实头盔的基本显示功能之后，经过了不断的发展，产生了特有的算法，并在不断地和新技术结合，推动虚拟现实头盔的沉浸感越来越强。

1 早期虚拟现实头盔的图像渲染技术

1.1 左右3D渲染

早期的虚拟现实头盔显示系统大多脱胎于智能手机系统，需要解决的第一个问题就是左右眼分别显示。一开始通过将整个渲染管线[1]运行两遍，形成左右两个显示图像;之后通过不断地改进，考虑虚拟现实头盔左右眼图像的高度一致性，在考虑瞳距因素的情况下，逐渐优化到只运行一次渲染管线的情况下，也能得到所要的显示效果。

1.2 反畸变和反色散

畸变和色散是虚拟现实头盔的光学设计中因为采用了两个凸透镜所引入的问题。根据Brown模型[2]，通过提前对图像进行桶形处理，可以达到反畸变的效果。同时，对不同波长的光进行针对性的桶形矫正，就可以解决色散的问题。GPU及图像渲染技术在其中承担了重要工作。

2 当今主要的虚拟现实头盔的图像渲染技术

在满足了基本需求之后，眩晕问题开始突显，这主要由头部动作传导到显示的时间相对较长有关。为了达到低延时的效果，就必须提高屏幕刷新率，这就压缩了渲染的时间，但是GPU的能力毕竟有限，有时它来不及把一帧渲染好，显示器就只能显示上一帧数据，这反而加大了延时，异步时间扭曲算法在一定程度上缓解了这个问题。

2.1 异步时间扭曲算法

显示工作正常时渲染线程会在Vsync信号到来之前完成帧的渲染，和GPU配合把一帧数据送到显示模块去显示。异步时间扭曲算法要求创建一个异步线程，当发现正常渲染线程未能在某个设定的节点前完成所需的工作，即该帧大概率无法在Vsync到来之前渲染好时，该线程抢占GPU，并将前一帧图像加入头动信息进行重新投影，送显示模块显示，这就保证了刷新率的稳定性，达到了稳定降低延时的效果。

2.2 单Buffer渲染技术

在现有的显示技术中，双Buffer及多Buffer渲染是主流，这可以很好地预防屏幕撕裂现象的发生，为渲染争取了较多的时间。但是在虚拟现实头盔设备中，这会导致头部动作信息传导到显示的延迟，反而有害，所以使用单Buffer渲染技术，数据直接往显示模块发送成为好的选择。同时，通过其他方法比如提高GPU性能，或者根據显示模块的特性分块显示，缓解和处理可能出现的屏幕撕裂。

2.3 眼球追踪与焦点渲染技术

现有虚拟现实头盔均采用比较高的分辨率，同时屏幕刷新率也在不断提高，导致GPU的负担急剧提升，焦点渲染技术结合眼球追踪可以仅对用户关注的区域进行高分辨率渲染，而对其他区域模糊化处理，在能够获得基本一致的显示要求的情况下，却极大地降低了GPU的负担。研究表明，人眼对正视方向5～10度范围内的全信息敏感，对5～30度范围内的形状敏感，对30～60度范围内的颜色敏感，对62～94度范围内的动作敏感。这种差异性为根据眼球追踪进行焦点渲染提供了很大的空间。同时，很多GPU本身就有分块渲染的加速功能，所以GPU可以很好地进行焦点渲染。这两项技术的结合，对虚拟现实头盔未来的发展至关重要。

3 未来可能的虚拟现实头盔的图像渲染技术

虚拟现实头盔的发展方向是轻薄且高度沉浸。5G通讯技术的发展将使得分离渲染成为可能，繁重的3D内容渲染在云端完成，头控等动作信息渲染在虚拟现实头盔端完成，通过5G通讯衔接，这会极大地减少虚拟现实头盔对计算能力的要求，降低功耗，减轻重量。同时，虚拟现实头盔的特点也会让5G通讯技术的高带宽、低时延特性得到充分发挥。

另外，虚拟现实头盔对低时延的不断追求，正在促使标准的GPU渲染管线流程不断缩短，未来随着人工智能技术的不断进步，特别定制的且可变的、低时延、高效的渲染管线也可能成为现实。

4 结语

综上所述，本文分析了图像渲染技术在虚拟现实头盔中的应用以及由此发展而出的特有的渲染算法，并展望了未来可能的发展方向。本文研究时间比较短，还存在着一些不足， 希望相关的研究能够对图像渲染技术在虚拟现实头盔中的发展有所帮助。

参考文献

[1] Dave Shreiner，Graham Sellers，John Kessenich等著.OpenGL编程指南[M].机械工业出版社，2016.

[2] Brown，Duane C.Decentering distortion of lenses[J].Photogrammetric Engineering，1966，32（3）：444-462.

The Use and Development of Graphics Rendering Technology

in Virtual Reality Head Mounted Devices

QIU Zhen-qing

（Shenzhen Grandsun Electronic Co.， Ltd. Nanjing Branch， Nanjing Jiangsu  210012）

Abstract：Graphics rendering technology is the core technology in today's popular virtual reality head mounted devices. This paper analyzes the use of Graphics rendering technology and the unique rendering algorithm developed from the characteristics of virtual reality head mounted equipment： asynchronous Time warping algorithm， eye tracking and foveated rendering technology， and the combination of Graphics rendering technology with artificial intelligence and 5G communication technology in future virtual reality devices are prospected.

Key words：graphics rendering;virtual reality;foveated rendering;artificial intelligence;5G