VR全景视频渲染输出安全性自动评价模型

孙璇

(西安美术学院 影视动画系，陕西 西安 710065）

1 引言

VR全景视频是现阶段虚拟现实技术主要的实现形式之一，采用多个摄像头拍摄然后进行拼接形成在同一时刻获取周围360度的全景图像，在虚拟现实平台中占据十分重要的位置[1-3]。但是在实际应用的过程中，由于渲染需要连接外部素材库，导致素材库易崩溃，视频无法展示，因此需要对VR全景视频渲染输出安全性自动评估。国内专家也针对该方面的内容进行了研究，例如姚晨昊[4]针对VR 全景视频技术链路的视觉体验，从渲染显示流程、显示屏的渲染性能、软件处理能力三方面入手，分析全景视频终端渲染显示特点，研究良好观看体验所需要的技术条件模型以实现视频渲染输出安全性自动评价的目的；王圣等人[5]提出基于非下采样轮廓波变换(NSCT)与加权引导滤波的增强方法来改善图像质量的图像增强算法模型，保留细节特征，明显提高视觉效果以有效实现视频安全性自动评价。

国外专家则致力于解决应用程序扩展的技术性问题，提出一种PVRV流传输系统模型，借助于MEC服务器，寻求在链路自适应，基于转码的块质量自适应和视口渲染卸载之间进行权衡，以提高能效和接收视口质量。

以上模型现阶段虽然取得了十分显著的研究成果，但是由于未考虑评价模型的训练问题，导致评价耗时较长，相对误差较高。为此，提出一种VR全景视频渲染输出安全性自动评价模型。仿真实验结果表明，所提模型能够有效降低相对误差以及评价耗时。

2 VR全景视频渲染输出安全性自动评价模型

2.1 VR全景视频特征提取

一直以来，根据对人类的某些视觉现象的观察，同时结合视觉心理以及生理学方面的研究成果，发现在VR全景视频中存在大量的特性，部分特性的存在会导致视频在传输的过程中发生故障，具体的表现为掩蔽各种不同视觉效应。

VR全景视频在处理的过程中需要参考一些较为常见的心理学和物理效应，具体地处理流程如图1所示。

图1 VR全景视频处理中的人类视觉模型(HVS)

HVS模型在整个处理的过程中就是将视频中的图像变换到一个完备的感官色彩空间。通过以上步骤，视频中的图像就采用三个通道的信号进行表示，其中主要包含一个无色的通道，两个反映色彩信息的色彩通道。在这个处理阶段，视频会产生亮度掩蔽效应，即亮度非线性效应。这种非线性效应是色彩复杂的空间固有的。其中人眼能够辨别全景视频的能力被称为视觉锐度或者视觉空间分辨率，通过人眼能够准确区分出视频中相邻两个点的最小视觉的倒数。由于人眼的视锥细胞在黄斑区分布最为密集，所以人眼对图像中部分细节的分辨能力明显大于边缘部分。

通常情况下，VR 全景视频在渲染输出的过程中，视频的处理结果需要通过人眼进行检验。在这种情况下，需要针对VR 全景视频渲染输出进行特征提取。其中输入视频以及输出视频的均方根误差需要进行如下定义：设定输入视频是由T帧组成，各帧图像由M×N个像素组成，将其表示为f(x，y)。当视频在经过压缩编码处理之后，直接发送至接收端，通过解码处理，进行视频重新组建。其中每帧的输入像素f(x，y)和对应输出视频g(x，y)之间的误差e(x，y)能够表示为：

含有M×N像素的帧图像的均方误差为：

最终获取VR全景视频的均方根误差RMSEvideo为：

作为MSE的派生算法，一般情况下选取信噪比SNR，SNR'以及峰值信噪比PSNR，PSNR'对视频渲染输出过程中的安全性评价指标，具体的计算式为：

从技术层面上讲，MSE主要用于衡量VR全景视频中不同像素的区别，而PSNR主要用于衡量的是视频在渲染传输过程中各个特征的近似程度。

在后续操作的过程中，将VR 全景视频划分为三个部分，分别为亮度、对比度以及结构。设定X={xi，i=1，2，…，N}为原始视频；Y={yi，i=1，2，…，N}代表失真视频，其中平均亮度μ计算式为：

VR全景视频的对比度能够采用标准差σ表示：

将以上部分进行结合，组成整体的相似性亮度S(x，y)，即：

其中比较函数的定义为：

对比度的掩蔽特性为：

其中：

将以上函数进行联合得到SSIM(x，y)，则有：

通过参数α、γ调整对应部分的比重，同时简化计算公式，则：

设定源视频通过对应空间中的向量表示，则VR全景视频中的失真能够表示为源视频向量上添加失真向量，当失真视频向量的长度和源视频向量的长度一致时，则需要考虑将亮度以及对比度在视频的结构信息进行分离，以实现VR全景视频特征提取。

2.2 模型组建

图2 VR全景视频渲染输出安全性自动评价模型组建

从图2中能够看出，特征提取在整个评价过程中占据十分重要的地位，一个较好的VR全景视频特征主要具有以下特征，分别为：

(1) 包含有效概括参考视频；

(2) 对视频失真变化十分敏感；

(3) 和整个视频渲染输出过程中的视觉感知存在一定的关联。

在进行VR 全景视频渲染输出安全性自动评价的过程中，不需要使用原始视频序列，通常情况下，VR全景视频在渲染传输的过程中，会存在失真、振铃效应以及模糊等效应。整个评价过程大致需要通过三个步骤获取对应的视频度量，分别为：

(1) 度量；

(2) 帧率的获取；

现场监测数据和Midas/GTS模拟结果进行分析.分别分析四个不同开挖关键节点时盾构井和标准段的三个桩体位移变化.

(3) 码率。

随着VR全景技术的飞速发展，越来越多的人喜欢通过CR 进行视频观赏以及游戏。一般情况，人类所观看的VR全景视频分辨率大约在4K，在该分辨率下的全景视频占用内存较大且耗时较长。由于受到存储以及传输带宽的限制，需要对其进行压缩编码处理，有效降低对内存的消耗。视频在经过压缩后，整个视频的质量一定会下降，同时在传输的过程中，由于受到时延以及卡顿等因素的影响，导致视频在渲染传输的过程中安全性容易受到影响。

当视频传输到客户端后，需要对其进行解码处理，然后再进行显示播放。为了提升视频渲染传输过程中的安全性，需要将像素点(m，n)从平面坐标系映射到笛卡尔坐标系中，同时针对全部坐标进行归一化处理[6-7]，将坐标值按映射函数h映射到[0，1]区间内，其中坐标(u，v)的计算步骤能够表示为：

接着，将坐标(u，v)代入到公式(18)和公式(19)中，则能够获取球体上像素点对应的角度φ和θ，即：

通过重要性排列结果获取VR 全景视频的感知信息以及重要性度量，具体的计算式为：

在计算失真视频以及参考感知视频的差异，获取VR全景视频渲染输出过程中的失真度量以及质量值MV(i，j)，即：

结合公式(21)，能够组建VR 全景视频渲染输出安全性自动评价模型：

在VR全景视频渲染输出安全性自动评价模型中，首先需要针对原始视频以及失真视频进行预处理，在进行渲染传输的过程中，会存在校正、亮度变换等操作。将经过处理之后的原始视频以及失真视频进行通道划分[8]，获取两组不同通道经过变换后的信号。通过人类视觉对特征通道的视觉敏感度，不同信号进行分解的通道是不同的。针对于各个通道中的两个信号误差进行计算和加权，通常情况下函数采用CSF，其中累加函数能够表示为：

其中假设神经元i释放一个信号被传递到神经元j的概率为Pij，随机神经网络是一个由n个神经元组成的开放随机网络，在这个网络中，神经元i的状态主要是由时刻的兴奋水平表示，它为一个非负整数，将其称之为“势”。当随机网络的正信号(+1)则代表兴奋；负信号(-1)表示抑制。另外，假设一个神经元j的势为正值，它将不断地释放信号，其中释放信号的时间间隔需要服从对应的指数分布。

假设神经元i释放一个信号，将其作为正、负信号被传递到神经元j的概率分别为和，其中信号也能够离开网络，概率为d(i)。神经元根据彼此发送以及接收正、负信号来实现信息交换，同时自身不进行信号传递，其中VR 全景视频在渲染传输的过程中，会存在一定的威胁，导致其无法进行安全传输，所以，在实际传输的过程中，信号损耗应该满足以下约束条件：

随机神经网络是由一个非负整数组成的矢量k，即：

其中网状态的概率分布[x]能够通过以下公式进行推导，则有：

为了分析其稳定性，设定p(k)代表静态概率分布，当其存在时，需要满足一组全局的平衡方程。在上述分析的基础上，通过随机神经网络对模型进行训练。进行训练的主要目的是为了获取一个合适的权值矩阵，使得输入为一对兴奋和抑制的信号流速率的矢量时，网络输出为期望值。随机神经网络在训练的过程中，需要n×n调整的权值矩阵规则，具体的表达式为：

其中固定的学习参数能够表示为：

在上述分析的基础上，利用随机神经网络对模型进行训练，以达到最终视频输出安全性自动评价的目的S，t为时刻，即：

3 仿真实验

为了验证所设计VR全景视频渲染输出安全性自动评价模型的综合有效性，在Windows7操作系统，CPU2．4GHz，内存6GB，仿真软件MATLAB2016b环境下进行仿真实验测试。

(1) 评价耗时/(min)：

实验选取文献[4]和文献[5]两个模型作为对比模型，实验将评价耗时作为测试指标。其中耗时越长，则说明整个模型的工作效率越低；反之，则说明整个模型的工作效率越高。利用图3给出三种不同评价模型的评价耗时对比结果。

分析图3 中的实验数据可知，在相同的实验次数下，所提模型的评价耗时明显更低。主要原因是所提模型通过随机神经网络对其进行训练，有效解决了模型训练问题，促使整个评价过程得到有效简化，评价耗时也随之减少。

图3 不同评价模型的评价耗时对比结果

(2) 相对误差/(%)：

为了更进一步验证所提模型的有效性，以下实验测试对比不同评价模型的相对误差，具体的实验对比结果如表1所示。

表1 不同评价模型的相对误差对比

分析表1中的实验数据可知，所提方法的相对误差在三种模型中为最低。这主要是由于所提模型有效解决了评价模型的训练问题，简化评价过程，促使整个模型的相对误差得到有效降低。

4 结束语

针对传统模型存在的一系列问题，设计并提出一种VR全景视频渲染输出安全性自动评价模型。仿真实验结果表明，所提模型能够有效降低评价耗时以及相对误差。所提模型在实际应用的过程中，由于受到环境以及人为等多方面因素的影响，导致所提模型仍然存在一定的不足，后续将对模型的综合性能进行进一步完善。