基于AI技术的VR产品质量自动化测评设计方法综述

张志强 陈志强 甘晓阳

摘要：随着VR产业的发展，VR软件的质量测试将会也来越重要，但目前VR产品的质量测评技术由于输入设备复杂、输入数据非结构化等原因，导致测试存在周期长、效率低的问题。基于此，提出应用AI技术实现VR产品质量自动化测评，并从行为设计、AI训练设计、I/O设备的模拟、大数据源深度学习设计、评价方法设计五个方面展开论述，全面综述VR产品全生命周期的测评方法。

关键词：VR；AI；质量；自动化；测评

一、前言

随着VR产业的发展，将会有越来越多的企业进入到这个行业。VR产品的质量测试将会越来越重要，但VR产品的质量测试目前还面临很大的问题[1]。这是因为VR产品和电脑产品相比有很多的不同：一是输入设备极为复杂，传统电脑软件用鼠标键盘输入，输入的数据仅仅是一维的流数据和二维的平面数据，VR软件使用的是头盔和手柄，它们都整合了三维定位功能，输入的是三维空间位姿数据；二是输出数据非结构化，传统软件一般用来帮助人进行特定运算，输出的数据都是很容易进行比对的结构化的数据，而VR软件输出的是跟随头盔视角不断变化两幅图像，这些图像所呈现的内容很难通过编程去比对其是否正确。这就导致了在VR软件开发后期和交付阶段的测试变得极为困难和烦琐，VR软件开发企业为了保证软件的质量目前只能雇佣大量的测试人员模仿客户的使用情况进行黑箱测试[2]。本文提出应用AI技术实现VR产品质量自动化测评，并从行为设计、AI训练设计、I/O设备的模拟、大数据源深度学习设计、评价方法设计五个方面展开论述，全面综述VR产品全生命周期的测评方法，为企业应用和开发VR产品提供数据标准，从而降低传统人工测试成本和提高产品使用质量。

二、行为设计

首先需要设计一套智能化测试行为，行为内容包括可以通过Agent模仿人类使用VR软件的输入行为；能自动生成相关测试报告，对VR软件的运行质量、图像质量进行评估，可以长时间运行对VR产品进行反复测试。智能化测试用例全周期涉及了三个主要关键阶段，包括用例生成，用例执行，用例分析。智能化测试围绕这三个阶段，基于海量测试数据和AI算法辅助测试人员进行测试用例设计和用例生成、精准筛选测试用例执行以及测试数据智能分析[3]。

智能测试用例生成：测试用例的生成当前主要靠人工设计，并且要求测试人员具有一定的经验和专业水平，随着云化产品的功能日趋复杂、迭代周期不断加快，完全基于经验人工设计的接口测试效率十分低下。因此需要设计一种测试用例自动生成方法。本文使用基于接口文档和现网流量数据的智能API测试生成技术，实现了单接口与多接口业务场景的双覆盖，做到真正帮助测试人员提高工作效率，并有力保障了云化产品质量，如图1所示。

回归测试用例优选：在日常开发测试活动中，面对项目版本的快速迭代，通常为避免引入缺陷和最早期发现尽可能多的缺陷，测试人员需要在代码小范围变动时进行测试用例的执行。同时，全量地对测试用例进行执行消耗人力、时间成本过高。华为云智能精准回归测试用例挑选，在区分黑盒（代码不可见）、白盒（代码可见）不同模式的情况下，黑盒模式根据测试用例历史执行结果预测用例失败率并进行排序，白盒模式通过挖掘代码源文件（函数）与测试用例的关联关系筛选测试用例，精准挑选和排序缺陷探测比高的测试用例进行，以最少的人力、时间成本，发现尽可能多的缺陷，如图2所示。

测试数据智能分析定位：随着软件规模的持续增长以及产品迭代周期的不断加快，自动化测试用例的数量越来越大，自动化测试工程中的失败日志数量也越来越多，人工分析工作量大、时间成本高[4]。测试数据智能分析定位旨在结合智能化算法根据失败日志和相关测试数据分析可能存在的产品问题，提升分析效率。當前华为云测试智能分析是根据产品线测试日志数据特征，在通用的日志预处理后，依照日志量采用不同方式进行特征工程，生成日志特征后，基于随机森林、最近邻、强化学习、神经网络等来做模型融合，进行失败原因的定界与定位，如图3所示。

三、训练设计

根据VR实训的特点搭建一个训练环境并设置奖励，通过深度强化学习的方法训练模仿人类行为的智能主体IA进行VR输入，并分析相应的图像以获取测试结果。以插件的形式在虚拟引擎中嵌入该系统，并让其模拟人类的输入行为完成VR仿真软件的整个流程。本文AI训练算法研究包括：

（一）遗传算法：是一种生物启发式算法，通过基因突变、交叉等操作，不断优化最优解，适用于复杂高度非线性、难以用数学方程式描述的问题。

（二）神经网络算法：是一种基于输入层、中间层和输出层组成的图形结构，通过输入数据不断迭代优化权重和偏移量，实现分类、识别、回归等任务。

（三）决策树算法：是一种基于对数据属性的判断、分类和划分，建立树形结构进行决策的算法，适用于处理分类问题和回归分析等。

（四）支持向量机算法：是一种分类器模型，通过寻找数据点之间的分离超平面分割不同类别的数据，进行分类任务。

（五）贝叶斯算法：是一种基于贝叶斯定理推算概率分布的算法，适合进行分类和推荐任务。

四、I/O设备模拟

研究如何建立统一的输入输出接口，然后根据市面上主流的VR设备编写接入协议，以3D引擎插件的形式实现对VR输入输出设备的模拟。I/O设备的模拟算法是指通过计算机模拟外部I/O设备与操作系统进行通信交互的过程，以验证或优化操作系统的I/O子系统。常见的I/O设备模拟算法有以下几种：

（一）基于虚拟化技术的I/O设备模拟算法：利用虚拟化技术实现对硬件设备进行仿真，从而将多个虚拟设备映射到单一的物理设备上。

（二）I/O回环测试算法：在不使用任何实际设备的情况下对I/O子系统进行测试，通过将输出数据发送回输入端口并检查输出数据是否与输入数据相同来测试I/O设备的交互性能。

（三）基于代理的I/O设备模拟算法：通过创建中间层代理程序来模拟实际设备的行为和性能，从而将操作系统的I/O请求转发给代理程序进行处理，并将结果返回给操作系统。

（四）离线I/O设备模拟算法：通过分析离线数据来模拟真实设备的输入和输出行为，以测试I/O子系统的性能和可靠性。

五、学习设计

根据用户测试数据，综合运用知识输入、自然语言处理、测试方法输入、云计算、实时反馈、主观转化等多种算法，生成集成化的评价模型信息架构，让AI主体实现自我学习，自我成长，实现AI主体的自动化和智能化。深度学习是机器学习领域中的一个分支，旨在通过模拟人类神经网络的结构来实现对数据的高效处理和分析。以下是一些常用于大数据源深度学习算法的示例：

（一）卷积神经网络（CNN）：CNN是一种被广泛用于图像分类和目标检测方面的深度学习算法。其可在大规模图像数据集中学习样本特征，从而进一步提高对新图像的预测精度。

（二）循环神经网络（RNN）：RNN是一种用于处理序列数据的深度学习算法，如文本、语音和时间序列等。它的每个节点都包含有先前节点的信息，并且可以根据这些信息进行预测。

（三）自编码器（Autoencoder）：Autoencoder是一种无监督的深度学习算法，在大数据源的情况下，通过学习数据的压缩表示和解压缩重构来发现数据中的相关特征和模式。

（四）生成对抗网络（GAN）：GAN是近年来在深度学习领域中非常流行的一种算法，其基于两个神经网络进行训练，一个生成器和一个鉴别器，用于生成逼真的图像或音乐等内容。

六、评价方法设计

确定评价的技术指标为以插件的形式在虚拟引擎中嵌入该系统，并让其模拟人类的输入行为完成VR仿真软件的整个流程。要达到的主要技术指标为：

（一）系统可以通过Agent模仿人类使用VR软件的输入行为；

（二）能自动生成相关测试报告，对VR软件的运行质量、图像质量进行评估。

（三）可以长时间运行对VR软件进行反复测试。下面论述具体测试方法：

第一步，从人的本征体验角度出发设计VR产品的用户体验质量评价方法，对虚拟现实人机交互系统的用户体验效果进行评估。根据被测虚拟现实人机交互系统的性质和特征，确定关键评价指标。设计虚拟现实人机交互系统的主观评价模型，包括虚拟现实人机交互体验系统、主观评价数据采集系统、数据处理单元。

第二步，研究主观评测方法，设计关键评价指标的量化分数矩阵，对关键评价指标进行量化，采用国际电信联盟（ITU）建议的“平均评估分值”（MOS）方法，将每一项关键评价指标分为五个层次，量化标准如下：优（80-100）、良（60-80）、中（40-60）、差（20-40）、劣（0-20）。

第三步，进行主观评测，从不同年龄、不同性别、不同教育背景的用户群体中选择参与主观评测的有效人数，确定关键评价指标的权重系数。获取评测者针对所有关键评价指标的权重参考分，根据所有评测者给出的关键评价指标权重参考分计算相应关键评价指标的权重参考分均值，将所有关键评价指标的权重参考分均值进行归一化处理，得到关键评价指标的权重系数，如表1所示。

具体计算方法：第j个评测者对N个关键评价指标Xi i X按照从最不关心到最关心进行排序，根据排序结果按照均分原则，平分10个单位，即，获得每项关键评价指标权重参考分Score（Xij），其中Score（Xij）代表第j位评测者给出关键评价指标Xi的权重参考分。根据所有被测者给出的关键评价指标的权重参考分计算关键评价指标Xi的权重参考分均值：

其中Score（Xl） 代表关键评价指标Xi i X的权重参考分均值。将上述均值进行归一化处理，得到每个关键评价指标Xi的权重系数：

其中Xi代表关键评价指标Xi的权重系数，max（Score（Xl））代表所有关键评价指标权重参考分均值的最大值， min（Score（Xl））代表所有关键评价指标权重参考分均值的最小值。

计算虚拟现实人机交互系统的关键评价指标的平均分数。根据打分矩阵，利用以下数学模型计算打分结果：

其中Xij代表第j个评测者对Xi参数的打分结果，μi代表所有评测者对关键评测指标Xi打分的均值。

計算虚拟现实人机交互系统的用户体验质量分值QOE，根据第4步的权重系数和第5步的打分结果，利用下面的公式计算QOE值：

建立虚拟现实人机交互系统的分级标准。根据用户体验质量效果，建立一种适用于虚拟现实人机交互系统的体验等级分级方法，其特征在于根据整体感观体验按上表1中所示分为三个等级。根据计算的用户体验质量QOE分值，以及表1的虚拟现实人机交互系统的分级标准，确定待测系统所在的等级区域。

七、结语

基于AI算法的VR产品质量自动化测评算法，还没有一个通用性的标准或算法。当前，在产品质量自动化测评领域，AI技术主要被应用于测试数据的处理与分析，以及测试用例的生成和执行等任务。例如，深度学习等算法可以用于异常数据的检测与分类，并能够提高测试用例的自动生成效率。此外，还有一些公司和研究机构正在探索如何将机器学习算法用于产品测试的自动化分析与评估，以实现更全面、高效的质量测评。本文的研究具备以下意义。目前国内还没有一套对VR产品质量检测的技术研究方法，论文提出使用AI技术模拟人的操作和判断，实现VR产品质量自动化测试，填补了该研究领域的空白，论文所研究的技术和方法，在我国智能制造行业中具备重要意义。论文首次将人工智能、机器学习和大数据分析应用到VR产品的质量检测研究中，属于多学科交叉研究。论文把国际电联标准ITU标准中用户体验质量（QoE）和人工智能影响产品用户体验理论相结合起来作为论文研究的理论依据，从人的本征体验角度出发设计VR产品用户体验质量评价关键指标，具有一定的创新性。

参考文献

[1]李伟.电子产品质量检测的研究和探讨[J].中国设备工程，2022，512（23）：149-151.

[2]龚磊，孙卓，陈迪，等.人工智能软件的测试和质量验证方法研究[J].科技视界，2022（27）：45-48.

[3]全华斌，张宙.人工智能技术在移动终端自动化测试中的运用探析[J].电子元器件与信息技术，2022，6（7）：104-107.

[4]姜红德.一站式AI测试平台提升软件质量[J].中国信息化，2022，340（8）：33-36.

基金项目：1.广东省教育厅2022年度高等学校科研平台和项目“基于AI算法的VR产品质量自动化测评技术研究”（项目编号：2022KTSCX359）；2.2022年广东省科技创新战略专项资金项目“基于虚拟仿真技术的智能制造数字孪生工厂”（项目编号：pdjh2022b1088）

作者单位：顺德职业技术学院