智能家居场景检测标准体系的构建与应用研究

杨文全 田云龙 马晓玉 张欣露

摘 要：随着场景化在智能家居领域的不断普及，用户对场景缺陷的容忍度越来越低。因此，如何有效提高场景质量成为目前行业迫切需要解决的问题，一个系统、全面的检测模型能够更好地保障场景检测质量。本文对场景测试现状提出问题，围绕问题进行分析，从质量体系、检测环节、检测方法三个维度提出场景检测的三维模型，并应用于语音场景检测中，希望有助于场景检测行业更好地开展检测。

关键词：场景检测，智能家居场景，智能家居，语音

DOI编码：10.3969/j.issn.1002-5944.2023.01.037

Research on the Construction and Application of Smart Home Scene Detection Standards System

YANG Wen-quan1，2 TIAN Yun-long1，2 MA Xiao-yu3 ZHANG Xin-lu3

（1. Qingdao Haier Technology Co.， Ltd.； 2. State Key Laboratory of Digital Household Appliances； 3. CHEARI（Beijing） Certifi cation & Testing Co.， Ltd.）

Abstract： With the increasing popularity of scene in the field of smart home， users have less and less tolerance for scene defects. Therefore， how to effectively improve the scene quality has become an urgent problem to be solved in the industry. A systematic and comprehensive detection model can better guarantee the scene detection quality. This paper points out problems of the current situation of scene testing， analyzes these problems， proposes a three-dimensional model of scene detection from the three dimensions of quality system， detection link and detection method， and applies it to voice scene detection， hoping to help the scene detection industry better carry out detection.

Keywords： scene detection， smart home scene， smart home， voice

1 引 言

“产品会被场景替代，行业会被生态覆盖。”——无线通信、云计算、大数据等技术引入，推动了物联网的发展，加速了智能家居的落地，家作为人们生活的最重要空间，自然成为智能化应用最接气、最简单的突破口。而家庭智能化设备种类多、功能全、覆盖广、联系紧，家庭也就更智能，在此基础上，场景的概念应运而生。

场景（见图1）是指由云端、控制终端、设备端组成的能够满足用户特定需求的软件系统。场景的本质是软件系统，场景检测的本质是软件测试，场景检测是指对由组件组成的场景进行功能、安全、易用、可靠等指标的测试过程。

组件（见图2）是对智能家电系统中各个部分的统称，包括智能家电、其他智能电器、互联网服务平台、控制/管理终端（包括所使用的软件系统）以及非智能的家电、其他非智能电器等。组件是保证场景正常执行的必要组成部分，组件存在质量问题，势必會影响场景的执行效果。因此在合成场景之前要对影响场景执行的组件功能进行核查。

各大家电厂商均在纷纷布局智能家居场景，场景的研发和服务正成为行业发展的重要方向。但目前场景质量参差不齐、使用体验差、使用率不高，其中一个最重要的原因就在于场景检测质量不高，通过与场景检测企业沟通以及查阅相关文献分析得出场景检测行业目前存在以下问题：

（1）场景检测维度单一，检测不系统

目前场景检测行业大多在单一维度进行检测，如只关注场景质量特性中的功能性和性能效率检测、只使用黑盒测试方法进行检测或者只关注测试环节中的系统检测，单一维度的检测不利于更全面、系统地发现场景的问题，导致场景检测质量不高。

（2）场景检测单一维度测试内容不够全面

即使目前场景检测多集中于单一维度，但在单一维度的检测也不够全面。场景的执行依赖云端、设备端、控制终端三端的质量，任何一端的质量问题都会影响场景的执行，但是目前场景检测对组件的测试度覆盖不够，导致场景检测不全面，影响场景执行准确率；目前行业的场景检测大多局限于功能性、性能效率、易用性检测，对可靠性、信息安全性、兼容性涉及不多；即使是功能性检测，由于对子特性的覆盖度不够，导致测试不够全面。智能家居场景的绑定、设置、执行均须依赖稳定的网络环境，但是目前场景检测的网络连接不稳定、网络带宽覆盖范围不够、不同家居环境的网络环境覆盖不足，使得场景检测不全面，影响场景的使用体验；场景检测大多以黑盒检测为主，白盒检测几乎鲜有涉及，场景核心功能的白盒测试覆盖度不够，导致代码中的一些严重问题被代入场景中，引发场景执行错误。

针对上述问题，考虑到场景的本质是软件系统，本文参考ISO/IEC 25010《系统与软件工程 系统与软件质量要求和评价（SquaRE）第10部分：系统与软件质量模型》（GB/T 25000.10）[1]中产品质量模型，从质量体系、检测环节、检测方法三个维度提出场景检测的三维模型，并应用于语音场景检测中，供行业参考。

2 场景检测标准模型创新构建

2.1 三维标准模型组成

如前文所述，一个科学、合理、全面的检测模型直接影响场景检测的质量。一个全面的场景检测模型应充分考虑测试过程中各个维度，图3是综合学术界、产业界对场景检测的研究提出的检测模型，分为测试环节、质量特性、测试方法三个维度，在进行场景检测过程中要充分考虑各个维度的测试内容综合运用各维度之间的关系，才能将场景检测得更全面。

检测模型按照测试环节分类可分为单元测试、集成测试、系统测试和验收测试，单元测试指开发人员对组成场景的各个子功能函数通过白盒的测试方法进行测试。如在归家场景中，回家之后灯亮起同步响起音乐、扫地机器人停止清扫，在场景代码中通过对各个子功能函数依据等价类划分、边界值等方法设置输入，检查函数的覆盖率是否满足要求；也可根据场景的实际业务功能对各个子功能函数设置输入检查输出是否与预期一致（归家值设置为真检查音乐执行、扫地机器人清扫函数是否为真）；集成测试是指开发人员在单元测试的基础上，将场景中的各子功能按照设计要求组装成为子系统，进行集成测试。主要采用黑盒测试方法对各子功能函数的接口、数据传输方法进行测试；系统测试是开发人员将经过集成测试的场景，与系统中其他部分结合，采用灰盒测试方法对软硬件系统进行测试；验收测试是由测试人员依据用户需求、场景需求规格说明书的要求，采用黑盒测试的方法对整个场景的功能、性能、易用、信息安全、兼容、可靠、维护性、可移植性进行的测试。

检测模型按照测试方法分类可分为白盒测试和黑盒测试，白盒测试又称结构测试、透明盒测试、逻辑驱动测试或基于代码的测试，是一种测试用例设计方法，是指对合成场景的代码通过静态测试和动态测试的方法进行测试的过程，包括对合成场景的代码进行代码编程规则扫描、质量度量，对场景中的子功能函数进行覆盖率测试。常见的场景白盒测试工具有：Testbed、QAC、Jtest、Coveirty，可对场景的功能性、维护性、信息安全性进行测试。黑盒测试是以用户的角度，从输入数据与输出数据的对应关系出发进行测试的。测试方法主要包括等价类划分、边界值分析、错误推测等。常用的场景黑盒测试工具有：智能家电视觉交互测试系统，可对语音场景进行功能性、性能效率、可靠性的测试；智能终端性能测试系统可测试智能终端的性能效率和可靠性；Jmeter、Loadrunner可对Web系统进行性能效率和可靠性的测试；自动化测试私有云系统可对App进行自动化的功能和兼容性测试；Webinspect、Wiresahrk、Fiddler可对智能家居系统、Web系统进行信息安全测试。

检测模型按照质量特性分类可分为功能性、性能效率、兼容性、易用性、信息安全性[2]、可靠性、维护性和可移植性[3]。各特性的测试内容见表1[4]。

2.2 三維标准模型说明

图3所示的场景检测模型是以检测方法、检测环节、质量特性为三个维度的三维模型。在进行场景检测过程中要综合运用三个维度之间的关系，不是仅仅从单一维度出发。如场景检测过程中各质量特性的检测既要考虑黑盒测试方法也要考虑白盒测试方法，也要从检测环节出发考虑各个环节的测试内容；检测的各个环节要充分考虑各个质量特性也要考虑黑盒和白盒测试方法。图中的A点，是在单元测试环节通过白盒测试的方法进行场景功能函数的检测；图中的B点，是在验收测试环节通过黑盒测试的方法进行场景的信息安全检测；图中的C点，是在系统测试环节通过白盒测试的方法进行场景的可靠性检测。表2是根据目前场景检测行业的现状和作者的检测经验总结的场景检测三维模型各维度之间的对应关系。

3 场景检测标准模型创新应用

3.1 标准模型在语音场景检测中的创新应用

语音场景是智能家居场景中常见的场景。通过语音唤醒空调并调节温度、通过语音音箱打开/关闭电视机、通过语音联动窗帘和空调……都是我们所熟悉的语音场景。现阶段，语音场景的检测大多围绕语音识别正确率、响应时间、误唤醒率等指标，这些指标属于检测模型中的质量特性的功能性、性能效率指标，但对易用性、可靠性、安全性等指标涉及较少，场景检测维度单一，检测不系统、不全面。应用本文第2章提出的场景检测模型，检测过程中除应考虑质量特性维度外，还应考虑检测方法、检测环节，以下是应用三维场景检测模型后语音场景的检测内容：

（1）功能性

完备性检测是指系统测试环节通过黑盒测试方法检测语音场景是否具备《需求规格说明书》中要求的全部功能，功能覆盖是否充分、完整。例如语音采集、语音识别、语音合成、语音交互、语音唤醒、声纹识别等；通过白盒测试方法在单元测试环节对语音场景中的关键子功能函数进行覆盖率检测等。

正确性检测是指系统测试环节通过黑盒测试方法检测语音场景是否按照《需求规格说明书》中的要求实现了全部功能，包括功能有无、正确性等，例如语音采集是否支持近场/远场、语音识别正确率、语音交互成功率、语音唤醒成功率、声纹识别错误拒绝率等；通过白盒测试方法在单元测试环节根据语音场景的实际业务功能对各个子功能函数设置输入检查输出是否与预期一致。

适合性检测是指系统测试环节通过黑盒测试方法检测语音功能执行过程中执行步骤、执行反馈是否是用户所需要的，例如通过语音音箱打开电视，只需顺序呼出语音“唤醒词”“打开/关闭xx电视”指令即可，不需要有其他的操作步骤，音箱的反馈为“已打开电视”，电视可被打开，如电视具备语音功能可语音反馈“电视已打开”。

（2）性能效率

时间特性检测是指系统测试环节通过黑盒测试方法检测从触发语音场景到场景执行所需要的时间，包括响应时间、平均响应时间、响应极限时间等。例如使用语音命令打开空调，从“唤醒词→打开空调”语音结束到空调开机的时间，一般需要进行多次测试，取平均值，即为该场景的响应时间。

（3）兼容性

共存性检测是指系统测试环节通过黑盒测试方法检测语音场景在与其他场景共享通用的环境和资源的条件下，场景能够有效执行其所需的功能，并且不会对其他场景造成负面影响的程度。例如智能电视的语音交互场景应该在弹窗中呈现，不应影响正在显示的内容。

互操作性检测是指系统测试环节通过黑盒测试方法检测语音场景与其他交互技术（传统触摸按键、远程App界面、手势交互界面等），在操作产品相同功能时，数据应能共享同步，例如使用App调节空调温度至25℃，再使用语音指令“把温度调高2度”，期望的结果是27℃。

（4）易用性

可辨识性检测是指系统测试环节通过黑盒测试方法检测语音场景是否通过用户易理解的方式标志和说明产品具备的语音功能、指令集和操作方式，这些方式可以通过文字、语音、视频等形式展现。语音功能执行过程中的错误应指明如何改正错误或要向谁报告差错，如离线状态下使用语音功能唤醒空调，空调应语音提示“空调未联网，请联网后重试”；单元测试环节通过白盒测试方法检查语音场景关键代码的注释率是否满足要求。

易学性检测是指系统测试环节通过黑盒测试方法检测语音场景执行的各种问题、消息和结果是否是易理解的；是否有指导手册、音、视频指导用户如何使用语音场景。

易操作性检测是指系统测试环节通过黑盒测试方法检测语音场景执行过程中易于用户操作或控制的程度，例如语音唤醒的阈值不宜过大，用户能够方便地关闭或开启语音识别功能，能够根据环境背景噪声大小自适应调节音量大小等。

用户差错防御性检测是指系统测试环节通过黑盒测试方法检测语音场景执行过程中防范用户误操作的程度，例如通过语音功能调节空调的温度至35℃，空调应提示用户温度超过范围，并拒绝用户的调温操作。

用户界面舒适性检测是指系统测试环节通过黑盒测试方法检测语音场景语速的自然性；对于带有交互图形界面的，检查交互界面图形、颜色、文字等信息是否使用户感觉舒适，是否允许用户定制语音场景，一般通过用户体验的方法进行用户界面舒适性检测。

易访问性检测是指系统测试环节通过黑盒测试方法检测语音场景执行过程中是否易于最广泛特征和能力的用户使用（儿童、成年人、老年人）等。

（5）可靠性（鲁棒性）

成熟性检测是指系统测试环节通过黑盒测试方法检测语音场景在正常条件下无故障工作的能力，例如评估平均无故障工作时间（MTBF）、长时间（全链路场景执行7*24h）执行成功率等；系统测试环节通过coverity、testbed等工具对语音场景进行代码检测。

可用性检测是指系统测试环节通过黑盒测试方法检测语音场景在需要使用时能够进行操作和访问程度，需要检测在不同环境（高噪音或低噪音）、距离（近场或远场）、角度、高度等多种组合条件下语音场景执行的情况。

容错性检测是指系统测试环节通过黑盒测试方法检测语音场景在存在软硬件故障下继续运行的能力，例如离线状态下，语音场景支持离线语音的执行。

易恢复性检测是指系统测试环节通过黑盒测试方法检测语音场景从中断或失效中恢复功能的能力，例如网络中断或供电中断并恢复后，语音场景可恢复正常。

（6）安全性

功能安全性检测是指系统检测环节通过黑盒或白盒的测试方法检测语音场景的启动金额开启不会对人身财产造成损伤，在特定情况下可能会造成损伤的，设备应具备自检能力。例如由于语音操作的扁平化特点，使得家电产品自身的安全保护逻辑遭到破坏，对用户和环境造成伤害。

信息安全性检测是指系统检测环节通过黑盒或白盒的测试方法检测语音场景执行过程中信息的保密性、完整性、抗抵赖性、可核查性、真实性等。

个人信息保护检测是指系统检测环节通过黑盒或白盒的测试方法检测语音场景在执行过程中，个人信息的收集、存储、删除、使用等环节个人信息保护要求是否符合GB/T 40979-2021《智能家用電器个人信息保护要求和测评方法》[5]中第5章的要求。

3.2 标准模型创新应用效果

以上是以语音场景为例应用三维场景标准检测模型后的检测内容，不仅完善了检测维度：涉及功能性、性能效率、兼容性、易用性、可靠性、安全性六个检测维度的内容，而且考虑软件标准每个质量特性中的子特性，场景检测在单一维度的检测内容更加全面、系统，也使得场景检测过程中测试用例的设计更加科学、完善。应用场景检测标准模型后可为场景检测提供检测思路和标准支撑，使场景检测更加充分、科学，最大限度地减少场景上市后的问题，提高场景使用过程中的用户体验和场景的使用率。

4 结 语

不可否认，场景的研发和布局已成为家电企业的重要战略，场景检测作为保障场景质量的重要手段，其充分性、合理性、科学性越来越成为企业关注的重点。场景执行给用户带来的使用体验一定程度上体现了智能家居的智能化水平，由于场景涉及的产品种类多且复杂，场景检测的系统性、全面性更加有必要。

本文首先分析目前场景检测行业存在的问题，针对引言中的两个问题，从检测方法、检测环节、质量体系三个维度构建了场景检测的三维模型，一定程度上解决了场景检测维度单一，检测不系统的问题，针对场景检测单一维度测试内容不够全面的问题，本文从三个维度出发分别介绍在场景检测过程中如何更充分地考虑场景检测的内容。本文第3章以语音场景为例介绍应用场景检测三维模型后的检测内容。可以发现，应用场景检测模型后，检测内容更加完善、全面，测试用例设计更加科学、合理。希望该检测模型能够使场景检测更加系统全面，能够对于目前场景检测行业现状有所帮助。

但是，任何检测模型都不是万能的，提高场景检测的效率和充分性需要检测人员对场景检测模型和场景的理解更加透彻，也需要有更加智能、自动化的检测设备加以辅助。另外，本文提出的是一个三维模型，但有些场景会涉及时间维度，那么就需要在现有的模型基础上增加时间维度变为一个四维的模型。

参考文献

[1]SYSTEMS AND SOFTWARE ENGINEERING — SYSTEMS AND SOFTWARE QUALITY REQUIREMENTS AND EVALUATION （SQUARE） — SYSTEM AND SOFTWARE QUALITY MODELS：ISO/IEC 25010：2011（系统与软件工程 系统与软件质量要求和评价（SquaRE） 第10部分：系统与软件质量模型：GB/T 25000.10-2016）[S].

[2]任飞，李红伟，马晓玉.网络环境下智能家居安全评价体系的构建 [J].家电科技，2019：4

[3]李红伟等.智能家电App软件质量测评方案研究与应用分析[J].中国家用电器协会.2020年中国家用电器技术大会论文集[C].中国家用电器协会：《电器》杂志社，2020：11.

[4]李红伟，冯长卿，马晓玉，等. 智能家电黑盒软件测试方法研究[J]. 家电科技， 2020：5

[5]智能家用电器个人信息保护要求和测评方法：GB/T 4097-2021[S].

作者简介

杨文全，智慧家数字化转型平台场景实验室主管，主要从事智家大脑数字化转型平台创新实验室及体系流程搭建、用户研究、标准专利等工作。

田云龙，高级工程师，智慧家数字化转型平台总监，主要从事智家大脑数字化转型、流程体系管理、创新实验室、战略生态合作、行业研究、科技政策、标准专利等数字化业务。

马晓玉，智能家居及软件检测中心主任工程师，主要从事智能家电产品软件检测、测试用例开发、软件检测实验室体系建设及相关标准的制定工作。

张欣露，智能家居及软件检测中心工程师，主要从事智能家电产品软件检测、测试用例开发及相关技术标准的研究。

（责任编辑：张佩玉）