智能家居综合实验平台设计研究与应用实践

付心仪，张鹤，薛程,1b，李欣洋，孙喆,1b，徐迎庆,1b

智能家居综合实验平台设计研究与应用实践

付心仪1a，张鹤1a，薛程1a,1b，李欣洋2，孙喆1a,1b，徐迎庆1a,1b

（1.清华大学a.未来实验室 b.美术学院，北京 100080；2.北京航天与航空大学 机械工程及自动化学院，北京 100191）

梳理和分析智能家居相关实验平台现状，探究智能家居综合实验平台的设计研究方法，对平台的构建展开应用实践。以智能家居理论框架为基础，从传感器网络、数据、场景、被试等多个角度出发，对智能家居综合实验平台的设计方法和应用实践进行阐释。提出智能家居综合实验平台中围绕“感知”“思考”“执行”3个层面的理论框架、应用实践研究方法和实践案例。智能家居综合实验平台的理论构架对于智能家居领域的科研问题具有一定的理论影响力，3个层次在建设时相互独立，在理论中相互印证，在实践中相互支撑。建立智能家居综合实验平台，可以为智能家居及其相关领域的科研和产业问题提供实验场地、关键数据、核心算法等支撑，使相关研究可以在更完备、更集成及鲁棒性更强的框架下展开。智能家居综合实验平台的研究和实践整合了现有知识体系，从顶层设计、传感网络、数据研究、算法模型、用户研究、人机交互等多学科多领域交叉的角度为学术界和产业界提供参考，全面地推动智能家居领域的技术进步和设计创新。

智能家居；实验平台；设计研究；应用实践

随着社会与科技的发展，人们所处的时代正在发生天翻地覆的技术革新，起始于信息时代早期的智能家居也逐渐步入了智能化时代，智能家居的发展脉络见图1。在人工智能、智慧物联网、大数据、5G、自然人机交互等前沿科技的支撑下，智能家居逐渐从现有的智能产品孤岛模式过渡到全屋智慧互联模式，由单体“智能”向整体“智慧”转型。越来越多的智能家居供应商开始专注于全屋一体化智能的探究，例如：小米基于小米生态链和小米IoT开发者平台的“小米全屋智能指南”[1]；美的针对全屋智能场景的“一站购”和主动式全屋智能[2]；华为鸿蒙生态（HarmonyOS）的全屋智慧场景[3]等。终端消费者的需求也从对智能化单品的需要，发展为对全屋整体智能的期待。以用户为中心，提供一整套智能化、个性化、人性化的多模态智能产品和解决方案，为用户打造家居环境和家居实体相融合的智慧、舒适、温馨、便捷的个性化家居体验，是当前学术界在智能家居领域和产业界迫切追求的目标。智能家居是学科高度交叉的领域，为实现此目标，需要多种维度的理论与方法支撑，包括家居实验平台的硬件支撑、家居领域多模态人机交互的理论支撑、家居场景下智能感知的技术支撑、家居环境下用户真实数据的数据支撑等。然而，当前国内外的相关研究领域，尚缺乏支撑以上前沿研究的高相关度成果。本文提出智能家居综合实验平台设计研究与应用实践，从“感知”“思考”“执行”3个维度构建面向智能家居的综合性实验平台设计的理论框架和实践应用，探讨智能家居多通道传感器网络构建、多模态大规模数据采集存储与集成、全屋智能用户体验构架等问题。该综合性实验平台可以支撑智能家居场景下的多模态人机交互理论与方法验证，平台产出的海量用户自然行为和情感数据，可作为家居场景下智能感知算法模型的数据支撑，基于此平台产出的用户体验测量框架，可纳入产业界全屋智能产品的用户体验度量评价体系中，推进智能家居环境下的人机交互设计创新。

图1 智能家居的发展脉络

1 智能家居平台概述

将智能家居平台分为消费级平台和实验平台2类，并分别对这2类平台进行概述，为的是从概念上厘清两者的区别，本文将重点围绕智能家居实验平台开展研究。

1.1 消费级智能家居概述

消费级（Consumer–Grade）智能家居指为个人或家庭使用、消费或享受而进行设计、营销和销售的智能家居产品。近年来，随着消费者对生活品质要求的不断提升，智能产品逐渐走入大众家庭，推动智能家居市场规模的不断扩大[4-5]。智能家居产业蓬勃发展，产品覆盖范围广，行业参与者除了创新型家电产业，还有智能硬件厂商、互联网公司、通信运营商和房地产等各类行业巨头公司，当前市场上的主流企业有海尔、谷歌、小米、美的、百度和阿里巴巴等。2020年，工信部筹建了智慧家庭标准工作组[6]，支持智能家居行业的发展。随着智能家居单品智能程度的提高和各智能设备间的互联互通，当下以智能单品为核心的全屋智能家居解决方案兴起。智能家居设备可分为如下六大类：智能家电、智能家庭安防、智能家庭娱乐、智能连接控制、智能光感和智能家庭能源管理，其包含的设备类别和单品示例见表1。

在智能单品不断向全屋智能体系过渡的过程中，智能家居也正不断向家庭的各类场景延伸。如智能入户、智能看护、智能客厅、智能厨房、智能阳台和智能娱乐场景等，现有的常见智能家居场景及其功能示例见表2。

智能产品生态链从单品化向联动一体化不断发展，但在面向消费者提供全屋智能构建方案时通常存在着如下问题。

1）设备互联互通的行业标准不统一。以Wi-Fi、蓝牙、Zigbee为主的无线通讯技术在智能家居的多种场景中应用最为广泛，但通讯协议间不统一无法达到设备互联互通的理想状态，需要行业内各厂商达成开放合作。

2）缺乏以用户为中心的全屋构建方案。目前各智能单品间通常独立分散，功能较为单一，无法根据用户的心理需求提供准时化、个性化、智慧化的服务。

3）用户的隐私安全无法得到确切保障。随着物联网终端设备大量融入网络，用户的个人数据也越来越容易被收集，但目前还没有确切有效的法律法规来确保用户家居设备的安全。

式中：mh∈M,ph∈P,qh∈Q依次表示th对应的物料、工艺、质量节点，由定义1和定义2中的关联关系确定；Exch表示按照装配业务逻辑中的任务分发规则认领th的人员;TExch表示认领th的时间；TBh和TEh分别表示th的开始时间和完工时间。

表1 智能家居设备类别和示例

Tab.1 Smart home device categories and examples

表2 智能家居场景和示例

Tab.2 Smart home scenarios and examples

1.2 智能家居实验平台概述

智能家居实验平台（以下简称“实验平台”）是物联网系统面向家居环境的集成解决方案，它包含智能家居驻地设备、云计算、通信网络集成、应用功能、用户交互方法和管理系统等多维的综合应用。目前，实验平台内存在如交互设计、边缘计算、大数据处理、网络通信、可用性、安全与隐私等诸多问题和挑战[7]。与消费级智能家居产品和解决方案不同，实验平台是一个为了解决已知问题和探索未来可能性的综合实验环境，通常为满足可能的衍生需求而采取包括传感器网络、计算中心、数据中心等的冗余设计。一方面，

实验平台除了可以满足细化领域的研究和实验需求外，还可以从更全面的视角探究智能家居问题。例如用户体验及产品设计[8]、环境中各种依赖关系[9]、缺失和冗余问题[10]、新技术测试[11]等，均可在实验平台中进行研究。与此同时，实验平台配备了在真实居住环境中所需要的各种资源，以满足用户在人居环境中的场景需求。一个完备的实验平台应该为整体而非临时搭建的环境场地，可以进行与真实居住效果几乎无差异的非表演活动行为[12]，并通过完备的多模态传感器网络进行采集，再经过本地化的方式进行整体处理以保证实验周期内的数据安全。实验平台所产生的大规模多模态真实智能家居数据集，可进一步促进智能家居环境下的设计创新、算法研发和技术升级。

2 智能家居实验平台现状分析

根据智能家居涉及到的场景类别（见表2），将智能家居实验平台分为综合场景实验平台（即涉及全屋多种场景的实验平台）和单一场景实验平台（包含一种场景的实验平台），如厨房场景、卧室场景等。

2.1 综合场景实验平台现状

场景问题在人机交互、设计领域的重要性在大量先前研究中已被重申[13]。包含综合场景的智能家居实验平台（下称“综合平台”）是研究普适计算（Ubicomp）、以人为本的设计（Human–Centered Design）、计算机支持的协同工作（CSCW）等人机交互领域问题的重要基础性设施。相较于单一场景实验平台，综合平台可支持更大范围的跨领域研究工作内容，并带来更加贴近于真实世界的临场感受。综合平台包含多个不同场景，不同场景间可以进行更快速地切换。在综合平台内的设施（空间和设备等）可以同时服务于多个不同场景，同时满足智能家居下多个不同场景的协同研究需求，可以在同一综合平台内开展多种类的实验，并使不同场景之间建立更自然的上下文关系。综合平台不仅保证了研究的完整性，更强化了研究的系统性和可操作性。

目前，学术界和工业界已有一些综合实验平台及相关研究（见表3）。如麻省理工学院在2004年建立了PlaceLab[14-15]，旨在研究居家环境中的普适计算技术。PlaceLab在室内设计上与普通的家庭环境无异，但在家具中嵌入了许多传感装置来记录居住者日常活动的数据，这些数据可被用于普适计算、预防保健、用户界面设计等居家环境下与人的行为相关的研究领域。Eugene等基于Smart-Home living-lab（2018）[16]开展了关于智能家居服务和产品的偏好与可用性研究，通过复制一个实际的住宅来让参观者可以按照任何住宅空间的顺序和方式体验空间和服务，以挖掘用户在日常生活行为习惯中蕴含的对智能家居的愿景。联想公司的Smart Home Lab[17]打造了模拟真实家居环境的全屋智能家居样板间，旨在打造用户可感的场景智能。Yassine等[18]提出了在智能家居物联网中使用雾节点和云系统处理和分析数据的实验平台，用以处理计算密集型应用程序所预期的复杂工作。但上述研究和工程在场景平台真实性、多样性、可用性、可拓展性、应用覆盖领域尺度、数据量级等方面均有较大的提升空间，表3同时列出了这些平台的局限性，本文提出的综合实验平台设计理论与实践针对这些局限性均采取了优化策略。

2.2 单一场景实验平台现状

单一场景的实验平台（以下简称“单场景平台”）是为满足单一特定研究目的和研究对象而搭建的实验环境。单场景平台舍弃了场景变换的自由，将研究对象限制在某个范围内，搭建难度比综合平台更低。目前，智能家居相关的单场景平台多集中于智能厨房场景和智能卧室场景等，如MIT媒体实验室的多项研究与厨房场景相关，Lee等[19]运用投影仪投射菜谱、温度等数字信息至物理界面以增强信息量，Bonanni等[20]将动态多媒体画面映射到空间中以放大用户的感官输入等。Booranrom等[21]针对老年人在卧室中的场景，实现了基于Kinect的控制电器开闭与跌倒防护监测。通常，单场景平台所研究的问题具有周期更短、结构化、线程化等特点，然而单场景平台本身难以满足未来研究拓展的需求，并无法实现跨场景间的上下文联系。

表3 现有针对智能家居的综合场景实验平台示例

Tab.3 Examples of the existing integrated experiment platform for smart home

3 智能家居综合实验平台设计研究

3.1 理论框架

本文首先提出智能家居综合实验平台设计的理论框架，核心覆盖3个层级，即“感知层”“思考层”和“执行层”，见图2。“感知层”通过传感网络收集用户数据，经“思考层”建立数据库并开展基于数据的智能感知，最后通过“执行层”来为用户提供自然人机交互界面。该3个层级之间独立存在但高度关联，通过传感网络、硬件设备、网关网络、用户驻地设备、人机交互等方式互相协作，高效地处理、分析、管理智能家居系统，并为智能家居中各种研究问题提供全面的科学实验平台。

3.2 感知层

“感知层”是综合实验平台的基础，通过在智能空间中配置多通道传感器网络来采集多源异构的原始数据。传感器的部署以用户的感官通道为准则，尽可能地覆盖多种感官通道，本文提出的综合实验平台主要包含视觉通道、听觉通道、触觉通道和嗅觉通道。同时为了更好地感知用户所处的环境，也以环境为对象部署了相关的传感器，例如温度、湿度、二氧化碳、空气质量等传感器。

图2 智能家居综合实验平台理论框架

听觉通道主要负责采集智能空间中的声音数据。为了能够实现对全屋空间中完整的声音采集，研究人员在综合实验平台中配置了麦克风矩阵与智能音箱相结合的声音采集方案。麦克风矩阵作为听觉通道的基础，主要负责采集全屋空间中包含环境音和用户声音的所有声音。麦克风矩阵的配置使用一种基于数据驱动的配置方式，使用预先建模的基于真实比例的3D模型作为仿真空间，结合使用声学仿真软件，优化出合适的麦克风数量和具体的麦克风放置位置。智能音箱放置在智能空间中产生交互的主要场景，如书房、卧室、厨房，智能音箱主要负责感知用户交互中的语音指令，并提供一定的语义识别功能，作为听觉通道中细粒度数据的补充。

触觉通道是为了获取到用户在智能空间中的与触觉相关的交互行为数据。智能空间中的触觉数据主要包含3类：用户的步态数据、用户与智能家具的交互数据、用户与智能平板的交互数据。步态数据的采集依赖于在全屋铺设智能地板，基于电容识别的方式能够精准地识别出用户所处的位置，通过对地板获取的时间序列进行处理可以得到用户的步态速度、前进方向、活动区域、跌倒状态等高级特征。用户与智能家具的交互数据主要包含用户对于不同家具的交互区域、交互方式、交互力学大小等，在智能家具中部署柔性压力传感器可以感知用户的接触点和力学大小，通过部署通信模块可以将用户的触觉交互数据进行传输。用户与智能平板的交互数据同样依赖于电容感知的识别方式，对用户与智能平板的交互方式进行记录，可以得到更加精细化的交互方式和手部的行为模式识别等特征。

嗅觉通道是对周边环境的气味数据进行采集。使用基于MEMS传感器阵列的电子鼻传感器，能够对环境中的气味进行精准识别。嗅觉通道的构建依赖于智能空间中的场景构建，包含厨房场景和卫生间场景等。厨房中配置传感器能够检测到用户在烹饪中的气味，通过对气味数据进行长期的采集和分析，可以对用户的长期烹饪行为进行追踪。卫生间中的气味数据包含个体的部分健康信息，通过对这些数据进行长期的采集，可以实现健康追踪。

“感知层”是综合实验平台与真实世界和实体空间交互的媒介。通过该层面，可使综合实验平台内的各类信息被广泛观测，为“思考层”和“执行层”提供核心数据支撑。

3.3 思考层

“思考层”是综合实验平台的“大脑”，具有整体思考的能力和连通数据获取到终端执行的能力。“思考层”负责控制“感知层”的传感器网络，处理数据流的接收和存储，智能感知算法的运行，并对“执行层”进行指令分发。

控制传感器网络指的是对实验平台的多通道传感器基于实验目的、硬件条件及其他实际情况而进行计算资源的分配。具体来说，“思考层”可以控制：传感器采集的启停；传感器所采集数据的频次和分辨率等信息；传感层网络采集同步；传感器网络的自动化流程；可拓展性分析；性能分析。

处理数据是“思考层”的核心功能之一，涉及数据获取、清洗、标注、存储、建库等。综合实验平台所产生的海量数据可以存储在本地的网络附属存储（NAS）系统中，为智能感知算法构建和“执行层”的交互功能构建提供可靠的数据支持。

“思考层”的另一个重要功能是智能感知。通过使用“感知层”所采集的各通道数据，对数据处理后利用算法模型进行感知层面的建模，并将完备的感知模型存入到“思考层”中，在综合实验平台的使用过程中对相关感知算法模型进行调用，以进一步实现智能感知的功能，如行为识别、情感计算、时间判断、环境感知等。以行为识别为例，“思考层”执行智能感知的过程可以总结如下：通过“感知层”采集综合平台内包含用户活动的视觉通道信息数据，再通过计算机视觉的方法将用户的动作行为转化为三维空间的骨骼点数据[22]，通过对骨骼点数据的分析并结合上下文语境、事件序列信息等数据，来综合判断用户行为，甚至预测用户下一步的行为。

与此同时，“思考层”的任务需求和研究结果将对“感知层”的传感网络部署提供一定的优化反馈，基于智能感知算法的运行结果，“思考层”对“执行层”的各类智能单品、智能终端、用户驻地设备发送感知结果并提供决策方案，指导“执行层”与用户展开自然人机交互。

3.4 执行层

“执行层”包含综合实验平台中所有可以与用户产生交互的终端设备，例如各类家居用智能单品、服务类机器人等各类用户驻地设备。由于当前家庭与智能家居行业之间，对如何使用技术的期望存在潜在的不匹配[23]，跨设备交互用户体验和数据共享能力较差[24]，所以“执行层”需要利用“思考层”作为数据的中转站，间接打通各类智能单品的数据通信接口。由“传感层”获取用户真实的日常生活数据，经过“思考层”的感知加工和智能识别，产生“执行层”中各类用户驻地设备的交互策略，并指导智能单品与用户的交互，构建更自然的用户交互界面。“执行层”的意义在于在一定程度上解决目前智能家居行业存在的痛点问题，如提高不同智能单品间的联动效率、提高联动任务的准确性与可靠性、优化产品设计与功能、降低房屋能耗等，进而为用户创造高度个性化的体验，自主适应每个家庭的生活方式。通过“执行层”获取的用户体验结果，可以对“感知层”的传感网络部署和“思考层”的智能感知算法提供相应的优化反馈。

4 智能家居综合实验平台应用实践

4.1 平台物理空间配置

在本研究中，设计并构建了一个依托真实家居环境的智能家居综合实验平台，该平台包含设施完备的客厅、卧室、书房、厨房、洗手间和阳台，空间面积为60 m2左右，该实验平台可以基本满足用户居家生活中的各类需求，该实验平台的实景照片见图3。该实验平台依据图1的设计构架来进行搭建，各个层次的具体硬件配置见表4。

图3 智能家居综合实验平台实景照片

表4 智能家居综合实验平台（部分）硬件配置

Tab.4 Hardware configuration of integrated experiment platform for smart home (partial)

注：每台工控机配备GeForce RTX 3080Ti 12GB GPU、AMD Ryzen™ 9 5950X 16核CPU、32GB以上内存、万兆网卡及8 TB以上固态硬盘

在覆盖综合平台空间的感知层配置中，考虑了现有硬件条件和被试者隐私问题，同时考虑未来研究的潜在需求。部分隐私敏感的空间（如卧室、洗手间等）内仅布设了隐私友好的传感器设备（如嗅觉、触觉等），同时预留了其他模态传感器的快速配置接口。实验平台的感知层和思考层均使用冗余设计，以提升平台的可靠性、稳定性和对未来研究的可迁移性。

4.2 平台目标用户画像

根据当今社会普遍家庭构成情况，经过线上问卷调研（270份有效回收）和深度用户访谈（36位用户参与），最终选取最具代表性的家庭结构，构建出该智能家居综合实验平台的目标用户画像，见图4。共分为以下6类：独居青年、年轻夫妇、三口之家、三代同堂、新老年人伴侣与独居老人。由于年龄与家庭构成人数不同，各类用户对智能家居场景的关注也有所不同，如独居老人可能更关注紧急救护，独居青年可能更关注居家安全等。

该综合实验平台可招募符合条件的目标用户（被试者）开展实验研究，并根据实际开展研究的课题内容和目标来设计实验流程与方法。在实验期间，研究者将与被试者保持持续沟通，保证实验平台内各设施的正常运转，及时获取被试者在实验中的即时体验与反馈，以进一步优化实验平台和用户体验。

图4 智能家居综合实验平台目标用户画像

4.3 可依托平台所开展的研究

利用文中所提出的智能家居综合实验平台，可开展的人机交互、智能感知和用户体验等类别的相关研究，表5展示了部分可以依托本平台开展的研究示例，并提供了相似研究的参考。

在此以智能家居中的复杂决策问题为案例，提出一个综合应用“感知层”“思考层”和“执行层”对家居环境进行控制的示例。在综合平台中，通过“感知层”的传感器网络，获得场景空间中的用户数据和环境信息；通过“思考层”对综合数据进行处理和分析，利用多模态算法模型对数据的语义进行解析，得到用户的行为、情感状态、环境状态等结果；结合上述结果，对“执行层”的智能家居设备下达具体指令，以更改设备的工作状态和交互方式来匹配适合场景的环境状态。例如在居家办公场景中，匹配合适工作的温度、湿度、氛围光线、音乐等，以及定时提示喝水、起身放松和工作进度监控提示等内容。

本综合实验平台的“感知层”“思考层”和“执行层”中所涉及的设备已经通过了较为长期的稳定性测试并验证了平台对于相关研究的可靠性。4组年龄在20岁至45岁的被试者（共6人，其中女性3人，男性3人）在该实验平台中分别连续居住14天至180天不等，在此期间，平台空间设施和设备的运行状况稳定，所收集的实验数据质量良好。依托此综合实验平台及其理论框架，研究人员正在开展相关领域的研究，例如：产品可用性研究、多模态交互、情感计算等。目前，各项实验进展顺利，进一步验证了该综合实验平台的有效性。

表5 平台依托的可研究示例

Tab.5 Examples of platform-based research fields

5 结语

本文首先对消费级智能家居和智能家居实验平台进行了概念的厘清，对国内外综合场景和单一场景智能家居综合实验平台开展了现状分析，以此为基础，提出了包含“感知层”“思考层”和“执行层”3个层面设计理论框架，并以此为核心实现了综合实验平台的应用实践，探讨了平台使用的目标用户和依托平台开展的研究。未来将持续优化和验证该智能家居综合实验平台的理论构架，继续构建和维护相应的物理实体平台，招募海量被试者开展用户实验并建立数据库，依托该平台开展前沿的人机交互研究。

[1] 小米. 小米全屋智能指南[EB/OL]. (2021-07-18) [2022- 03-09].https://tob.home.mi.com/pages/ai-house-v2/ai-house-introduction-html/rear#/pretend.

Xiaomi. Xiaomi Whole House Smart Guide[EB/OL]. (2021- 07-18)[2022-03-09].https://tob.home.mi.com/pages/ai-house-v2/ai-house-introduction-html/rear#/pretend.

[2] 搜狐. 美的发布主动式全屋智能解决方案, “3-6-5主动智能全生态”布局. [EB/OL]. (2022-05-21)[2022- 06-09]. https://www.sohu.com/a/549149471_111100.

Sohu. Midea Released Active Whole House Intelligence Solutions, "3-6-5 Active Intelligence Whole Ecology" layout[EB/OL]. (2022-05-21)[2022-06-09]. https://www. sohu.com/a/549149471_111100.

[3] 华为. 华为全屋智能[EB/OL]. (2021-04-08) [2022-06-09]. https://consumer.huawei.com/cn/wholehome/wholehome/.

Huawei. Huawei Whole House Intelligence[EB/OL]. (2021-04-08)[2022-06-09]. https://consumer.huawei.com/cn/who­­le­home/wholehome/

[4] 焦天一, 李佳琪, 张雅烜. 中国智能家居行业研究报告[R]. 北京: 亿欧智库, 2020.

JIAO Tian-yi, LI Jia-qi, ZHANG Ya-xuan. China Smart Home Industry Research Report[R]. Beijing: Iyiou, 2020.

[5] 胡文静, 魏宇彤. 用AI营造有安全感的家——2021智慧家居趋势报告[R]. 上海: 第一财经商业数据中心, 2021.

HU Wen-jing, WEI Yu-tong. Creating a Secure Home with Ai - 2021 Smart Home Trends Report[R]. Shanghai: First Financial Business Data Center, 2021.

[6] 工业和信息化标准信息服务平台. 工业和信息化部智慧家庭标准工作组筹建公式[EB/OL]. (2020-05-19) [2022-06-09].https://miitstd.cn/NoticeManagement/ShowNoticeDetails.aspx?Id=WuWS6mi1F4M=.

Industry and Information Technology Standards Information Service Platform. Ministry of Industry and Information Technology Smart Home Standards Working Group Preparatory Formula[EB/OL]. (2020-05-19)[2022- 06-09].https://miitstd.cn/NoticeManagement/ShowNoti­ce­Details.aspx?Id=WuWS6mi1F4M=.

[7] RISTESKA STOJKOSKA B L, TRIVODALIEV K V. A Review of Internet of Things for Smart Home: Challenges and Solutions[J]. Journal of Cleaner Production, 2017, 140: 1454-1464.

[8] GARG R, CUI Hua. Social Contexts, Agency, and Conflicts: Exploring Critical Aspects of Design for Future Smart Home Technologies[J]. ACM Transactions on Com­puter-Human Interaction, 2022, 29(2): 1-30.

[9] ZDANKIN P, CARL O, WALTEREIT M, et al. Require­ments and Mechanisms for Smart Home Updates[J]. Informatik 2020(1): 307.

[10] YAN Sheng-zan, HOU Ya-jing, HAN Zhi-tian. Research on Smart Home Product Design Driven by Big Da-ta[C]// 2021 2nd International Conference on Intelligent Design (ICID). Xi'an: IEEE: 2021.

[11] ZWAKMAN D S, PAL D, ARPNIKANONDT C. Usability Evaluation of Artificial Intelligence-Based Voice Assistants: The Case of Amazon Alexa[J]. SN Computer Science, 2021, 2(1): 28.

[12] 付心仪, 薛程, 李希, 等. 基于姿态的情感计算综述[J]. 计算机辅助设计与图形学学报, 2020, 32(7): 1052-1061.

FU Xin-yi, XUE Cheng, LI Xi, et al. A Review of Body Gesture Based Affective Computing[J]. Journal of Computer-Aided Design & Computer Graphics, 2020, 32(7): 1052-1061.

[13] CARROLL J M. Five Reasons for Scenario-Based Design[J]. Interacting With Computers, 2000, 13(1): 43-60.

[14] INTILLE S S, LARSON K, BEAUDIN J S, et al. The PlaceLab: A Live-in Laboratory for Pervasive Computing Research (Video)[C]. Munich: Springer, 2005.

[15] INTILLE S S, LARSON K, BEAUDIN J S, et al. A living laboratory for the design and evaluation of ubiquitous computing technologies[C]// CHI '05 Extended Abstracts on Human Factors in Computing Systems. Portland OR USA. New York: ACM, 2005.

[16] SEO E, BAE S, CHOI H, et al. Preference and Usability of Smart-Home Services and Items - a Focus on the Smart-Home Living-Lab[J]. Journal of Asian Architecture and Building Engineering, 2021, 20(6): 650-662.

[17] Lenovo. Beyond the Doorbell: Building the Complete Smart Home[EB/OL]. (2019-07-23)[2022-06-09]. https://news. lenovo.com/beyond-the-doorbell-building-the-complete-smart-home/.

[18] YASSINE A, SINGH S, HOSSAIN M S, et al. IoT Big Data Analytics for Smart Homes with Fog and Cloud Computing[J]. Future Generation Computer Systems, 2019, 91: 563-573.

[19] LEE C H, BONNANI L, SELKER T. Augmented Reality Kitchen: Enhancing Human Sensibility in Domestic Life[C]// SIGGRAPH '05: ACM SIGGRAPH 2005 Posters. New York: ACM, 2005.

[20] BONANNI L, LEE C H. The Kitchen as a Graphical User Interface[J]. Digital Creativity, 2005, 16(2): 110-114.

[21] BOORANROM Y, WATANAPA B, MONGKOLNAM P. Smart Bedroom for Elderly Using Kinect[C]// 2014 International Computer Science and Engineering Conference (ICSEC). Khon Kaen: IEEE, 2014.

[22] 付心仪, 蔡天阳, 薛程, 等. 基于BGRU-FUS-NN神经网络的姿态情感计算方法研究[J]. 计算机辅助设计与图形学学报, 2020, 32(7): 1070-1079.

FU Xin-yi, CAI Tian-yang, XUE Cheng, et al. Research on Body-Gesture Affective Computing Method Based on BGRU-FUS-NN Neural Network[J]. Journal of Com­puter-Aided Design & Computer Graphics, 2020, 32(7): 1070-1079.

[23] JENSEN R H, STRENGERS Y, KJELDSKOV J, et al. Designing the Desirable Smart Home: A Study of Hou­sehold Experiences and Energy Consumption Impacts [C]// Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems. New York: ACM, 2018.

[24] ZHANG R, SHI Y, SCHULLER B, et al. User Experience for Multi-Device Ecosystems: Challenges and Op­por­tunities[C]// CHI EA '21: Extended Abstracts of the 2021 CHI Conference on Human Factors in Computing Systems, Yokohama: Association for Computing Machinery, 2021.

[25] DO H M, PHAM M, SHENG Wei-hua, et al. RiSH: A Robot-Integrated Smart Home for Elderly Care[J]. Robotics and Autonomous Systems, 2018, 101: 74-92.

[26] ABDI N, RAMOKAPANE K M, SUCH J M. More than Smart Speakers: Security and Privacy Perceptions of Smart Home Personal Assistants[C]// Proceedings of the Fifteenth USENIX Conference on Usable Privacy and Security. New York: ACM, 2019: 451-466.

[27] HUANG Zhan-yuan, LIU Yang, FANG Ya-jun, et al. Video-based fall detection for seniors with human pose estimation[C]// 2018 4th International Conference on Universal Village (UV). Boston: IEEE, 2018: 1-4.

[28] CHATTERJEE R, MAZUMDAR S, SHERRATT R S, et al. Real-Time Speech Emotion Analysis for Smart Home Assistants[J]. IEEE Transactions on Consumer Electronics, 2021, 67(1): 68-76.

[29] SADIKOGLU-ASAN H. 'User-Home Relationship' Regarding User Experience of Smart Home Products[J]. Intelligent Buildings International, 2022, 14(1): 114-130.

[30] CURUMSING M K, FERNANDO N, ABDELRAZEK M, et al. Emotion-Oriented Requirements Engineering: A Case Study in Developing a Smart Home System for the Elderly[J]. Journal of Systems and Software, 2019, 147: 215-229.

[31] WANG Ju, SPICHER N, WARNECKE J M, et al. Unobtrusive Health Monitoring in Private Spaces: The SmartHome[J]. Sensors (Basel, Switzerland), 2021, 21(3): 864.

Design Research and Application Practice of Integrated Experimental Platform for Smart Home

FU Xin-yi1a, ZHANG He1a, XUE Cheng1a,1b, LI Xin-yang2, SUN Zhe1a,1b, XU Ying-qing1a,1b

(1.a. The Future Laboratory, b. Academy of Arts & Design, Tsinghua University, Beijing 100080, China; 2.School of Mechanical Engineering & Automation, Beihang University, Beijing 100191, China)

The paper aims to order and analyze the current situation of the existing smart home experiment platforms, explore the design and research methods of the integrated experiment platform for smart home, and carry out the application practice on the construction of platform. Based on the theoretical framework of the smart home, the design method and application practice of integrated experiment platform for smart home are explained from multiple perspectives, such as sensor network, data, scenario, and subject. Focusing on the three levels of "perception", "thinking" and "implementation" in the integrated experiment platform for smart home, the theoretical framework, application practice & research methods, and practical cases are proposed. The proposed theoretical framework of an integrated experiment platform for smart home has theoretical influence for research problems in the related field. These 3 levels are configured independently, and they corroborate theoretically and support each other in practice. The platform can provide experimental space, essential data, core algorithms, and other support for research and industrial problems in the field of smart home and its related fields, so that the platform can carry out relevant research under a more complete, integrated, and robust framework. The research and practice of the experiment platform combines the existing knowledge system and provides references for academia and industrialcircles, including but not limited to top-level design, sensing networks, data studies, algorithm modeling, user studies, human-machine interaction, and other dimensions, which can comprehensively advance technological progress and design innovation in the field of the smart home.

smart home; experiment platform; design study; application practice

TB472

A

1001-3563(2022)16-0050-09

10.19554/j.cnki.1001-3563.2022.16.005

2022–06–10

丰田联合研究基金专项资助（20213930010）；自然科学基金面上项目（62172252）

付心仪（1989—），女，博士，助理研究员，主要研究方向为人机交互、情感计算、文化遗产数字化。

徐迎庆（1959—），男，博士，教授，主要研究方向为用户体验设计、触觉认知交互、文化遗产数字化以及自然用户界面设计。

责任编辑：陈作