智能家居场景下的非接触式生理感知计算

2022-08-30 04:09龚江涛初梦迪李金郭凯敏宗柯宇舒心周谷越聂再清
包装工程 2022年16期
关键词:生理心率智能家居

龚江涛,初梦迪,李金,郭凯敏,宗柯宇,舒心,周谷越,聂再清

【专题:面向智能家居的理论与实践创新】

智能家居场景下的非接触式生理感知计算

龚江涛,初梦迪,李金,郭凯敏,宗柯宇,舒心,周谷越,聂再清

(清华大学 智能产业研究院,北京,100084)

通过对智能家居中非接触式生理感知计算技术和应用的研究现状进行梳理和分析,为生理计算与智能家居的结合提供技术和方法的支撑。遵循3阶段综述方法论:第1阶段从交叉学科的视角对家居环境中交互的智能性出发,确定了综述的研究计划;第2阶段从中国知网CNKI、Web of Science、IEEE、ACM、ScienceDirect等核心文献库中检索智能家居、生理计算相关关键词获取相关文献,并通过相关文献引用网络进一步扩展综述的文献集合;第3阶段通过文献研读与主题归纳总结了可应用于智能家居场景的常见生理信号与非接触式感知技术。非接触生理感知计算技术有广泛的应用前景,将非接触生理感知计算技术与智能家居结合能够扩展家居系统的人机交互维度,对智能家居的舒适度、交互体验、健康管理、安全隐私等方面带来提升。

非接触生理感知;生理计算;智能家居

在国家政策的大力支持下,“明确数字家庭服务功能”“强化数字家庭工程设施建设”“完善数字家庭系统”被纳入智能家居行业的重点发展方向,国内智能家居行业和市场均呈现积极的发展趋势[1];与此同时“复杂动态场景感知与理解”“新型感知芯片与系统”等技术被认定为新一代人工智能关键共性技术[2],为家居智能化发展提供有力支撑。在智能家居场景中,提升家居产品的感知和联通能力,开发具有情感交互功能、能准确理解人的需求的智能助理产品,实现情感交流和需求满足的良性循环,有极大的社会价值和影响力。

在智能家居的发展历程中,研究者们一直在积极探索如何使智能家居更好地感知用户与环境,并做出自适应的调整,如佐治亚理工学院的Aware Home[3],麻省理工学院的House_N[4],葡萄牙的未来互动之家[5]。近年来,随着生理感知技术、生理心理学等生理计算领域的发展,生理信号逐渐被纳入人机交互系统中。本文围绕非接触生理感知技术和其在智能家居中的应用现状进行系统性综述,为读者更好地把握非接触式生理感知计算和智能家居的现状提供帮助。

1 智能家居非接触生理感知计算概述

1.1 研究现状

伴随泛在环境智能与普适计算的发展,智能家居交互体验正在向更自然、无感、隐式的形式转变。这也要求智能系统对于用户数据的获取与分析要更加全面和细致。因此,智能家居交互系统对用户的多维度数据感知提出了新的需求。随着生理感知技术、生理心理学等生理计算领域的发展,生理信号逐渐被纳入智能人机交互系统中[6]。人体生理信号主要由自主神经系统调节,能够真实客观地反映出人体的内在状态,具有客观性和实时性的优势[7]。通过传感器实时测量和分析生理信号,有助于打开计算机和用户之间的隐式沟通渠道。结合生理计算,智能系统能够以隐式的方式监测、分析用户的生理心理活动,并作出合适的交互反馈[8],并且用户在与智能系统的交互过程中,不必有意识地发出指令和控制,便能够隐式的与智能系统进行通讯,从而提高人机交互的性能和效率。

生理计算作为机器理解人类的重要技术之一,在智能家居中有重要应用前景。将生理信号引入家居系统,扩宽了人机系统的通信渠道,能够提升智能系统的自适应能力,降低用户交互过程中的认知负荷,提供更愉快的交互体验[9]。特别是非接触式生理感知技术,可以通过无感隐式方式提供交互输入,例如利用非接触热像仪可自然无感地获取人体温度信息,从而帮助家居系统计算用户热舒适度,动态的调整室内环境[10],毫米波雷达可在家居空间中对用户进行自然无感的生命体征监测和睡眠状态监测辅助日常健康管理[11],Wi–Fi信号可用于推导用户特定的呼吸特征,使智能系统以隐式的形式进行用户识别,提升家居系统的安全性[12]。

目前非接触生理感知技术和其在智能家居中的应用现状尚缺乏系统性的综述,故本文拟围绕非接触式生理感知计算与智能家居系统融合,从非接触式生理信号类型、非接触式感知计算技术的分类和其在智能家居中的应用情况进行调研和综述。

1.2 研究方法

本文遵循了被广泛应用的3阶段方法[13]对家居场景下的非接触式生理感知计算研究现状,以及国内外最新进展进行综述,见图1。首先,第1阶段规划审查以交叉学科的视角从家居环境中交互的智能性出发,确定了家居场景下非接触生理感知计算领域的研究问题与综述方向。第2阶段主要从5个数据库进行文献检索。其中英文文献以Web of Science、ScienceDirect、IEEE和ACM数据库为主要来源;中文文献以中国知网CNKI为主要来源;Google Scholar搜索引擎用于文献补充检索,以确保收据收集的全面性。随后确定了生理感知计算类关键词、非接触技术类关键词以及智能家居类关键词,并组合不同类别关键词在数据库中进行检索,见图2。第3阶段通过文献研读与主题归纳梳理了可应用于智能家居场景的常见生理信号与非接触感知技术,并对非接触生理感知计算在智能家居中的应用、最新进展和趋势挑战进行分析总结,形成最终综述报告。

图1 综述方法及流程

图2 检索关键词

2 非接触生理信号

随着泛在的生理信号检测传感技术与智能计算技术的发展,生理信号逐渐得到人机交互领域的关注。研究者们尝试将生理信号作为智能系统的输入,帮助系统感知用户、理解用户,以此来扩展系统的智能性,并增强交互体验[14]。目前生理信号的感知技术按检测方式可分为植入式、接触式和非接触式[15]。植入式和接触式检测通常需要使用电极或传感器接触生物体来获取生理信号,沉重繁琐的传感设备会导致用户行动受限,阻碍交互任务的执行,不适合在日常环境下使用。相比于植入式和接触式的生理信号检测方式,非接触式生理感知技术能够在不接触人体的情况下,间隔一定距离或介质来探测生理信号[16],从而对广泛空间内的用户进行长时间连续稳定的自然监测,为生理信号与家居智能系统的结合提供了新的可能性,见图3。文中将重点关注可通过非接触式方式感知的生理信号及其功能应用。通过文献研究与归纳,梳理了人机交互领域中三类常见的非接触生理体征信息(呼吸信息、体温信息和心血管系统活动信息),见表1。

图3 智能家居场景下的非接触生理信号

表1 常见非接触式生理信号及其应用案例

Tab.1 Physiological signals and their applications

2.1 呼吸信息

呼吸活动所产生的呼吸信号是人体重要的生理体征信息之一,常见的呼吸信号指标有呼吸频率、呼气量、呼吸气体分析等[17]。人体在呼吸过程中会伴随胸腔的起伏,通过测量人体胸腔的周期性变化能够获取人体呼吸频率、呼吸深度等信息[18]。常见的非接触式呼吸测量技术有基于计算机视觉的RGB相机或RGB–D深度相机探测,以及基于无线射频信号的生物雷达探测、Wi–Fi探测等[17]。除胸腔起伏外,人体呼吸活动过程中口鼻区域呼出气体的温度湿度变化,也能够反应人体呼吸信号,并能够通过非接触式的感知技术探测,例如红外热成像技术[19]、呼吸气体探测等[20]。

呼吸信号能够反应人体自主神经系统的调节过程[21]。呼吸信号的感知能够帮助智能系统了解人体身体状态与心理状态,并作出合适的响应。目前呼吸信号已被应用于呼吸系统疾病监测[22]、睡眠状态监测[23-24]、压力监测[25]、认知负荷监测[26-27]、焦虑与抑郁状态分析[28]等。在健康领域,Bai等[29]利用红外传感器探测老年人胸部起伏来进行睡眠呼吸暂停监测。Liao等[30]提出一种支持呼吸调节和放松的多媒体系统。该系统利用2个深度摄像机对用户进行非接触式呼吸检测,同时利用多媒体装置音视频反馈对用户进行呼吸引导,帮助用户缓解精神压力。在智能家居领域,有研究人员发明了一套分析室内空间人体呼吸气体成分的系统,该系统可应用于智能家居中,通过分析呼吸气体,触发室内空气情节装置来改善环境空气[31]。

2.2 体温信息

人体体温分为核心温度与体表温度,其中核心温度指人体胸腔、腹腔和中枢神经的温度;体表温度指人体最外层的皮肤温度[32]。体温的变化与局部血流量及新陈代谢的变化有关,能够反映人体交感神经系统的活动情况[33]。非接触式体温测量技术大多基于红外辐射原理,探测仪器通过接收人体辐射的能量从而获取人体温度信息[34]。

体温监测在智能家居中常用于判断人体的热舒适度,以帮助系统动态调整室内温度[35-36]。Franken­berg等[37]提出了一种名为LATEST的基于个人热舒适度的室内温度控制模型,该模型利用机器学习分析用户心率和体温判断用户热舒适度偏好来生成个性化的温度控制模型,并且研究人员对3名受试者进行了为期6周的验证,评估结果表明与手动室内温度调节相比,LATEST使用户减少了79%的室温控制操作频率,同时增加9%的热舒适度。此外也有研究证明人体温度能够反映丰富的高阶用户状态,如认知负荷[38-39]、工作量[40]、压力水平[41]、情绪状态[42]等。Abdelrahman等[38]利用红外热成像相机获取用户面部温度,通过计算用户额头和鼻子之间的温差来实时判断用户认知负荷的变化。他们指出,此类非接触式的技术能够隐式的监测推理用户认知状态,来帮助智能系统实时调整交互任务的难度与复杂性,从而动态地适应用户当前的认知能力。Bao等[43]通过比较人体手腕、前额、入耳处的体温来评估用户清醒时的困倦程度;Wei等[44]利用人体手腕处的温度来识别用户的睡眠状态;Tag等[45]通过分析人体面部的温度变化来判断用户的积极情绪和愉悦感。利用此方法,研究人员可以将触发用户积极状态的影响因素作为智能系统的输入,来诱导用户在交互过程中保持积极性和愉悦感。

2.3 心血管系统活动信息

人体心脏活动、血液循环和呼吸活动会联合引起心血管系统生理信号的变化[46]。文中将对常见的可通过非接触式方式感知的心血管系统生理信号进行概述,分别为心率、心率变异性、血压、血氧饱和度,以及脉搏信号。

心率指人的心脏节律,是重要的人体生理检测指标。常见的非接触式心率测量方法主要有,探测皮肤血液反射光变化与探测人体心脏跳动的物理起伏。在心率信号的应用方面,Lee等[47]提出了一种基于心率的人体代谢率估计算法,该算法可帮助智能家居系统监测用户活动水平和代谢率,从而控制家用电器如室内温度系统和照明系统,为用户提供更舒适的环境;Kawasaki[48]利用心率估计用户的专注程度、嗜睡度和疲劳度,并在时间为10 min的滑动窗口中取得了最高的模型识别精确度;Hotta等[49]则通过分析用户长期心率特征和实时心率特征来判断用户的进食和消化状态;Kalam等[50]通过监测用户心率判断情绪唤醒水平,结合情感反馈调整室内环境从而提升智能家居系统的舒适度。

心率变异性指窦性心律在一定时间内的周期性波动,反应了心脏自主神经调节的作用[51]。研究者们探索了不同的传感器证实了心率变异性非接触式测量的可行性[52-53]。心率变异性也被认为是大脑与心血管系统复杂相互作用的体现,能够反应心理认知相关的神经系统活动[54-55],它的应用已被多个领域的研究者探索,例如分析认知负荷与注意力[56-57]、情绪调节[58-59]、渴望状态与成瘾性[60],以及焦虑抑郁等精神健康状态评估[61-62]。孔令琴等[63]利用成像式光电容积描记技术提取人体心率变异性信息。并结合表情信息使用支持向量机进行训练来进行心理压力监测;Hwang等[64]提出了一个基于心率变异性的日常压力监测系统,该系统可从用户HRV数据中提取压力水平,并将压力水平与用户日常生活情景进行匹配,从而探索诱发用户压力的因素,帮助用户在日常环境中减轻压力。

血压指血液在体内循环时施加在血管壁上的压力,常被用于心血管系统健康评估[65]、睡眠质量评估[66]、认知负荷与精神压力评估[67-68]等。传统血压的测量多基于接触式血压式的方法,如电子血压计和水银血压计。近年来有研究者在探索非接触式的血压测量方法[69],例如Guo等[70]开发了一种适用于典型办公环境的新型非侵入式血压监测系统OfficeBP,通过获取人体面部脉冲信号和指尖脉冲信号,来计算测量一次心跳从动脉近端传播到远端部位的脉冲传输时间,从而判断人体血压,帮助用户进行日常血压监测,提升健康管理意识,降低疾病风险。

血氧饱和度的测量可用来评估人体血液携带氧气的能力,同时可反映新陈代谢水平[71]。人体的呼吸作用能够使氧气与血液中的血红蛋白结合,从而引起血液颜色的变化。血氧饱和度已被应用于呼吸系统及心血管系统疾病监测[72-74]、睡眠状态检测[75]、认知负荷[76]等。

脉搏信号是由心脏周期性收缩、舒张推动血液沿血管运行引起的动脉管壁周期性波动,其强度、节拍、速率受心脏活动、血管状态以及血液黏性的影响,能够综合反应心血管系统的生理特性[77]。常见的脉搏信号有压力脉搏信号、容积脉搏波、脉搏传导时间、脉搏波速度等。脉搏信号已被应用于疾病诊断[78]、用户身份验证[79]、心理状态评估[80]等。例如,Kim等[81]设计了一款容积脉搏波信号的马桶来计算用户心率,这种将生物传感与家居物品结合的智能产品,适合在家居场景下长期、持续地检测用户,并进行长期的用户建模与健康护理。

3 非接触生理感知计算技术

非接触式生理感知技术因其对生物体约束性低、可扩展性强、应用场景广,近年来得到研究界的充分关注[82]。文中参考现有文献中对非接触式生理感知技术的分类法[17, 82-84],针对可在家居环境下实现无源、无感、无用户端硬件限制的生理探测技术进行归纳。按照感知技术原理与获取数据的形式,将常见非接触式生理感知技术主要分为基于图像数据的感知技术,以及基于无线信号的感知技术。其中基于图像数据的生理感知技术分为基于RGB图像和基于红外热成像两类技术;基于无线信号的生理感知技术总结了基于雷达信号、Wi–Fi信号和声学信号三类方法,见表2。

表2 非接触式生理信号技术

Tab.2 Non-contact physiological technologies

3.1 基于图像的生理感知技术

3.1.1 RGB相机

1)成像光电容积图(IPPG)。成像光电容积技术(Image Photoplethysmography,IPPG)通过监测皮肤血管反射光的周期性变化来获取人体容积脉搏波信号(Blood Volume Pulse,BVP)。脉搏波信号包含许多重要的人体生理信息,如血压、血氧、脉搏信号、呼吸信号等,是研究人体生理信号的重要数据[85-87]。IPPG可通过测量人体含血管的皮肤组织的透射光或反射光来计算容积脉搏波信号[85-86],常用的检测区域有前额、脸颊、嘴鼻等面部区域,以及手部腿部等身体皮肤区域[88-89]。传统光电容积脉搏(photoplethys­mo­graphy,PPG)的测量通常需要皮肤和传感器之间的直接接触。相比于PPG,IPPG采用摄像机代替接触式测量的PPG光电二极管,来捕捉人体皮肤血管的散射光实现生理参数的监测,能够以非接触的形式从视频数据中监测人体容积脉搏波信号,为远程大面积采集人体生理数据带来了可能。但由于可靠的IPPG信号的获取需要充足的光照条件,并且要求用户被监测的皮肤区域没有遮挡,因此IPPG技术对环境光线与用户位置有一定要求,不适用于昏暗环境检测[90]。在IPPG的应用研究方面,Patil等[91]利用普通网络摄像头在自然环境光条件下记录人脸前额区域的视频数据,从中提取容积脉搏波信号,并结合神经网络来估计人体血压,该方法在20名受试者身上进行了测试取得了超过85%的准确性;Verkruysse等[92]使用环境光和简单的消费级数码相机远程测量容积描记信号,以计算心率和呼吸频率,该方法降低了IPPG信号探测对硬件设备的要求,提升了技术的可及性。

2)基于图形位移的生理感知。

基于图形位移的视觉生理感知技术,主要是利用图像采集设备收集由生理活动引起的人体特定部位的微弱位移信息,利用图像处理算法从中计算呼吸与心率信号。Massaroni等[93]利用摄像机记录人体呼吸时锁骨部位颈窝处的变化提取人体呼吸模式;Lin[94]通过分析视频中人体胸部微弱位移来提取呼吸信息。与其他基于图像的生理感知技术类似,基于图形位移的心率与呼吸信号提取方法存在一定缺陷,如容易造成监测对象隐私泄露,并且对周围环境中的光线等因素较为敏感,并且无法越过障碍物探测用户。

3)红外热成像。人体是天然的红外辐射源,通过探测人体的红外辐射波可计算人体体表温度[83]。红外热成像仪能够将人体的红外辐射波转换为人眼可见的图像数据,来无创、生态和无接触地测量体表温度。此外,由于红外光具有穿透性能够避免烟雾环境的干扰[95],红外热成像设备能够在夜间、光线昏暗的环境下使用。但目前红外热成像技术仍存在硬件设备体积大、障碍物穿透性差等缺点[96]。除传统的体温探测外,利用红外热像仪也可获取其他类型生理信号。Fei等[97]利用热成像技术利用小波分析,提取用户鼻孔区域热信号中所携带的呼吸信息,该方法能够以无感的方式长期监测用户呼吸,可用于家居环境中的慢性疾病诊断、睡眠监测和新生儿护理;Lee等[98]利用红外热成像技术通过分析人体呼吸余热进行呼吸模式识别,并开发了一套的非接触式呼吸交互系统,来帮助用户在无需使用双手的情境下与外界物体或界面实现隔空自然交互。此外,红外热像仪也能够在不接触人体皮肤的情况下清晰显示受试者的手臂血管图像,以此来获取与心血管系统相关的生理数据。Pavlidis等[99]使用红外摄像机感知人体面部生物热信息,并进行建模来计算血流、心跳、呼吸等生理信号,同时基于探测到的生理信号提出了桌面端压力监测系统和睡眠习惯监测系统。多维生理数据的感知能力使红外热成像技术常被应用于推断受试者的高阶心理状态,如研究压力、恐惧、焦虑、痛苦、快乐、认知负荷等[100]。

3.2 基于无线信号的生理感知

3.2.1 雷达

近年来,雷达在非接触式生理信号检测中的应用逐渐得到了研究者的广泛关注,已被应用于医疗健康、生命探测、国防及智能家居中。利用雷达技术能够获取人体呼吸频率、心率、心率变异性、呼吸性窦性心律、主动脉压力等生理信号[101]。并且雷达信号具有良好的穿透性,能够穿透非金属介质远距离探测人体生理信息[102],适合家居空间下的泛在生理体征监测。目前雷达信号主要有3种调制技术,分别为连续波雷达多普勒雷达、调频连续波雷达和超宽带雷达[17]。

连续波多普勒(CW)雷达能够测量目标移动速度,并且可通过相位监测获得物体的微动信息。向人体方向发射固定频率的连续波信号,其接收器可以捕捉到由呼吸或心跳引起的身体微动信号,以此来获取人体的呼吸信息与心脏活动信息,见图4。该雷达功耗低且结构简单,具有良好的速度分辨率,但不利于区分杂波和多目标[101]。在多目标监测场景下,需采用多天线CW雷达进行分辨。此外,CW雷达检测准确度受雷达朝向与人体体位影响较大,对雷达空间放置位置与被检测人的位置有一定要求[103]。

超带宽(UWB)雷达具有大带宽的特点,相比于其他雷达UWB雷达发射信号的带宽较大,具有良好的距离分辨率与抗干扰能力,能够在较大空间范围内进行多目标生理信号监测[101,103]。该雷达可通过监测呼吸、心跳活动引起的人体微小运动来计算相关生理信号。

调频连续波(FMCW)雷达可以发射固定带宽、重复线性脉冲周期的信号,并具有UWB雷达对距离的分辨率与CW雷达对速度的分辨力。FMCW雷达可同时分辨多个人体目标,并提取每个目标的人体生理活动引起的微动信息,为了获得精准的生理信号识别率,雷达需要采用较大的天线带宽;此外,相比于其他雷达,FMCW雷达制造工艺及信号处理更为复杂,成本相对较高[101]。在其应用方面,Wang等[104]使用FMCW雷达实现了多个人体目标的呼吸与心跳信号的检测;Matkovic等[105]利用FMCW雷达构建了Wi–Mind系统,该系统通过监测用户的呼吸心跳信号分析用户完成任务时的认知负荷,提升智能系统的自适应响应能力。

图4 无线生理信号感知原理

3.2.2 WI–FI

人体的存在会对Wi–Fi信号的传输产生影响,通过对Wi–Fi信号中的扰动信息进行分析,可计算出人体生理体征的变化。目前基于Wi–Fi的生理信号探测技术分为基于接收信号强度(Received Signal Strength,RSS)的提取方法和基于细粒度的通道信息(Chanel State Information,CSI)的提取方法[106]。RSS探测方法对用户位置与Wi–Fi设备的距离有一定要求,并且受障碍物干扰影响大。同时,由于Wi–Fi信号的全向传播特性,一个信号可以在一个室内空间里被多个人反射,这使基于RSS的Wi–Fi信号中提取多目标生命体征变得困难,相比于RSS,CSI探测方式可以穿透障碍物在较远的距离内探测用户生理信息,更适合长期稳定的生理信号监测[101]。Wang等人[107]通过研究利用菲涅耳模型和 Wi–Fi 无线电传播特性探索了用户呼吸深度、身体位置、方向等因素对基于CSI的Wi–Fi呼吸信号监测准确度的影响。

目前Wi–Fi信号的应用已不再局限于网络通讯媒介,已有众多研究者尝试将Wi–Fi信号运用到人类活动识别[106]、生理感知[108]、环境推理[109]、用户身份验证[110]等方面。同时Wi–Fi技术具有信号触达空间广、设备简单易安装、成本可控等特点,适合在智能家居中推广。对Wi–Fi信号应用的探索为智能家居交互体验的提升带来了新的机会[111]。林海燕等[112]研发了一套基于Wi–Fi网络的人体睡眠生理特征监测系统,该系统可实时监测用户的多项睡眠指标如呼吸、心率、身体动作等,可帮助用户进行睡眠质量评估和健康预警;Liu等[113]设计了Wi–Sleep系统,该系统可通过Wi–Fi信号探测用户的呼吸信息与睡眠姿势,Wi–Sleep能够在低光环境下稳健监测用户的睡眠状态,而且不涉及隐私问题。

3.2.3 声学信号

近年来基于声学信号的非接触式生理体征监测引起了研究界的极大关注。声学生理信号探测主要分为基于超声信号的生理探测和基于人体声学的探测。基于超声信号的生理体征探测原理与基于雷达、Wi–Fi等无线信号的生理体征监测原理类似,即传感系统通过发射信号和接受反馈信号,来分析声波中蕴含的由生命体征活动触发的人体微动信息,并计算相关生理信号。在其应用领域,Wang等[114]提出了SonarBeat系统,该系统利用智能手机发出的超声信号探测人体呼吸频率,并在不同室内环境下实现了较高的准确性。此外,有研究者探索使用声波设备进行温度测量。Cai等[115]使用双麦克风设备制作了一款声波温度计,该温度计依据声波传递速度与介质温度之间的关系来计算温度,该系统实现了较高的时间分辨率和空间分辨率,且成本低廉,为构建大规模分布式热传感系统提供了可能性。

基于人体声学的探测,主要通过计算机声学技术分析人体生理体征活动产生的微弱声音,来提取相关生理信号。Palaniappan等[116]通过对人体呼吸声音进行声学分析,从呼吸音中提取呼吸声音的时域和频域特征来计算呼吸信息。Luo[117]通过无线声音传感器采集用户睡眠时的呼吸音提取呼吸信号,来研究用户呼吸与睡眠状态的关系。Chatterjee等[118]利用手机声学传感器构建了mLung++系统,该系统可通过分析用户肺部活动声音提取异常声音,来实现对慢性肺病患者的长期健康检测,并在131名用户身上进行了验证,达到了93.4%的异常检测准确度。此外,有研究证明人体喉部与内循环系统具有间接关联,人体发声时的声带频率特征蕴含一定生理信息[107]。Mesleh等人[119]通过从人体发声的元语音信号中提取特征,来获取人类心脏活动信息,利用傅里叶变换监测元音语音共振峰最大峰值来估计心率,该系统实现了95%的平均准确率,并可稳健地在嘈杂环境中运行。

4 非接触生理感知计算在智能家居中的应用

智能家居旨在提升人类居环境的智能化水平及生活品质[120]。Alam等总结了智能家居的3个重要属性:舒适度、健康管理和安全性[121],其中舒适度指智能家居系统能够准确感知人类活动并提供体验良好的自动化服务,同时能够基于用户远程控制的能力;健康管理要求智能家居系统向用户提供家庭日常健康监测及远程医疗的服务;安全性指通过用户身份识别验证,以及识别授权提升智能家居系统的安全性,并保护数据隐私。智能家居系统的舒适、健康、安全,这三类属性已在较多文献中被提及[122-124],文中将参考Alam等的分类,对非接触生理感知计算在智能家居中舒适度与交互体验提升、健康管理提升、家居安全性提升,三方面进行综述。

图5 智能家居服务分类

4.1 舒适度提升

未来的智能家居系统被期望具有自主性和适应用户的能力,并智能地响应用户需求,人与家居系统的交互方式也在向更加自然、更加契合人类认知与直觉的方向发展[125]。生理信号与家居智能系统的结合,能够使用户以更自然的方式与家居环境进行交互,缩短用户与家居设备的交互路径,使家居智能系统为用户提供更舒适的交互服务及建议[126]。并且非接触的感知形式符合智能家居传感控制系统向个性化、直观和不易察觉方向发展的趋势。非接触生理感知计算能够帮助家居智能系统以无感的方式长期、稳定、连续地获取用户生理信息,解码用户短期和长期的习惯、偏好,以更好地解读用户状态生成个性化的响应,从用户状态感知、意图推理和用户建模等方面提升家居系统交互体验。

生理信号能辅助智能系统获取用户实时生理状态,或通过计算用户偏好度、情绪、认知注意力等来动态调整家居系统的交互响应,使智能家居系统更好地向用户提供服务。例如Dimitrov等[10]利用非接触热像仪可自然无感地获取人体温度信息,帮助家居系统计算用户热舒适度从而动态调整室内环境;有研究者设计了一套兼具环境感知与用户情绪感知的智能种植系统。该种植系统可根据用户喜好调整植物的生长进程与开花时间[127];Henriquez等[128]开发了一款多感官智能镜,该智能镜能够以非接触形式感知用户的健康水平、情绪状态、疲劳状态和生理体征信号,来增强用户在日常生活中的自我感知,并指导他们提升生活方式;Mohammad等将用户生理信号与精神唤醒度作为输入,来提升智能家居系统的情境感知能力[129]。

除准确的用户感知外,精准的预测用户行为、偏好、交互意图,并为用户提供精准个性化的服务是提升家居智能系统交互体验的关键[130]。传统家居环境下的用户预测研究大多基于环境感知与人类活动识别,此类推理方法仅依据物理环境与人类表现出的外在行为,并不能充分的推理预测用户。非接触生理感知技术可帮助智能系统获取更丰富的影响用户意图与行为的内在信息,如心理状态、认知负荷、情绪水平等,扩展了用户预测的维度与方法。此外,智能家居系统被期望与能够主动记忆用户的生活习惯并生成用户模型[131]。生理数据具有良好的连续性,可用于分析短期或长期的用户状态,在用户建模分析中有加大应用前景[132]。生理信号扩展了用户建模数据的多样性,有助于建立更加丰富、广泛的用户模型,同时非接触的探测方式能够长时间稳定地检测用户数据,以进行长期用户建模,增强智能家居系统对人的理解能力。

4.2 健康管理提升

智能家居将在用户日常健康护理方面发挥至关重要的作用,并被期望能够提升用户的健康水平,实现更健康的生活方式,逐渐成为传统医疗服务的延伸。非接触生理感知技术与智能家居技术的结合为医疗服务居家化,健康监测日常化提供了新的可能性,如帮助用户获得个性化诊疗服务,进行主动健康管理[127]等。

健康状况的监测是非接触式生理感知技术应用最为广泛的场景之一。非接触生理感知技术能够收集人类健康数据,且收集过程不会给用户生活来带任何不便,能够实现长时间自然连续性的健康监测。Yang等[133]利用60 GHz毫米波雷达研发了mmVita生命体征和睡眠监测系统。mmVital可同时测量多名用户在不同姿势下的呼吸频率和心率,并且还可检测人类睡眠时的中枢性呼吸暂停、低呼吸等风险状态并作出提醒。Adib等[134]开发了一款名为“Vital–Radio”非接触式呼吸心率测量系统,Vital–Radio能够在8 m的空间范围内跟踪用户探测呼吸心率以进行无意识、高舒适性的长期健康监测。

除身体健康管理外,非接触生理感知技术有助于家居情境下的心理健康关怀。结合非接触生理感知技术与生理心理计算,智能家居系统能够实现对用户心理健康的日常监测及正向干预。Jarvis[135]开发了一款智能家居压力辅助系统,该系统通过改变用户的物理环境(如光线、温度、声音和气味)来帮助轻度创伤性脑损伤和创伤后应激障碍军人进行实时的正向干预,降低他们的压力水平。另外也有学者在探索生理感知与生物反馈技术的结合,从而帮助用户调节生理状态以促进健康水平,例如Yu等[136]设计了一个家庭环境光生物反馈系统,该系统通过感知用户生理状态调节家居环境灯光来帮助缓解慢性压力;Morales等[137]提出了一个基于环境智能的生物反馈自适应模型,该模型根据实时采集的用户生理数据与环境数据,对反馈刺激进行参数调整,如听觉刺激或视觉刺激,为用户进行个性化的生物反馈训练,以达到疾病治疗和健康管理的目的。

4.3 家居安全性提升

智能家居系统中,用户身份信息识别与认证是保护用户安全隐私的重要方法[138]。用户生理信息能够反应用户生理特征,能够在身份识别、数据验证等方面提升智能家居系统的安全性。非接触式生理感知技术能够实现连续性的用户认证,相比于一次性的身份验证方法(如指纹、密码和面部识别),非接触技术减少了个人信息被盗用的风险[139-140]。Yang等[141]探索了基于手背静脉透射成像的非接触式心率检测的身份认证方法,该方法能够准确、稳定地提供实时认证信息,在安全系统中具有很好的应用前景和发展机遇。Islam等[142]使用多普勒雷达实现了一种基于呼吸信息的用户验证方法。他们使用傅里叶变换和支持向量机,从雷达捕获的用户呼吸信号中提取特征来进行用户识别。该非接触的用户识别方法具有连续性和高精度的特点。Liu等[12]提出了一个基于用户呼吸特征的持续性用户验证系统,该系统从Wi–Fi的信道状态信息中提取与呼吸相关的信号,通过分析呼吸信号的波形,利用模糊小波变换,推导出用户特定的呼吸特征以进行用户身份识别,这种基于呼吸信号用户验证方法不依赖于特定的场景和用户行为,能够以隐式的方式进行用户识别,并且该系统可以轻松集成到任意的Wi–Fi设备中。Lin等[140]利用连续波雷达对用户心脏运动进行扫描,实现了一种可信赖的、连续的、非接触式的用户身份验证方法。每个人的心脏运动具有独特性,利用雷达获取用户心脏活动的几何特性可识别不同的用户。该方法在78名受试者进行了验证,获得了98.61%的平衡准确度。

5 趋势与挑战

1)传感技术提升与数据优化。传感设备是非接触式感知技术的硬件基础。伴随技术发展及硬件设备创新,新型的传感技术将会带来更可靠、更便捷的生理信号探测方式。例如硅基技术的发展能够在单芯片上实现多通道毫米波雷达,提升了传感系统的灵活性与便利性[143]。红外热成像感知元件技术的发展使热成像设备向更小体积、更高便携性的方向发展[144],为日常生活中无感隐式的用户感知提供了可能性。研究者们也在探索更丰富的非接触式生理感知技术。Rastogi等[145]提出了一种数字全息技术来测量人手皮肤的温度,该方法利用数字全息干涉仪探测人体周围空气与环境空气折射率的相位差来获取用户体温,并实现了与红外热成像相似的准确度,而且不受用户与传感器之间距离变化的干扰。感知准确性的提升离不开硬件设备的创新与发展,探索新型传感技术提升硬件感知能力,是非接触生理感知计算领域的热点趋势。此外在实际生活中,由于非接触技术在进行长期用户生理感知时,通常会遇到较多的噪声干扰,如用户活动与环境干扰等意外情况,如何提升收集到的原始数据精确度,提炼高质量的训练数据也是未来需要探索的重要问题。

2)多模态融合算法提升。非接触生理感知技术尚处于发展阶段,相较于接触式或植入式的医疗级生理感知技术,其精确度与可靠性仍需要提升。使用单一非接触传感器与探测单一生理信号的方法具有一定上限,难以满足复杂多样化的感知需求。研究者们正在探索融合多维度感知技术、多模态生理数据的方法来提升非接触生理感知系统的准确度。例如,Ricciuti[146]将RGB相机数据与雷达探测信号结合,实现了更高准确性的心率探测。Kobiela等[147]通过融合人体皮肤温度、心率与心率变异性3种信号的特征来提升用户热舒适度感知模型的准确性。Jaiswal等[148]使用PPG信号与呼吸信号区分用户低认知负荷与高认知负荷,他们的试验结果表明,仅使用呼吸信号时分类准确度为76.8%,将呼吸信号与PPG信号结合时,分类准确度可达81.8%,提升了5%。

3)数据安全与隐私保护。生理数据的感知扩充了智能家居的数据获取边界,然而生理数据作为用户高度敏感的数据存在数据滥用、泄露等风险。例如,基于视觉的非接触式生理感知技术的数据采集包含了较多的与生理信号提取无关的信息,如用户面部信息、肢体行为等[149],冗余的数据获取可能带来更大的隐私泄露风险。此外,基于无线信号的非接触式生理感知技术所获取的数据,也可挖掘较多的个人敏感信息,如位置或用户身份[111]。有多项研究表明对隐私和数据安全的担忧已经成为智能家居使用的关键障碍[150-152]。众多用户报告了对日常生活被监控[153]、个人信息会泄露给无权访问的人或组织[154-155]和被网络攻击[156]等风险的担心。因此在提升智能系统数据获取维度与感知能力的同时,如何增强系统的数据安全与隐私保护是叩待探索的重点方向。

4)人机关系。生理数据具有客观性、无干扰性、隐含性、连续性等优点[132]。将生理数据用于智能家居系统的用户感知推理、自动化提升与智能化控制、健康管理、安全验证等方面具有重要前景,但也随之带来用户接受度[155]、参与度和决策权[157]、人机权限与责任分配[158]等人机关系问题的探讨。例如在用户接受度方面,不同用户对自身生理数据信息的监控和采集有着不同的倾向和接纳程度,如何确定用户信息的获取程度是一个待讨论和量化的问题。此外,将生理数据用于家居系统的交互智能性与自动化程度的提升,促进了用户在多维度场景中的交互效率,使用户从日常琐碎交互任务中解放出来[159]。但家居系统自主性的提升也可能需要用户主动适应智能家居控制系统的决策机制,降低了用户主观的参与度和相关决策权[160]。如何实现和谐的人机关系,是将非接触生理感知计算纳入智能家居系统时需要考虑的重要问题。

6 结语

非接触式生理感知技术的发展为家居环境下无感自然、持续性的长期监测用户生理数据提供了可能性,扩展智能家居产品的数据感知维度,实现在复杂的家居场景中对用户动态进行感知、建模、理解和推理,预测并响应居住者的需求,促进他们的舒适、方便、健康和安全。本文通过三阶段的文献调研方法,系统性地梳理了3种常见的非接触式生理信号类型和生理原理,以及两大类非接触式生理感知技术。然后在交互体验、健康管理、安全管理三方面总结了生理信号在智能家居的应用情况。最终讨论和展望了智能家居中非接触式生理感知技术的研究热点及发展趋势。未来在智能家居中非接触式生理感知计算领域将会持续产生更多的新型传感及芯片,更加准确的多模态人工智能算法,但与此同时,需要更加谨慎地关注家居环境中的数据安全与隐私保护,并进一步地探究人与智能的协作关系,使生理感知技术与家居环境更加和谐。

[1] 徐宇辰. 发挥央企优势,建设数字家庭[J]. 中国发展观察, 2021(17): 38-41.

XU Yu-chen. Give Full Play to the Advantages of Central Enterprises and Build a Digital Home[J]. China Development Observation, 2021(17): 38-41.

[2] 焦利敏, 李红伟, 孟永哲, 等. 第三代人工智能时代智能家电技术、标准的研究和应用[J]. 中国标准化, 2021(19): 107-113.

JIAO Li-min, LI Hong-wei, MENG Yong-zhe, et al. Research on and Application of Intelligent Appliance Technology and Standard in the Third Generation Artificial Intelligence Era[J]. China Standardization, 2021(19): 107-113.

[3] KIENTZ J A, PATEL S N, JONES B, et al. The Georgia Tech Aware Home[C]// CHI EA '08: CHI '08 Extended Abstracts on Human Factors in Computing Systems. New York: ACM, 2008: 3675-3680.

[4] INTILLE S S. Designing a Home of the Future[J]. IEEE Pervasive Computing, 2002, 1(2): 76-82.

[5] ALVES J, MARQUES M, SAUR I. Role of Networking in Innovation Promotion and Cluster Modernization: "House of the Future" Case[C]//44th Congress of the European Regional Science Association: "Regions and Fiscal Federalism". Portugal: European Regional Science Association (ERSA), 2014.

[6] COWLEY B U, FILETTI M, LUKANDER K, et al. The Psychophysiology Primer: A Guide to Methods and a Broad Review with a Focus on Human? Computer Interaction[J]. The Psychophysiology Primer: A Guide to Methods and a Broad Review

[7] GOUVEIA C, TOMÉ A, BARROS F, et al. Study on the Usage Feasibility of Continuous-Wave Radar for Emotion Recognition[J]. Biomedical Signal Processing and Control, 2020, 58: 101835.

[8] FAIRCLOUGH S H. Fundamentals of Physiological Computing[J]. Interacting With Computers, 2009, 21(1-2): 133-145.

[9] DIRICAN A C, GÖKTÜRK M. Psychophysiological Measures of Human Cognitive States Applied in Human Computer Interaction[J]. Procedia Computer Science, 2011, 3: 1361-1367.

[10] DIMITROV K, DZHEDZHEV K, MITSEV T. Enhancing smart-home environments using infrared arrays[C]// 2018 IX National Conference with International Participation (ELECTRONICA). Sofia: IEEE, : 1-3.

[11] YANG Zhi-cheng, PATHAK P H, ZENG Yun-ze, et al. Vital Sign and Sleep Monitoring Using Millimeter Wave[J]. ACM Transactions on Sensor Networks, 2017, 13(2): 14.

[12] LIU Jian, CHEN Ying-ying, DONG Yu-di, et al. Continuous user verification via respiratory biometrics[C]// IEEE INFOCOM 2020 - IEEE Conference on Computer Communications. TorontoIEEE, : 1-10.

[13] TRANFIELD D, DENYER D, SMART P. Towards a Methodology for Developing Evidence-Informed Management Knowledge by Means of Systematic Review[J]. British Journal of Management, 2003, 14(3): 207-222.

[14] ALLANSON J, FAIRCLOUGH S H. A Research Agenda for Physiological Computing[J]. Interacting With Computers, 2004, 16(5): 857-878.

[15] 赵津发, 柴荣轩, 陈炜. 非接触式视觉生理体征参数检测研究[J]. 电子技术与软件工程, 2021(15): 136- 139.

ZHAO Jin-fa, CHAI Rong-xuan, CHEN Wei. Research on Non-Contact Visual Physiological Sign Parameter Detection[J]. Electronic Technology & Software Engineering, 2021(15): 136-139.

[16] 王健琪, 薛慧君, 吕昊, 等. 非接触生理信号检测技术[J]. 中国医疗设备, 2013, 28(11): 5-8.

WANG Jian-qi, XUE Hui-jun, LV Hao, et al. Non- Contact Detection Technology for Physiological Sig­nals[J]. China Medical Devices, 2013, 28(11): 5-8.

[17] WANG XUYU, SHAO DANGDANG. Human Physiol­ogy and Contactless Vital Signs Monitoring Using Ca­mera and Wireless Signals[M]. 城市: 出版社, 2022.

[18] 单禹皓, 陈通, 温万惠, 等. 呼吸信号的非接触式测量[J]. 计算机科学, 2015, 42(10): 43-44, 75.

SHAN Yu-hao, CHEN Tong, WEN Wan-hui, et al. Remote Sensing Respiration Signals[J]. Computer Science, 2015, 42(10): 43-44, 75.

[19] HU M H, ZHAI G T, LI D, ET AL. Synergetic Use of Thermal and Visible Imaging Techniques for Contactless and Unobtrusive Breathing Measurement[J]. Journal of Biomedical Optics, 2017, 22(3): 036006.

[20] LI Xi-fang, ZHUANG Zhuang, QI Duo, et al. High Sensitive and Fast Response Humidity Sensor Based on Polymer Composite Nanofibers for Breath Monitoring and Non-Contact Sensing[J]. Sensors and Actuators B: Chemical, 2021, 330: 129239.

[21] 孙兴国. 生命整体调控新理论体系与心肺运动试验[J]. 医学与哲学(A), 2013, 34(3): 22-27.

SUN Xing-guo. New Theoretical System of Holistic Control and Regulation for Life and Cardiopulmonary Exercise Testing[J]. Medicine & Philosophy, 2013, 34(3): 22-27.

[22] DAS S, PAL M. Review—Non-Invasive Monitoring of Human Health by Exhaled Breath Analysis: A Compre­hensive Review[J]. Journal of the Electrochemical Society, 2020, 167(3): 037562.

[23] KEAYS B, ROTHMAN A, HANRAHAN C, et al. Sobriety Monitoring System: US, 9417232[P]. 2016-08- 16.

[24] LUO Yu-zhou, WANG Ping, YU Kai-jun, et al. Using Sleep Monitoring System for Estimating and Analysing the Sleep Stages[J]. Pakistan Journal of Zoology, 2021, 53(6):2491-2495.

[25] TONACCI A, SANSONE F, PALA A P, et al. Exhaled Breath Analysis in Evaluation of Psychological Stress: A Short Literature Review[J]. International Journal of Psychology: Journal International De Psychologie, 2019, 54(5): 589-597.

[26] BRUMBACK H K. Investigation of Breath Counting, Abdominal Breathing and Physiological Responses in Relation to Cognitive Load[C]// Lecture Notes in Computer Science. Cham: Springer International Publishing, 2017: 275-286.

[27] GRASSMANN M, VLEMINCX E, VON LEUPOLDT A, et al. Respiratory Changes in Response to Cognitive Load: A Systematic Review[J]. Neural Plasticity, 2016(1): 8146809.

[28] CROCKETT J E, CASHWELL C S, TANGEN J L, et al. Breathing Characteristics and Symptoms of Psychological Distress: An Exploratory Study[J]. Counsel­ing and Values, 2016, 61(1): 10-27.

[29] BAI Ying-wen, TSAI C L, WU S C. Design of a breath detection system with multiple remotely enhanced hand-computer interaction devices[C]// 2012 IEEE 16th International Symposium on Consumer Electronics. Harrisburg: IEEE, 2012.

[30] LIAO W C, LIN Han-hong, RUO He-lin, et al. A Multimedia System for Breath Regulation and Relaxation[J]. International Journal of Advanced Computer Science and Applications, 2015, 6(12): 56-63.

[31] MAROTTE J, GEBAUER S, SCHECK K,LEICHT S. Method for Analyzing Breathing Air in Room or Building, Implemented in Smart Home System, Involves Recording Meas-ured Value of Breathing Air, and Changing Environmental Conditions Based on Value of Environmental Condition: German, WO2021116307-A1[P]. 2021-06-17.

[32] 刘博, 唐晓英, 刘伟峰, 等. 人体核心温度的测量方法研究进展[J]. 中国生物医学工程学报, 2017, 36(5): 608-614.

LIU Bo, TANG Xiao-ying, LIU Wei-feng, et al. Review on Human Core Body Temperature Measurement Me­thod[J]. Chinese Journal of Biomedical Engineering, 2017, 36(5): 608-614.

[33] 李松林. 非接触人体表面温度测量方法的研究[D]. 天津: 天津大学, 2005.

LI Song-lin. A Study on the Method of Non-Contact Skin Temperature Measurement[D]. Tianjin: Tianjin Uni­versity, 2005.

[34] 苏建奎, 桂星雨. 医用红外体温测量仪的现状与发展[J]. 医疗卫生装备, 2016, 37(1): 110-112, 129.

SU Jian-kui, GUI Xing-yu. Present Status and Trend of Medical Infrared Temperature Measuring Instrument [J]. Chinese Medical Equipment Journal, 2016, 37(1): 110-112, 129.

[35] CHIN J. Design and Implementation of an Adaptive Wearable Thermal Comfort Data Acquisition Prototype[C]// UbiComp/ISWC'15 Adjunct: Adjunct Proceedings of the 2015 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2015 ACM International Symposium on Wearable Computers. New York: ACM, 2015: 585-590.

[36] YOSHIKAWA H, UCHIYAMA A, NISHIKAWA Y, et al. Combining a Thermal Camera and a Wristband Sensor for Thermal Comfort Estimation[C]// UbiComp/ ISWC '19 Adjunct: Adjunct Proceedings of the 2019 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2019 ACM International Symposium on Wearable Computers. New York: ACM, 2019: 238-241.

[37] VON FRANKENBERG N, RUOFF P, BRUEGGE B, et al. LATEST: A Learning-Based Automated Thermal Environment Control System[C]// UbiComp-ISWC '20: Adjunct Proceedings of the 2020 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2020 ACM International Symposium on Wearable Computers. New York: ACM, 2020: 573-579.

[38] ABDELRAHMAN Y, VELLOSO E, DINGLER T, et al. Cognitive Heat: Exploring the Usage of Thermal Imaging to Unobtrusively Estimate Cognitive Load[J]. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 2017, 1(3): 33.

[39] LARMUSEAU C, VANNESTE P, CORNELIS J, et al. Combining Physiological Data and Subjective Measurements to Investigate Cognitive Load during Complex Learning[J]. Frontline Learning Research, 2019, 7(2): 57-74.

[40] KODAMA R, TERADA T, TSUKAMOTO M. A Context Recognition Method Using Temperature Sensors in the Nostrils[C]// ISWC '18: Proceedings of the 2018 ACM International Symposium on Wearable Computers. New York: ACM, 2018: 220-221.

[41] KYRIAKOU K, RESCH B, SAGL G, et al. Detecting Moments of Stress from Measurements of Wearable Physiological Sensors[J]. Sensors (Basel, Switzerland), 2019, 19(17): 3805.

[42] PARK M W, KIM C J, HWANG M, et al. Individual emotion classification between happiness and sadness by analyzing photoplethysmography and skin temperature[C]// 2013 Fourth World Congress on Software Engineering. Hong Kong, China: IEEE, 2013: 190-194.

[43] BAO Jie, HAN Jia-wen, KATO A, et al. Sleepy Watch: Towards Predicting Daytime Sleepiness Based on Body Temperature[C]// UbiComp-ISWC '20: Adjunct Proceedings of the 2020 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2020 ACM International Symposium on Wearable Computers. New York: ACM, 2020: 9-12.

[44] WEI Jing, ZHANG Jin, BOGER J. What wrist temperature tells us when we sleep late: A new perspective of sleep health[C]// 2018 IEEE SmartWorld, Ubiquitous Intelligence & Computing, Advanced & Trusted Computing, Scalable Computing & Communications, Cloud & Big Data Computing, Internet of People and Smart City Innovation (SmartWorld/SCALCOM/UIC/ ATC/CBDCom/IOP/SCI). Guangzhou. IEEE, 2018: 764-771.

[45] TAG B, CHERNYSHOV G, KAI Kun-ze. Facial Temperature Sensing on Smart Eyewear for Affective Com­puting[C]// UbiComp '17: Proceedings of the 2017 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2017 ACM International Symposium on Wearable Computers. New York: ACM, 2017: 209-212.

[46] STEFANOVSKA A. Physics of the Human Cardiovascular System[J]. Contemporary Physics, 1999, 40(1): 31-55.

[47] LEE J K, KIM H J, LEE S, et al. Estimation of metabolic rate for heart rate-based self-adaptive home appliance[C]// 2014 IEEE 3rd Global Conference on Consumer Electronics. Tokyo: IEEE, 2014: 368-371.

[48] KAWASAKI Y, HOSSAIN T, YOKOKUBO A, et al. Estimating the Degree of Mental State Using Heart Rate while Studying[C]// UbiComp '21: Adjunct Proceedings of the 2021 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2021 ACM International Symposium on Wearable Computers. New York: ACM, 2021: 126-130.

[49] HOTTA S, MORI T, UCHIDA D, et al. Eating Moment Recognition Using Heart Rate Responses[C]// UbiComp '17: Proceedings of the 2017 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2017 ACM International Symposium on Wearable Computers. New York: ACM, 2017: 69-72.

[50] KALAM A M, AZAD M, CHOWDHURY S J. Prototype smart home environment with biofeedback[C]// 2020 IEEE Region 10 Symposium. Dhaka, Bangladesh: IEEE, 2020: 449-452.

[51] 冀晓冲, 管琳, 李文一, 等. 心率变异性临床应用研究进展[J]. 中西医结合心脑血管病杂志, 2020, 18(17): 2809-2811.

JI Xiao-chong, GUAN Lin, LI Wen-yi, et al. Research Progress in Clinical Application of Heart Rate Variability[J]. Chinese Journal of Integrative Medicine on Cardio- Cerebrovascular Disease, 2020, 18(17): 2809-2811.

[52] 张骁, 路国华, 荆西京, 等. 基于微波传感器的非接触心率变异性检测方法[J]. 医疗卫生装备, 2012, 33(4): 10-11, 24.

ZHANG Xiao, LU Guo-hua, JING Xi-jing, et al. Contact-Free Measurement of Heart Rate Variability via Microwave Sensor[J]. Chinese Medical Equipment Journal, 2012, 33(4): 10-11, 24.

[53] 张弛, 袁琳, 陈诗惠, 等. 基于非接触式测量的极短时心率变异性分析[J]. 航天医学与医学工程, 2020, 33(2): 134-142.

ZHANG Chi, YUAN Lin, CHEN Shi-hui, et al. Very Short-Term Heart Rate Variability Analysis Based on Non-Contact Measurement[J]. Space Medicine & Medical Engineering, 2020, 33(2): 134-142.

[54] ERNST G. Heart-Rate Variability-more than Heart Beats? [J]. Frontiers in Public Health, 2017, 5(1): 240.

[55] MULCAHY J S, LARSSON D E O, GARFINKEL S N, et al. Heart Rate Variability as a Biomarker in Health and Affective Disorders: A Perspective on Neuroimaging Studies[J]. NeuroImage, 2019, 202(1): 116072.

[56] HIDALGO-MUÑOZ A R, MOURATILLE D, MAT­TON N, et al. Cardiovascular Correlates of Emotional State, Cognitive Workload and Time-on-Task Effect during a Realistic Flight Simulation[J]. International Journal of Psychophysiology, 2018, 128: 62-69.

[57] DURANTIN G, GAGNON J F, TREMBLAY S, et al. Using near Infrared Spectroscopy and Heart Rate Variability to Detect Mental Overload[J]. Behavioural Brain Research, 2014, 259: 16-23.

[58] GROSS J J, JAZAIERI H. Emotion, Emotion Regulation, and Psychopathology[J]. Clinical Psychological Science, 2014, 2(4): 387-401.

[59] BRIDGETT D J, BURT N M, EDWARDS E S, et al. Intergenerational Transmission of Self-Regulation: A Multidisciplinary Review and Integrative Conceptual Framework[J]. Psychological Bulletin, 2015, 141(3): 602-654.

[60] MAIER S U, HARE T A. Higher Heart-Rate Variability is Associated with Ventromedial Prefrontal Cortex Activity and Increased Resistance to Temptation in Dietary Self-Control Challenges[J]. The Journal of Neuroscience: the Official Journal of the Society for Neuroscience, 2017, 37(2): 446-455.

[61] WILLIAMS D P, CASH C, RANKIN C, et al. Resting Heart Rate Variability Predicts Self-Reported Difficulties in Emotion Regulation: A Focus on Different Facets of Emotion Regulation[J]. Frontiers in Psychology, 2015, 6(1): 261.

[62] THAYER J F, ÅHS F, FREDRIKSON M, et al. A Meta-Analysis of Heart Rate Variability and Neuroimaging Studies: Implications for Heart Rate Variability as a Marker of Stress and Health[J]. Neuroscience & Biobehavioral Reviews, 2012, 36(2): 747-756.

[63] 孔令琴, 陈飞, 赵跃进, 等. 融合心率变异性与表情的非接触心理压力检测[J]. 光学学报, 2021, 41(3): 68-77.

KONG Ling-qin, CHEN Fei, ZHAO Yue-jin, et al. Non-Contact Psychological Stress Detection Combining Heart Rate Variability and Facial Expressions[J]. Acta Optica Sinica, 2021, 41(3): 68-77.

[64] HWANG C, PUSHP S. A Mobile System for Investigating the User's Stress Causes in Daily Life[C]// UbiComp '18: Proceedings of the 2018 ACM International Joint Conference and 2018 International Symposium on Pervasive and Ubiquitous Computing and Wearable Computers. New York: ACM, 2018: 66-69.

[65] KENDALL L, MORRIS D, TAN D. Blood Pressure beyond the Clinic: Rethinking a Health Metric for everyone[C]// CHI '15: Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems. New York: ACM, 2015: 1679-1688.

[66] 张攀登. 基于外周连续血压信号的自适应中心动脉压重建方法的研究[D]. 深圳: 中国科学院大学(中国科学院深圳先进技术研究院), 2019.

ZHANG Pan-deng. A Study of Self-Adaptive Method for the Reconstruction of Central Aortic Pressure Using Continuous Peripheral Arterial Blood Pressure[D]. Shenzhen: Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences, 2019.

[67] LYU Yong-qiang, LUO Xiao-min, ZHOU Jun, et al. Measuring Photoplethysmogram-Based Stress-Induced Vascular Response Index to Assess Cognitive Load and Stress[C]// CHI '15: Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems. New York: ACM, 2015: 857-866.

[68] 严璘璘, 骆宏, 危静, 等. 心理压力的测量方法及新技术[J]. 应用心理学, 2019, 25(1): 32-47.

YAN Lin-lin, LUO Hong, WEI Jing, et al. The Measurements of Mental Stress and New Methodologies[J]. Chinese Journal of Applied Psychology, 2019, 25(1): 32-47.

[69] 范强. 心血管生理参数非接触式检测关键技术研究[D]. 武汉: 武汉大学, 2017.

FAN Qiang. Study on Key Techniques of Non-Contact Detection of Cardiovascular Physiological Parameters[D]. Wuhan: Wuhan University, 2017.

[70] GUO Ming-zhe, NI Hong-bo, CHEN A Q. OfficeBP: Noninvasive Continuous Blood Pressure Monitoring Based on PPT in Office Environment[C]// UbiComp- ISWC '20: Adjunct Proceedings of the 2020 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2020 ACM International Symposium on Wearable Computers. New York: ACM, 2020: 29-32.

[71] 戴明, 王琪, 吴万庆. 一种低功耗脉搏血氧饱和度测量系统的设计[J]. 电子技术应用, 2014, 40(10): 53-56.

DAI Ming, WANG Qi, WU Wan-qing. Development of a Low-Power Pulse Oximeter System[J]. Application of Electronic Technique, 2014, 40(10): 53-56.

[72] LIM C S, FOONG P S, KOH G H C, et al. A Case Study of User Experience Design in a Disrupted Context: Design and Development of a Vital Signs Self-Monitoring System[C]// CHI EA '21: Extended Abstracts of the 2021 CHI Conference on Human Factors in Computing Systems. New York: ACM, 2021: 1-7.

[73] AKINSIKU A, AVELLINO I, GRAHAM Y, et al. It’s not Just the Movement: Experiential Information Nee­ded for Stroke Telerehabilitation[C]// CHI '21: Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems. New York: ACM, 2021: 1-12.

[74] WANG E J. Tracking Anemia Ubiquitously, Frequently, and Predictively[C]// UbiComp '17: Proceedings of the 2017 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2017 ACM International Symposium on Wearable Computers. New York: ACM, 2017: 371- 375.

[75] SLYUSARENKO K, FEDORIN I, LEE W. Sleep Stages Classifier with Eliminated Apnea Impact[C]// UbiComp/ISWC '19 Adjunct: Adjunct Proceedings of the 2019 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2019 ACM International Symposium on Wearable Computers. New York: ACM, 2019: 210-213.

[76] TAG B, AUGEREAU O. From the Laboratory into the Wild: Eyewear in Cognitive-Aware System Studies[C]// UbiComp '18: Proceedings of the 2018 ACM International Joint Conference and 2018 International Symposium on Pervasive and Ubiquitous Computing and Wearable Computers. New York: ACM, 2018: 974-979.

[77] 张永会, 高长青, 王嵘. 脉搏波分析方法及其应用[J]. 北京生物医学工程, 2019, 38(3): 319-326.

ZHANG Yong-hui, GAO Chang-qing, WANG Rong. Methods of Pulse Wave Analysis and Its Application[J]. Beijing Biomedical Engineering, 2019, 38(3): 319-326.

[78] JOVANOV E, MILENKOVIC A, BASHAM S, et al. Reconfigurable intelligent sensors for health monitoring: a case study of pulse oximeter sensor[C]// The 26th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. San Francisco. IEEE, 2004: 4759-4762.

[79] MARTINOVIC I, RASMUSSEN K B, ROESCHLIN M, et al. Pulse-Response: Exploring Human Body Impedance for Biometric Recognition[J]. ACM Transactions on Privacy and Security, 2017, 20(2): 6.

[80] ZHANG Hui-ling, LIU Guang-yuan. Research of emotion recognition based on pulse signal[C]// 2010 3rd International Conference on Advanced Computer Theory and Engineering(ICACTE). Chengdu: IEEE, 2010: 3-506.

[81] KIM J S, CHEE Y J, PARK J W, et al. A New Approach for Non-Intrusive Monitoring of Blood Pressure on a Toilet Seat[J]. Physiological Measurement, 2006, 27(2): 203-211.

[82] Nouman M, Khoo S Y, Mahmud M A P, et al. Recent Advances in Contactless Sensing Technologies for Mental Health Monitoring[J]. IEEE Internet of Things Journal, 2021, 9(1): 274 - 297.

[83] 杨晓丹, 杨冰磊, 王梓涵, 等. 非接触式生命体征监测技术临床应用研究进展[J]. 医学信息, 2018, 31(18): 41-44.

YANG Xiao-dan, YANG Bing-lei, WANG Zi-han, et al. Progress in Clinical Application of Non-Contact Vital Signs Monitoring Technology[J]. Medical Information, 2018, 31(18): 41-44.

[84] KRANJEC J, BEGUŠ S, GERŠAK G, et al. Non-Con­tact Heart Rate and Heart Rate Variability Measure­ments: A Review[J]. Biomedical Signal Processing and Control, 2014, 13: 102-112.

[85] ARMANFARD N, KOMEILI M, MIHAILIDIS A. Development of a smart home-based package for unobtrusive physiological monitoring[C]// 2018 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Honolulu: IEEE, 2018: 4444-4447.

[86] ALLEN J. Photoplethysmography and Its Application in Clinical Physiological Measurement[J]. Physiological Measurement, 2007, 28(3): R1-R39.

[87] 田树香, 朱健铭, 陈真诚, 等. 一种新的人体呼吸波采集方法与实现[J]. 中国医学物理学杂志, 2014, 31(5): 5169-5173, 5179.

TIAN Shu-xiang, ZHU Jian-ming, CHEN Zhen-cheng, et al. A New Human Respiratory Wave Acquisition Method and Implementation[J]. Chinese Journal of Medical Physics, 2014, 31(5): 5169-5173, 5179.

[88] HASSAN M A, MALIK G S, SAAD N, et al. Optimal source selection for image photoplethysmography[C]// 2016 IEEE International Instrumentation and Measurement Technology Conference Proceedings. Taipei, China. IEEE: 2016: 1-5.

[89] FALLET S, MOSER V, BRAUN F, et al. Imaging photoplethysmography: what are the best locations on the face to estimate heart rate? [C]// 2016 Computing in Cardiology Conference (CinC). Computing in Cardiology, 2016: 463-477.

[90] SELVARAJU V, SPICHER N, WANG Ju, et al. Continuous Monitoring of Vital Signs Using Cameras: A Systematic Review[J]. Sensors (Basel, Switzerland), 2022, 22(11): 4097.

[91] PATIL O R, GAO Yang, LI Bo-rui, et al. CamBP: A Camera-Based, Non-Contact Blood Pressure Monitor[C]// UbiComp '17: Proceedings of the 2017 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2017 ACM International Symposium on Wearable Computers. New York: ACM, 2017: 524-529.

[92] VERKRUYSSE W, SVAASAND L O, NELSON J S. Remote Plethysmographic Imaging Using Ambient Light[J]. Optics Express, 2008, 16(26): 21434-21445.

[93] MASSARONI C, LOPES D S, LO PRESTI D, et al. Contactless Monitoring of Breathing Patterns and Respiratory Rate at the Pit of the Neck: A Single Camera Approach[J]. Journal of Sensors, 2018, 2018: 4567213.

[94] LIN Kuan-yi, CHEN Duan-yu, TSAI W J. Image-Based Motion-Tolerant Remote Respiratory Rate Evaluation[J]. IEEE Sensors Journal, 2016, 16(9): 3263-3271.

[95] LI Ning, EEDUGURALA N, LEEM D S, et al. Organic Upconversion Imager with Dual Electronic and Optical Readouts for Shortwave Infrared Light Detection[J]. Advanced Functional Materials, 2021, 31(16): 2100565.

[96] 陈宇杰, 王健琪, 路国华. 非接触式生命信息检测技术的综述[J]. 医疗卫生装备, 2006, 27(3): 32-33.

CHEN Yu-jie, WANG Jian-qi, LU Guo-hua. Estimation of Non-Contact Detection Technologies for Life Parameters[J]. Chinese Medical Equipment Journal, 2006, 27(3): 32-33.

[97] FEI Jin, PAVLIDIS I. Thermistor at a Distance: Unobtrusive Measurement of Breathing[J]. IEEE Transactions on Biomedical Engineering, 2010, 57(4): 988- 998.

[98] LEE K, LEE S H, PARK J I. Hands-Free Interface Using Breath Residual Heat[C]// Human Interface and the Management of Information. Interaction. Cham: Visualization, and Analytics, 2018: 204-217.

[99] PAVLIDIS I, DOWDALL J, SUN N, et al. Interacting with Human Physiology[J]. Computer Vision and Image Understanding, 2007, 108(1-2): 150-170.

[100] IOANNOU S, GALLESE V, MERLA A. Thermal In­frared Imaging in Psychophysiology: Potentialities and Limits[J]. Psychophysiology, 2014, 51(10): 951-963.

[101] 刘炳文, 何密. 非接触式医疗监测雷达研究进展[J]. 医疗卫生装备, 2015, 36(5): 107-111.

LIU Bing-wen, HE Mi. Researchprogress of Radar for Non-Contact Medical Monitoring[J]. Chinese Medical Equipment Journal, 2015, 36(5): 107-111.

[102] VARANINI M, BERARDI P C, CONFORTI F, et al. Car­diac and respiratory monitoring through non-invasive and contactless radar technique[C]// 2008 Computers in Cardiology. Bologna: IEEE, 2008: 149-152.

[103] PISA S, BERNARDI P, CICCHETTI R, et al. Comparison between UWB and CW radar sensors for breath activity monitoring[C]// SPIE Defense + Security. Proc SPIE 9077, Radar Sensor Technology XVIII, Baltimore: SPIE, 2014: 325-329.

[104] WANG Yong, SHUI Yu-zhu, YANG Xiao-bo, et al. Multi-Target Vital Signs Detection Using Frequency- Modulated Continuous Wave Radar[J]. EURASIP Jour­nal on Advances in Signal Processing, 2021, 2021(1): 103.

[105] MATKOVIČ T, PEJOVIĆ V. Wi-Mind: Wireless Mental Effort Inference[C]// UbiComp '18: Proceedings of the 2018 ACM International Joint Conference and 2018 International Symposium on Pervasive and Ubiquitous Computing and Wearable Computers. New York: ACM, 2018: 1241-1249.

[106] 鲁勇, 吕绍和, 王晓东, 等. 基于WiFi信号的人体行为感知技术研究综述[J]. 计算机学报, 2019, 42(2): 1-21.

LU Yong, LV Shao-he, WANG Xiao-dong, et al. A Survey on WiFi Based Human Behavior Analysis Technology[J]. Chinese Journal of Computers, 2019, 42(2): 1-21.

[107] WANG Hao, ZHANG Da-qing, MA Jun-yi, et al. Human Respiration Detection with Commodity WiFi Devices: Do User Location and Body Orientation Matter? [C]// UbiComp '16: Proceedings of the 2016 ACM International Joint Conference on Pervasive and Ubiquitous Computing. New York: ACM, 2016: 25-36.

[108] WANG Xu-yu, YANG Chao, MAO Shi-wen. On CSI- Based Vital Sign Monitoring Using Commodity WiFi[J]. ACM Transactions on Computing for Healthcare, 2020, 1(3): 12.

[109] MENG Z, LU J. A Rule-Based Service Customization Strategy for Smart Home Context-Aware Automation[J]. IEEE Transactions on Mobile Computing, 2016, 15(3): 558-571.

[110] CHENG Lin-song, WANG Ji-liang. Walls Have no Ears: A Non-Intrusive WiFi-Based User Identification System for Mobile Devices[J]. IEEE/ACM Transactions on Networking, 2019, 27(1): 245-257.

[111] JIANG Hong-bo, CAI Chao, MA Xiao-qiang, et al. Smart Home Based on WiFi Sensing: A Survey[J]. IEEE Access, 6: 13317-13325.

[112] 林海燕, 邓心茹, 梁梓豪, 等. 基于WIFI装置的睡眠生理特征检测[J]. 信息技术与信息化, 2020(6): 214- 216.

LIN Hai-yan, DENG Xin-ru, LIANG Zi-hao, et al. Detection of Sleep Physiological Characteristics Based on WIFI Device[J]. Information Technology and Informatization, 2020(6): 214-216.

[113] LIU Xue-feng, CAO Jian-nong, TANG Shao-jie, et al. Wi-sleep: Contactless sleep monitoring via WiFi signals[C]// 2014 IEEE Real-Time Systems Symposium. Rome: IEEE, 2014: 346-355.

[114] WANG Xu-yu, HUANG Run-ze, MAO Shi-wen. Sonar­Beat: sonar phase for breathing beat monitoring with smartphones[C]// 2017 26th International Conference on Computer Communication and Networks (ICCCN). Van­couver, BC: IEEE, 2017: 1-8.

[115] CAI Chao, PU Heng-lin, HU Meng-lan, et al. SST: Software Sonic Thermometer on Acoustic-Enabled IoT Devices[J]. IEEE Transactions on Mobile Computing, 2021, 20(5): 2067-2079.

[116] LUO Yu-zhou, JIANG Zhong-wei. A Simple Method for Monitoring Sleeping Conditions by All-Night Breath Sound Measurement[J]. Journal of Interdisciplinary Mathematics, 2017, 20(1): 307-317.

[117] CHATTERJEE S, RAHMAN M M, NEMATI E, et al. MLung++: Automated Characterization of Abnormal Lung Sounds in Pulmonary Patients Using Multimodal Mobile Sensors[C]// UbiComp/ISWC'19 Adjunct: Adjunct Proceedings of the 2019 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2019 ACM International Symposium on Wearable Computers. New York: ACM, 2019: 474-481.

[118] MESLEH A, SKOPIN D, BAGLIKOV S, et al. Heart Rate Extraction from Vowel Speech Signals[J]. Journal of Computer Science and Technology, 2012, 27(6): 1243-1251.

[119] MENNICKEN S, VERMEULEN J, HUANG E M. From Today's Augmented Houses to Tomorrow's Smart Homes: New Directions for Home Automation Research[C]// UbiComp '14: Proceedings of the 2014 ACM International Joint Conference on Pervasive and Ubiquitous Computing. New York: ACM, 2014: 105- 115.

[120] ALAM M R, REAZ M B I, ALI M A M. A Review of Smart Homes: Past, Present, and Future[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), 2012, 42(6): 1190-1203.

[121] ZAIDAN A a, ZAIDAN B B. A Review on Intelligent Process for Smart Home Applications Based on IoT: Coherent Taxonomy, Motivation, Open Challenges, and Recommendations[J]. Artificial Intelligence Review, 2020, 53(1): 141-165.

[122] LUPTON D, PINK S, HORST H. Living In, with and beyond the ‘Smart Home': Introduction to the Special Issue[J]. Convergence: the International Journal of Research into New Media Technologies, 2021, 27(5): 1147-1154.

[123] ALAA M, ZAIDAN A a, ZAIDAN B B, et al. A Review of Smart Home Applications Based on Internet of Things[J]. Journal of Network and Computer Applications, 2017, 97: 48-65.

[124] WANG K J, MAO Zhi-hong. LAZYnergy: controlling smart home devices as lazily as possible using human and environment behavioral synergies in daily activities[C]// 2021 IEEE International Conference on Consumer Electronics-Asia. Gangwon, Korea, Republic of. IEEE, 2021: 1-4.

[125] KATZ D, HAFSIA L B, SALEM O, et al. Intelligent remote control of smart home devices using physiological parameters[C]// 2015 17th International Conference on E-health Networking, Application & Services (HealthCom). Boston, MA, USA. IEEE, 2015: 280-285.

[126] DEFRANCO J F, KASSAB M. Smart Home Research Themes: An Analysis and Taxonomy[J]. Procedia Com­puter Science, 2021, 185: 91-100.

[127] HENRIQUEZ P, MATUSZEWSKI B J, ANDREU- CABEDO Y, et al. Mirror Mirror on the Wall.. an Unobtrusive Intelligent Multisensory Mirror for Well- being Status Self-Assessment and Visualization[J]. IEEE Transactions on Multimedia, 2017, 19(7): 1467- 1481.

[128] UL ALAM M A. Context-aware multi-inhabitant functional and physiological health assessment in smart home environment[C]// 2017 IEEE International Conference on Pervasive Computing and Communications Workshops (PerCom Workshops). Kona, HI, USA. IEEE, : 99-100.

[129] HEGDE R M D, KENCHANNAVAR H H. A Survey on Predicting Resident Intentions Using Contextual Modalities in Smart Home[J]. International Journal of Advanced Pervasive and Ubiquitous Computing, 2019, 11(4): 44-59.

[130] RASHIDI P, COOK D J. Keeping the Resident in the Loop: Adapting the Smart Home to the User[J]. IEEE Transactions on Systems, Man, and Cybernetics - Part A: Systems and Humans, 2009, 39(5): 949-959.

[131] 张晓炜. 心理生理可计算建模理论与方法的研究[D]. 兰州: 兰州大学, 2016.

ZHANG Xiao-wei. Research of Modeling Theory and Method in Computational Psychophysiology[D]. Lanzhou: Lanzhou University, 2016.

[132] BENNETT J, ROKAS O, CHEN Li-ming. Healthcare in the Smart Home: A Study of Past, Present and Future[J]. Sustainability, 2017, 9(5): 840.

[133] LI Chang-zhi, LUBECKE V M, BORIC-LUBECKE O, et al. A Review on Recent Advances in Doppler Radar Sensors for Noncontact Healthcare Monitoring[J]. IEEE Transactions on Microwave Theory and Techniques, 2013, 61(5): 2046-2060.

[134] YU Bin, HU Jun, FEIJS L. Design and Evaluation of an Ambient Lighting Interface of HRV Biofeedback System in Home Setting[C]// Ubiquitous Computing and Ambient Intelligence. Personalisation and User Adapted Services. Cham: Springer International Publishing, 2014: 88-91.

[135] MORALES A, CIBRIAN F L, CASTRO L A, et al. An Adaptive Model to Support Biofeedback in AmI Environments: A Case Study in Breathing Training for Autism[J]. Personal and Ubiquitous Computing, 2021: 1-16.

[136] 王基策, 李意莲, 贾岩, 等. 智能家居安全综述[J]. 计算机研究与发展, 2018, 55(10): 2111-2124.

WANG Ji-ce, LI Yi-lian, JIA Yan, et al. Survey of Smart Home Security[J]. Journal of Computer Research and Development, 2018, 55(10): 2111-2124.

[137] ISLAM S M M, BORIĆ-LUBECKE O, ZHENG Yao, et al. Radar-Based Non-Contact Continuous Identity Authentication[J]. Remote Sensing, 2020, 12(14): 2279.

[138] LIN Feng, SONG Chen, ZHUANG Yan, et al. Cardiac Scan: A Non-Contact and Continuous Heart-Based User Authentication System[C]// MobiCom '17: Proceedings of the 23rd Annual International Conference on Mobile Computing and Networking. New York: ACM, 2017: 315-328.

[139] YANG Shu-qiang, CHENG De-qiang, WANG Jun, et al. Non-Contact Heart Rate Detection Based on Hand Vein Transillumination Imaging[J]. Applied Sciences, 2021, 11(18): 8470.

[140] ISLAM S M M, RAHMAN A, PRASAD N, et al. Identity authentication system using a support vector machine (SVM) on radar respiration measurements[C]// 2019 93rd ARFTG Microwave Measurement Conference (ARFTG). Boston: IEEE, 2019: 1-5.

[141] LIU Bing, MA Kai-xue, FU Hai-peng, et al. Recent Progress of Silicon-Based Millimeter-Wave SoCs for Short-Range Radar Imaging and Sensing[J]. IEEE Transactions on Circuits and Systems II: Express Briefs, 2022, 69(6): 2667-2671.

[142] MEEM M, BANERJI S, MAJUMDER A, et al. Broadband Lightweight Flat Lenses for Long-Wave Infrared Imaging[J]. Proceedings of the National Academy of Sciences of the United States of America, 2019, 116(43): 21375-21378.

[143] RASTOGI V, KUMAR V, DUBEY S K, et al. Noncontact Temperature Measurement of Human Hand Skin Using Volume Phase Holographic Optical Element Based Digital Holographic Interferometer[J]. Optics and Lasers in Engineering, 2022, 151: 106886.

[144] KOBIELA F, SHEN Rong-rong, SCHWEIKER M, et al. Personal Thermal Perception Models Using Skin Temperatures and HR/HRV Features: Comparison of Smar­t­watch and Professional Measurement Devices[C]// ISWC '19: Proceedings of the 23rd International Symposium on Wearable Computers. New York: ACM, 2019: 96-105.

[145] JAISWAL D, CHOWDHURY A, BANERJEE T, et al. Effect of mental workload on breathing pattern and heart rate for a working memory task: A pilot study[C]// 2019 41st Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Berlin: IEEE, 2019: 2202-2206.

[146] SHAO Dang-dang, LIU Chen-bin, TSOW F. Noncontact Physiological Measurement Using a Camera: A Technical Review and Future Directions[J]. ACS Sensors, 2021, 6(2): 321-334.

[147] HONG A, NAM C, KIM S. What will be the Possible Barriers to Consumers’ Adoption of Smart Home Services? [J]. Telecommunications Policy, 2020, 44(2): 101867.

[148] RHEE J H, MA J H, SEO J, et al. Review of Applications and User Perceptions of Smart Home Technology for Health and Environmental Monitoring[J]. Journal of Computational Design and Engineering, 2022, 9(3): 857-889.

[149] CHUNG J, THOMPSON H J, JOE J, et al. Examining Korean and Korean American Older Adults' Perceived Acceptability of Home-Based Monitoring Technologies in the Context of Culture[J]. Informatics for Health & Social Care, 2017, 42(1): 61-76.

[150] BOISE L, WILD K, MATTEK N, et al. Willingness of Older Adults to Share Data and Privacy Concerns after Exposure to Unobtrusive In-Home Monitoring[J]. Gerontechnology: International Journal on the Fundamental Aspects of Technology to Serve the Ageing Society, 2013, 11(3): 428-435.

[151] ZHENG S, APTHORPE N, CHETTY M, et al. User Perceptions of Smart Home IoT Privacy[J]. Proceedings of the ACM on Human-Computer Interaction, 2018, 2(CSCW): 200.

[152] BALTA-OZKAN N, DAVIDSON R, BICKET M, et al. Social Barriers to the Adoption of Smart Homes[J]. Energy Policy, 2013, 63: 363-374.

[153] FRÖHLICH P, BALDAUF M, MENEWEGER T, et al. Everyday Automation Experience: A Research Agenda[J]. Personal and Ubiquitous Computing, 2020, 24(6): 725-734.

[154] BRUSH A J B, LEE B, MAHAJAN R, et al. Home Automation in the Wild: Challenges and Opportunities[C]// CHI '11: Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. New York: ACM, 2011: 2115-2124.

[155] ROGERS Y. Moving on from Weiseru2019s Vision of Calm Computing: Engaging UbiComp Experiences[C]// Lecture Notes in Computer Science. Berlin, Heidelberg: Springer Berlin Heidelberg, 2006: 404-421.

[156] ALAN A T, COSTANZA E, RAMCHURN S D, et al. Tariff Agent: Interacting with a Future Smart Energy System at Home[J]. ACM Transactions on Computer- Human Interaction, 2016, 23(4): 25.

Non-contact Physiological Technologies in Smart Home

GONG Jiang-tao, CHU Meng-di, LI Jin, GUO Kai-min, ZONG Ke-yu, SHU Xin, ZHOU Gu-yue, NIE Zai-qing

(Institute for AI Industry Research, Tsinghua University, Beijing 100084, China)

This research aims to provide technical and methodological support for the combination of physiological computing and smart home by sorting out and analyzing the research status of non-contact physiological sensing computing technology and application in the smart home. The review followed a three-stage review methodology, relevant details are as following: In the planning stage, from an interdisciplinary perspective, this paper defined the research plan of the review on the intelligence of interaction in the home environment. In the conducting stage, keywords related to smart home and physiological computing were retrieved from CNKI, Web of Science, IEEE, ACM, ScienceDirect and other core literature libraries, and the literature collection was further expanded through relevant literature reference networks. In the reporting stage, the final review report was formed by combing and summarizing common physiological signals and non-contact sensing technologies that could be applied to smart home scenarios through literature research and theme induction. In conclusion, non-contact physiological computing technology has a broad application prospect. The combination of non-contact physiological perception computing technology and smart home can expand the human-computer interaction dimension of the home system to improve the comfort, interactive experience, health management, security, and privacy of the smart home.

non-contact physiological perception; physiological computing; smart home

TB472

A

1001-3563(2022)16-0010-17

10.19554/j.cnki.1001-3563.2022.16.002

2022–02–06

国家自然科学基金(62172252)

龚江涛(1990—),女,博士,助理研究员,主要研究方向为人机交互、多模态人因场景理解。

聂再清(1972—),男,博士,教授,主要研究方向为大数据与人工智能。

责任编辑:陈作

猜你喜欢
生理心率智能家居
享用诺贝尔生理医学奖的镇痛成果
智能家居行业仍无“独角兽”
智能家居产业现状和发展趋势
离心率
铜绿微囊藻对锌、镉胁迫的生理响应
智能家居 走向星辰大海
在最佳心率区锻炼
探索圆锥曲线离心率的求解
妈妈们产后的生理烦恼
智能家居未来感初体验