基于视频的生理参数测量技术及研究进展

陈嘉涛，张泓凯，黄燕平，蓝公仆，许景江，秦 嘉，安 林

1.佛山科学技术学院 机电工程与自动化学院，广东 佛山 528000

2.佛山科学技术学院 物理与光电工程学院，广东 佛山 528000

3.广东省“珠江人才计划”引进创新创业团队 广东唯仁医疗科技有限公司，广东 佛山 528051

进行心率、血氧、血压等能直接反应身体运作情况的人体心理活动参数的检测，对了解个体的生理健康或者情绪状态有着十分重要的意义。因此开发方便快捷的生理参数检测方法具有很强的应用价值。

当前，心电图（Electrocardiogram，ECG）与光电容积描计法（Photoplethysmography，PPG）是心率检测领域最常使用的两门技术。ECG通过在人体的不同部位连接传感器电极，采集体表不同部位的电信号，进而收集心脏的运作信息，是众多生命体征仪器开发过程中的黄金标准。PPG则是利用光电技术在活体组织中检测血液容积的变化，提取人体相关的体征信息，也是目前使用最为广泛的心率检测技术。然而，二者都需要待检者与检测设备进行直接接触，存在着一定的局限性。比如，当患者皮肤出现创伤或者新生儿皮肤尚未发育完全时，物理设备可能会给受检者带来二次伤害或者增加不适感。

2008年，Verkruysse等[1]提出remote photoplethysmography（rPPG），这是一种基于普通摄像头的无接触式生理参数检测技术。RPPG的检测原理与PPG是类似的，利用光学信息来分析生理体征参数。在心脏的驱动作用下，血液在血管内部进行周期性流动，同时动脉的搏动对血管群进行挤压，从而造成光线传播强度的周期性变化，反应到皮肤表面则呈现为皮肤亮度的变化。通过图像设备与待检者保持一定的距离完成数据采集，随后利用图像、信号处理技术对这一部分微弱的变化进行放大分析，便可以提取出与心脏运作有关的生理参数，达到远程无接触检测的目的。

无接触检测技术是基于环境光作为探测光源，图像传感器作为数据接收装置，因此受试者的肢体运动和环境光的变化成为影响rPPG检测结果的两大因素。最近十几年间，学者们针对rPPG存在的干扰问题进行了大量的研究，该项技术的性能获得了多方面的提升[2-3]：（1）准确率与鲁棒性得到了显著的提高。从人体在静态下进行测量到受试者可以完成简单的肢体动作[4]，再到新生儿的临床监护[5]和驾驶员操作状态下的无干扰心率监测实验[6]，rPPG从实验室研究发展为实际应用；（2）在检测设备上，除了常规的RGB相机，红外与近红外技术[7]的引入，使得rPPG的使用范围大大提升，在低照明度下也能完成准确的心率预测；（3）基于深度学习的rPPG检测算法也得到了极大的发展，从人工神经网络[8]到与传统检测方法结合的皮肤检测网络[9]，再到神经搜索[10]，深度学习在提升rPPG抗干扰方面的能力吸引了众多学者的研究兴趣；（4）除了常规的心率检测，rPPG也被用于呼吸率[11]、血氧[12]、血压[13]等生理参数的预测。本文从rPPG的检测流程出发，首先介绍图像获取与感兴趣区域（region of interest，ROI）选取的方法，随后在提取及分析脉冲信号部分对如何提高检测的鲁棒性与准确率等方面，详细介绍了rPPG的研究进展；之后就其应用研究进行简述，最后展望了rPPG的未来研究方向。

1 基于视频的rPPG检测流程

皮肤血管内的血红蛋白对光线有较强的吸收作用，从而引起表皮颜色上的微弱变化，通过采集皮肤图像并对这一变化信号进行捕捉放大，进而分析出相关的生理参数。因此，基于视频的无接触测量技术检测流程分为以下4个部分（图1）：（1）面部信息获取；（2）ROI定义；（3）生理信号提取与解析；（4）体征参数计算。下面根据检测流程逐步展开进行介绍。

图1 基于摄像机的生理参数检测流程图Fig.1 Flow chart of camera-based physiological parameter detection

1.1 面部数据采集

从理论上讲，人体身上的每一处皮肤都可以捕捉到PPG信号[14]，但是手臂、小腿等位置由于皮肤深度、日常行动等因素，即使是在理想的环境下，也不足以提取出稳健的rPPG信号[15]，所以，无接触检测的部位一般为人体面部。

基于CCD模块的彩色相机在rPPG领域内是最常使用的采集设备，低成本、成像质量高是RGB相机最大的优势。在目前所开展的研究中，大多数实验都是处于良好的照明条件下进行。然而由于普通相机没有附加光源，当环境照明度较低或者处于黑暗条件下时，RGB相机会出现成像质量差、帧速低的现象。针对这一情况，红外技术的引入，提高了rPPG在低照明度下的检测性能。比如，Park等[7]基于近红外技术，提出一套无接触心率检测系统，提升了rPPG在黑暗环境下的使用性能；Hu等[16]利用长、短波红外技术设计了一套双摄成像系统，在夜间完成了心率与呼吸率的高效检测。除了红外技术的使用，深度相机、多光谱成像技术的使用也增加了rPPG的应用范围。表1总结了目前rPPG研究中所使用的相机及其优缺点。

由表1可以看出，除了RGB相机，新引入的设备大多是为了解决低照明度下的检测问题，比如，近红外（near infrared，NIR）相机在黑暗情况下拍摄的图像质量远远强于RGB相机[21]。当前大多数彩色相机是利用CCD作为图像传感器，工作方式是通过离散的像素点将光学信号转为模拟的电流信号，再经过后续操作完成图像的获取存储[22]。受限于这一工作方式，当环境光线照明度较低时，CCD模块无法捕捉足够的光信号进而转换为电信号，所以获取的图像整体亮度较低，加大了后续数据分析的难度。红外技术的使用提升了彩色相机在低照明度下的成像质量。但是，红外相机的成像质量相对较差，所以CCD与红外技术结合的双模式成像方式受到了关注，并在rPPG检测方面展现了良好的实验结果。

表1 RPPG研究中使用的相机类型及优缺点Table 1 Types of cameras used in rPPG research and their advantages and disadvantages

1.2 ROI定义

定义合理的ROI目的是减少环境噪声的引入，包括非皮肤区的背景噪声及面部器官活动等带来的干扰。针对第一种情况，Viola-Jones人脸检测器是在rPPG领域最常用的获取人脸区域的技术。基于Haar特征和级联结构，可以实时完成准确的人脸检测，所以其一般用于rPPG的预处理阶段，随后再使用跟踪技术完成全部图像序列的ROI定义工作。

由于面部皮肤不同位置的厚度、平坦度不同，rPPG信号在皮肤上的分布并不均匀[23]。因此，在VJ检测器的基础之上，肤色[24-25]和人脸特征点检测[8]等计算机视觉技术被用于进一步提升定义ROI的精度及降低非皮肤区带来的干扰。表2总结了部分代表性文献的ROI获取方式及所定义的皮肤区。

表2 所定义的RIO及其定义方式Table 2 ROI definition in some representative literature

1.3 初始信号提取与解析

完成ROI的定义之后，需要从这一系列连续图像中提取原始脉冲信号，进行相关的分析。对所提取的信号进行解析，一项开创性工作是盲分离技术（blind source separation，BSS）[4，26]的应用。盲分离技术是一种在没有先验条件的情况下，将源信号在可观测的混合信号中分离出来的信号处理技术，在语音分离、生物医学等领域得到了广泛的应用[37]。最具代表性的盲分离技术是独立成分分析（independent component analysis，ICA），Poh等[4]将RGB三个通道的信号输入ICA矩阵，自适应分离出目标信号，而随后的半盲源分离[38]、联合盲源分离[30]、约束盲分离[39]都是在此基础上的改进。但是BSS也存在着一定的缺陷，实际应用中，噪声源的个数难以估计，同时盲分离技术对于输入信号的长度也有要求。因而，模态分解技术[11]成为另外一种常用的rPPG信号解析方式，将单信号分解为多个具有单一中心频率的子信号。下面总结了用于提升rPPG信号质量的算法，并分点进行叙述。

1.3.1 降低运动干扰

基于相机的rPPG致力于给志愿者最自由舒适的检测体验，因此个体运动是影响rPPG检测准确率最大的干扰因素。除了对个体进行运动补偿，比如使用跟踪算法[40]对ROI进行跟踪来提升检测的鲁棒性，降低运动干扰的方法还可以分为以下三种（表3）。

表3 提升rPPG检测运动鲁棒性算法总结Table 3 Summary of algorithms for improving rPPG detection motion robustness

第一种方式是信息融合。面部不同区域的rPPG信号强度不同，赋予不同质量信号权重并进行融合，可以有效地提升rPPG信号的质量。Po[41]对人脸进行分块处理，通过均值漂移和信噪比阈值自适应选取具有高质量rPPG信号进行加权融合，恢复高质量的心率信号。Serge[42]提出基于超像素分割的rPPG信号提取方式，将人脸皮肤分割成多个像素块，提取每一个区域的信号进行信噪比计算，通过赋予不同信号的权重进行融合，有效地提高了rPPG信号的质量。同样的处理方式在Yannick等[43]的研究中被使用，他们采用贝叶斯评价准则用于皮肤块信号的评价，并以此计算权重进行融合，展现了良好的rPPG信号提取效果。类似的，基于信号频谱主、次频比值的rPPG块提取[44]，基于不同区域肤色强度的信号加权方法[45]，多区域信号的加权融合展现了比单一区域更好的信号提取效果。区域信息融合的方式通过赋予高质量信号更大的权重，降低低质量信号的参与，有效地避免了噪声干扰，提升了rPPG检测的运动鲁棒性。而除了面部的信息融合之外，多相机的通道信号融合同样展现了良好的检测效果。例如，Cheng等[34]证明了多个彩色相机的同步采集对于提升rPPG检测准确率的有效性。信息融合是解决运动干扰非常有效的方法，赋予不同信号权重进行信号重建，可以提升rPPG信号的鲁棒性，但是这需要较大的计算资源，对于皮肤区的检测要求较高。此外，另外一种提升rPPG运动鲁棒性的方法是颜色空间的转换。

第二种是颜色空间的转换。RGB空间是使用最广泛的色彩空间，也是rPPG领域使用最多的颜色空间。RGB空间属于加色系统，外界对三个通道的干扰是同步的，通过颜色空间转换的方式，分离亮度和色度信息，在色度信息中提取血液的脉冲信号，可以有效地提高rPPG检测的鲁棒性。Yang等[46]证明CIE Lab模式对提升rPPG运动鲁棒性是有效果的，个体的运动只会影响信号在亮度通道上的分布，色度信号独立于运动之外，只受血液流动的影响；色度信息的使用在de Haan等[47]的研究中也被使用，将脉冲信号从运动引起的干扰中分离出来，在同样的运动实验中，准确率比BSS算法提升了40%；对于同样使用投影变换进行rPPG信号的提取，YCbCr[48]空间提取的信号平均信噪比RGB空间提升了69.3%，同样采用修正策略，Cho等[49]在HIS空间中，对图像的像素点进行基于递归最小二乘法的噪声消除，实验结果表明，修正后的图像所提取的rPPG信号与参考信号展现出了良好的一致性。不过，颜色空间转换只适用于运动幅度较小的场景，只进行简单的图像转换，对亮度信息的滤除效果是限制的，另外环境光噪声的强度同样会对色度的提取产生影响。

第三种方式是建立rPPG的光学模型进而降低运动的干扰以提升鲁棒性。根据Feng所建立的光学模型[50]，三个颜色通道的信号都受到同一种运动的调制，因此提出基于红色及绿色通道信号的自适应色差运算方法，先通过ROI跟踪技术减少头部运动的干扰，再经过色差运算去除受运动调制的散射、漫反射光强信号，剩余部分为运动调制的脉冲信号，最后根据rPPG信号的频谱特性，由带通滤波器进一步降低运动产生的造成。在此基础上，Wang等[51]将光学模型进一步地细化，并以此建立了投影矩阵P：

在新的坐标空间里将镜面反射、漫反射信号分离以提取脉冲信号。Qi等[52]将两个投影轴进行移动，建立新的投影矩阵，并采用ICA对投影后的反射信号进行分离，提取出鲁棒性更强的心率信号。

1.3.2 降低光照噪声

rPPG以自然光作为探测源，照射到皮肤上的光线容易受到外界的干扰而影响表皮亮度的变化。不同于解决运动对rPPG检测造成的干扰主要集中在算法层面，提升无接触检测的光照鲁棒性可以分为硬件及算法两个方面。

不同成像技术的使用提升了rPPG的检测性能，使得其在弱光环境下的检测效率得到了显著的提升（表4）。但是，rPPG信号在可见光之外的光谱下强度是比较弱的，因此，Wang等[17]利用窄带双频滤光片代替红外滤光片，提升了在红外波段rPPG信号的强度。而不同于使用单一的CCD或红外成像技术，Kado等[53]在可见光与近红外录制的视频中分别提取rPPG信号，并对面部进行分块处理提取心率值，构建心率直方图，通过融合不同的面部区域的信号，显著地提升了rPPG在多种不同光照条件下的检测性能。此外，在弱光环境下，基于可见光的相机成像帧速会降低，无法捕捉到皮肤上微弱的变化信息，因此，Laurie[36]开发了一种曝光自控制算法，使得相机在低帧速的情况下也能提取出高质量信号。

表4 提升rPPG检测光照鲁棒性算法总结Table 4 Summary of algorithms for improving rPPG detection illumination robustness

另外一方面，从算法的角度进行光照信息的滤除受到了更加广泛的关注。第一种方式是对初始信号进行分解，从信号中直接提取处于人体脉搏范围内的信息。面部视频的rPPG信号中包含了心率信号及噪声信号，使用集成经验模态分解（ensemble empirical mode decomposition，EEMD）、小波分解[54]等信号分析工具将rPPG信号自适应地分解为多个具有不同频率的模态，进而选取处于人体脉搏范围之内的分量。这种信号解析方式可以有效地排除无规律光照噪声产生的干扰，然而，当外界噪声的频率与心跳频率接近或者光照强度过大以至于覆盖了信号原有的脉动特征时，对单一信号的分解将会出现较大的误差。由此，Song等[55]针对这一缺陷提出EEMD-MCCA，有效地解决了使用单一模态分解工具无法应对周期性光照噪声的缺陷。Song在面部的不同区域提取rPPG信号，由EEMD对每一组信号分解后将所得的全部子信号送入MCCA中进行进一步分离，在光照不均匀及多种光照变化的条件下，EEMDMCCA都展示出了良好的信号分解效果。此外，将光照变化的信息从提取的混合信号中进行滤除，对rPPG信号进行重建，同样可以有效地提升rPPG在光照变化环境下的检测鲁棒性。

同一环境中，光源是固定的，而变化的信息是面部与背景共有的，相机同步记录了人体的面部及环境信息。因而，可以通过估计光照信号的强度，采用自适应滤波的方式在rPPG信号中减去估计值以抵消光照噪声，对信号进行重建。联合盲分离[56]、偏最小二乘法[32]，归一化最小均方误差算法[57]等都是利用背景信息进行光照噪声的滤除。类似的，从频域的角度利用自回归（AR）建模[58]和极点抵消光闪烁引起的混叠频率成分也展现了良好的去噪性能。然而，这种方式对光照噪声的估计需要建立在良好的背景条件下，当检测人员处于不断变化的环境时，背景噪声是难以确定的，受到光线传播、背景切换、人为干扰等因素，联合背景信息的rPPG信号去噪方式受到了比较大的限制。Ryu等[35]提出奇异谱分析方法，解决了这一限制。Ryu的方法不需要背景信息的参与，从人体的面部信号中提取光照干扰谱，只依赖面部的信息降低环境光对rPPG检测的影响。

同样不需要背景信息参与而提升rPPG检测光照鲁棒性的方法是从图像的角度进行光照噪声去除。本征图像分解可以将一张图像分解为光照图与反射率图，反射率图代表物体本身不受光照影响的部分，以此作为rPPG提取的图像数据[28]。同样的处理方式，Yin等[59]对人脸面部进行分块处理，将每一个区域图像通过对数运算分离反射率图与噪声，从反射率图像提取信号并进行分解，最后，将每一个子信号重构形成高质量的心率信号，展现出了良好的抗噪性能。

1.3.3 基于深度学习的信号提取方式

近年来，由于深度学习跨领域知识共享、无需复杂的特征工程、方便快捷的优势受到了广泛的关注。表5总结了基于深度学习的rPPG算法。

表5 基于深度学习的rPPG算法总结Table 5 RPPG algorithm summary based on deep learning

Chen等[60]是首个将端对端网络应用到无接触测量中的学者，利用视频帧的差分图像作为网络的输入，学习人体面部颜色及运动的映射关系而实现心率和呼吸率的鲁棒性测量。端对端网络直接将视频数据作为输入，由网络进行相关特征的学习以恢复稳定的生理脉冲信号，不需要先验知识，简单方便。同样使用端对端网络模型进行人脸数据到体征参数的映射函数研究还有神经搜索[10]、人工神经网络[8]、信息增强注意网络[61]等。实际上，注意力机制在大部分端对端网络的使用中发挥了关键作用。注意力模块自动学习相关的脉冲特征，通过在人体rPPG信号强的位置赋予更大的权重以提高测量精度。不过端对端网络也存在着劣势，这种模型依赖于高质量数据、模型的训练过程及巨大的计算资源，缺乏数据的支撑对训练的结果影响是比较大的。此外，对于不同的环境噪声，需要不同的数据样本进行模型的训练，固定样本训练所得的模型泛化能力较差，这成为端对端网络一个较大的局限性。

另外一种基于深度学习的rPPG检测方法是采用传统的特征检测方式对数据进行预处理，再通过网络对这些特征进行学习以提供鲁棒性的检测。例如，利用色度差分的方式建立rPPG信号的时空图并提取信号，再由卷积网络进行迁移学习，最后再通过插值的方式进行rPPG信号的合成[62]；Liu等[63]提出的DeeprPPG把人脸检测和ROI选择从网络中分离出来，提取特征后再输入到网络中，实现了rPPG的鲁棒性测量。使用先验知识进行网络训练的优势在于可以对视频数据进行预处理，让网络学习特征，提升模型的训练精度，因此神经网络的性能也最终取决于预处理的特征质量。对于不同的环境，需要提取不同的特征供给模型进行训练，因此，目前基于深度学习的rPPG算法整体上泛化能力是较差的。

1.4 相关体征参数的计算

完成rPPG信号的解析之后，可以根据信号的时域或者频域特征进行相关参数的计算。心率与呼吸率的研究最为成熟，这两个参数往往以频率作为特征进行计算，二者的生理信号都具有明显的周期性。主要分为两种方式进行估算，基于峰值点估计与基于频率估计。对于给定的时域rPPG信号，可以通过检测并统计信号的极大值点数来得到心率的估计值[28]。一个极大值点代表一个心动周期。

P为rPPG信号检测的峰值个数；T为所用的时间长度。这种估算方式保留了rPPG的原始特征，并可以通过分析相邻峰值之间的信号进一步分析其他生理信息，如心率变异性[64]。

另外一种方式是将时域信号转为频域进行分析，这也是更加简单准确的心率估计方法，如快速傅里叶变换，功率谱密度估计等。在频域上，选择最高的幅值点对应的频率fmax作为HR的估计频率，由式（3）可得心率值：

2 RPPG技术的应用

RPPG以自然光为媒介从人体表皮的连续图像中进行心脏脉冲信息的获取，不需要专业硬件，使用手机或计算机摄像头就可以获得心率、呼吸率、血氧饱和度、血压等生理体征参数。这种无接触、低成本、操作简单的检测方式除了用于临床诊治，还使得随时随地的健康监测成为可能，对于移动医疗、远程医疗的推广有着重要的意义。

2.1 生理体征参数的检测

2.1.1 血氧饱和度测量

血氧饱和度是血液中氧合血红蛋白(HbO2)的容量占全部可结合血红蛋白(Hb)容量的百分比（公式（5）），用于衡量血细胞中血氧含量，在手术和ICU的监测中是一个至关重要的参数。

比尔-朗伯定律被广泛地用于通过光学透过率测量来确定溶液的浓度，它表明溶液中物质对光的吸收与它的浓度成正比。因此，基于朗伯比尔定律[65]，假设脉搏血氧仪对光吸收的脉动成分（AC）来源于动脉，而直流成分（DC）来自其他组织。通过对两个不同波长λ1和λ2的AC、DC比值进行测量，可以得到以下式子：

k、b为经验系数。基于式（5），Shao等[65]经过波段挑选，用橙、红光代替了接触式的红、近红外光波，通过两个光源交替采集，测量两个分量的比值进行血氧的计算，与参考值展现了很好的一致性。Rosa[66]选择欧拉运动放大技术（Eulerian video magnification，EVM）对皮肤微弱的颜色变化进行放大分析，并在树莓派上完成了实验，测得的数据与标准设备误差小于2%，实现了低成本无接触测量血氧。当前，关于无接触测量血氧的实验研究对象大多数为健康人群，未来可以适当增加病例以检验其鲁棒性。

2.1.2 血压测量

血压是人体四大生命体征之一，可以反映心脏的收缩功能。脉搏传输时间差（pulse transit time，PTT）是无接触测量血压的核心原理，最初由ECG和PPG联合估计，随后Vanderpohl等[67]通过两个rPPG信号进行衡量，拉开了rPPG无接触测量血压的序幕。由文献[68]可以得知由PTT估计BP的计算公式：

a、b与人体血管壁的弹性有关。基于这一理念，Shao等[69]首次证明了采用无接触的方式可以计算出身体多点PTT的数值，并以此开发了一套无接触多参数测量系统。Fan等[13]基于高斯模型设计了自适应选取rPPG模块的框架，通过分析rPPG信号之间的特性，证明了PTT与BP之间的高度相关性。信号脉冲的质量对基于rPPG的PTT估计有着关键的作用，Fan等[70]改进了卡尔曼滤波器，用于提升rPPG信号信噪比而显示更加清晰的波峰以此提升PPT的估计精度。此外，受身体自主移动的影响，除了采用单点信号波峰估计的PTT之外，基于多点脉搏波相位差的血压监测方法也被证实具有良好的测量精度[71]。作者在左手桡动脉及指端出分别采集信号进行PPT的计算，实验证明所计算的PTT与血压的相关性达到了0.79，高于只采用单一信号进行PTT计算的单点脉搏波相位差计算方法，但是作者也指出，多点测量的方法对相机的帧速有着较高的要求。

2.1.3 心率变异性测量

一个与心脏疾病密切相关的参数HRV，是判断心率是否失常的重要指标。在临床使用方面，ECG一直是HRV检测的标准设备，通过QRS波群的特征进行心跳周期之间差异性的分析。研究表明，脉搏波与HRV信号具有等价的关系，但是rPPG信号的时域特征容易受噪声的影响，对脉搏波信号的特征进行融合[64]成为一个有效的方法。每一个皮肤块提供一个脉搏信号，从多个信号的时域、频域特征中选择并结合合理的信息，提高rPPG在噪声和异常干扰下对心率异常检测的可鉴别性。此外，房颤会导致PPG信号的异常，因此，Pereira等基于这一特性提出双窗口支持向量机分类模型[72]，经过测试，该模型在由大量患者组成的数据集上表现出了良好的泛化性能和测试性能；同样采用双窗口的检测策略，Li等[25]采用周期方差最大化算法提取rPPG信号，并自适应通过双窗口检测峰值，成功地提升了rPPG在HRV上的检测效果。而在频域上，高频段与低频段的功率信息是另外一个判断心率信息是否失常的指标，但是同样容易受到噪声的影响，Alghoul等[73]基于ICA将噪声与信号分离成独立的分量，展现出比EVM更好的实验效果。目前基于rPPG的HRV分析尚处于实验室阶段，临床使用以及基于HRV进行其他与心率失常相关生理疾病的诊断是未来研究的重点。

2.2 基于rPPG的生命体检测

人脸防欺骗技术在保护人脸识别系统免受假体攻击方面的重要作用，近年来受到了广泛的关注[74]。随着仿真技术的更新迭代，依靠外部特征的辨别模式已经不足以完成准确的判断，rPPG带来一种新的辨别方式。根据Wang等[51]所建立的光学模型，人脸假体只会存在镜面反射，无法提取出具有周期性的脉冲信号，成为rPPG用于活体检测的基础。Li等[75]首个使用rPPG作为活体检测的工具，实验证实，对实体材料制成的面具具有较好的识别效果。而结合深度学习的rPPG展现出了更好的检测性能，Liu等[74]所提出的CNN-RNN模型，利用像素监督估计人脸深度信息，利用序列监督估计rPPG信号，融合了深度信息和rPPG特征进行真实面孔和假体面孔的区分。

但是rPPG进行活体检测也有着潜在的缺陷，第一是在应对周期性干扰噪声方面的表现，这与rPPG在体征参数方面的检测鲁棒性是一样的；第二是在面对视频假体方面，rPPG也是同样基于视频数据进行参数的分析，真实人体与拍摄的人脸视频是否能通过rPPG进行分辨，这仍有待检验。总的来说，rPPG在活体检测领域展现出了不错的应用前景，有着巨大的潜能发展成为一种生物特征识别工具。

2.3 驾驶员状态监测

驾驶员的健康或疲劳状态，一直是安全驾驶中最受关注的问题。基于特征的检测方法容易受到个体外在的影响，而通过生理信息进行评估准确性更高，因此基于rPPG的驾驶员监测技术具有更广泛的发展空间。处于真实环境下，光线是影响rPPG对驾驶员检测准确率最大的因素。Wu等[8]将神经网络用于个体心率的预测，并在不同的天气条件下进行了检验，实践证明神经网络有效地提高了检测的鲁棒性与准确率，提升了rPPG对不同光照噪声的抵抗能力。而Huang等[6]基于统计信号处理及蒙特卡洛模拟提出了一个概率模型，并收集了一个驾驶数据库提供测试，在不同的场景及环境下，Huang等提出的模型都优于其他算法。此外，Tsai等[76]以心率变异性作为疲劳判断指标，提出了一种基于rPPG的汽车驾驶员疲劳状态监测方法，并以此设计了一个疲劳预警系统，保障了司机的行车安全。无接触的检测方式可以避免佩戴各种仪器对驾驶员带来的不适感，以一种不易察觉的方式完成个人的体征检测，为驾驶员的安全提供帮助。

2.4 婴幼儿监护

新生儿的皮肤尚未发育完全，与外界物理设备的接触可能会导致皮肤受损。基于rPPG的无接触体征监测技术可以有效地避免接触式仪器对婴幼儿皮肤可能造成的伤害。最新的研究结果表明，rPPG在对于新生儿心率及呼吸率的监测上面，展现出了良好的实验结果。Villarroel等[77]提出的多任务深度学习算法，在不同的光照条件下都能很好地获取幼儿的皮肤信息，在从医院收集的数据上进行测试，预测心率与参考心率的平均误差为2.3次/min，并且完成了持续的监测。Nagy等[78]开发设计了一个基于单摄像头的早产儿监护系统。该系统可以在白天使用单色摄像机，在夜晚中使用近红外技术捕获婴幼儿数据。提出的基于深度学习的方法，具有高效的检测效率，同时又不耗费巨大的计算资源，在相关的NICU数据集上展现了良好的测试结果。基于rPPG的监护系统可以在不对婴幼儿产生影响的情况收集个体的心率及呼吸信息，这对提升婴幼儿尤其是早产儿的存活率有着重要的意义。

2.5 其他应用

除了以上所提及的应用场景，rPPG还有其他的潜在的应用前景。比如个体的日常健康管理，个体精神状况、心理状况检查，运动员的运动表现监测等。RPPG有着广阔的发展前景等待探索，有着巨大的潜力发展成为一门强大的心率检测技术。

3 未来的研究方向

过去的十几年间，rPPG各方面的性能都得到了很大的提升，从实验室研究到临床应用，再到商业产品的开发，基于相机的新型检测方式带给了受检者舒适的体验。但是rPPG仍处于技术的研发阶段，存在着一定的局限性需要进一步去弥补和提高。为了进一步满足实际应用的需求，rPPG的发展需要解决以下的两个问题。

3.1 皮肤差异

光线对不同位置皮肤的穿透深度不同，表皮对光线的吸收强度也不同。目前的研究结果表明，大部分rPPG算法在黑色人种身上的实验效果是较差的[52]，同样的情况也出现在以PPG为核心技术的部分运动手表中。这是合理的，rPPG与PPG都是以光作为探测源，而黑色素是人类皮肤的主要色素体。光线到达表皮再继续深入内部，在表皮处会有一定强度的衰减，导致进入皮肤深层的光强降低。黑色素越多，对光线的吸收强度越大，这一定程度上减弱了信号，降低了信噪比，增大了检测结果的误差。除了人种的差异之外，面部皮肤的遮掩如纹身、毛发，或者当受检者处于高光环境而导致面部大面积油光反射，这些因素都会对微弱的周期性颜色变化信息产生干扰，从而rPPG的检测准确率也会降低。进一步的工作可以集中于针对这些干扰因素而提出检测性能更高的rPPG算法。

3.2 数据库

随着深度学习的发展，rPPG算法逐渐由传统的计算框架改由利用神经网络进行特征的提取与结果的估计，而高质量的数据对基于深度学习的rPPG算法开发是非常重要的。此外，对于所提出的新算法也同样需要大量的数据进行评测。然而，目前常见的数据库大多数是在可控条件下采集的，施加的干扰大部分是人为添加。而在现实场景中，环境、个体对rPPG带来的干扰是不可控的，同时也更具多样化。因此，需要更多更全面、更具多样性的数据库提出并共享，以此来评测所提出的rPPG算法，以及促进更多更高效和准确的检测算法开发。同时，目前的数据集主要的实验人员为健康的成年人，婴幼儿、老年人以及有相关心血管生理疾病的病人等实验人员的数据极少，而这一部分数据对于提升算法的泛化能力是极为重要的。因此，也需要有针对这一部分人群的数据库提出，以此来对新算法的性能进行评估。

3.3 其他限制

除了上述两个主要问题之外，检测距离的限制，检测速度及实用性同样是需要进一步解决的问题。目前所进行的研究，人脸与相机之前的距离多为0.6 m左右，这在大多数情况适用于手机进行自我检测，在实际应用中需要的距离往往更长，如ICU的监护，运动员的生理检测等。目前的rPPG算法主要检测一段时间的平均值，这更适用于常规长时间的健康状况监测，在Chen的工作也提到，rPPG更适用于中医类似的监测系统，在需要实时放映心脏运作情况如ICU等医护场所，rPPG存在着较大的局限。

基于视频的心率检测方法具有很大很广的应用前景和潜能等待着挖掘与研究，同样相信rPPG在生理监测、远程医疗等领域能发挥出重要的作用。

4 总结

远程光电容积描计法是逐渐发展起来的一门无接触生理体征参数测量技术，开展相应的研究具有十分重要的理论意义及使用价值。然而，目前仍存在着大量的难题需要去进一步地解决。本文总结了当前rPPG主流的算法模型，就rPPG测量的各项生理指标进行了介绍，以及就未来rPPG的研究前景进行展望。为了适应不同的临床场景，目前已经开发了多种具有较高准确率和鲁棒性的算法，并已在驾驶、医疗监测等领域完成初步应用。希望这篇综述能让读者对rPPG有进一步的认识，也希望rPPG能够进一步发展，真正在公共安全、健康管理及医疗领域发挥其应用价值。