基于面部视频的自适应非接触式心率检测方法

赵玲娜

(安徽水利水电职业技术学院，安徽 合肥 231603)

心率是诊断心血管疾病和反映人体健康状态的重要指标。在临床医疗中，心电图一直以来都是心率检测的国际标准，但是作心电图的过程繁琐复杂，检测成本昂贵，很难普及到人们的日常生活中去[1]。为了避免指甲式心率检测仪与人体接触，而引起不适，研究者提出了一种基于图像的光学体积描记图法(image Photoplethysmography, iPPG)的非接触式心率检测方法[2]。

心脏的跳动会引起血管里血液流量的改变，脸部皮肤血管分布密集，而且表皮较薄，脸部血管里血液流量的变化会引起脸部皮肤的颜色产生变化。这种变化用肉眼难以发现，但是可以被光学摄像机识别。摄像机捕捉到的脸部颜色变化可以用于构造血液容积脉搏(Blood Volumn Pulse, BVP)信号。利用信号处理的相关理论对BVP信号进行去噪优化处理后，其变化的趋势就可以间接地反应心跳规律。但是，通过iPPG获取的BVP信号容易受到头部晃动、面部表情以及环境光照的影响，导致心率测量误差增大，不能准确反映被试者当前的心脏搏动情况。

为了解决上述问题，本文提出了一种名叫基于统计学框架的自适应滤波法，这是一种将ROI区域的选择和瞬时心率都融入到统计学框架中，并通过自适应滤波器对有用信号和噪声信号进行分离的方法。

2 方法

本文的方法是从脸部视频中提取BVP信号，再通过BVP信号进行心率估计。为了提高BVP信号的质量，本文在ROI区域的选取、BVP信号去噪、心率结果筛选等方面进行详细的叙述。本文方法的主要步骤，如图1所示，包括：①人脸区域检测和跟踪；②基于概率的ROI选择；③LMS自适应滤波；④时频域阈值处理。

图1 方法流程框架

2.1 人脸区域检测与跟踪

为了排除无关区域的干扰，以及减轻脸部晃动的影响，人脸区域的检测和跟踪是不可或缺的一步。我们采用了Viola-Jones人脸检测器检测出人脸区域，并用判别响应图拟合(DRMF)方法[3]识别人脸中的66个特征点。之后使用KLT跟踪技术[4]对人脸的运动进行跟踪。

2.2 基于概率的ROI选择

首先将每一帧的人脸区域分割为N个子区域，随后分别计算每个子区域的绿色通道的像素灰度均值，共构建N条随时间变化的绿色光强信号I (n,i )。其中n表示帧序列，i表示子区域序列。由于不同的子区域包含有不同的心跳相关信息量，所以只要对I(n,i ) 赋予权值H(i)，将包含心跳相关信息量较大的区域设定高权值，将信息量小的区域设定低权值，就可以把满足期望的子区域从人脸中筛选出来，从而排除不相关区域的干扰。接下来只要设计一套自动的权值制定系统，并将每个子区域的灰度均值PPGI(n,i)按权重累加，就可以构建出期望的BVP信号。

(1)

信噪比表示信号的可用信号功率和噪声信号功率的比值，是评价信号质量的常用标准。所以I(n,i)的信噪比可以作为该子区域权值H(i)制定的依据。但是，由于I(n,i)的有用信号和噪声信号事先无法得知，我们只能根据先验知识将满足我们期望的信号设置为有用信号。

理想的I(n,i)具有准周期性，其功率谱密度函数F(f,i)在心跳频率附近会出现一个谱峰，而在其他频率区域函数值则相对较低。功率谱密度函数的面积可以表示信号的功率，所以本文将F(f,i)中“尖峰”的面积作为有用信号的功率，将其余部分的面积作为噪声信号的功率。因此，H(i)和F(f,i)之间的关系可以通过如下公式建立：

(2)

其中,a表示F(f,i)谱峰对应的频率，b表示谱峰宽度的1/2，[a-b,a+b]表示有用信号的频段。T表示iPPG(n,i)的采样点数，即视频的总帧数。α表示拉伸参数，主要用于权重的非线性拉伸，从而增加高权值的比重。

2.3 LMS自适应滤波

虽然对脸部区域分块处理可以排除不相关区域的干扰，但是由于子区域包含的像素点较少，构建的I(n,i)往往容易受到运动伪影、光照变化、表情变化等一系列外界因素所引起的干扰。这会导致功率谱密度函数F(f,i)出现多个谱峰，进而在谱峰选择时可能会出错，得到的H(i)无法准确地反映该区域包含的心跳信息量。

未作任何处理的子区域iPPG信号Iraw(n,i)可以表示为两种信号的组合：

Iraw(n,i)=Xp(n,i)+Xn(n,i)

(3)

其中，Xp(n,i)表示由血管中血液流量变化所引起的颜色变化信号，Xn(n,i)表示噪声信号。

由于人的心跳在短时间内不会发生剧烈的变化，可以认为心率信号Xp(n,i)具有近周期性的特质；而在现实情况中，噪声信号Xn(n,i)往往是非周期的宽带信号。利用Xp(n,i)和Xn(n,i)在周期上的差异性，有限长最小均方误差(LMS)自适应滤波器可以对两种信号进行有效地分离处理，LMS自适应滤波器结构图如图2所示。

图2 LMS自适应滤波器结构图

如图2所示，本文把Iraw(n,i)作为输入信号送入自适应滤波器，把Iraw(n,i)的时延信号Iraw(n-D,i)作为期望信号，其中D为时延长度。经过滤波处理后，我们将输出信号定义为Iy(n,i)，将误差信号定义为iPPGe(n,i)。上述信号用公式分别可以表示为：

Iraw(n-D,i)=Xp(n-D,i)+Xn(n-D,i)

(4)

Iy(n,i)=w(n,i)HXp(n,i)+wH(n,i)Xn(n,i)

(5)

Ie(n,i)=Iraw(n-D,i)-Iy(n,i)

(6)

只要D选择为一个合适的值，Xn(n,i)与其延时信号Xn(n-D,i)就不具有相关性。这种情况下，不论怎样调整滤波器的权重，wH(n,i)Xn(n,i)都无法逼近Xn(n-D,i)。相反，Xp(n,i)由于具有准周期性，它与其延时信号Xp(n-D,i)总是相关的，因此，利用自适应滤波器可以使wH(n,i)Xp(n,i)和Xp(n-D,i)最大程度地逼近。

LMS算法的基本原理是根据误差反馈信号Ie(n,i)当前时刻的统计规律不断调整滤波器抽头系数wH(n,i)，使Ie(n,i)的均方值J(n,i)最小。当Ie(n,i)的统计规律发生变化时，抽头系数wH(n,i)也会随之发生变化，所以输入信号Iraw(n,i)可以是随机信号，其统计规律不需要事先得到确定。

w(n,i)=argmin[J(n,i) ]

(7)

J(n,i)=E[|Ie(n,i) |2]

(8)

J(n,i)存在一个最小值，即这是一个优化问题，所以只要沿着J(n,i)的瞬时梯度就找到其最优点。J(n,i)的瞬时梯度可以表示为：

J(n,i)=-Iraw(n,i)Ie(n,i)

(9)

3 实 验

3.1 实验环境设置

本文的视频采集单元为一台CMOS网络摄像头(罗技HD 1080p)，采集速率为30fps，视频帧图片的分辨率为640*480像素，采用avi格式保存。视频采集时长为30s。视频数据处理单元为消费水平的计算机。测试者的头部要求与摄像头保持在同一水平线上，并且两者的水平距离大约在0.5米左右。视频的拍摄环境为实验室内，光源为日光灯，采集的数据都在MATLAB平台上进行处理。

一共有10个志愿者参与到了本次实验数据的采集，其中包括5名男性和5名女性，年龄是18岁到30岁之间。实验一共拍摄了N组视频，包括80组静态视频，即测试者脸部保持静止的状态，以及80组动态视频，即测试者脸部有轻微晃动，或者存在表情变化。根据多次实验结果，本文的脸部子区域边长n选定为20像素点，谱峰半宽b选为0.2Hz，LMS自适应滤波器的步长μ选定为0.1，期望信号的时延D选定为20帧，拉升系数α选定为10。

3.2 实验1：静态情况下的误差分析

表1 静态场景中主流方法对比

从表1可知，在测试者配合的情况下，四种方法的绝对误差均值都在1.5bpm以内，标准差都在2bpm以内，RMSE都在2bmp内，心率误判率都没有超过2%，而且相关系数都高于0.9。这些数据反映了静态情况下5种方法都可以准确地检测出心率。通过对四种方法数据的纵向进行对比，本文的方法的误差均值、标准差、RMSE、误判率都要略低于其他方法，相关系数都要略高于其他方法。这可能由于CVPR2014和CVRP2016方法夹杂了与心率无关的信号，导致心率检测对程受到了一定的干扰，而BOE2015则因没有排除通频带内噪声的干扰，以至于影响了权值的制定。此外，由于傅里叶变换没有综合考虑时域和频域的信息，求得的心率值不能覆盖整段视频的时间。因此，在测试者保持静态情况下，本文的方法具有相对较高的准确率。

3.3 实验2：动态情况下的误差分析

现实环境中难免会存在一些影响检测结果的干扰因素，比如测试者头部的轻微晃动、脸部表情的变化等等。测试者不配合情况下的几种方法的误差统计如表2所列。从整体上看，四种方法的相关系数相比配合情况下都有较为明显的下降。

表2 动态场景中主流方法对比

数据的纵向对比表明：动态情况下CVPR2014的误判率最大，相关系数最低，算法性能最不稳定。快速心率检测的平均误差上限为5bpm，CVPR2014[5]的平均误差为5.273bpm已经超出了规定的上限，因此对运动的鲁棒性并不达标。BOE2015[6]算法的性能也受到了严重的影响，这是由于当脸部存在运动干扰时，其子区域的iPPG信号的频谱将会不再呈现尖峰状，或者会出现多个谱峰，造成权值选取的失真。 CVPR2016[7]和TBE2020[8]相比前两种方法准确率略占优势，但是依然没有本文方法对抗动态干扰的效果好。

4 结 论

本文首先利用人脸检测与跟踪技术对测试者脸部进行跟踪,随后通过基于概率的ROI选择框架选择脸部的检测区域，排除不相关区域的干扰。在概率权值的制定过程中，LMS自适应滤波器起到了分量有用信号和噪声信号的作用，进一步确保ROI区域选择的准确性。最后对BVP信号做连续小波变换并得到瞬时心率。通过对瞬时心率值的筛选，受到严重污染的检测值会被彻底滤除，对瞬时心率求均值，则可以得到涵盖整段视频的平均心率值。但是本文的方法仍然存在一些缺陷，比如在测试者的脸部频繁旋转、光照变化强度过大的情况下，测得的心率会出现严重的失真，这是我们后续有待解决的问题。