基于图像光电容积描记法的心率测量

李炳霖，葛辉琼，刘振瑶，张爽，嵇晓强

（长春理工大学 生命科学技术学院，长春 130022）

长期进行心率监测可以对心血管疾病进行有效的防治［1-2］。心率是疾病和死亡率的有力预测因子，心率的相对稳定对于预防相关心脏疾病有重要意义［3-4］。

心率的测量方法包括心电描记法（electrocardiography，ECG）、光电容积描记法（photoplethysmograph，PPG），这两种方法均属于接触测量方法，需要与人体皮肤接触，这对敏感皮肤的受试者（如新生儿）和大面积烧伤患者不适用，最重要的是无法实现远程测量［5］。由光电容积描记技术（PPG）衍生而来的图像光电容积描记（Imaging photoplethysmography，IPPG）成为近年来深入研究的热点。视频非接触生理信号采集起源于2008年，Verkruysse等人［6］提出在正常光照条件下，环境光可以获得描记信号，为图像光电容积描记法提供了研究基础。这一研究领域真正发展于2010年，由哈佛大学Poh等人［7-8］通过设定感兴趣区域（ROI），采用了独立成分分析（ICA）实现心率评估。为了这项研究更加地适用于日常生活，东北大学赵海等人［9］采用手机摄像头完成了非接触测量心率与血压，基于手机的设计更加适用于生活，提高使用的便捷程度。在视频非接触测量技术的发展中，由于非接触测量会存在较大的噪声干扰，因此国内外的研究人员针对这一问题在信号增强、通道选择、ROI区域选取进行了研究与改进［10-12］。由于日常生活中，自然光线往往包含灯光频闪与光线不均的问题，这会使得实验条件发生变化进而影响实验结果。由于血液对不同光的吸收不同，因此不同的通道选择也会对实验结果产生影响，然而对于通道选择、光线变化对心率计算的具体影响程度依旧没有明确的说明。需要实验对比以得到准确结论。

针对上述问题，通过采集环境光与均匀打光条件下的人脸面部视频，对比不同光线和不同颜色通道的心率计算值，并与指夹式脉搏测量仪的心率进行对比，探讨光线和颜色通道对于心率检测精度的影响。

1 IPPG技术原理

皮肤组织中的黑色素与血液中血红蛋白是光的主要的吸收成分［13］，根据人体皮肤特性，位于皮肤最外侧化0.05～0.15 mm的表皮层只能吸收光线，而不能散射光线；表皮层下0.4～4 mm是真皮层，光波长越长在皮肤中可以达到相对更深的深度［14］。真皮层中有着丰富的毛细血管，皮肤组织中光吸收和散射主要发生在真皮层。真皮层内血液中的血红蛋白是吸收可见光的主要成分。

由于血液与骨骼对于光线吸收的不同，经皮肤散射后的光被传感器探测，将其转化为电信号时得到了直流与交流信号，选择交流信号得到血液流动的特点。这种方法被称为光电容积脉搏波描记法（PPG）。图像光电容积描记法是在PPG的基础上，将难以察觉的皮肤光线变化以光学传感器接收［5］。与PPG不同，IPPG不需要与皮肤接触进行采集，可以实现完全无接触测量，原理图如图1所示。

图1 图像光电容积描记（IPPG）原理图

2 视频非接触心率检测算法

算法首先采集人脸面部视频，进行视频转帧图片、人脸识别、对人脸图像进行面部皮肤提取，获取感兴趣区域（ROI），对ROI分成三个R、G、B通道，通过空间像素平均获得特定时间内的时间序列即IPPG原始信号，对原始信号进行信号处理，通过带通滤波与小波变换去除噪声，得到纯净IPPG信号，通过快速傅里叶变换（FFT）获得功率谱最大波峰，计算心率值。具体流程如图2所示。

图2 非接触心率检测方法流程图

将采集到的人脸视频使用人脸检测器实现视频人脸识别。通过循环读取全部视频帧，调取测试文件与实际图层的权重，通过置信度是否大于0.5进行过滤，若大于默认值，则获取位置信息并保存。

2.1 肤色检测

由于人的面部包括眉毛、眼睛、嘴巴等五官，包含头发遮挡等多个因素，使得提取到的信号噪声变大。因此在人脸检测之后需要提取面部感兴趣区域。肤色检测是ROI提取的热门方法，其中选取的颜色空间包括YCrCb、HSV等。通过研究对比了两种颜色空间（YCrCb、HSV）在面部肤色检测中的实际性能，最终选择基于HSV颜色空间H、S、V范围筛选法。

HSV模型是一种直观的颜色模型，其颜色参数分别是色调（H）、饱和度（S）和明度（V）。RGB与HSV之间的计算如式（1）所示。正常黄种人的H分量大约在7～20之间，S分量大约在28～256之间，V分量大约在50～256之间。根据上述范围设置阈值，遍历图像，判断HSV通道的数值，将符合阈值范围的像素点置为255白色，其余点置为0黑色，由此得到皮肤的黑白二值图像。皮肤检测结果如图3所示。

图3 肤色检测图

通过对比可以发现，基于HSV颜色空间的H、S、V分量范围筛选效果较YCrCb颜色空间在五官去除方面效果更好，因此使用HSV建立算法模型对人脸目标区域进行肤色检测。

通过将人脸检测图片与肤色提取的结果进行“与”运算，得到了去除五官及头发遮挡后的纯净人脸皮肤区域的RGB图片，并以此作为最终研究选定的人脸感兴趣区域。

2.2 颜色通道分离

将上述感兴趣区域图片进行颜色通道分离，将其分离为R、G、B三个单通道图像，如图4所示。通过计算单通道内ROI区域的像素均值，以时间为横坐标，像素均值为纵坐标，绘制信号原始曲线。原始曲线如图5所示。

图4 颜色通道分离图

图5 原始曲线图

2.3 信号去噪处理

由于原始信号往往包含了呼吸以及骨骼肌收缩的人体不自主运动等干扰，这使得信号中含有一定的低频噪声，与此同时环境中灯光的闪频也会造成一定的噪声，会导致周期分析无法得到所希望的结果。为了提高信号的信噪比，需要对原始信号进行去噪处理，通过小波变换与带通滤波相结合进行去噪处理。

本文采用二进制小波去噪分别对三通道原始信号进行多尺度分析，得到了重构的IPPG信号。由于本文采用手机摄像头拍摄，采集频率为30 fps，因此可采集到的频率为0～15 Hz。采用db8小波基进行5层小波分解，分解过程如图6所示，由于本文需要计算心率，心率信号主要在第三、第四层中，因此将第三层与第四层相加得到重构IPPG信号。

图6 小波变换重构IPPG信号图

本文通过巴特沃斯带通滤波器处理R、G、B三个通道的原始IPPG信号。带通滤波器的作用是衰减高频和低频频带信息，保留感兴趣频域范围的信息。根据人体的心率范围是42～180次/分钟（bpm），将感兴趣频带范围设置为［0.7，3］Hz，以覆盖正常的心率范围。

通过数字带通滤波器滤除［0.7，3］Hz范围外的绝大部分噪声信号。信号去噪处理后波形图如图7所示。

图7 去噪后结果图

2.4 心率值提取

傅里叶原理表明任何连续测量的时序信号，都可以表示为不同频率的正弦波信号的无限叠加。FFT是离散傅里叶变换的快速算法，可以将信号从时域变换到频域。本实验中采集的人脸视频持续时长平均在30 s左右，每帧人脸图片的像素均值作为一个采样点，且采样频率与原始IPPG信号频率基本同步。

由于IPPG信号反映了人体心率的周期变化趋势，因此，对去噪后的IPPG信号进行FFT后，IPPG信号包含了与心率频率相近的基础振荡频率，根据频域中能量的最大处对应的频率即为心率对应的频率。心率（Heart Rate，HR）计算公式如下：

fHR是频域中能量最大处对应的频率。如图8所示，以G通道为例，给出FFT变换后的频谱图。

图8 G通道FFT变换频谱图

3 实验与结果分析

3.1 实验装置与过程

实验采集使用手机自带的摄像头，采集的视频持续时长为30 s左右，采样频率均为30 fps。自然光场景下存在光照不均匀与灯光频闪的情况，因此实验设置在不均匀的自然光场景下和均匀打光场景下分别对10名参与者面部进行视频采集，要求被试者静坐闭眼，受试者面部正对摄像头并与之水平相距60 cm左右，同时使用透射式手指脉搏血氧仪采集心率作为本文的实际参考心率值，均匀光采集过程如图9所示。

图9 均匀打光采集示意图

3.2 评价指标

为了得到较为准确的实验结果，需要对人脸视频中预测得到的心率值与通过心率传感器测量的心率结果进行分析。同时还将使用在心率测量中的重要标准评估指标来评估测量方法的准确性，分别是皮尔森相关系数、平均绝对误差、误差的标准差、均方根误差和平均误差率。

（1）皮尔森相关系数

皮尔森相关系数用来评价非接触测试心率与实际心率的线性相关程度，计算如下：

其中，r为皮尔森相关系数，系数越大，即两变量的相关性越大；n为样本数量；Xi、Yi为数据集中的第i个样本；、表示样本均值；σX、σY为样本标准差。

（2）平均绝对误差

平均绝对误差的计算公式如式（5）所示。其中N是进行心率检测的样本总个数；i为所计算的样本序号。心率测量值（HRm）和心率实际值（HRg）的误差如式（4）所示：

（3）标准差

误差的标准差（Standard Deviation，SD），即心率检测算法测量误差值的标准差，表示心率误差值之间的离散程度，计算公式如下所示。

（4）均方根误差

误差的均方根误差（Root Mean Squared Error），记做RMSE，即心率检测算法测量误差值的平方和与进行心率检测视频的样本个数N比值的平方根，RMSE的数值反映了心率检测算法的精确度。计算公式如下：

（5）平均误差率

平均误差率的计算公式如下：

3.3 实验结果与讨论

为了探究颜色通道对于心率测量的实际影响，此项研究分析在不考虑光照的前提下进行。将整体20名受试者的指尖脉搏心率实际值与算法评估得到的三通道心率测量值整体分析，并使用皮尔森相关系数来分别评价R、G、B三通道对检测到的心率值和实际心率测量值之间的线性相关程度。计算得到的不同颜色通道对心率测量的实验分析结果如表1所示。

表1 不同颜色通道对心率检测精度的影响结果（不考虑环境光线）

由上表可以看出，G通道对心率测量值的相关系数最大，即线性相关程度最高，因此G通道与R通道和B通道相比是作为心率参数检测的最佳通道。这也与多数研究者提出的采用G通道测量相符合。由此给出了通道选择对于心率计算的具体差异。

为了探究环境光线对于心率测量的实际影响，实验分别在自然光环境与均匀打光场景下进行。根据上一实验结论，此处选择G通道进行光线比较。绘制了自然光环境下G通道心率测量值和均匀光环境下G通道心率测量值与真实值的线性相关比较图，如图10和图11所示。

图10 自然光下G通道心率测量效果拟合图

图11 均匀光下G通道心率测量效果拟合图

不同光线条件下，G通道心率测量值分析如表2所示。在均匀光光线条件下，均方误差与平均误差率都要好于非均匀光条件。

表2 光线对心率检测精度的影响结果

因此，可以得出实验环境中的光线对测量的准确度有较大的影响，这也证明在心率测试过程中应保证采光充足且均匀。

由此可以得到光线与通道均在一定程度上影响心率的测量，通过改善光线均匀程度并选取G通道计算心率，可以得到最为有效的测量效果。

为了进一步验证算法的性能，将所得结果与当前领域研究的其他文献进行了比较，通过皮尔森相关系数、误差的标准差、均方根误差的比较，衡量所提心率计算的有效性。基于上文得到的结果，由于均匀光线下绿色通道是最好的计算方法，因此将均匀光条件下的绿色通道计算心率方法与其他文献计算结果进行对比。相关结果如表3所示。

表3 心率检测算法的比较结果

根据与文献方法的结果对比，可以判断视频非接触测量心率算法具有一定的测量精确度，通过散点图比较了非接触测量心率与手指脉搏血氧仪测量心率的结果，并通过散点绘制了最佳拟合线。如图12展示了非接触心率测量与手指脉搏血氧仪心率测量的相关性。通过Bland-Altman图对计算心率与实际心率之间进行一致性评估，如图13所示。横坐标为实际心率与测量心率的平均值，纵坐标为两者差值，一致性区间为[m-1.96SD,m+1.96SD]，m为误差均值，95%以上的数据差值落入区间表示具有良好的一致性。

图12 均匀光下结果图

图13 均匀光下Bland-Altman一致性分析图

4 结论

IPPG技术是一种可以远程非接触测量人体生理参数指标的方法，可以应用于婴儿的监护、远程医疗以及居家护理，真正实现无接触测量，对于医疗发展有着重要的研究意义。本文通过比较皮肤提取的方法获取更好的全脸皮肤区域，给出了三个颜色通道对于非接触心率计算的具体影响程度，这也与绿色光更容易被人体血液吸收的生理学知识相吻合。并给出了实际外在环境的光线对非接触心率测量的影响程度。通过实验验证表明：均匀光条件下均方根误差为1.14，平均误差率为1.38%，心率测量精度满足临床测量要求。在未来的工作中将进一步研究改善光照突变对于实验的影响，并将视频非接触测量生理信号应用于更多指标与更多领域的研究。