基于视频分析的呼吸检测算法

潘今一，李 杰，申 瑜(浙江工业大学 信息工程学院，浙江 杭州 310023)

基于视频分析的呼吸检测算法

潘今一，李 杰，申 瑜
(浙江工业大学 信息工程学院，浙江 杭州 310023)

针对传统视频监控蒙被子时无法进行呼吸判断的问题，提出一种改进的欧拉影像放大算法(Eulerian video magnification，EVM)进行呼吸检测，并结合运动历史图(Motion history image，MHI)和网格标记法来去除干扰影响.该算法核心是利用改进的EVM获得有运动前景目标，利用MHI来检测图像中的大运动，并用网格标记法除去手、头等外部运动干扰.结果表明：该方法实现简单，实时性好，可以有效除去呼吸以外运动对正常呼吸的干扰.

欧拉影像放大算法；呼吸检测；运动历史图 ；网格标记法 ；干扰

随着视频监控的逐渐普及，视频智能行为分析越来越受到人们的重视.针对特殊环境下的重点监控如监狱等，被重点看护人员的一举一动随时都要在人们的监控中.特别是被重点看护人员接受不了当下的环境、压力或者这种毫无尽头的日子，他们甚至会产生自杀的冲动.当被重点看护人员生病就诊时，他们躺在病床上休息尤其是蒙在被子中休息时，普通监控下无法判断此人是否在正常休息，因此呼吸检测显得格外重要.当重点被看护人员每分钟呼吸次数处在正常人每分钟呼吸次数范围内，此时判断为正常呼吸，看护人员不用时时查看病人以致影响他们的休息；当呼吸不处于此范围时，此时判断为异常呼吸，看护人员需要及时查看，以防灾难的发生.

关于呼吸检测的研究，国内外呼吸检测主要以非接触式为研究重点.文献[1-2]提出无线传感式的呼吸检测，其设备复杂，环境影响大，无法使用到重点看护的日常应用中；文献[3]运用呼吸面积特征进行呼吸检测，其无法排除外部干扰运动的影响；文献[4]提出了基于光流的呼吸检测，光流法不可排除速度慢有规律的运动，而处理速度较慢；最近关于智能手环的呼吸乃至睡眠检测比较流行，且廉价、便携，但维护麻烦、易丢失.为解决此问题，提出了一种基于视频的呼吸检测系统.以数字图像处理[5-6]为基础，用EVM[7-8]检测并放大运动来获得运动前景[9-10]，用运动历史图[11-12]和网格标记法来除去运动前景中外部运动的干扰，统计呼吸时人体肚子区域上下起伏时的周期，通过一系列的周期判断呼吸是否有异常.

1 基于EVM的呼吸统计

EVM假设整幅图像都在不断变化，只是这些变化信号具有不同的振幅以及频率特性，而将要研究的变化信号就隐藏其中.在这种思路下，对于这些微弱的变化的放大实质上就是择出并且增强所要研究的频段.

EVM核心思想总结：1) 找出“变”的部分.假设所研究的整个场景都在不断发生变化，然而我们所感兴趣的微弱变化信号就隐藏在整个场景中，通过相应的方法找出“变”的部分；2) 放大“变”的部分.利用相应的图像信号处理技术，分解“变”的部分，然后通过相应的技术进行增强.

1.1 空间滤波

空间滤波将视频序列进行拉普拉斯金字塔[13]多分辨率分解，下面介绍高斯—拉普拉斯金字塔.

高斯金字塔的产生可以表达为

GaussIi=[ω*GaussIi+1]↓2

(1)

式中：GaussIi为高斯金字塔的第i层；↓为下采样；*为卷积算子；ω为高斯核，和为1.

拉普拉斯金字塔式通过高斯金字塔中两层图像之间的差异获得的.为获得两层图像之间的差异，必须把低分辨率的图像进行上采样，使其尺寸大小和高分辨率的图像一样.令i代表拉普拉斯金字塔的第i层，则有

LapIi=GaussIi-PyrUp(GaussIi+1)

(2)

式中：PyrUp为高斯金字塔上采样；GaussIi为高斯金字塔的第i层；LapIi为拉普拉斯金字塔的第i层.

1.2 时域滤波

不同空间频率的基带通过空间滤波获得，时域滤波则是对空间滤波后每个基带进行带通滤波，目的是获取感兴趣信号.获取感兴趣信号需要选择合适的带通滤波器以及感兴趣信号的频率特征，提取的感兴趣信号将会在后面进行放大.人体呼吸信号通常是视频序列中的某一部分频段，所以采用二阶IIR带通滤波器对得到的经过多分辨率分解后的视频序列进行滤波.二阶IIR带通滤波器对振铃现象具有很好的抑制作用.二阶IIR带通滤波器的形式为

Yn=b0×Xn+b1×Xn-1+b2×Xn-2-a1×Xn-1-a2×Xn-2

(3)

式中：a1,a2,b0,b1,b2为二阶滤波器IIR系数；Xn,Xn-1,Xn-2为输入图像；Yn为输出图像.

1.3Y通道提取

YIQ颜色空间是NTSC制式电视机系统所采用的颜色空间，Y表示的是彩色电视或者是黑白电视的亮度信号，I表示彩色由橙色一直到青色，Q表示色彩由紫色一直到黄绿色.采用此颜色空间可以方便在后期使用一个衰减因子来减少噪声：对于只想放大动作变化的情况，颜色就应该不发生太大变化，因此用这个衰减因子来减小放大后的I和Q两个分量值.

提取YIQ颜色空间的拉普拉斯金字塔图像最底层Y通道图像，Y通道是亮度信号，可以除去颜色信息对运动的干扰.经放大函数将Y通道图像进行放大，放大后经高斯滤波及阈值化处理获得二值化图像，从而获得呼吸运动的前景点.二值化是为了除去图像自身携带的小噪声对呼吸检测的影响.

1.4 自更新的周期统计

统计提取的前景点灰度值之和，运用统计获得呼吸的周期.人的正常呼吸本身属于有周期的运动，Y通道图像经过二值化后，前景点会出现周期性的变化.正常人呼吸时周期都是在一个范围内，不同人在不同时刻会有不同的呼吸周期，系统实时的自更新当前正常呼吸平均值为

(4)

式中：Ns为当前平均呼吸；Ni为最近第i次正常周期；Nn为正常统计总数；i∈[1,…,12].

第i次呼吸判断公式为

(5)

式中：Mi为第i次呼吸判断；Ns为当前平均呼吸；T为平均呼吸阈值；Ci为第i次呼吸周期；Th为正常周期高阈值；Tl为正常周期低阈值；i∈[1,…,12].

呼吸判断公式为

(6)

式中：Np为呼吸判断；Mi为第i次呼吸判断；Nc为周期统计数；Tb为呼吸正常周期百分比.

2 基于MHI和网格标记法的干扰去除

在前面的周期统计中只是统计有运动的前景点，而实际呼吸检测中存在外部运动或者被检测者头部、手部等身体某部分的一些小的运动对呼吸检测造成不可去除的干扰，如图1所示.当有外人挥动手臂时，外部运动干扰也会生成运动历史图，如图1(b)所示.未经干扰去除的前景点存在很多的干扰，如图1(c)所示.利用MHI和网格标记法可有效去除呼吸以外的运动的干扰，如图1(d)所示.

图1 外部手运动干扰去除过程图Fig.1 The processing of hand interference

2.1 运动历史图(MHI)

MHI是灰度图像，其值为标量值.MHI体现的是运动历史时间函数，越近发生的运动在此处的灰度值越大，相反，越早发生的运动其灰度值越小.Bina(x,y)表示二值化运动图像，每一点的像素值在MHI图像为

(7)

式中τ为运动持续时间，τ赋值相对较大，是为了尽可能的排除运动留下的干扰.

由式(7)可以看出：MHI是标量图像，敏感于物体的运动方向，并且当前行为的运动方向用灰度变化趋势来表示.因此，MHI图像既包含运动的空间特征也包含运动的时间信息，在空间上，它描述了运动发生的区域，在时间上，它描述了运动发生的方式.

MHI转换为0～255的灰度图像，并对灰度图像二值化，计算过程为

(8)

(9)

式中：Mhi(x,y)为MHI图；τ为运动持续时间；Binary(x,y)为二值化图像；Gray(x,y)为灰度图像；T为二值化阈值常数.

当检测到的前景点总个数超过给定的阈值，则认为图像整体运动过大，如当人离开或者翻转身体等，此时系统重新进行初始化.

2.2 网格标记

网格标记是将原始图按一定大小的网格去重新划分，然后遍历每个网格，统计网格中有运动的前景点，若前景点数大于给定阈值，则该网格标记有运动目标.

先判断当前网格是否有大的前景运动，计算公式为

(10)

式中：W为图像宽；H为图像高；Gw为网格宽；Gh为网格高；Count为MHI的网格前景点；ForeGround(x,y)为网格运动判断函数；∂为网格比值.

当网格内有大运动时，对其后微小运动有较大的干扰，因此需对此网格进行延迟统计，公式为

(11)

式中：ForeGround(x,y)为网格运动判断函数；Count(x,y)为网格延迟统计数；n为初始延迟数.

统计所有网格Count(x,y)为0中的前景点，并由点构成的波形图的峰峰值时间差表示当前呼吸周期.当周期在正常范围时，删除周期链表中最早值，并把当前周期加入到链表中，由链表平均值表示当前周期，公式为

(12)

网格的大小选取适宜，不可过大也不可过小，过小会除去呼吸的前景点去，过大会保留运动干扰.阈值的选取也要适中，太小会使呼吸前景点除去，太大则会保留干扰点.常数不宜太大也不宜太小，太小则运动造成的干扰还没完全去除就又被统计，太大则会影响到后面图像正常运动的统计.

3 实验结果与分析

测试PC机的处理器是奔腾E2180，主频为2.0 GHz，测试视频为25 帧/s，分辨率为1 280×960，每四帧平均耗时110 ms，可以满足系统的实时性要求.

每四帧输出一个统计点，将输出点连成曲线，波形的峰峰值时间差表示一个周期.肚子、肺部因呼吸上下起伏周期范围为2～4 s，呼吸包括向上和向下两次达到最大值，因此，波形图正常周期为25～50，实际取值范围为24～54.

3.1 外部手干扰的呼吸检测

左下角有外部运动干扰，如2(a)所示.手部运动远远大于呼吸运动，生成的MHI如图2(b)所示，实际呼吸运动前景点如图2(c)所示.经MHI和网格标记法去除干扰后，统计呼吸周期性如图2(d)所示.由当前波形图计算得到当前波形周期的平均值为32，在正常取值范围内，因此判断为正常呼吸.

图2 外部手运动干扰下呼吸检测图Fig.2 Breath detecting with hand interference

3.2 蒙被子下的呼吸检测

蒙被子下的呼吸检测，如图3所示.普通方法对蒙被子情况时的呼吸是无法检测的，运用此方法仍然能有效的检测呼吸，图3(b)为实际呼吸前景图，图3(c)显示为呼吸波形图.由当前波形图计算得到当前波形周期的平均值为48，在正常取值范围内，因此判断为正常呼吸.

图3 蒙被子下呼吸检测图Fig.3 Breath detecting in the quilt

3.3 急促呼吸下的异常呼吸

急促呼吸下的呼吸检测，如图4所示.急促呼吸下人体的呼吸比较紊乱，从图4(b)呼吸波形中也可以看出：呼吸比较紊乱无规律可循，经过一段时间系统会用暗淡波形表示报警.异常判断是在一定的时间累积下判断，所以，暗淡波形是在一定的紊乱统计后才开始出现.

图4 异常呼吸检测图Fig.4 Abnormal breath detecting

对身边不同性别不等年龄30人，每人约2 min靠近相机的正常呼吸进行测试，结果如表1所示；对身边不同性别不等年龄30人，每人约2 min靠近相机的异常呼吸进行测试，结果如表2所示.

表1 正常呼吸检测结果Table 1 The result of normal breath detecting

表2 异常呼吸检测结果Table 2 The result of abnormal breath detecting

表1，2均进行了30次测试，该方法能够实时有效地检测特定场所下的呼吸检测，特别是对纹理性较强的目标检测，效果会更好.

4 结 论

通过改进的欧拉影像放大算法和MHI进行运动检测，并结合双层标记的网格法，它可以自适应的除去呼吸以外的运动干扰，并实时更新当前呼吸频率.相对于一般方法，它满足实时性与准确性，并且对硬件设备要求较低，对呼吸检测提供了一种可靠的检测方法，可应用于特定场合.由于相机远端的目标图像过小，目前主要是对相机近端目标进行测试，接下来可以通过仿射变换对远端目标进行仿射放大进行改进.

[1] 许会,任建,李邦宇,等.应用于超宽带呼吸检测的压缩感知算法研究[J].仪器仪表学报,2015,36(1):56-62.

[2] 范霖,陈向东,李宁.基于快速响应湿度传感器的无线呼吸检测系统[J].传感器与微系统,2015,34(3):84-86.

[3] 朱伟兴,唐亮,李新城,等.基于面积特征算子的猪呼吸频率检测[J].信息技术,2014(1):73-77.

[4] 赵凯旋,何东健,王恩泽.基于视频分析的奶牛呼吸频率与异常检测[J].农业机械学报,2014,45(10):258-263.

[5] RAFAEL C, GONZALEZ R E, WOODS.数字图像处理[M].阮秋琦,阮宇智，译.3版.北京:电子工业出版社，2007.

[6] BRADSKI G, KAEHLER A.Learning openCV[M].于仕琪，刘瑞祯，译.北京:清华大学出版社,2009.

[7] WU H Y, RUBINSTEIN M, SHIH E, et al. Eulerian video magnification for revealing subtle changes in the world[J]. ACM transactions on graphics，2012,31(4):13-15.

[8] LIU C, TORRALBA A, FREEMAN W T, et al. Motion magnification[J]. ACM transactions on graphics，2005,24(24):519-526.

[9] 王为，姚明海.基于计算机视觉的智能交通监控系统[J].浙江工业大学学报,2010,38(5):574-579.

[10] 郑莉莉，黄鲜萍，梁荣华.基于支持向量机的人体姿态识别[J].浙江工业大学学报,2012,40(6):670-675.

[11] 史久根,陈志辉.基于运动历史图像和椭圆拟合的手势分割[J].计算机工程与应用,2014(22):199-202.

[12] BRADSKI G R, JAMES W，DAVIS. Motion segmentation and pose recognition with motion history gradients[J]. Machine vision and applications,2002,13(5):174-184.

[13] 裴仁静.基于拉普拉斯金字塔的图像细节增强[J].计算机光盘软件与应用,2012(3):168-168.

(责任编辑：陈石平)

Breathing detecting algorithm based on video analysis

PAN Jinyi, LI Jie, SHEN Yu
(College of Information Engineering, Zhejiang University of Technology, Hangzhou 310023, China)

In the case of that in the traditional video surveillance, it is hard to judge wether the breathing under the quilt is normal or not, an improved Eulerian Video Magnification (EVM) is proposed to detect breathing in this paper. The Motion History Image (MHI) and marked grid method are combined with to remove interferences. The core of algorithm is to get foreground moving object with improved EVM, capture substantial motions with Motion History Image (MHI) and remove interferences coming from the movements of hands or head with marked grid method. Results show that the method is simple, has good real-time performance. It can effectively remove the interferences of other movements expect normal breathing.

EVM; breathing detecting; MHI; marked grid method; interferences

2016-06-26

潘今一(1959—)，男，浙江湖州人，教授，研究方向为模式识别与数字图像处理，E-mail：jinyi.pan@eutrovision.com.

TP391

A

1006-4303(2017)02-0163-05