基于机器视觉的老年人摔倒检测系统

陈永彬 何汉武 王国桢 王桂棠

基于机器视觉的老年人摔倒检测系统

陈永彬1何汉武1王国桢2王桂棠1

（1.广东工业大学机电工程学院 2.北京师范大学-香港浸会大学联合国际学院）

家庭陪护机器人可以实现老年人的陪护任务，其中主动检测老年人摔倒情况是一个重要功能，这可以减少独居老年人因摔倒而导致的伤亡。研究基于机器视觉的老年人摔倒检测系统，通过摄像机动态采集场景图像并跟踪场景中的老年人，结合其体姿态特征提取算法，对人体骨骼特征点变化量进行监测，并分析场景的语义信息，自主地对场景中的老年人进行摔倒检测。实验证明，本文提出检测系统是可行有效的。

机器视觉；动态跟踪；摔倒检测；语义信息

0　引言

随着经济的不断发展以及医疗条件的日益完善，出生人口逐年减少以及人口老龄化程度不断加深，社会养老压力较大。面对养老机构的缺乏，居家养老将是一个重要趋势。研究指出，摔倒是导致老年人伤亡的主要原因之一[1]。因此，老年人摔倒检测的研究具有重要意义。青岛大学杨帅[2-3]等人研究在独居老年人家中的门上安装传感器，当老年人经过相应传感器时记录其位置信息，根据老年人在该区域停留的时间，判断其存在异常的可能性。浙江大学叶芳芳[4-5]等人利用摄像机采集家中老年人的状态，并利用光流信息的混乱程度，判断老年人存在异常的可能性。以上2种方式没有结合场景的语义信息，容易导致误判。南京邮电大学王亚飞[6]等人通过图像处理提取人体的外接椭圆，并以此判断人摔倒情况，也存在误判的可能，如弯腰等动作会触发检测系统。

本文通过摄像机采集家庭场景信息，利用光流信息动态跟踪家中的老年人；采用OpenPose人体姿态识别算法提取人体骨骼特征点，根据脖子特征点的下移量判断老年人摔倒的可能性；同时，为排除坐、躺等正常状态对摔倒检测系统的干扰，文中提取场景语义信息，结合语义信息判断老年人所处的位置，以此提高摔倒检测系统的鲁棒性。

1　系统框架

基于机器视觉的老年人摔倒检测流程图如图1所示。首先，通过摄像机采集场景图像并跟踪场景中的老年人；然后，提取图像中人体的骨骼特征点并判断骨骼特征点的变化量；最后，识别场景的语义信息，结合骨骼特征点的变化量，判断场景中老年人摔倒的可能性。

图1　基于机器视觉的老年人摔倒检测流程图

2　系统设计

基于机器视觉的老年人摔倒检测系统由人体动态跟踪、基于骨骼特征点的摔倒检测和基于语义信息的摔倒检测约束3部分组成。

2.1　人体动态跟踪

通过对比摄像机采集到的相邻视频帧，利用OpenCV中calcOpticalFlowFarneBack算子计算两图像帧之间的光流场变化。如果两帧间存在移动的人或物，其对应的光流场区域会比较混乱。如图2和图3所示，当人静止时，光流场是整齐有序的；当人走动时，光流场在人体区域是混乱的。由于家庭环境中光照相对不稳定，亮度变化同样会导致光流场的混乱，因此本系统提出一种基于HSV的光流场动态跟踪方法。将RGB图像通道转换成为HSV通道，如式(1)~式(3)所示，其中H和S通道对光照变化不敏感，V通道对光照变化敏感。

其中，，，分别对应红、绿和蓝；，，分别对应色调、饱和度和明度。

如图3所示，第二帧相对于第一帧人产生了位移；第二帧亮度明显变化时，H和S通道图像变化不大，同时对应的光流场能有效地分离出动态物体的对应区域。如图4所示，设光流场中像素位移长度阈值为20 pix，提取阈值范围外的光流区域作为图像掩膜，最终提取动态的人体区域。

图2　静态光流场

图3　基于HSV图像的亮度变化对比及动态区域提取

2.2　基于骨骼特征点的摔倒检测

利用开源的人体姿态识别算法OpenPose进行人体骨骼特征点提取。如图5所示，对人体关节提取18个关键点。OpenPose算法通过深度卷积神经网络对大量人体姿态数据进行训练而得到人体姿态识别模型，人体姿态识别示意图如图6所示。

0-鼻子 1-脖子 2-右肩 3-右肘 4-右手掌 5-左肩 6-左肘 7-左手掌 8-右腰 9-右膝 10-右脚 11-左腰12-左膝 13-左脚 14-右眼 15-左眼 16-右耳 17-左耳

图6　人体姿态识别示意图

本系统选取脖子特征点作为摔倒检测的参考点。识别脖子特征点的坐标，并对比前后关键帧中脖子特征点坐标的变化量。如果该变化量超过系统设置的阈值800 mm，则判断存在摔倒的可能，进入语义约束程序。如式(4)所示，脖子特征点高度下移量△为连续帧图像相比初始帧图像特征点高度差的平均值。

其中，为高度信息；为图像帧数。

2.3　基于语义信息的摔倒检测约束

如果仅通过脖子特征点的高度下移量△判断老年人是否摔倒，存在误判的可能，如坐在椅子、沙发或躺在床上时，高度下移量△也达到设定的阈值范围，但这时老年人摔倒的可能性较低。因此，本系统在检测疑似摔倒的同时，添加场景语义信息作为约束条件。即在老年人疑似摔倒的位置进行语义信息提取，若在椅子、沙发或床上，则可排除摔倒；若在地面上，则判定为摔倒并发出摔倒报警信号。本系统利用开源语义分割算法MaskRCNN[7]对场景进行语义信息提取，该模型主要应用深度卷积神经网络，对大量带标注的RGB图像进行训练，并得到相应的语义分割模型。当系统采集到RGB图像后，进行语义分割，实现图像物体类别识别及像素级别的图像分割。

其中，()为场景中语义类别；为{0,1,2,3,4,...,}，表示场景物体类型，且0，1，2分别表示场景中床、椅子和沙发。

如果满足连续15帧图像语义判别结果相同且皆不为床、椅子或沙发，即可认为存在摔倒风险。

语义约束实验如图7所示，通过场景语义信息约束摔倒误判的概率。实验人员坐在沙发上，脖子特征点下移量为850 mm，大于阈值800 mm，检测系统判断摔倒风险较低。

图7　语义约束实验

3　实验验证

本实验通过脖子特征点下移量来判断老年人是否存在摔倒的风险，并通过多组摔倒图像对摔倒检测系统的可靠性进行测试。随机抽取实验中的16组摔倒图像，如图8所示，实验结果如表1和表2所示。检测结果表明，本文提出的摔倒检测系统可有效识别是否摔倒，且具有一定的鲁棒性。

图8　摔倒实验图

表1　摔倒实验1

表2　摔倒实验2

4　结语

本文研究了基于机器视觉的老年人摔倒检测系统，通过摄像头检测场景中老人摔倒的可能性，并结合场景语义信息，对摔倒检测程序进行语义约束。通过实验证明，本文提出的摔倒检测系统有效可行。该系统应用于家庭陪护机器人，可减少独居老年人因摔倒而导致的伤亡情况。

[1] 李薇,路孝琴,王世平,等.防止老年人跌倒的研究[J].中国老年学杂志,200929(17):2267-2268.

[2] 杨帅,于忠清,苏博群.基于轨迹分割的老人行为识别方法[J].青岛大学学报(自然科学版),2017,30(1):103-107.

[3] 杨帅.基于室内轨迹分析的老人行为识别方法[D].青岛:青岛大学,2017.

[4] 叶芳芳.监控视频中的异常行为检测研究[D]:杭州:浙江大学,2014.

[5] 叶芳芳,许力.实时的静止目标与鬼影检测及判别方法[J].浙江大学学报(工学版),2015,49(1):181-185,192.

[6] 王亚飞.视频监控系统中的跌倒异常行为检测技术研究[D].南京:南京邮电大学,2014.

[7] He K, Gkioxari G, Dollár P, et al. Mask R-CNN[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018:2980-2988.

Fall Detection System for the Elderly Based on Machine Vision

Chen Yongbin1He Hanwu1Wang Guozhen2Wang Guitang1

（1.Guangdong University of Technology 2. Beijing Normal University-HongKong Baptist University United International College）

With the continuous development of economy and the improvement of medical conditions, the birth population is decreasing year by year and the degree of population aging is deepening. The pressure of social pension is great. Facing the lack of pension institutions, home-based pension will be an important trend. Home care robot can achieve the task of care for the elderly, in which it is an important function to actively detect the elderly fall and other abnormal conditions, which can reduce the casualties caused by the fall of the elderly living alone. This paper studies the fall detection system of the elderly based on machine vision, which dynamically tracks the people in the scene through the camera, and combines the human body posture feature extraction algorithm to monitor the changes of human skeleton feature points, and analyzes the semantic information of the scene, and autonomously detects the fall abnormalities of the people in the scene. Experiments show that the proposed method is effective.

Machine Vision; Dynamic Tracking; Fall Detection; Semantic Information

陈永彬，男，1990年生，博士研究生，主要研究方向：图像检测、增强现实和人工智能。E-mail: chenyongbin1990@ gmail.com