基于多传感器和Bi-LSTM的个性化跌倒检测研究

赵 举，郑建立

（上海理工大学 健康科学与工程学院，上海 200093）

0 引 言

根据中国第七次全国人口普查结果显示：全国人口共14亿人，其中60岁及以上人口为2.6亿，同时国内人户分离人口为4.9亿人，年轻人外出务工，老年人无人监护的问题日益凸显。老年人由于平衡能力变差、身体各项机能衰退，在日常生活中较易发生跌倒。另有调查数据显示，老年人摔倒发生时间主要集中在早上7点到晚上9点之间，对于大量老人来说处于无人照顾的空窗期，一旦发生意外摔倒将无人知晓，因此，一款能个性化适配的老年人跌倒检测与告警系统具有重要的现实意义。

1 研究现状

从不同的实现方法来看，人体跌倒检测系统可分为三大类。一类是基于环境传感器的跌倒检测方案，另一类是基于机器视觉的跌倒检测方案，还有一类是基于可穿戴式设备的跌倒检测方案。

基于环境式的跌倒检测技术一般部署于老年人的活动区域内，通过音频分析、超声波、红外感应以及WiFi、雷达检测等技术，对探测范围内的人体活动进行分析判断，识别跌倒行为并触发报警。该类技术方案可以直接获取目标动作，而且不会侵犯用户隐私，但这种技术无法做到老年人活动区域的无死角覆盖，只能在室内使用，容易受到环境干扰，易出现误报，且部署成本较高。

基于机器视觉主要是通过安装在用户生活环境中的图像或视频采集设备来对人体的运动行为进行数据采集，然后通过图像或视频处理来进行人体行为识别，从而判断是否发生了跌倒事件。该方案的优点是设备安装简单，视觉直观，但视频监控设备仅能在室内使用而且还存在一定的监控死角，除此之外存在泄露个人隐私的风险。

基于可穿戴设备的方法是将采集人体运动学数据所需的传感器设备穿戴在使用者身体的某部位上，通过对采集到的人体数据进行分析处理来判断是否发生了跌倒。可穿戴式跌倒检测设备对比其它2类中具有明显优势，且不受环境因素的制约，既小巧方便，又保护了个人隐私。目前可穿戴式跌倒检测的各项研究中，数据来源方面主要有足底压力传感器、智能手表的加速度和心率传感器，单独的加速度和角速度传感器。而可穿戴式的跌倒检测以检测算法进行区分，可分为如下2种：

（1）基于阈值法的检测。该方法简单，运行速度快，但是对阈值特征的选取目前没有统一的标准，且不同的佩戴位置需要适配不同的阈值，此外未曾考虑根据不同用户的跌倒风险程度进行个性化适配。

（2）基于机器学习、深度学习的检测。该方法通常准确率高，但对数据量的要求也较高，且算法较为复杂，容易造成检测时间长和过拟合等问题。

为解决上述问题，提高跌倒检测算法的精确度和实时性，解除场景和地点限制，提高用户的舒适性和适配性，本文提出一种两步走的方式，第一阶段佩戴本文设计的可穿戴设备，佩戴前用户通过云端跌倒风险评估系统进行评估打分，根据得分情况进行个性化阈值设置；第二阶段通过滑动时间窗截取时间序列传感器信息，对采集到的传感器数据进行滑动平均滤波以去除噪声，然后分析不同行为活动下加速度、角速度、姿态角和高度的变化，对数据进行归一化等预处理，最终形成特征数据集输入到Bi-LSTM神经网络进行个体跌倒模型的训练与构建。

2 系统设计

整个系统设计结构如图1所示，包括可穿戴设备和云端两部分。利用穿戴在用户身上的多传感器可以有效捕捉跌倒的失重和撞击的2个状态。可穿戴设备佩戴于腰间，运行时负责采集人体的加速度、角速度、高度变化等信息，通过蓝牙传输协议传输到手机或者通过通信模块传输到云端，以便对用户的数据进行持久化留存与数据分析，在云端对数据进行预处理后，输入到Bi-LSTM训练模型，构建个体的跌倒判别模型。

图1 系统结构Fig.1 The block diagram of the proposed fall detection system

2.1 硬件设计

系统硬件包括：主控芯片Nordic52832、9轴姿态传感器mpu9250、气压高度传感器SPL06-001、NBIOT与GNSS模组、电源管理与电池模块。其中，nRF52832作为主控芯片可提供良好的算力，同时支持蓝牙5.2协议，为后续通过蓝牙AOA技术进行室内定位功能预留拓展空间；mpu9250 9轴传感器和SPL06气压高度传感器，可以实时捕捉人体的动作变化，经过卡尔曼滤波处理后，输入到实时跌倒检测算法，进行实时的动作识别与判断是否跌倒。BC20模组是一款支持GNSS定位功能的高性能NB-IoT模块，通过NB-IoT无线电通信协议（3GPPRel.13），可穿戴设备可通过运营商的基站与云端建立通信，而GNSS接收模块集成了BeiDou、GPS、GLONASS定位和导航系统，可多系统联合定位，在获取定位的经纬度信息后，经过相应的坐标转换算法，转换为火星坐标系实现精准定位，定位的水平位置精度要小于2.5 m CEP＠-130 dB。

2.2 可穿戴端实时跌倒检测算法

由于老年人的跌倒并不完全是意外，而多是由一些潜在的风险引起，由内外多重因素交互影响作用的。其中，内在因素包括步态稳定性的下降和平衡功能的受损、视听觉等感觉系统的削弱、骨骼肌肉系统的退化等生理因素，卒中、帕金森、白内障、青光眼和认知障碍等病理因素，服用抗抑郁药、催眠药、降糖药、利尿剂等药物因素，抑郁、焦虑和害怕跌倒等心理因素；外在因素主要指一些意外情况的发生。科学的跌倒风险评估有利于及时发现可能引起老年人跌倒的潜在危险因素，不仅有助于预防老年人跌倒的发生，而且可以通过更改通用跌倒检测模型相关参数进行个性化模型的构建，提高个体跌倒行为识别的准确率。

可穿戴端实时跌倒检测算法流程如图2所示，用户佩戴前需进行云端的Morse跌倒风险评估，其中得分越高说明跌倒的风险越大，完成各项评估后，会生成相应的得分与风险评估报告，根据得分情况对应修改算法中的阈值，进行跌倒判别模型适配。

图2 个体适配的实时跌倒检测算法Fig.2 Personalized real-time fall detection algorithm

2.3 基于Bi-LSTM的跌倒检测算法

人的活动是多样性的，且产生的行为数据与时序相关，为了将跌倒从各种ADL中更准确地区别出来，使用Bi-LSTM（Bi-directional Long Short-Term Memory）神经网络作为跌倒的分类器。算法首先利用滑动时间窗获取传感器数据，原始数据经过预处理后作为模型的输入。Bi-LSTM神经网络通过对训练数据集迭代学习自动寻找出合适的数据特征，并最终输出对输入数据类别的判断（跌倒或非跌倒），实现端到端的处理。

长短期记忆网络（Long Short-Term Memory，LSTM）是一种时间循环神经网络，是RNN一个出色的优化版本，解决了原始RNN所带来的梯度爆炸和梯度消失问题。在这个模型中，每一个LSTM单元包含存储单元，存储着前期时刻的所有信息，并以此解决了RNN中的长期依赖问题。各储存单元的入口被一些特殊的门控制，被控制的功能包括保存、写入和读取操作。这些操作由3个门控单元接管：遗忘门决定需要从细胞状态中丢弃的信息；输入门确定添加到细胞中的新信息；输出门确定最终的输出。模型具体结构如图3所示。

图3 LSTM神经网络结构图Fig.3 The structure diagram of LSTM neural network

双向长短期记忆神经网络（Bi-LSTM）结构模型分为2个独立的LSTM，输入序列分别以正序和逆序输入至2个LSTM神经网络进行特征提取，将2个输出向量（即提取后的特征向量）进行拼接后作为最终特征表达。Bi-LSTM结构见图4。

图4 Bi-LSTM神经网络结构图Fig.4 The structure diagram of Bi-LSTM neural network

图4中，自前向后循环神经网络层的前向传播公式为：

自后向前循环神经网络层的前向传播公式为：

2层循环神经网络层叠加后输入隐藏层：

其中，是激活函数tanh；是参数矩阵；是偏置；“→”表示传播方向。

2.4 实验设置与特征处理

穿戴式的跌倒检测设备，可以穿戴在人体的多个位置，如腰部、腕部、胸部、背部、颈部，而不同的穿戴位置和朝向又需要对应设计合适的跌倒检测模型。Zhang等人在分析了胸部、腰部、大腿部、小腿部4个位置的数据后，发现腰部是衡量不同行为特性的最佳位置；Shi等人将设备同时安装在用户的14个部位，也发现单一位置中腰部的效果最好。考虑到未来设备由于需要长时间佩戴，一方面要尽可能地减少对用户的侵扰，还要利用好气压高度传感器的性能，同时提高跌倒与非跌倒判别的准确度，本设计最终选择的佩戴位置为腰中后部，后续实验也全部是佩戴在此位置采集数据，跌倒模型也是针对该佩戴位置构建。

为了构建模型训练集，本文将人类的行为活动分成了两大类：跌倒和日常活动（ADL）。其中，跌倒包括向前跌倒、向左跌倒、向右跌倒和向后跌倒，同时ADL包括行走、坐下、弯腰拾物、下蹲和起立。

实验邀请5名志愿者，其中2男3女，平均年龄26岁，男性平均身高175 cm、平均体重65 kg，女性平均身高163 cm、平均体重52 kg。实验时让志愿者按照上述要求将穿戴设备佩戴于腰部，逐步进行上述ADL和跌倒活动，每次活动控制在10 s以内，所有测试者都被要求按照个人习惯自由地完成上述任务。在进行跌倒的过程中，使用加厚瑜伽垫减缓冲击保护受试者。最终每组动作采集了220个，每人共计1 320个动作。系统采集到原始数据可表示为：

其中，表示3轴的加速度值；表示3轴的角速度值；表示高度值。

采集到的数据并不能直接输入模型使用，为了提高模型训练的效果和效率，先对其进行归一化处理，即每一个数据都会除以其传感器量程。归一化处理完成后，还要对其进行时间片切分，切分成统一的10 s一组的数据。随后要对跌倒和ADL进行标注，这对跌倒检测算法的性能有着很大的影响。本文通过观察高度变化，确定跌倒的临界位置，其中4名志愿者连续做一套动作的高度的变化情况如图5所示。图5中，是行走动作，是坐下和起立动作，是弯腰动作，是下蹲和站起动作，是跌倒动作。

图5 不同受试者一套动作高度变化Fig.5 Height change of a set of movements of different subjects

实验采集到的ADL数据和跌倒的数据比例是5：1，为了保证模型准确率和训练效果，即统计学中跌倒和非跌倒的数据比例达到1∶1，从每个人ADL的每种动作中随机挑选44个与跌倒动作组成每个人的数据集。

同时本实验采用2种方式进行对比实验。第一种是模拟用户使用前期自身数据量不足时采用公共数据训练跌倒判别模型，第二种是模拟用户佩戴后收集到大量的个体数据生成个性化跌倒判别模型。第一种方式中，采用的是选取志愿者中任意4人的数据集作为公共数据集进行模型训练，其中公共数据集中的80%数据作为训练集，其余20%的数据作为验证集，另一人的数据进行测试。第二种方式是用每个志愿者自己的数据集，其中64%为训练集、16%为验证集、20%为测试集。

2.5 实验结果与分析

本实验使用TensorFlow深度学习框架搭建了跌倒检测神经网络模型，并使用实验数据集检验模型的精确度。实验在个人电脑上完成，处理器型号为Intel core i5。

跌倒检测属于二分类问题，模型只需分辨跌倒和非跌倒动作两种类别，判断结果可能存在以下4种情况：

（1）（True Positive）：跌倒发生且系统成功判别，属于正确判断。

（2）（True Negative）：未发生跌倒且系统判别为未跌倒，属于正确判断。

（3）（False Positive）：未发生跌倒但系统判别为跌倒，属于误判。

（4）（False Negative）：发生跌倒但系统未检测到，属于漏判。

验证一个模型的分类性能有4个指标，分别是：准确率（accuracy）反映了模型的总体精确度、（Area Under Curve）反映了跌倒预测模型的优劣、敏感性（sensitivity）反映了模型识别跌倒的能力、特异性（specificity）反映了模型对跌倒和非跌倒的区分程度。各指标的数学定义公式具体如下：

2种方式生成的预测模型效果如图6所示。图6显示的是多人预测模型的平均值，其中common表示第一种方式，personal表示第二种方式。从图6中可以直观发现，由于个体的差异性（身高、体重、跌倒风险等），当个体数据不足时，使用公共数据训练出的模型相对准确（平均为84%），但未能很好地适配，而随着用户的佩戴，收集到大量的个体数据后训练生成的跌倒判别模型能达到很好效果，平均准确度为97.6%，为985，敏感性和特异性分别为971和966。

图6 公共和个体模型效果对比Fig.6 The comparison chart of the effect of public model and individual model

3 结束语

本文提出一种基于多传感器和Bi-LSTM的个性化跌倒检方案。该方案分为2个阶段，第一阶段先对用户进行跌倒风险评估，生成个性化的穿戴端实时跌倒检测算法；第二阶段通过滑动时间窗截取时间序列传感器信息（包括加速度、角速度、气压高度等信息）上传到云端，在云端对原始数据进行归一化等预处理便可作为模型的输入。Bi-LSTM神经网络通过训练自动学习并提取数据内部的特征，再利用分类器判断是否为跌倒数据。该方案充分结合了阈值法与深度学习方法的优势并解决了不同个体适配性的问题，阈值法由于人工提取特征的不准确，导致误报率相对较高，而Bi-LSTM是一种专门针对时序序列相关的神经网络模型，省去了人工的特征提取过程，实现了从原始数据到判断结果的端到端处理，同时实验也证明了生成的个性化模型可以达到较高的精确度。

本实验由于具有一定的危险性，因此参与的个体不足。同时本实验主要通过中青年来近似模拟老年人产生相关数据，实验结果验证了本文提出算法的可行性，但要得到一个真正适用于老年人跌倒检测的模型，还需要采集足够多的老年人的跌倒数据来进一步训练优化模型，使得模型能够提取出更适应老年人的数据特征。

受限于可穿戴设备的计算能力和能耗问题，本文提出的是一种端+云的结合方案，还不是最终最优的方式，但是随着深度学习在基于可穿戴传感器的跌倒检测问题的应用得到广泛的研究，及嵌入式神经网络处理单元（NPU）和针对嵌入式设备的轻量级深度学习框架的发展使得在可穿戴设备上运行神经网络成为可能。算法的能耗也是一个应当考虑的因素，需要制定一个低功耗的实时运行框架，以保证系统的正常使用。