非接触式人体膝关节健康监测系统的实现*

王一丁 严纯贤 李 虎

(北方工业大学信息学院，100144，北京)

近年来，互联网与医疗服务的结合形成一系列智慧医疗服务方案，新型医疗技术使疾病预防更加及时，病变监测更加简单方便.

在传统的膝关节健康监测领域中，最主要的研究手段是步态分析[1]，该方法通过研究患者下肢力线(髋- 膝- 踝)在行走过程中动力学参数的变化情况，然后量化骨骼系统的建康状况与神经系统的调节能力，从而反映患者的健康状况.[2]但是传统设备穿戴繁琐、操作困难，并且肢体和监测设备存在直接接触的情况，一定程度上影响了受测者在监测过程中的监测结果；目前基于深度学习的人体姿态估计研究虽然有很多，但是缺乏监测人体下肢力线进行人体膝关节健康的研究. 综上所述，为了进一步实现更加丰富的智慧医疗产品，本文设计了一种基于非接触式人体膝关节健康监测系统，通过内嵌深度学习和监测算法于一体的膝关节监测设备，实现对人体膝关节病变的及时监测与康复训练的合理指导，有助于实现自我健康管理，逐步形成“家庭医疗”与“社区医疗”等人体健康监测模式.

1 系统设计

1.1 系统总体框架

本文自主研究设计了一款非接触式监测人体膝关节健康状况的系统，该健康监测系统主要由数据采集、数据预处理、构建模型和算法、界面显示4个模块组成. 其中数据采集模块通过深度相机获取人体下肢力线(髋- 膝- 踝)的深度信息，然后利用深度学习提取人体下肢力线空间位置数据；数据预处理模块通过小波函数对采集到的原始数据进行降噪、滤波[3]，使其处理后的数据高度还原真实的运动信息；构建模型和算法模块将预处理后的人体下肢力线数据进行膝关节模型构建，并提取相关运动学指标建立监测算法；监测结果模块将受测者膝关节健康监测结果进行可视化操作，并实时显示受测者膝关节在监测过程中的运动情况. 整体的人体膝关节健康监测系统框架如图1所示.

1.2 系统的实现

本系统通过将深度相机和计算机嵌入定制的广告机中，实现了非接触式监测人体膝关节的一体化，且系统使用简单，搭配语音提示和触摸操作，极大简化了受测者在监测过程中的方式.

为了实现人机交互，本系统设计了软件界面显示，包括监测过程中的人体髋- 膝- 踝运动变化以及系统监测结果的可视化. 系统的外观设计以及系统的主界面显示如图2～3所示.

其中，系统界面的下方部分为受测者被系统实时监测到的画面；左上角为开始按钮和监测结束后的评测结果；右上角为仿真健康人体模型，它将在监测过程中起到示范功能，引导受测者在监测膝关节健康期间做相关运动.

2 基于深度学习的关键点提取

2.1 数据采集

本系统使用微软开发的Kinect2相机实现数据采集，该相机支持采集高分辨率彩色图像，本文采集的彩色图像主要用于用户界面显示；Kinect2相机还拥有红外摄像头，使用飞行时间(Time Of Flight,简称TOF)技术[4],可以不受外界光线等因素的干扰探测出物体与相机之间的实际距离，进而获得空间信息，用于深度学习处理.

2.2 基于DenseNet网络的深度学习

DenseNet网络将所有上层的输出都作为下一层的输入，这种稠密结构大幅度减少网络参数，同时特征复用使网络更加容易训练，有效改善了梯度消失和模型退化问题.[5]本文将对DenseNet网络进行相关的优化，使其能更精准地获取人体下肢力线的位置信息. 该网络结构主要由2个全连接层和3个Dense Block构成，为进一步有效解决过拟合和梯度消失问题，网络结构中还添加了Dropout模块. 考虑到系统界面的人机交互效果，本文设计的网络输出结果不仅仅是下肢力线的坐标数据，还有人体的其他主要关键点的位置坐标. 网络的整体结构如图4 所示.

在完成上述网络结构的设计后，将2 068张像素为200×200的深度图进行网络训练，最后用新数据测试网络效果得到的结果如图5所示.

从测试结果可以看出，本文设计的网络结构能够较为准确地获取到人体主要关键点的坐标位置，并且在不同形态情况下仍具有良好的效果.

关键点正确估计的比例(Percentage of Correct Keypoints，简称PCK)是人体姿态预测方法中测量人体关节点准确性的常用指标之一，该指标对真实数据的标签值与计算估计的关节点进行归一化操作，然后将其归一化距离小于某一特定阈值的比例作为估计结果.

将本文上述经过神经网络训练后得到的深度图像数据集进行不同阈值的PCK评估，最终估计结果如表1所示.

表1 人体关键点估计结果表

对比其他人体姿态估计方法[6- 8]，本文设计的网络达到了PCK@0.2为90.97%的精确度，这证明了基于DenseNet 网络结构提取人体关节点方法的优越性，结果如表2所示.

表2 PCK@0.2估计结果对比

3 数据处理及监测算法

3.1 小波分解与重构

由于人体在运动过程中发生抖动、环境等非可控因素的干扰导致得到的髋- 膝- 踝角度信息携带一定程度的误差，对膝关节健康监测算法的准确性产生极大影响. 为了获取精准的髋- 膝- 踝运动信息，提升算法的鲁棒性，利用小波分解[9]实现对运动数据的滤波处理，把真实的运动信息从复杂环境中分离出来. 小波分解流程如图6所示.

通过对获取得到的原始人体髋- 膝- 踝运动信号经过小波分解与重构处理后，可以有效地防止噪声对有用运动信号的干扰，从而有助于对受测者的膝关节健康状况进行高精度分析.

3.2 模型构建和监测算法

人体在运动过程中髋- 膝- 踝的角度数据会发生明显变化，时间序列的变化情况能够直接的反映膝关节健康状况. 动态条件下，人体自身有速度、加速度、周期和频率等，在彼此之间相互影响的同时，也受到如重心等其他因素的影响，共同反映人体的运动过程. 本系统针对人体髋- 膝- 踝部位构建的简化人体运动模型如图7所示.

在图7中，人体的躯干用OA表示，人体的股骨用BO表示，人体的胫骨用BC表示，则人体髋- 膝- 踝的运动状态可用BO与BC之间的夹角θ1表示，而躯干与垂直轴线的夹角θ2表示人体运动时的重心变化.θ1与θ2分别可用式(1)～(2)表示.

(1)

(2)

其中，Y为垂直轴线的单位向量.

构建人体仿真模型有助于提取合适的运动指标，为实现精准的监测算法打下了基础.

膝关节评分是评估膝关节损伤程度、选择治疗方案及评估治疗效果的一种直观指标，它是一种问卷式的评定，由受测者根据自己的具体情况填写表格，最后交给医生作为评估受测者膝关节健康状况的重要依据.

本系统通过和北京首钢医院骨科专家的交流，选择美国膝关节协会评分(the America knee society score，简称KSS)作为本系统监测算法的参考指导，该标准通过膝评分、功能评分评估膝关节整体的功能和形态，解决了其它膝关节评分标准中不全面、不敏感等缺点，更加精准地评估了关节的自身条件，能够最大程度反映受测者膝关节的真实健康状况.[10-11]

本文参照KSS标准，结合非接触式系统的特性，将屈曲变化、过伸、髋- 膝- 踝的运动角度以及加速度和其它相关动力学参数提取整合成监测算法，得到本文监测系统评估膝关节健康状况的指标函数如式(3)所示.

S=F(N,T,θ′1,θ′2,α)

(3)

满足条件为式(4)所示.

θ′1=f(θ1)，θ′2=f(θ2)

(4)

其中，T为运动时长，N为T时间内所完成的运动次数，α为运动过程的加速度，F、f为监测系统的相关评分方法，S为最后的监测结果得分，而系统得分根据KSS标准分为4个等级：<60分为差，≥60～≤69分为可，≥70～≤84分为良，≥85～≤100为优.

本系统根据科学的膝关节评分标准设计出符合医学理论的监测算法，达到和传统穿戴式方法一样量化膝关节健康程度的目标，最后并把监测算法得出的健康情况可视化反馈给受测者.

4 实验结果及分析

为了验证本文所研究的人体膝关节健康监测系统能够监测膝关节健康状况，本文对该系统进行了测试，为了尽可能减少外界干扰，将其他可能影响监测结果的因素进行削弱，测试场地均在光线良好的干净室内中. 在测试过程中，受测者需跟随仿真健康人体模型做步行、蹲起、腿部屈曲等相关运动，且与模型动作尽量保持一致. 考虑到不同年龄和性别的人体膝关节健康状况存在较大差异，本文将对多位随机挑选的受测者进行测试，其中部分受测者的信息如表3所示.

表3 部分受测者基本信息

在表3中， 1 号受测者和 6 号受测者没有相关的膝关节疾病，并且都有日常做运动的习惯； 2 号受测者由于年龄偏大，膝关节偶尔有不舒服的症状，平时也很少参加锻炼身体的活动； 3～5号受测者身体素质较好，且没有相关膝关节的疾病，但是同样缺乏日常的运动. 以上受测者均无其他有关身体健康的疾病，且能够在测试期间外进行正常生活.

通过对表 3 中受测者进行膝关节健康监测的相关测试后得到了多组受测者运动的数据波形，现节选 1 号 与 2 号受测者髋- 膝- 踝运动数据，如图8～9所示.

图8与图9分别完整地展示了1号受测者与2号受测者的膝关节健康监测过程，其中(a)的波形表示受测者的重心移动情况，即铅垂线与躯干构成夹角的运动变化；(b)表示(a)进行小波分解与重构处理后得到的运动信号；(c)表示受测者膝关节的实时运动信号，它为受测者髋- 膝- 踝所构成夹角的运动情况；(d)表示(c)通过小波分解与重构处理后得到的运动信号. 可以发现，小波分解与重构处理后的信号更加平滑，减少了信号的抖动和毛刺，即其能够有效地抑制运动过程中产生的噪声干扰.

根据图8(b)与图9(b)对比可见：图8(b)中的信号峰值更加稳定，这表明1号受测者的重心在监测过程中能够很好地协助髋- 膝- 踝运动；对比图8(d)与图9(d)可以看出：图8(d)中的髋- 膝- 踝运动信号较图9(d)中的髋- 膝- 踝运动信号显得更加平滑. 通过对两位受测者的运动波形简单分析得出：1号受测者在膝关节健康监测期间内所完成的运动情况优于2 号受测者.

在受测者完成膝关节健康监测系统测试后，得到部分受测者的膝关节健康监测结果，如表4所示.

表4 部分受测者膝关节健康监测结果

在表4中，匹配度为受测者和仿真模型之间的运动拟合度. 对照该系统的监测结果可以看出：1 号受测者和 6 号受测者的评测结果较高，2 号受测者的评测结果最低，而3～5号受测者的评测结果相对稳定且得分在正常范围，这高度符合每位受测者的膝关节健康状况.

将上述的6位受测者再进行KSS标准自测后，对比本系统的监测情况，结果如表5所示.

从表5可以看出，系统监测误差在10%以内，总体误差只有6%，受测者的KSS标准得分与本系统的监测评估成，得分趋势基本一致. 对于本系统得分总体低于KSS标准情况，经过与骨科专家的交流分析，推测可能是由于受测者自测KSS时的主观估计而系统监测算法相对严格也更加客观造成的结果. 专家同时指出，只要偏差控制在5%左右，系统的监测结果则可以代替传统的评估方法.

表5 KSS标准与系统结果对比表

综上所述，本文研究设计的非接触式人体膝关节健康监测系统评估结果与KSS标准相似度高，可以方便、快捷、有效地获取受测者的膝关节健康状况，从而提供了一种监测人体膝关节健康的新工具.

5 结语

本文通过对人体膝关节的健康状况进行研究，提出了一种基于深度学习非接触式膝关节健康监测系统. 该系统完成了软件与硬件的设计，实现了基于神经网络提取人体主要关节点坐标信息的方法，重点对髋- 膝- 踝运动数据进行了小波分解与重构处理，并研究设计了人体膝关节健康监测算法，最终经过评测系统得到了受测者的膝关节健康状况，通过对比受测者的真实健康状况进而验证了本研究工作的可靠性，故该系统可以作为医护人员或自身膝关节健康监测的一种评估参考.

本文人体髋- 膝- 踝数据提取网络的精度可进一步提高，为了更好地监测预防人体的膝关节健康状况，未来将针对人体的膝关节进行多点部位监测并设计更加完善的人体膝关节健康监测算法.