基于双目视觉的帕金森症状量化识别方法研究

张 凯，牟新刚

(武汉理工大学 机电工程学院，湖北 武汉430070)

帕金森病(Parkinson's disease, PD)[1]是老年人中一种常见神经性系统疾病。据统计，中国有超过300万的帕金森病患者，约占全世界帕金森病患者的一半，是世界上帕金森病患者最多的国家。临床上帕金森症的主要表现为运动迟缓、姿势步态障碍、肌强直和静止性震颤。目前对帕金森症的运动学研究主要是通过可穿戴式传感器和电子步道系统等采集患者运动数据进而进行分析研究。William等[2]设计一个4.9 m的电子步道系统来采集帕金森病患者在快速、慢速以及正常速度行走状态下的相关步态特征进行对比分析，分析发现帕金森病患者的步长会相对变短，而步频会变快。Rana等[3]使用长为10 m的电子步道和一个连接在背部的加速度计提取了患者的14个步态特征参数，将这些参数作为支持向量机(support vector machine, SVM)和随机森林(random forest, RF)的输入参数特征，并使用10折交叉验证和ROC(receiver operating characteristic curve)曲线下的面积进行帕金森病评估。电子步道铺设较为麻烦，对场地要求也比较高，容易受到空间限制。Chiang等[4]使用可编程芯片系统加上压力传感器，开发了一种便携式足底压力采集和分析系统，并将该系统放置在足底收集帕金森病患者足底压力信号。Lin等[5]在鞋垫上放置了压力传感器，并在护膝上放置了惯性传感器，以收集和分析有关用户的足底压力和膝盖压力的数据。Jeon等[6]使用由加速度计和陀螺仪组成的可穿戴设备测量了帕金森病患者的震颤信号，并使用加速度、角速度、位移和角度信号进行分析,从每个信号中提取19个特征以此来评估帕金森病人的病情。但与此同时，大量的传感器安装在患者身上会对患者造成一定的负担，影响实验结果的准确性。

基于以上分析，笔者提出了一种基于双目视觉的帕金森症状量化识别方法。搭建双目视觉采集系统记录帕金森病人在运动功能检测流程中的视频数据，计算出人体运动信号，在此信号基础上提取相关特征参数，最后构建出分类模型进行帕金森病识别。

1 系统及流程介绍

研究所使用的帕金森步态数据采集系统如图1所示，其中包括两台工业相机、相机同步系统和相机固定装置。相机通过底座安装在铝合金型材上，型材安装在相机固定支架上，相机采用的是大恒水星工业相机，型号为MER-125-30UM，帧率可调，该相机具有较高的分辨率，可通过外部硬件触发进行两台相机之间同步，能稳定工作在各种环境下。

图1 帕金森步态数据采集系统实物图

为了计算步态相关参数，需在实验对象身上人工安装光学标记点。光学标记点为反光小球，其外表面镀有金属反射层以及涂有反光粉，能将大部分光线按照原路径反射回去，在图像上可以清晰地成像为白色小圆，以便进行标记物提取。实验动作选取帕金森症综合评分量表(unified parkinson’s disease rating scale, UPDRS)[7]中手指捏合实验(finger pinch, FP)、脚趾拍地实验(toes stand the ground, TSG)和步态实验(gait)。

整个系统工作流程如图2所示。实验对象按照指定实验流程完成动作，相机以视频形式记录病人完成动作的过程，并通过USB(universal serial bus)将视频存储在计算机中，通过对视频数据进行标记点跟踪、提取、三维重建得到运动信号，并进行特征提取，最后构建分类模型进行帕金森识别。

图2 系统工作流程图

2 运动数据提取

2.1 标记点提取

在采集到的原图像上涵盖的信息众多，需要消除噪声、背景等其他干扰的影响因素，只提取出需要的信息。标记点的提取步骤为：

(1)标记点图像提取。首先利用目标跟踪算法得到标记点相关的ROI(region of interest)区域，便于后续标记点的提取，同时可以减少背景信息的干扰。考虑本文标记点的光照特性，使用相关滤波算法[8]进行目标跟踪并对跟踪之后得到的ROI区域图像进行阈值化处理，同时将ROI区域外图像全部设置为背景黑色，但仍存在原图中较亮物体的干扰。笔者采用一种基于图像连通域面积分析方法消除过大或者过小的图像孔洞。其采用4邻接方法表示连通域，遍历整个图像找出图像中包含多少个连通域，然后计算出连通域含有的像素点个数，再依据连通域面积阈值判断当前连通域是否需要消除，如果需要消除则将当前连通域灰度值置为0。标记点图像提取结果如图3所示。

图3 标记点图像提取结果

(2)标记点圆心坐标提取。为提取标记点圆心坐标，首先需要提取标记点边缘，笔者采用基于Zernike矩[9]的亚像素边缘提取方法。图像亚像素边缘理想模型如图4所示，直线L中与单位圆相交部分表示为理想边缘，两边的灰度值分别为h和h+k，l表示原点到边缘线L的距离，α为l与x轴所成的夹角。

图4 亚像素边缘理想模型

亚像素边缘提取过程如下:

(a)首先计算7×7的Zernike矩模板系数。

(b)将Canny处理之后的图像与模板做卷积运算得到7个Zernike矩。

(c)对每个像素点计算边缘参数l、α和k。

(d)根据l和k判断当前边缘点是否满足条件，如果满足条件，则利用式(1)计算当前边缘点的亚像素坐标(xs,ys)。如果不满足则转入下一个边缘点进行判断，直到遍历完所有的边缘点。

(1)

式中，(x,y)为亚像素边缘理想模型中心点坐标，N=7。

最后根据提取到的标记点图像边缘利用最小二乘法拟合圆心坐标,其结果如图5所示。

图5 圆心坐标提取结果

(3)标记点圆心三维坐标提取。笔者使用两个相机构成立体视觉以对标记点进行三维坐标提取。双目定位原理如图6所示，使用双目相机成像，空间点P在左右两台相机C1和C2的图像平面上的成像点分别为P1和P2。P1和P2在相机C1和C2中是唯一确定的，而O1P1和O2P2两条直线相交于点P，则点P位置唯一确定。

图6 双目定位原理

通过标定得到两台相机的投影矩阵，以不同坐标系下坐标对应关系，采用最小二乘法即可求出点P的空间三维坐标。标记点圆心三维坐标提取结果如图7所示。

图7 圆心三维坐标提取

2.2 特征参数提取

根据手指捏合实验中大拇指和食指标记点相对距离变化计算手指捏合实验运动信号；脚趾拍地实验以初始脚趾上方标记点位置为原点，计算不同时刻标记点与原点距离得到脚趾拍地实验运动信号；步态实验根据左右脚踝处标记点位置变化得到对应运动信号。

在各实验动作运动信号基础上进行特征参数提取。文中帕金森病研究所提取的特征参数包括手指捏合实验、脚趾拍地实验两组实验提取得到的变异系数CV(coefficient of variation)、均方根、DFA(detrended fluctuation analysis)标度指数和近似熵APEN(approximate entropy)，以及步态实验的两组离散步态对称性指标。

(1)变异系数反映了实验对象在完成实验动作过程中产生的运动信号的离散程度，它是概率统计中一种常见指标。变异系数的计算公式为：

(2)

式中：Cv为变异系数；σ为样本标准差；μ为样本均值。

(2)均方根(root mean sguare, RMS)是运动迟缓量化研究领域中常用的特征参数，与帕金森病人运动迟缓特性相关。均方根计算公式为:

(3)

式中:RMS为均方根；N为序列长度；Xi为样本值。

(3)DFA标度指数。DFA标度指数反映了生物信号对应的时间序列具有相关性和可预测性[10]。其计算过程如下：

(a)对于一个序列x(1),x(2),…，x(N),N为序列的总长度，对该序列计算其累积离差,得到新的序列X(1),X(2),…，X(N),其计算方法为：

(4)

(c)对每个子序列进行多项式拟合，得到的拟合函数称为局部趋势函数。设拟合阶数为n，每个子序列的n阶局部趋势为ns(i),滤除对应局部趋势后得到新的序列为Xs(i)。

Xs(i)=X(i)-ns(i),i=1,2,…,2M

(5)

(d)对每个子序列对应区间求均方根得到DFA波动函数。

(6)

一般F(h)与h呈幂函数关系，对两者取对数，然后利用最小二乘拟合方法得到lgF(h)和lg (h)线性曲线的斜率α，α为一个Hurst指数，被称为标度指数或者相关性系数，表示序列的相关性。文中计算标度指数时h取值为7。

(4)近似熵。对于人体运动产生的信号使用近似熵衡量时，近似熵值越大，表明其对应的时间序列越复杂，重复性运动信号中产生新模式的概率越大[11]。近似熵的具体计算过程如下：

(a)存在一个总长度为N的序列X(1),X(2),…,X(N)。

(b)定义一个正整数m对序列进行重构，即以m为窗对时间序列进行划分成k个序列(k=N-m+1),划分后的每个序列表示为xi(t),xi+1(t),…,xi+m-1(t)。

(c)计算每个序列与其他所有序列之间的距离。序列间的距离取两个序列中对应元素差值绝对值的最大值，如式(7)所示，并将所有序列距离计算结果按行存入表中。

(7)

(8)

式中，阈值r=α×SD,α为0.2～0.25的系数，SD表示序列的标准差。

(e)将m加1，重复步骤(b)、步骤(c)和步骤(d)。

(f)利用式(9)计算近似熵。

ApEn=Φm(r)-Φm+1(r)

(9)

由于计算近似熵的过程中r和m为需要确定的参数。根据实践研究，m通常取2或3，r选取需要根据序列的标准差来决定。文中m取2，r=0.2SD(SD为标准差)。

(5)离散步态对称性指标。离散步态检验指标常使用绝对对称指数(absolute symmetry index, ASI)和对称角度(symmetry angle, SA)来评价步态对称性[12]。绝对对称指数表示如下：

(10)

式中:X1和X2分别为人体左步长和右步长。当ASI等于0时，步态两侧完全对称，当ASI等于100%时，步态完全非对称。

对称角度计算公式如下：

(11)

(12)

式中:当SA等于0时，步态两侧完全对称，当SA等于100%时，步态完全非对称。

3 分类模型构建

支持向量机SVM是一种基于统计学理论的监督学习方法，可以用作数据分类以及回归等问题。SVM的主要思想是寻找数据样本的最大边距超平面(maximum margin hyperplane),使得数据样本距离超平面最大。对于数据样本,SVM需要构建的超平面方程表示为wTx+b=0,wT为权重，b为偏置。对于分类问题，则有：

s.t.yi(wTxi+b)≥1-ξiξi≥0

(13)

式中:ξi为第i个样本点允许偏移的间隔，这是为了增加模型的泛用性；c为惩罚系数。惩罚系数默认为最大值1.0，但是惩罚系数过大时容易产生过拟合现象，过小又会导致模型识别效果较差，因此需要根据不同的模型选取不同的值。

4 帕金森症状识别

4.1 数据采集

在受试者同意的情况下进行实验样本采集。所有受试人员按照要求完成手指捏合实验、脚趾拍地实验和步态实验，总共采集到160个数据，其中80个为帕金森组(PD)；80个为正常健康组(normal people, NP)，帕金森组人员具有不同程度的病情；健康组人员无明显残疾或者步态障碍等帕金森病特征。

4.2 评价标准

采用的评价标准包括准确率、精确率、召回率和F1分数。

准确率(Accuracy)表示实验中所有被正确检测的样本数与所有样本之比。

(14)

式中:TP为正样本中被检测为正的样本数；FP为负样本中被检测为正的样本数；TN为负样本中被检测为负的样本数；FN为正样本中被检测为负的样本数。

精确率(Precision)表示实验中检测到的正样本中正确的样本数与检测到的所有正样本数据之比。

(15)

召回率(Recall)表示实验中检测到的正样本中正确的样本数与实际正样本数之比。

(16)

F1分数(F1-Score)为精确率和召回率的加权调和平均数，其值越高则说明分类效果越好。

(17)

5 实验结果与分析

图8和图9分别为正常人和帕金森病人在手指捏合实验中所对应的运动信号。从图8和图9可知，帕金森病人运动信号相对于正常人更加混乱，节律性较差，运动过程中容易出现震颤现象导致信号出现波动情况。因此，在相应运动信号基础上提取对应特征参数可用于区分帕金森病人和正常人。

图8 正常人运动信号

图9 帕金森病人运动信号

帕金森组成员(PD)和正常对照组成员(NP)的特征参数如图10所示。

图10 PD组和NP组特征参数对比

图10中FP_DFA、TSG_DFA、FP_APEN、TSG_APEN、FP_CV、TSG_CV、FP_RMS、TSG_RMS分别表示手指捏合实验和脚趾拍地实验对应的DFA标度指数、近似熵、变异系数和均方根，ASI和SA分别表示两种离散步态对称性指标。从图10可知，帕金森病患者的平均DFA指数小于健康人，表明其长程相关性相比于正常健康人更低；帕金森病患者近似熵值大于正常人，这一结果表明，帕金森病患者运动信号更加混乱，运动过程中产生新模式的概率更大；帕金森病患者的变异系数和均方根参数小于正常人，反映了其运动迟缓性；帕金森病患者ASI指数比正常人显著降低，SA指数高于正常人，反映了帕金森病人的步态不对称性。

笔者构建SVM模型进行帕金森病识别，为了减少数据集划分方法带来的影响，采用10折交叉验证法进行训练和测试。SVM模型中核函数选取为径向核函数，g取0.25，当误差值小于0.001时停止训练，使用网格搜索得到不同惩罚系数对应帕金森病人与正常人分类模型误差如图11所示，选取惩罚系数为0.6时误差最小，模型结果如表1所示。

图11 不同惩罚系数对应误差

表1 模型性能评估结果 %

从表1可知，在帕金森病人和健康人分类实验中，SVM模型取得了较好的分类效果，其准确率、召回率、精确率和F1分数达到95%、94.56%、96.66%和95.6%。

6 结论

笔者提出了一种基于双目视觉的帕金森病识别方法，通过在人体身上放置光学标记点，对标记点进行图像提取、圆心计算和三维重建得到人体运动信号，在此信号基础上提取DFA标度指数、近似熵和离散步态对称性指标等特征，以此构建分类模型进行帕金森病识别。实验结果表明，该方法可以较好地识别出帕金森病人与正常人，可以辅助医生更好地诊断和治疗帕金森病。