基于PCNN-LSTM神经网络的膝关节摆动信号分类识别

杨 佳 邱天爽#* 刘宇鹏

1(大连理工大学电子信息与电气工程学部，辽宁 大连 116024)2(大连大学附属中山医院，辽宁 大连 116001)

引言

膝关节由股骨内、外侧髁和胫骨内、外侧髁以及髌骨组成，是人体最大的关节之一。膝关节是身体主要的承重部位，保护不当则较易受损，是人体发病率最高的关节。常见的膝关节疾病主要包括骨关节炎、半月板损伤、交叉韧带损伤和滑膜皱襞等。目前临床上膝关节疾病检查主要有两种方法：一是利用关节镜进行微创手术，虽然检测结果最为准确，但需要有创手术的辅助，而且过程痛苦，此外手术和麻醉的过程也具有风险，不适合日常常规诊断[1]；二是采用CT、MRI等大型设备进行检查，检测过程无创且检测效果较好，但是大型设备检测成本高，且无法提供早期诊断及膝关节的变化特征[2]。综上，找出一种无创简便的膝关节疾病检测的新方法具有重要的意义。

膝关节摆动信号(vibroarthrographic, VAG)是表示膝关节屈曲或伸展时发出的声音或振动信号[3]。通过对VAG信号的检测和分析，可对膝关节疾病及损伤状况进行无创检测和评估。通过在髌骨及内、外侧胫骨放置声学传感器检测被试者在屈曲、伸展运动时膝关节产生的振动，并以此诊断相关的膝关节疾病，还可以得到膝关节软骨表面粗糙度、软化、破裂或润滑状态的指标[4]。

近年来，国内外学者对膝关节摆动信号进行了大量的研究，结果表明，健康与患有膝关节疾病的膝关节所产生的VAG信号具有差异性[5]。Rangayyan等[5]提出一种基于多重分形分析的非线性分析方法处理VAG信号，结果表明，异常和正常的VAG信号在非线性特征均值上具有明显差异；Wu等[6]提出以VAG信号的熵和包络幅度作为区分正常异常膝关节疾病的特征参数，区分健康和患有关节软骨疾病的患者；Befrui等[7]利用半自动分割技术来提取VAG信号中的高频分量，以此作为特征参数来分类健康、软骨软化症和骨关节炎患者，健康受试者，其识别正确率达到84%；Tuan等[8]利用VAG分析诊断方法，对前交叉韧带重建术前后损伤进行恢复状况的评估。但是，由于膝关节疾病种类和临床上评判指标的多样化，目前提出的基于非线性信号特征提取方法还不能较为准确地区分膝关节的健康状况，关于膝关节摆动信号用于膝关节疾病诊断的准确率和灵敏度还有待提高，对于不同膝关节疾病的分类还需进一步细化。本研究结合经验模式分解、小波变换和深度学习方法，提出一种改进的卷积神经网络识别模型，即并行卷积长短期记忆网络(parallel convolution neural network long short term mermory, PCNN-LSTM)，旨在进一步提高VAG信号的分类精度。

1 方法

1.1 VAG信号分类识别流程

本研究的VAG信号分类识别方法的流程如图1所示。在数据采集、预处理后，构建二维时频特征谱图数据集，通过所提出的PCNN-LSTM神经网络进行分类识别，以判断膝关节的健康状况。

图1 膝关节摆动信号(VAG)分类识别流程Fig.1 Flow chart of VAG classification system

1.2 数据采集

所采用的VAG数据是于大连中山医院骨科临床采集获得的。在采集过程中，在受试者髌骨中央放置加速度传感器(181A02)，并使用USB采集仪(FSC812)集成装置对膝关节摆动信号进行采集，采样频率为2 kHz。受试者坐在高度适宜的椅子上保持腿部悬空，并进行小腿0°～135°范围的周期性摆动，每个摆动周期约为4 s。通过上述方法进行采集，得到了一个654例VAG信号组成的数据集，其中包括健康数据222例和患有膝关节疾病的数据432例。受试者均知情同意。本课题通过大连理工大学伦理委员会审查。

1.3 数据预处理

临床无创采集VAG信号时，采集仪器在受试者小腿摆动过程中会与肌肉表面摩擦，且患者腿部常会出现无规律性的跳动，进而导致所采集的VAG信号中出现基线漂移和噪声等干扰[9]。为了排除干扰噪声的影响，得到更准确的VAG信号，有效的去噪处理是非常重要的。

首先，利用低通滤波器去除基线漂移，再采用经验模态分解(empirical mode decomposition, EMD)方法[10]去除VAG信号中的噪声。EMD方法对于非线性非平稳信号的分析处理具有很好的效果，可利用信号本身的时间尺度特征将信号分解成为多个本征模函数(intrinsic mode function, IMF)，不需要提前设置基函数。对各IMF进行去趋势波动分析，辨别每个IMF的内在相关特性，去除含有随机噪声的IMFs，以此来去除VAG信号中的噪声，再将剩下的信号进行重构，得到较为纯净的VAG信号[4]。考虑到数据的不同量纲往往会影响数据比较分析的过程，为了消除这种数据之间的相互影响，本研究对数据进行了标准化处理，通过归一化处理将数据映射到-100～100的区间上，使得数据的各特征处在同一数量级，有

(1)

式中，x(n)表示处理后的信号，x0(n)表示原始信号，x0,min表示原始信号中的最小值，x0,max表示原始信号中的最大值。

原始VAG信号如图2所示，预处理后的VAG信号如图3所示。对比两图可知，在VAG信号中，基线漂移和噪声等的干扰可被有效去除。

图2 原始VAG信号Fig.2 Vibroarthrographic signals before processing

图3 预处理后VAG信号Fig.3 Vibroarthrographic signals after preprocessing

1.4 构建数据集

深度学习方法通常需要大量的数据来构建数据库作为支撑，而对于VAG信号，临床上所能提供的数据集数据量不足。针对该问题，本研究进行了数据扩增，过程如下：

首先采用滑动窗法，将采集到的一维VAG信号分段，滑动窗长度为5 000点，步长为2 500点。为了排除开始数据采集时患者可能的动作延迟对数据的影响，舍去数据前部的5 000点数据。在采样率2 kHz的条件下，将每段VAG信号截短为5 000点，便每个原始VAG信号可以截取N段信号，有

(2)

式中，N表示分割后的数据段数，L表示采集原始数据长度，⎣」表示向下取整。得到的每一段数据作为一个样本数据，共得到868个样本数据。

然后，对每段VAG信号进行小波变换处理，将其从时域转换为时频域，进而方便提取信号时频域上的特征。小波变换是一种基于时频域局部化的研究方法，利用可以随频率变化的时频窗口，基于伸缩和平移对信号进行不同尺度下的分析[11]。本研究选用coif5作为小波基函数，将变换后的VAG信号的时频图作为输入的特征数据集。此外，通过对时频图进行水平翻转、竖直翻转变换，还可以进一步扩增数据集。

这样，原始数据集由654例扩增至2 604个时频图样本数据。将VAG信号从一维时域信号变换为时频图[12]，不仅便于扩增数据集，而且可以更好地呈现出信号在时频域上的特征信息。由一维卷积变换为二维卷积的操作，在时域和频域同时提取可分类的抽象特征，可更好地用于分类VAG信号。为了更加直接地呈现出VAG信号时频谱图的特征，图4给出了其三维效果。

图4 VAG信号的时频特征谱图Fig.4 Time frequency image of vibroarthrographic

1.5 VAG分类的网络模型

传统VAG信号分类方法大多依赖于所提取的特征参数，特征参数对分类结果影响较大，且分类效果有待提高。针对此问题，采用小波变换和深度学习结合的方法，依据VAG信号自身特点，利用改进的卷积神经网络(convolution neural network，CNN)并行网络与LSTM(PCNN-LSTM)相结合，实现对VAG信号的自动分类识别，提高分类准确率。

深度学习可在多个层次上对特征进行抽象表征，与传统方法相比，可以更智能更全面地提取数据的有用信息，取得较为准确的分类效果。卷积神经网络模型(CNN)是一种深度学习的框架[13]，由输入层、隐藏层和输出层组成，其中隐藏层由卷积层、池化层组成，CNN的卷积层神经元是与前一层的神经元部分连接，且与同一层一些神经元共享权值和偏置，这样的设计可以大大减少计算量，防止过拟合，适用于处理图片数据，对于图像分类具有较好的效果。其中，在第二层中采取了3个不同卷积核并行的方式。在一般图像问题中，图像的数据集矩阵为正方形，但本研究的膝关节摆动信号所形成的数据集为长方形。为了更加贴合数据集，选取卷积核时也采取长方形的卷积核，这样既减少了参数量和计算量，也使得提取特征时更加符合数据特点，能根据数据形状确定卷积核的大小。

LSTM在循环神经网络(recurrent neural networks，RNN)的基础上加入了门控机制，改善了RNN网络的梯度爆炸和梯度消失的问题。LSTM网络由多个单元首尾相连，前一层的输出作为下一层的输入。门控机制分为输入门、遗忘门和输出门。通过这些门控单元可以添加和删除信息，有选择地决定信息是否通过、是否遗忘、是否输出。LSTM神经网络可以有效处理复杂时间关联性的时序信号，具有较好的分类识别效果。

本研究采用的并行CNN结构如图5所示，改进的神经网络PCNN-LSTM结构如图6所示。首先将输入层并行输入到CNN网络中进行训练，通过CNN网络来提取信号的轮廓信息。实验中发现，卷积核大小的选择对于实验效果有较大的影响。传统的CNN网络通常是串行结构，一个输入对应一个卷积核。为了多层次多角度的提取二维时频特征谱图特征，本研究增加两个通道，通过3个卷积层并行的方式选取3种不同卷积核，分别对数据集进行特征提取。加入特征融合层，将并行网络提取出的特征结合，再经过两个卷积模块处理后连接到LSTM网络来提取时序上的特征信息，以此获取更多的特征信息，提高分类的准确度。该网络的并行CNN网络共6层(L1～L6)，结构组成如下：

图5 网络架构中并行CNN部分Fig.5 Schematic diagram parallel CNN in network

图6 PCNN-LSTM 网络架构Fig.6 PCNN-LSTM network

L1(输入层)。采用小波变换后的时频图作为输入数据集，频率限定在1～150 Hz之间的信号，每张图片大小为150×2 000，作为原始数据输入，传递给之后的网络。

L2(卷积层)。由具有不同卷积核的3个卷积层并行组成，每个卷积层的卷积核数目相同，这种卷积操作实质是滤波，相当于对原图进行特征提取和特征映射。通过改变卷积核的形状，提取更加丰富的多层次信息，以提高网络提取特征的准确性。

L3(连接层)。将L2层中得到的多角度的特征信息融合，对输出的二维卷积结果进行补零操作，使得L2层输出的卷积结果拼接起来，整合成一个可以向下输入的整体特征数据集。

L4(池化层)。池化操作采用尺寸大小为2的max pooling池化滤波器，其主要作用是将特征压缩，减少计算量。

L5(卷积层)。该层采用大小为3×3的卷积核进行二维卷积操作，对上一层的结果继续提取特征，得到更深层次的有利于分类的特征信息。

L6(池化层)。对上层结果进行扁平化处理，减少冗余参数，简化网络。

所采用的各层网络参数如表1所示。

表1 各层网络参数设置Tab.1 Network parameter settings of each layer

经过卷积神经网络处理好的信号数据再次作为输入数据集，输入到含有20个单元的LSTM神经网络中，以提取时序信息用于分类识别。在LSTM神经网络后加入dropout层，以防止网络太深出现过拟合；随后使用全连接层，连接所有特征，将上层输出的结果展开变为一维数据，并将其连接到每一个神经元上；最后使用softmax函数作为分类器，进行分类识别。

在整个网络训练的过程中，实质是在训练权重和偏置，给定的初始值设置为0～1之间的随机数。此外，使用Adam优化器对梯度进行更新，并使用交叉熵损失函数(categorical_crossentropy loss)来评估当前训练得到的概率分布与真实分布的差异情况，交叉熵越小则两个分布概率就越近，具体计算如下：

(3)

最后，将LSTM网络的输出连接一个全连接层(full connection)，使用softmax激活函数实现分类，softmax激活函数公式如下：

(4)

式中，Vi该网络的第i个输出，j表示上一层神经元的输出个数。

1.6 分类识别

基于tensorflow框架，对PCNN-LSTM网络进行有监督的训练，网络的各个参数设置如表1所示。将预处理变换后的2 604张图片输入网络中进行训练，其中训练集和测试集的比例约为7∶3；训练集用于对VAG信号的分类网络进行训练，测试集用于对训练好的模型进行测试。在全连接层中加入激活函数来增加非线性因素，保证网络模型可以对非线性的数据进行分类[14]。采用ReLU激活函数，使用随机梯度下降的方法来对网络各层的参数进行优化，使用交叉熵代价函数作为损失函数来衡量网络的分类误差，使用softmax作为最后分类器对输出结果进行分类；最初始的学习率设置为0.01,训练20次，共训练10轮。

使用上述方法进行分类，在训练、测试结束后对实验结果进行分析。所有样本被分为健康样本(P)和不健康样本(N)两类，在分类后存在健康样本分类正确(TP)、健康样本分类错误(FP)、不健康样本分类正确(TN)及不健康样本分类错误(FN)等4种情况，计算正确率、灵敏度和特异性作为实验后结果的评价标准，有

(5)

(6)

(7)

正确率可衡量一个分类器的分类效果，其值越高分类效果越好；灵敏度衡量分类器对于正例的识别能力；特异性衡量分类器对于负例的识别能力。

1.7 训练和测试

为探究改进神经网络的作用及改进扩充数据集的作用，进行了以下实验。

实验1：将原始654例一维时域VAG信号作为数据集，其中包括训练集459例，测试集195例输入到4层conv1D的卷积神经网络中进行训练。

实验2：将一维VAG信号数据集变换为二维的小波变换时频谱图数据集，共计2 604例，其中包括训练集1 823例，测试集781例输入到4层conv2D卷积神经网络中进行训练，

实验3：将上述二维小波变换时频图数据集作为输入，使用所提出的PCNN-LSTM神经网络进行分类识别。

2 结果

实验1～3的对比分析结果如表2所示。其中，实验1模型训练的分类结果的正确率可以达到99.2%，但测试结果的正确率仅为77.43%，分类结果不理想；实验2模型的分类结果正确率为93.5%，测试结果的正确率为82.59%。通过与实验1的对

表2 实验结果比较Tab.2 Results of compared experiments

比结果可以看出，将一维VAG信号数据集变换为二维时频域上的小波变换图像数据集扩充了实验数据的数量，时频域的图像也呈现出更便于提取的抽象信息，有利于分类识别，可提高分类的准确率，但由于未改进的神经网络在VAG时频谱图的特征信息提取方面仍存在不足，因此分类的准确率还有待提升。通过与实验2的对比结果可以看出，所提出的PCNN-LSTM网络结构相比于CNN网络对VAG信号的分类效果有较大的提升，能够更准确地对膝关节疾病进行分类检测。

实验3训练过程中的正确率曲线如图7所示。使用正确率、灵敏度和特异性这3个指标评估本研究对于VAG信号的分类效果。本研究算法的正确率为96.93%，灵敏度为100%，特异性为95.56%，识别效果较实验1、2均有明显提升。

图7 正确率曲线Fig.7 Accuracy curve

使用大连中山医院骨科所采集的实际数据集，对本研究提出的分类方法与表3中的分类方法进行比较。表3中对比的是分类非平稳信号常用的5种分类方法，直接将所采集的实际数据用作输入信号，识别结果如表2所示。可以看出，在同样的数据处理状态下，本研究提出的网络能更准确地对VAG信号进行分类识别，且分类正确率等方面都明显高于其他的方法。

表3 不同分类方法结果比较Tab.3 Experimental results of various methods

表4给出了近年来几种常用VAG信号分类方法的识别结果对比。对比算法可以取得较好的识别性能，但这些算法较依赖人为的特征提取操作，工作量较大，特征参数的选择也对分类结果有很大的影响，本研究在自动分类的前提下得到了较高的分类正确率。

表4 不同论文结果比较Tab.4 The results of the comparisons among different references

从上述的对比可以看出，本研究在正确率、灵敏度和特异性上均有提高，实现了对于VAG信号正常和异常较为准确的自动分类。

3 讨论

本研究利用改进的CNN-LSTM并行神经网络(PCNN-LSTM)，对VAG信号进行自动分类识别。为了解决分类问题中需要手动提取特征参数、特征对分类效果影响大的问题，提出了依据深度学习神经网络对VAG信号进行特征提取的方法；为提高分类的准确率，将VAG一维信号转换为二维时频特征谱图，更易提取到输入数据集中包含的时频信息，在优化分类器的基础上同时也优化输入的数据集，使得分类效果更好。

在数据集的处理过程中，为解决临床采集的医学数据有限的问题，采用多种方法进行数据增强。首先通过滑动窗切割的方式，将VAG信号分割成多段数据，扩充原始数据集；并将数据由一维时域信号变换到二维时频域中做出时频谱图，由此一维时域信号数据集变换成为图片数据集。利用这种处理方法，不仅可以通过镜像、旋转、下采样的方式扩充数据集，还更易提取到输入数据集中包含的特征信息。在扩增数据的同时，也保证了数据的多样性，保证了数据量的充足，以避免网络训练时发生过拟合的现象。

在深度学习神经网络结构设计以及参数的选取中，本研究在传统的CNN网络的基础上，将串行网络改进为并行结构，采用多个不同维度的卷积核对数据进行处理。在实验中发现，卷积核的选取会影响分类的准确率，在数据集为长宽不相等的图片的情况下，长方形的卷积核的分类效果更加突出，也更加贴合数据集，这样既减少了参数量和计算量，也使得提取特征时更加符合数据的特点。为了从数据中提取到更多的信息，并且结合膝关节摆动信号为时序信号的特点，在将CNN网络的卷积层通过不同卷积核多角度多层次提取的特征进行融合后，将卷积层得到的结果作为输入，与LSTM神经网络相结合来提取信号中的时序信息，进而提升分类器的分类效果。为了增强网络的泛化能力，本研究在每个卷积层之后加上ReLU激活函数。在训练过程中，采用批规范化(batch normalization)的方式，通过mini-batch来做规范化操作，以减少过高的计算代价和运算时间。通过对传统的CNN网络进行改进，可以有效地提升对膝关节疾病的分类准确率。为了验证在网络改进中的效果，通过实验2和实验3比较了改进后的网络PCNN-LSTM与传统CNN网络在分类准确率上的差异。可以看出，改进后的网络能更加准确地对VAG信号进行分类。

为了更直观地对比本研究对于膝关节疾病分类的性能，通过从表3、4的结果中可以看出本研究改进的方法，结合经验模式分解去噪、小波变换，将一维信号转化为二维时频特征谱图，并且利用PCNN-LSTM神经网络进行分类识别，是一种对于VAG信号正常异常分类的较为有效的方法。但仍然存在一些问题有待进一步研究，如VAG信号能否用于不同膝关节疾病的分类、能否用于术后膝关节恢复状况的评估，VAG信号的采集位点的改变和采集通道的增加能否为分类准确率的提升和不同疾病的判断提供更有效的数据集。因此，在本研究的后续的工作中，会具体研究不同膝关节疾病的分类问题，并通过其他方法进一步研究采集和扩充数据集等问题。

4 结论

本研究在传统串行神经网络的基础上融合了并行CNN神经网络结构和LSTM神经网络，提出一种新的网络结构PCNN-LSTM。将VAG信号的输入数据集进行改进，将一维信号变换为二维时频特征谱图，在扩充数据集的同时提供更多的分类特征信息。与对比算法相比，所提出的VAG分类方法可以有效地识别VAG信号，在正确率、灵敏度、特异性等方面都有显著提高，为分析VAG信号提供一种较好的方法。