基于ResNet深度网络的人类蛋白质图谱图像分类方法研究

常 川

(武汉大学遥感信息工程学院 武汉 430072)

1 引言

1.1 快速实现医学影像自动分类的必要性

随着医学影像规模的快速扩张，现有的医学影像存储和分析方式面临着巨大的挑战[1-2]。大量不同类别的医学影像混杂在一起，需要进行分类存储和管理，以便进一步研究[3]。手动影像类别标注无法胜任大规模影像的应用场景[4]，因此快速有效地实现医学影像自动分类成为十分迫切的需求。

1.2 相关研究情况

医学影像分类方法的研究由来已久，较早的研究者基于分数布朗运动确定分形维数，从而定义归一化分数布朗运动特征向量，以实现医学影像中的分形特征分析与分类[5]。Hossein等使用新的分层合并方案，提出一种基于内容的医学图像分类方法，根据形状和纹理特征进行医学图像分层，结合多层感知器实现医学影像分类[6]。卷积神经网络(Convolutional Neural Network, CNN)在图像分类领域取得较大的成就，武汉理工大学的张振焕等针对多类别服装分类精度不够高的问题，设计并实现一种基于残差进行优化的卷积神经网络服装分类算法，所提出的网络模型在分类速度和精度上都优于VGGNet和AlexNet[7]。Andrej等结合CNN和视频时空信息，搭建时空神经网络，对487类别的100万个视频数据集进行分类，取得比单独的CNN分类模型更好的分类效果[8]。深度卷积神经网络通过一种深度非线性结构，对输入数据进行分层表示，从而将数据的低层特征转化为易于分类的高层特征，对特征进行学习，进而实现自动分类。ResNet深度网络的主要特色是跨层连接，其出现为更深网络的训练提供方法。能够减轻网络训练的负担，且更容易被优化，在深度增加的情况下提高网络的精度。随着深度学习和神经网络的发展，基于深度学习的分类方法被引入到医学影像自主分析与分类中。韩国亚洲大学的研究者通过分析口腔癌患者的高光谱图像，开发一种基于边缘检测[9]和卷积神经网络的自动化口腔癌检测方法，对图像数据集进行训练和测试，取得0.945的准确率[10]。Frid-Adar等基于对抗神经网络(Generative Adversarial Networks, GAN)[11]进行合成医学影像增强，以用于提高CNN对肝脏病变细胞的分类能力，实验结果表明相比于仅使用原始数据增强[12]进行训练，添加合成数据增强训练得到的CNN网络模型具有更快的速度和更高的准确率[13]。

2 基于ResNet的人类蛋白质图谱图像分类方法

2.1 分类过程(图1)

图1 ResNet分类过程

2.1.1 数据预处理 对人类蛋白质图谱图像的训练数据集和测试数据集进行预处理及数据增强，以达到扩充数据集和增强数据特征的作用。

2.1.2 模型训练 进行权值初始化，利用卷积层对训练数据集进行特征提取，生成特征图，经过池化层和全连接层进行前向传递得到输出值，然后求出输出值与目标值之间的误差进行反向传递，根据所得误差进行权值更新，最后得到训练好的分类模型。

2.1.3 模型测试 将训练好的分类模型应用于测试数据集，得到输出结果，与测试数据的真实标签进行比较，计算得到模型的准确率和F1值，然后与其他分类方法进行分析比较，实现对模型分类效果的评估。

2.1.4 图像预测 采用已训练的分类模型对未知类别的蛋白质图谱图像进行预测，得到输出值，获得图像所属类别。

2.2 网络构建

卷积神经网络随着网络层数的不断加深，其学习能力也会增强，但是却出现准确率随网络层数增加而下降的异常现象，这就是所谓的“退化”问题[14]。ResNet网络的提出解决上述问题，见图2。ResNet使用一种新颖的连接方式叫做快捷连接(Shortcut connection)，即在原网络结构的基础上增加一个新的连接恒等映射(Identity mapping)，这使得原本所需要学习的函数F(x)转换为F(x)+x，即学习的函数与输入数据之和，这个简单的加法并不会给网络增加额外的参数和计算量，却可以提升模型的训练速度和训练效果，当模型的层数加深时，这个结构能够很好地解决退化问题。

图2 快捷连接原理

本研究是在ResNet-50结构基础上通过迁移学习[15]构建的模型,见图3，网络的输入为512x512的RGB图像，使用49个卷积层，根据ResNet模型结构，49个卷积层被分成5个组，卷积核的大小分别为7x7、1x1、3x3，用于对输入图像进行特征提取，卷积层的激活函数为非线性ReLU激活函数，使用1个3x3的最大池化层(Max pool)和1个7x7的平均池化层(Average pool)，步长设定为2，所以长宽变为原来的1/2，最后使用28个全连接层和Softmax激活函数，用于对28类的人类蛋白质图谱图像进行分类。在网络结构设计中，卷积层之间的连线有实线和虚线两种方式，实线的连接部分都是执行3x3x64的卷积，通道个数一致，所以输出结果y用式(1)的计算方式，虚线的连接部分分别是3x3x64和3x3x128的卷积操作，通道个数不同，分别为64和128，输出结果y采用式(2)的计算方式。其中，y为模型的输出结果，F(x)为所需要学习的函数，x为模型的输入值，W是卷积操作，用来调整x的通道维度。

y=F(x)+x

(1)

y=F(x)+W*x

(2)

图3 网络结构

3 实验结果与分析

3.1 实验数据

本文所使用数据集为瑞典的人类蛋白质图谱计划中的开放资源，包含28种不同细胞中共15 000张512x512的蛋白质图谱图像，数据集的28类标签信息，见表1。所有图像样本由存储为单个文件的4个滤波器组成：感兴趣的蛋白质和细胞核、微管、内质网3个标志物，感兴趣的蛋白质滤波器为预测标签，其他滤波器作为辅助特征，以便更好地对蛋白质图谱图像进行分类。在训练过程中，为训练方便，将4个滤波器合并为一张单独的图片数据，4个滤波器图像和处理后的图像数据，见图4。

表1 数据集标签描述

图4 数据预处理及部分数据示例

在深度学习训练的过程中，当训练集中样本数量不够多，或某一类别的数据量过少，特征不够明显时，需要进行数据增强[16]。对原有数据集进行颜色抖动、旋转、裁切和添加噪声等操作，将数据集扩充到31 100张图像，增强绿色滤波器的特征。在31 100张数据集内的图像被分成训练集和验证集两部分，其中训练集有25 000张图像数据，验证集有6 100张图像数据,见图5。

图5 蛋白质图像数据增强

3.2 实验过程及结果分析

选取包含型号为NVIDIA GeForce GTX 970显卡的机器，操作系统为Ubuntu 16.04，选择Keras深度学习框架进行模型训练和测试，在扩充后的蛋白质图谱图像数据集上，对基于ResNet深度网络的分类模型进行实验。模型训练时设置学习率为0.001，训练轮次为30 000次，对基于ResNet深度网络的人类蛋白质图谱图像分类方法进行训练，保存训练得到的模型参数，以便后续的测试和预测。然后将训练得到的模型对数据进行测试，得到模型的准确率和F1值并与参考文献中人工及其他分类方法的准确率和F1值进行比较，以衡量本方法的分类效果，见表2。其中，文献[17]中包含基于卷积神经网络的蛋白质图谱图像分类方法以及人工专家分类结果，文献[18]中包含基于支持向量机和随机森林两种蛋白质图谱图像分类方法。准确率(Accuracy)和的计算公式如式(3)和式(4)所示：

(3)

(4)

其中，TP表示将正类判定为正类的数目，FP表示将负类判定为正类的数目，FN表示将正类判定为负类的数目，TN表示将负类判定为负类的数目。

表2 与其他分类方法进行比较

相比于其他自动分类方法，本研究在F1值和准确率上有一定的提升，具有更高的分类精度和准确率。文献[17]中还提到了两个专家对人类蛋白质图谱图像进行人工分类的效果，准确率分别为0.959和0.923，本研究的准确率接近于专家分类，而且基于ResNet的分类方法的优势在于可以自动快速地实现蛋白质图谱图像分类，大大节约人工和时间成本。

4 结语

本研究实现基于ResNet深度网络的人类蛋白质图像分类方法，对多种蛋白质图谱图像进行分类实验，然后与人工分类及其他自动分类方法研究进行比较。实验结果表明相比于人工分类，虽然准确率略低，但可以实现人类蛋白质图谱的自动快速分类，且比其他自动分类方法具有更高的精度和准确率。随着医学影像数据的增长，基于ResNet深度网络的自动分类方法将发挥更大的作用。今后将继续开展相关研究，进一步提高分类的速度和准确率，持续提高本方法的应用价值。