基于卷积神经网络的肺癌病理图像分类 宁静艳， 俞 晨，程 年，等（141）

宁静艳1， 俞　晨2，程　年1，刘　芃1

摘 要：确定肺癌类型对于病人后续治疗方案的选择至关重要，但肺癌诊断必须由专业病理医师在显微镜下观察活体组织切片确定，诊断过程耗时长，且病理医师之间很难取得较好的一致诊断。随着病理全切片扫描设备的普及，病理图像可在计算机上保存、观察、分析，使通过现代数字图像处理技术辅助诊断或提供决策支持成为可能。对于亿级像素的全切片病理图像（WSI），通过在图像中提取小块、训练分类网络，并根据验证结果调整网络参数，可得到较好的分类准确率。测试时，聚合全图中小块分类结果得到最终类别。使用基于块的分类方法，卷积神经网络模型在WSI分类任务中取得了较好的效果，有望通过现代深度学习方法对肺癌提供辅助诊断及决策支持。

关键词：卷积神经网络;肺癌;病理图像分类;计算机辅助诊断

DOI：10. 11907/rjdk. 181868

中图分类号：TP317.4文献标识码：A文章编号：1672-7800（2019）002-0141-04

Abstract： The diagnosis of lung cancer must be determined by a professional pathologist after looking at the biopsy under a microscope， which is time consuming. Besides， determining the subtype of lung cancer is crucial for the follow-up treatment plan， but it is difficult for pathologists to obtain a decent consistent diagnosis. With the popularity of virtual microscopy devices， it is convenient that pathological images can be stored， observed， and analyzed on computers， which make it possible to assist in diagnosis or provide decision support through modern computerized image processing techniques. For the very large GigaPixel pathological whole-slide images （WSI）， patches were extracted and used to train the convolutional neural network model in this paper. After the parameters of network were adjusted based on the verification results， decent classification accuracy were ultimately obtained. During test phase， the classification results of the patches extracted from a whole image were aggregated to get the final result. By the patched-based classification method， the convolutional neural network model has achieved good results in the classification of pathological WSIs. It is hoped that modern deep learning methods can be used to assist in the diagnosis of lung cancer and provide decision support.

Key Words： convolutional neural network; lung cancer; pathological image classification; computer-aided diagnosis

0 引言

肺癌是男性最常見的癌症致死病因，及早发现和确诊对于病人身体健康至关重要。胸部影像学检查如电脑断层（CT）等能提供初步检查和评估，但是只能作为诊断参考，肺癌的确诊以及肺癌子类型的确定必须由病理医师在显微镜下观察活体组织样本特征才能得到结果[1]。肺癌可粗分为小细胞癌和非小细胞癌，其中非小细胞癌主要有鳞癌和腺癌[2-3]。确定病人肺癌子类型对于后续治疗策略选择和预测治疗相当重要[4]。然而，对于样本中表现最好的特征病理，医师也难以得到很好的一致性诊断结果[4]。对于确定非小细胞癌和区分其子类型，腺癌和鳞癌的诊断一致性也相对较低[5]。诊断一致性与肿瘤区分度、活体组织切片质量相关。对病理图像主观或错误的诊断可能误选对应的治疗方案，从而降低病人存活率和生活质量[6]。

近年来，一些学者着力于对肺癌诊断预测定义额外的视觉特征[7]。数字病理学的出现使病理学得到了跳跃式发展[8]：虚拟显微镜传送技术能够将活体组织玻璃切片输出为能够在计算机上进行观察、分析的数字图像，数字病理学被称为能为癌症和其它重症疾病诊断、预后提供更好、更快、更廉价的最有潜力的实现方向之一[9]。Hipp[10]提出数字图像处理技术能够提高病理图像评估效率、准确率和一致性， 能够为诊断结果提供决策支持。Yu等[11]通过在非小细胞癌数字病理切片图像中提取形态学特征并训练分类器分类非小细胞癌的亚型，从而预测患者生存期。

传统图像分类方法主要利用图像颜色、纹理和形状及手工设计的特征描述算子从图像中获取的Harris角点、SURF特征、SIFT特征等[12]，且需要单独设计分类器。人工筛选特征的方法需要对特定任务有足够知识背景，并通过不断实验对参数进行调节，精力耗费大。

上世纪90年代，反向传播算法的出现使神经网络在人工智能领域引起了一次技术变革[13]。随着计算机处理能力不断提升，神经网络模型参数训练缓慢的问题得到解决[14]，使其成为机器学习领域最受欢迎的主题。神经网络不同结构的模型解决了计算机科学领域的不同问题，在计算机视觉、语音识别、自然语音处理等领域取得了较好的识别结果[15]。卷积神经网络作为神经网络的一种变形，是各种网络结构中最重要的形式之一[16]，通过局部连接和共享权重的方式获取图像丰富的特征，大幅提升了图像分类与检测能力[17]，在图像处理领域得到广泛应用。对于亿兆像素的病理全切片图像，本文使用卷积神经网络模型训练基于块的分类器，测试阶段则通过聚合图像中块的分类结果得到最终结果。

1 分类模型与方法

1.1 深度学习框架选择

Keras是一个利用Python编写的开源神经网络库，可以以Tensorflow、Theano或MXNet为后端，提供一个更高层次、更直观的深度学习抽象集合，专注于用户友好、模块化和可扩展性，使用户能快速在各种计算后端开发深度学习模型。考虑实验模型构建的快速性与便捷性，本文选择使用Keras框架进行卷积神经网络模型构建。

1.2 卷积神经网络结构设计

卷积神经网络通过局部感受域和共享权重解决传统前馈网络中参数过多的问题[14]。卷积操作能够学习图像中的局部特征，特别适用于图像识别任务。基于卷积神经网络的分类模型能够自动学习训练样本图像中的特征表达，将传统图像识别任务中的特征提取与分类识别合二为一，进行端到端的图像处理，得到分类结果，避免重新训练基于图像特征的分类器。

对于输入图像，卷积网络的局部感受域（通常为3 × 3或5 × 5的区域）在图像上进行卷积操作构建隐藏层，每个连接学习一个权重和一个总偏置。同时，可以选择多个卷积核学习图像的不同特征。前面卷积层学习的特征为局部特征，最后卷积层可学习图像全局特征。本文实验卷积核大小为3×3区域，卷积核个数随网络层数加深，由32增至64。为避免Sigmoid激活函数梯度饱和及非0输出问题，并加快收敛速度，实验选用Relu激活函数[18]，如式（1）所示。在卷积层之后通过池化层获取凝缩的特征映射，对于多个特征映射，混合层与其一一对应，本文实验以2×2的区域进行最大值池化。

最后网络通过全连接神经网络对学习到的特征进行分类，输出层采用Softmax输出类别概率。损失函数采用交叉熵代价函数，见公式（2）。

损失函数优化方法为RMSProp，相对于AdaGrad[19]方法，RMSProp通过加权平均的方法在训练过程中使学习率随着训练epoch增加自动衰减，解决了多层网络中学习过早结束的问题。相比于AdaGrad中的梯度累积量[r←r+g⊙g]， RMSProp优化器中引入衰减速率[ρ]，加权计算历史梯度，累积量为[r←ρr+（1-ρ）g⊙g]。卷积神经网络总体结构如图1所示。

1.3 减小过拟合方法

机器学习方法通过拟合大量训练样本预测同分布数据时常出现的拟合问题。模型在训练数据上有很好的识别效果，但在未经训练的测试集上的识别效果则不够理想。通常数据增强是减少过拟合的首选方法，但是本实验中从每例肺癌病理图像中能得到上万张训练样本，所以考虑使用L2权重正则化方法减小过拟合。L2正则化方法如式（3）所示。

其中 [C0]为原始代价函数，L2正则化通过在损失函数中引入权重的平方限制模型权重值，达到简化模型的目的，并在较小的权重和代价函数之前找到一个折中值。加入正则化项后，学习过程中权重w的更新如式（4）、式（5）所示，其中m为小批量数据个数，[λ]为正则化系数、实验中设为0.005。

另外，稀疏的网络节点，即简单的网络模型，能减少过拟合。实验采用Dropout方法[20]在网络训练过程中按指定概率将网络节点随机丢弃，使每个batch都可以训练不同的网络。测试时通过以相同比率规范激活层的输入得到输出。实验在每个卷积最后的部分及全连接层添加Dropout，keep_prob分别设为0.25、0.5、0.5。

2 肺癌病理图像分类实验

病理切片扫描图为上亿兆像素，而神经网络模型的输入一般约为256像素。输入图像过大对计算机内存和计算能力要求较高。本文采用训练基于小块的卷积神经网络分类模型，测试时采用投票表决的方法聚合基于块的分类结果，得到大图最终分类结果，即选择块中所占比例最大的类别作为大图类别。

2.1 肺癌病理图片数据集

本文使用的數据集为江苏省肿瘤医院采集的肺癌患者病理切片扫描图。其中包括肺腺癌切片95例，小细胞癌切片33例，鳞癌切片14例。由于病理全切片扫描图一般为亿兆像素级，可从每例病理图中获得上万个小块作为训练图片，解决了卷积神经网络训练样本不足的问题。

为确保数据集中不同类别数量平衡性，实验从每类数据取得13例，去除其中的背景区域后，从每个全切片扫描图中得到约28张宽、高均在6 000～9 000像素的子图，即每类肺癌各有约350张图片，每类肺癌局部图像如图2所示。在每类中取60%作为训练集，20%为验证集，20%为测试集。

2.2 实验结果

小块中包含足够的区分信息是卷积神经网络能够学习不同肺癌特征的重要条件[21]。但是，小块太大也会影响网络区分不同特征的能力，且受计算机内存限制。因此，必须选择大小合适的块级图像训练分类网络，本文块级图像大小为224×224。采用滑动窗口和随机取块的方式选取块：滑动窗口下以无缝剪切的方式从每张大图中取（w/224）×（h/224）张小图（w，h分别为每张图的宽和高）;以随机取块的方式对每张图生成1024个在（0，w-224）和（0，h-224）的随机数对，在图像中选取1 024个小图。为保证不同类别训练样本数量平衡，每个batch的数据都是将3幅不同类别的大图中的小块随机打乱后输入网络所得。

實验采用RMSprop优化器默认配置不断减少模型交叉熵损失函数。Batchsize 大小为128，训练10个epoch，在验证损失不再下降时采用EarlyStopping的方法终止训练，对验证集损失的容忍度设为3，即经过3个epoch后损失不再下降则停止训练，模型在6个epoch后自动停止。训练过程中损失和准确率变化如图3所示。

对于基于块的卷积神经网络分类模型，通过滑动窗口取块方式和随机取块的方式在训练集和测试集取得了相似结果：准确率为0.92，损失为0.20;在测试集的准确率为0.75，损失为0.67。但是结合图中所有块的分类结果对整张图进行预测，随机取块的方式取得了较好的结果：小细胞癌分类准确率为0.95、腺癌为0.75、腺癌为0.875，总准确率为0.86;在滑动取块的方式下得到的预测准确率分别为0.85、0.825、0.75。在滑动取块和随机取块方式下训练得到的模型在测试集的准确率如表1（分别简称模型1、模型2）所示。

实验表明随机取块的方式能更好地学习图像特征，预测准确率相对较高。在随机取块的方式下，训练样本能够包含多种随机样本，在滑动窗口下固定的样本位置会影响样本多样性。两种模型对小细胞癌分类准确率均较高，在一定程度上与肺癌类别的划分一致：腺癌与鳞癌属于非小细胞癌的二级类别，而小细胞癌属于肺癌的一级类别。

3 结语

病理全切片图像一般为亿兆像素级别，难以直接通过卷积神经网络模型提取特征，但是可从中提取足够的样本训练模型。本文在肺癌数据集上分别通过滑动窗口和随机取块的方式训练模型，然后通过聚合图像小块分类结果得到整副图的类别，最终通过在图像中随机取块训练得到的模型，使大图中的分类准确率平均达到86%，表明数字图像处理方法如卷积神经网络模型可以应用于肺癌病理图像分类，以辅助病理学家进行相关研究。本文实验结果表明，运用卷积神经网络模型难以区分非小细胞癌。排除图像本身特征相似性的原因，后续可针对非小细胞癌图像单独训练模型，提高对鳞癌和腺癌图像的区分度。

参考文献：

[1] NAGTEGAAL I D， KRIEKEN J H J M V. The role of pathologists in the quality control of diagnosis and treatment of rectal cancer—an overview[J]. European Journal of Cancer， 2002， 38（7）：964-972.

[2] LOO P S， THOMAS S C， NICOLSON M C， et al. Subtyping of undifferentiated non-small cell carcinomas in bronchial biopsy specimens[J]. Journal of Thoracic Oncology， 2010， 5（4）：442-447.

[3] NICHOLSON A G， GONZALEZ D， SHAH P， et al. Refining the diagnosis and EGFR， status of non-small cell lung carcinoma in biopsy and cytologic material， using a panel of mucin staining， TTF-1， cytokeratin 5/6， and P63， and EGFR， mutation analysis[J]. Journal of Thoracic Oncology， 2010， 5（4）：436-441.

[4] SILVESTRI G A，TANOUE L T，MARGOLIS M L，et al. Noninvasive staging of non-small cell lung cancer： the guidlines [J]. Chest，2007，132（3）：178S–201S.

[5] GRILLEY-OLSON J E， NEIL HAYES？D， Moore？D T， et al. Validation of interobserver agreement in lung cancer assessment： hematoxylin-eosin diagnostic reproducibility for non-small cell lung cancer： the 2004 World Health Organization classification and therapeutically relevant subsets [J]. Archives of Pathology & Laboratory Medicine， 2013， 137 （1）： 32-40.

[6] RAAB S S， GRZYBICKI D M， JANOSKY J E， et al. Clinical impact and frequency of anatomic pathology errors in cancer diagnoses[J]. Cancer， 2010， 104（10）：2205-2213.

[7] TRAVIS W D， BRANBILLA E， NOGUCHI M， et al. International association for the study of lung cancer American Thoracic Society/European Respiratory Society International multidisciplinary classification of lung adenocarcinoma[J]. Journal of Thoracic Oncology， 2011， 6： 244-285.

[8] CHEN R， JING Y T， JACKSON H. Identifying metastases in sentinel lymph nodes with deep convolutional neural networks[DB/OL]. http：//pdfs.semanticscholar.org/b9a0/4c9ddad98c9ca6899390aeba95fc9d99 59fa.pdf.

[9] GHAZNAVI F， EVANS A， MADABHUSHI A， et al. Digital imaging in pathology： whole-slide imaging and beyond[J]. Annual Review of Pathology： Mechanisms of Disease， 2013， 8： 331-359.

[10] HIPP J， FLOTTE T， MONACO J， et al. Computer aided diagnostic tools aim to empower rather than replace pathologists： lessons learned from computational chess[J]. Journal of Pathology Informatics， 2011， 2（2）： 25.

[11] YU K H， ZHANG C， BERRY G J， et al. Predicting non-small cell lung cancer prognosis by fully automated microscopic pathology image features[J]. Nature Communications， 2016， 7：12474.

[12] 张恒亨. 基于传统方法和深度学习的图像精细分类研究[D]. 合肥： 合肥工业大学， 2014.

[13] LECUN Y， BOSER B， DENKER J S， et al. Handwritten digit recognition with a back-propagation network[C]. Advances in Neural Information Processing Systems， 1990： 396-404.

[14] 吕力兢.基于卷积神经网络的结肠病理图像中的腺体分割[D]. 南京： 东南大学， 2016.

[15] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks[C]. International Conference on Neural Information Processing Systems，2012：1097-1105.

[16] LECUN Y， BOTTON L， BENGIO Y， Gradient based learning applied to document recognition[J]. Proceedings of the IEEE， 1998， 86：2278-2324.

[17] SZEGEDY C， LIU W， JIA Y Q， et al. Going deeper with convolutions[C]， Computer Vision and Pattern Recognition（CVPR） 2015 IEEE Conference on， 2015： 1-9.

[18] GLOROT X， BORDES A， BENGIO Y. Deep sparse rectifier neural networks[C]. International Conference on Artificial Intelligence and Statistics. 2011：315-323.

[19] DUCHI J， HAZAN E， SINGER Y. Adaptive subgradient methods for online learning and stochastic optimization[J]. Journal of Machine Learning Research， 2011， 12（7）：257-269.

[20] HINTON G E， SRIVASTAVA N， KRIZHEVSKY A， et al. Improving neural networks by preventing co-adaptation of feature detectors[J]. Computer Science， 2012， 3（4）： 212-223.

[21] LITJENS G， SáNCHEZ C I， TIMOFEEVA N， et al. Deep learning as a tool for increased accuracy and efficiency of histopathological diagnosis[J]. Scientific Reports， 2016， 6：26286.

（責任编辑：江 艳）