卷积神经网络在膀胱肿瘤病理分级中的应用

岳栋，郑苗

1.济宁医学院附属医院泌尿外科，山东济宁 272000；2.济宁医学院附属医院手术室，山东济宁 272000

膀胱肿瘤是泌尿外科最常见的肿瘤，2018年全球报告了549 393例新发病例[1]。根据WHO2016年病理分级标准，膀胱肿瘤分为乳头状瘤、低度恶性潜能乳头状瘤、低级别尿路上皮癌、高级别尿路上皮癌[2]。大约25%的尿路上皮癌被诊断为肌层浸润性膀胱癌(MIBC)，预后较差[3]。高级别尿路上皮癌的治疗方式为经尿道膀胱肿瘤电切（TURBT）+放疗+化疗的三联疗法或根治性全膀胱切除联合化疗，严重影响患者生活质量[4]。膀胱镜检查对于膀胱肿瘤的诊断、治疗方式的选择以及复查非常重要，但是膀胱镜检查的诊断准确性因医生的技能和经验而有所不同，因此带有一定的主观性[5]。

当前人工智能在计算机领域发展迅速，人工智能的核心是以卷积神经网络(CNN)为代表的深度学习，虽然利用卷积神经网络进行影像诊断已越来越多的应用于医学领域，但其在泌尿外科内镜下影像诊断领域的应用尚处于起步阶段[6-7]。

该研究收集了济宁医学院附属医院2019年4月—2020年4月收治的138例患者的713张图像构建深度学习数据集，通过卷积神经网络模型对膀胱镜图像训练，从而提高了膀胱肿瘤病理分级图像识别能力，有助于提升膀胱镜检查的客观性，为下一步手术治疗方式的选择提供依据，现报道如下。

1 资料与方法

1.1 标本来源

138例膀胱肿瘤标本来源于济宁医学院附属医院门诊膀胱镜检查患者，其中男性113例，女性25例；年龄25～89岁，平均64.2岁。按膀胱肿瘤病理分级：乳头状瘤组34例，132张图像；低度恶性潜能乳头状瘤组11例，66张图像；低级别尿路上皮癌组36例，192张图像；高级别尿路上皮癌组57例，323张图像。9例行膀胱全切，1例行膀胱部分切除术，其余患者行膀胱肿瘤电切术。标本取活检后，用10%福尔马林固定后送至该院病理科行石蜡切片及免疫组化诊断。

1.2 图像预处理

根据病理结果将膀胱肿瘤图像数据集分成4组文件夹进行归一化。处理过程使用python3.7.1，图像设置：像素大小为100×100，格式为“jpg”。将图像转换成数组后根据文件名提取图像标签：乳头状瘤图像文件名前“0-”、低度恶性潜能乳头状瘤“1-”、低级别尿路上皮癌“2-”、高级别尿路上皮癌“3-”。

1.3 搭建卷积神经网络

在python3.7.1通过Keras、TensorFlow构建类似于VGG模型的卷积神经网络。包括输入层、卷积层、池化层、全连接层、输出层。引入代码如下：from keras.utils import np_utils；from keras.models import Sequential；from keras.layers.core import Dense,Dropout,Activation,Flatten；from keras.optimizers import SGD,RMSprop,Adam；from keras.layers import Conv2D,MaxPooling2D。

1.4 训练数据集

基本参数如下：激活函数“ReLU”，输出层激活函数“softmax”，优化器算法采用“SGD”，损失函数“categorical_crossentropy”，指标列表设置为metrics=['accuracy']，采用梯度下降法，迭代“Batch_Size=10”、“epochs=10”。

1.5 测试数据集

训练并保存权重文件，测试数据集结果以损失函数、准确度显示。

2 结果

2.1 不同病理分级膀胱肿瘤在膀胱镜下的图像特征

膀胱乳头状瘤或低度恶性潜能乳头状瘤多呈滤泡样或水草样，瘤体上无血流或血流很少，带蒂、蒂窄；低级别尿路上皮癌呈葡萄样，蒂较宽，血流较丰富；高级别尿路上皮癌呈乳头样或块状，瘤体表面常有坏死，一般无蒂，血流丰富，常有粗大血管与瘤体相连。见图1。

图1 A:乳头状瘤;B:低度恶性潜能乳头状瘤;C:低级别尿路上皮癌;D:高级别尿路上皮癌

2.2 归一化后准备进入输入层的图像特征

将所有膀胱镜图像归一化为计算机能够识别的像素大小100×100，格式为“jpg”。见图2。

2.3 构建卷积神经网络

搭建类似于VGG模型的卷积神经网络，图像经过卷积、池化、全连接层后输出。见图3。

图3 将膀胱肿瘤图像输入类似于VGG模型的卷积神经网络

3 讨论

膀胱肿瘤作为泌尿系统最常见的肿瘤，从发病机制、诊断及治疗上都是研究的热点[8-11]。膀胱肿瘤治疗方式大部分为外科手术，但是采用何种手术方式，最主要的决策依据就是膀胱镜检查结果，对于低级别尿路上皮癌或乳头状瘤考虑行经尿道膀胱肿瘤电切术，高级别尿路上皮癌一般建议行新辅助化疗联合根治性膀胱切除术[12-13]。目前膀胱癌免疫治疗尤其是以PD1/PDL1免疫检查点抑制剂开始应用于临床[14-15]。对于膀胱肿瘤，再行膀胱镜检查时有时因为活检取的标本表浅造成对恶性程度低估，电切后发现实际恶性程度较高，短期内造成肿瘤复发、转移，给患者及临床医师带来很大困扰。为了尽可能对膀胱肿瘤进行病理分级准确判断，该研究中引入了卷积神经网络模型，通过在570个膀胱肿瘤图像训练数据集上进行深度学习后进行测试，正确识别膀胱肿瘤病理分级的准确率49%，相比较日本筑波大学学者采用GoogLeNet卷积神经网络模型对肿瘤的良恶性进行分类的结果并通过ROC曲线对采用卷积神经网络进行效果评价，在测试数据集中的敏感性为89.7%，特异性为94.0%。造成这种情况的原因首先日本学者均采用最新型号奥林巴斯镜头，图像清晰度明显优于该研究，其次该研究的测试结果不仅判断膀胱肿瘤良恶性，还要对恶性程度分级，这就造成该研究的测试数据集准确度低于国外同行。

2012年Krizhevsky等提出的卷积神经网络AlexNet在ImageNet的训练集上取得了图像分类的冠军，使得卷积神经网络成为计算机视觉中的重点研究对象。2014年牛津大学提出VGG模型，获得当年ILSVRC (ImageNet large scale visual recognition challenge)竞赛的亚军[16-17]。由于VGG模型在迁移学习及从图像中提取CNN特征中的表现要优于冠军googLeNet，而且VGG模型采用3×3的小卷积核以及2×2的小池化核能够专注于训练特征本身，从而大大减少了计算时间和内存需求。

卷积神经网络在医学领域尤其是影像学方面广泛应用，其原因在于图像数据集获取相对便利，如临床中大量使用的CT、MRI以及神经成像和胸腹部成像均可建立数据集，最近有学者尝试将卷积神经网络模型应用于前列腺癌的诊断和放疗部位的预测，取得良好的效果；国外有学者利用卷积神经网络模型对胸部CT图像进行自动分析，对肺炎进行早期、快速诊断[18]；对于内镜诊断方面，日本有学者将CNN模型与67名胃镜医师对140例患者2 940张图像进行了诊断能力比较，发现CNN的敏感性为58.4%，特异性为87.3%，67名胃镜检查人员中，分别为31.9%、97.2%，CNN的敏感度明显高于胃镜医师。

该研究的优势在于不仅能够区分膀胱肿瘤良恶性，而且能够对恶性程度进行病理分级，有利于克服主观因素，由于该研究的测试结果不仅判断膀胱肿瘤良恶性，还要对恶性程度分级，所以造成该研究的测试数据集准确度低于国外同行，但考虑到卷积神经网络模型预测结果快速，一般几分钟，而包含免疫组化的病理诊断需要3～5 d，这就为临床医师手术方案的选择提供更早的决策，因此对指导临床有很大意义。然而，这项研究有局限性：首先，卷积神经网络的训练数据集一般有百万级别的图像供计算机训练识别，而该研究的训练样本数少，而且膀胱镜下如果出血或尿液混浊，成像质量会受影响，建立的CNN模型可靠性较低，另外在该研究中，用于训练和测试数据集的只有静态图像，如果使用opencv采集视频图像可能更有利于提高CNN的诊断识别能力。该文下一步准备扩大样本量，对膀胱镜图像采集尽量建立统一标准，提高图像清晰度，减少计算机识别中的误差，另外，该研究针对肾癌、肾盂癌等泌尿外科手术视频图像进行研究，采用计算机视觉分析模式，以便更好地增强术者术中判断识别能力，为术中临床决策提供依据。

综上所述，该研究为膀胱肿瘤提供了一种基于卷积神经网络模型的诊断方法，对膀胱肿瘤病理分级具有一定的准确性，为临床治疗方式的选择提供依据。