基于深度学习的胃溃疡病变区域分割算法研究

张丽航,王善娟，常庆，罗懿文，周晓光，孙沐毅，王一飞，刘艳丽

胃溃疡型病变的常规诊断主要依靠分析消化内镜检查图像特征，而将人工智能作为消化内镜的辅助诊断系统，是内镜未来发展的一个重要方向。近年来，图像处理技术与深度学习技术相结合，并应用于医疗图像辅助诊断领域[1]，影像组学逐渐成为计算机视觉的研究热点之一。现有的计算机视觉算法应用于医疗影像辅助诊断，常用的图像分割方法为基于尺度不变特征转换(Scale lnvariant Feature Transform，SIFT)的手动特征提取方法[2]、基于聚类的非监督图像分割算法[3]。这些算法也能得到不错的效果，但是对于新的图像样本，模型泛化能力弱，不利于实际应用的部署。从现有的研究情况看，大多数内窥镜数据来自无线胶囊内窥镜，其数据为拍摄的连续视频帧，需要手工筛选剔除模糊、气泡、反光等包含噪声因素的图像，效率低且容易遗漏[4]。另外，存在数据标注准确性问题，由医生进行手工标注，不同医生的标注标准不一，没法进行统一标准，存在争议。有一些学者利用聚类方法[5]、SIFT[2]等图像特征提取方法对胃溃疡图像进行分割，大多数没有使用深度学习方法。所以利用深度学习对胃溃疡图像病变区域进行分割的研究较少。

因此，基于空洞卷积和数据增强技术，利用DeepLab V3模型，对普通消化内镜胃溃疡图像病变区域进行分割算法研究，为普通消化内镜图像计算机辅助诊断研究提供新的思路，积极响应国家对医工结合的号召，降低医生诊断负担，具有重要的理论研究意义和临床价值。

1 研究方法

1.1 数据集概况

选取2017年11月至2018年11月上海市嘉定区中心医院消化内镜中心接受普通白光内镜检查(胃镜系统为OLYMPUS GIF-QX260)且诊断中包含有“胃溃疡”的病例，内镜图像均由有经验的内镜医生(至少内镜从业5年以上，胃镜检查例数200例以上)检查采集得到。收集整理拍摄的溃疡患病区域图像，包含经病理诊断的良性胃溃疡图像758张，图像的尺寸为512×512。随机抽选其中的600张做训练集，剩下的158张作为测试集。

1.2 仪器与方法

本实验采用的服务器CPU为i7-6900k，CPU主频为3.2 GHz，显卡为4块NVIDIA GeForce TITANX，每块显存为12 G。所用的Python版本为3.6.7，Pytorch版本为1.0.0，采用Adam优化算法在数据训练过程中更新神经网络的权重，Momentum为0.9、衰减率为5e-4、Batch size大小设置为8。

1.3 数据预处理

普通内镜由于拍摄图像方式为医生手动选择病变区域并进行拍摄，针对当前的图像摄取方式，存在三个主要问题亟待解决：①由于成像设备系统设置问题，上传的图像经常包含病患的隐私信息，需要研究者进行脱敏处理；②医生进行普通消化内镜检查时，拍摄病变区域为第一目的，拍摄的图片会包含横纹、气泡、反光、仪器侵入等情况，需要对这类无效信息图片进行筛选；③总体数据集体量较小，需要进行常见的数据增强处理。

1.3.1 图像初步处理 现有的数据如图1所示，除了实验所需的内镜图像部份外，还包含黑框、病人信息等无用噪声。这些数据部分属于病患隐私信息，需要对这一部分也即是对黑框部分进行裁剪。

图1 Sobel算法切除无效信息 A：切除无效信息前；B：切除无效信息后

对如图1A所示的黑色边框部分，本文利用索贝尔算子(Sobel operator)作为边缘检测的方式[6]，sobel算子根据像素点上下、左右相邻点灰度加权差。在图像内容和边框的边缘分解处，极值达到最大，从而确定边缘的位置，从而对黑框进行裁剪。除此之外，sobel算子对噪声有平滑作用，可以较为精确的判断边缘方向信息，其算法结果如图1B。除此之外，还手动剔除包含横纹、气泡、反光、仪器侵入等噪声信息的图像。除此之外，还计算出训练图像的均值和方差，针对每张输入的训练图像，按照统一的均值和方差进行归一化，优化训练进程，有效防止过拟合。

1.3.2 数据集增强 现有的数据集包含良性胃溃疡的图像共计758张，随机抽取其中的600张作为训练集，158张作为测试集，随着卷积神经网络层数的加深，需要学习的参数逐渐变多，仅有600张训练集没法完成神经网络的训练，需要通过图像处理手段对训练集进行数据增强，可以有效地防止过拟合的发生。本文中采用的数据增强的方式包括：①固定角度旋转，将数据进行水平翻转、垂直翻转、逆时针旋转90°、180°、270°，将数据扩增6倍；②随机裁剪，对输入的图像随机切割掉一部分；③高斯噪声，在图像中添加少量的噪声。

1.4 网络模型 该部分对本文对比试验中应用的算法模型进行介绍

1.4.1 空洞卷积及Deep lab系列 早期的卷积神经网络模型，输入图像依次经过卷积和池化的操作，在降低图像的尺寸的同时增大感受野。但是针对语义分割问题，模型期待的输出是与输入图像尺寸等大的像素级分类，因此需要上采样池化后的特征图到原始图像的尺寸，FCN和Unet中通常利用反卷积完成这一过程[7]。现存的问题是图像的尺寸先减小再恢复的过程，会损失大量空间结构信息，因此本文中采用空洞卷积，避免使用池化操作的同时增大感受野，不对图像像素进行压缩，保留了输入图像内部的空间结构信息，分割效果优于标准卷积，其结构示意图如图2所示。

其中可设置的超参数为卷积核尺寸和扩充倍率(dilation rate)，其中扩充倍率用于控制卷积核扩张的大小，其数值越大相较于同尺寸的普通卷积核对应的感受野越大。

图2 空洞卷积感受野示意图 A：1-dilated rate,感受野3×3; B：2-dilated rate,感受野7×7; C：4-dilated rate,感受野15×15

1.4.2 空洞空间金字塔池化模块 空洞空间金字塔池化(Atrous Spatial Pyramid Pooling，ASPP)[8]是一种高效的上下文信息融合模块，在DeepLab系列论文中，ASPP模块被多次有效地利用。ASPP模块在特征图并行添加不同膨胀倍率的空洞卷积，可以对多尺度的上下文信息进性融合。膨胀倍率大的空洞卷积感受野大，可以提取图像整体特征；膨胀倍率小的空洞卷积，可以专注于图像的细节边缘信息，针对不同尺度的语义分割目标提取不同层次的特征信息。除此之外，还利用了1×1卷积对进行卷积通道的拼接和全局平均池化实现全局特征的整合。

1.5 核心网络模型和网络模型搭建

本实验的核心网络模型包含编码器Encoder和解码Decoder两个结构。其中编码器，先利用1个1×1卷积层、3个3×3卷积层组合和一个池化层叠加，对输入的图像信息进行多尺度的信息提取，3×3卷积层均使用空洞卷积，膨胀倍率分别为6、12、18。将提取的信息进行concat叠加，再通过一个1×1卷积层进行通道调整，将其作为Encoder的输出。解码器部分将4倍上采样后的编码器输出和原图融合，对其进行3×3的卷积和4倍上采样处理，恢复输入图像的尺寸大小，并进行像素级的分类。我们设置batch size为8，初始的学习率为0.001，并设置根据loss的差值调整学习率的大小，两轮loss变化值小于前一轮的10%，则将学习率变为原先的10%。采用Dropout机制[9]，降低结构风险，增强模型的泛化能力。实验采用交叉熵损失函数(Cross-entropy Loss)，其公式1表达如下所示：

(1)

其中，G为医生给出的标注真值(groundtruth)，y为网络输出的预测结果，交叉熵表述的是两个概率分布之间的差异，所以网络输出需要经过softmax激活函数，将其转化为概率分布的形式。综合空洞卷积和空洞空间金字塔池化，本文的网络模型搭建如下图3所示。

1.6 评价指标

普通消化内镜图像中胃溃疡病变区域分割问题的目标是将每一个像素点分为两类[10]：背景或者胃溃疡病症区域，我们将胃溃疡病症区域定义为正类，背景类定义为负类。将卷积神经网络的预测结果与医生标注的groundtruth进行比对，会有四种情况：①真阳性(True Positive, TP)，表示为正类像素预测结果也为正类的像素数量；②假阳性(False Positive, FP)，表示为负类像素预测结果为正类的像素数量；③真阴性(True Negative, TN)，表示为负类像素预测结果也为负类的像素数量；④假阴性(False Negative, FN)表示为正类像素预测结果为负类的像素数量。通过以上四种预测可能结果，本文根据其他同领域论文[11]使用了以下的计算指标作为模型性能优劣的评价标准，包括准确率(Accuracy，Acc)、交并比(IntersectionOver Union，IoU)、频权交并比(Frequency Weighted Intersection Over Union，FwIoU)，其计算公式如下：

图3 网络主体结构示意图

(2)

(3)

(4)

2 结果

2.1 数据增强的效果

通过数据增强的方式对原始数据进行随机扩充以增加数据集的多样性，对原有的数据集采取随机高斯噪声、水平和垂直翻转、多角度逆时针旋转等方法，对胃溃疡病症区域图像进行增强。我们用DeepLab V3 Plus模型分别对原数据和增强后的数据进行训练，评价准确率、平均交并比、频权交并比。结果如表1所示。其中，DATA AUG为数据集增广后的结果，与基础的DeepLab V3 Plus相比准确率上升1.65%，平均交并比上升1.57%，频权交并比提高2.64%。由此可见在此胃溃疡病变区域数据集上，数据增强可以有效提高样本数据特征的多样性，优化模型训练效果，有效地防止过拟合的发生。

表1 FCN、Unet、DeepLab V3、DeepLab V3 Plus的模型评价指标

2.2 基础卷积神经网络的对比

通过与早期公布的卷积神经网络分割算法进行对比，论证空洞卷积的有效性。我们采用的基础网络为FCN、Unet，并利用DeepLab V3和DeepLab V3 Plus模型验证空洞卷积的有效性，采用相同的训练集和相同的训练策略，设置相同的batchsize和初始学习率，进行对比实验。FCN、Unet、DeepLab V3的模型loss曲线对比见图4。FCN、Unet、DeepLab V3、DeepLab V3 Plus的模型评价指标见表1。

图4 FCN、Unet、DeepLab V3的模型loss曲线对比

2.3 不同模型分割效果的对比

DeepLab V3 Plus在编码器部分仍使用DeepLab V3的版本可以有效提取高级特征提供语义信息，还增加级联结构提取低级特征提供细节信息，因此DeepLab V3 Plus在处理细节的边界信息的性能应优于其他的模型(图5)。

图5 FCN、Unet、DeepLab V3、DeepLab V3 Plus模型的分割效果

3 讨论

我们主要针对普通消化内镜胃溃疡图像病变区域进行分割算法研究，利用Sobel算子以及手工筛选的方式，剔除与病变图像无关的横纹、气泡、反光等噪声信息。通过图像数据增强手段，扩充数据集的多样性。利用与基础网络进行对比试验的方式，探究空洞卷积对感受野的提升作用，还验证了空间空洞金字塔池化提高图像对于边缘信息和整体信息的提取能力。

为了更好的解决图像分割任务，早期研究者在卷积神经网络的基础上改进得到全卷积神经网络(Fully convolutional networks，FCN)[7,12]，全卷积网络输入和输出的图像尺寸大小，可以针对每一个像素点进行分类，从而达到图像分割的目的。基于深度学习卷积神经网络的最早解决语义分割问题的模型是FCN。针对最后一个卷积层输出的特征图，该模型采用反卷积进行上采样，恢复图像的尺寸大小；除此之外，SegNet[13]首次利用Encoder-Decoder结构，在编码部分SegNet和VGG16[14]的卷积拓扑结构相同。将编码器部分的maxpooling选择的最大值的位置参数赋给解码器上采样过程，补充了下采样过程空间信息的确实，提升了模型效果；由于大多数的医疗图像数据尺寸较大，在输入卷积神经网络进行训练之前，需要对图像进行剪裁处理。由于进行裁剪时，常常使用Overlap的方法进行切图，Unet[15-16]网络对这一类patch处理的结果通常较好，原因在于overlap生成的patch包含重叠信息，这一部分重叠图像可以提供大量的环境纹理信息，有利于上下文信息的联系。

我们的研究发现，通过数据增强的方式对原始数据进行随机扩充以增加数据集的多样性，对原有的数据集采取多种方法，对胃溃疡病症区域图像进行增强。使用 DeepLab V3 Plus模型分别对原数据和增强后的数据进行训练，可以明显提高评价准确率、平均交并比、频权交并比，数据增强可以有效提高样本数据特征的多样性，优化模型训练效果，有效地防止过拟合的发生[17]，有利于胃溃疡病变区域的识别。我们的研究发现，最佳模型(DeepLab V3 Plus)对胃溃疡病变区域的准确率达到89.667%，平均交并比达到88.478%，频权交并比为81.665%。人工采集的消化内镜图像中噪声信息较多，手动筛选去除噪声信息，可以有效提高卷积神经网络对数据特征空间的表征能力，数据增强可以有效提高模型对图像的分割精度。DeepLab V3 Plus在编码器部分仍使用DeepLab V3的版本可以有效提取高级特征提供语义信息，还增加级联结构提取低级特征提供细节信息，因此DeepLab V3 Plus在处理细节的边界信息的性能应优于其他的模型[18-19]。

此实验中，我们使用的是白光内镜的图像，随着内镜技术的发展，NBI+放大内镜能提高胃黏膜病变诊断的准确率[20]，今后，我们也可以使用DeepLab V3 Plus模型对NBI+放大内镜所产生的图像进行分析。今后，我们将在后续的实验中，对DeepLab V3模型进行改进并进行消融性实验，在解码器decoder部分，将进行第二次下采样的特征图进行输出并与空洞空间金字塔池化后的输出进行融合，这样可以从编码器encoder部分提取更多的边界细节语义信息，以期提高模型的性能。

综上所述，基于空洞卷积的卷积神经网络可以有效地解决普通消化内镜胃溃疡图像病变区域进行分割问题。在医生进行胃溃疡图像病变区域诊断时，计算机视觉算法可以有效地提供指导和帮助，避免主治医师的模糊判断，从而在一定程度上提高早期恶性胃溃疡的诊出率。此外，还可以为计算机视觉和医疗影像相结合提供新的研究思路，积极响应国家医工结合的号召，具有广阔的理论研究前景和重要的临床价值。