基于深度神经网络的乳腺肿瘤自动区域分割方法*

侯佩，齐亚莉

(1.河南省焦作市第二人民医院甲状腺乳腺外科一区，焦作 454000；2.济源职业技术学院医学系，焦作 459000)

1 引 言

早期检测乳腺肿瘤的方法有核磁共振成像、乳腺超声检查以及临床乳腺检查等[1]。其中，核磁共振成像(MRI)是有效且应用广泛的诊断工具[2]。对肿瘤影像特别是MRI成像进行区域分割，对提高乳腺肿瘤的检测精度具有重要意义。

分割乳腺肿瘤区域主要采取手工方式，可重复性低、耗时长。当前临床医学不断向着智能化与自动化发展[3]。近年来，乳腺肿瘤的自动区域分割问题受到了越来越多的关注，很多学者提出了不同的自动区域分割模型和算法。然而实际上这些算法多数仍需进行人工干预，严格来说属于半自动分割方法。随着大数据与人工智能等技术的发展，乳腺肿瘤检测的技术越来越多，在医疗图像处理中应用深度神经网络也成为研究重点。为此，本研究提出一种基于深度神经网络的乳腺肿瘤自动区域分割方法。

2 方法设计

2.1 乳腺肿瘤图像的处理

乳腺肿瘤成像图像均为灰度单通道图，而深度神经网络输入的是RGB三通道图像，因此，需要对灰度单通道图进行预处理，使其变成三通道方式[4]。

在图像处理中使用的两种算法分别为：直方图自适应均衡化算法与Sobel算子[5]。直方图自适应均衡化算法能够强化较多像素值的病灶区域，而Sobel算子则能够将病灶边缘变得更加明显，结合使用两种算法能够增强原始图像的对应灰度分布，扩充图像通道，减轻后续图像分割的负担[6]。

Sobel算子[7]的图像处理过程如下：

首先对乳腺肿瘤成像图像进行纵向边缘梯度与横向边缘梯度的计算：

(1)

式中，Gx表示横向边缘梯度，Gy表示输入的乳腺肿瘤灰度单通道图，Gy表示纵向边缘梯度。

在乳腺肿瘤灰度单通道图的像素点上，根据式(1)的结果，对灰度近似梯度[8]进行计算：

(2)

通过Sobel算子处理图像，即对一个图像通道进行扩张后，乳腺肿瘤灰度单通道图中的病灶及组织都会获得边缘轮廓上的加强，能更好地强调组织或病理的结构形态信息[9]。

接着通过直方图自适应均衡化算法[10]扩张另一个图像通道，即增强其对比度，具体处理过程如下：

对子块中统计获得的直方图进行裁剪，使其幅值整体低于某个上限，在整个灰度区间上将裁剪值均匀地分布，使直方图总面积不发生任何改变[11]。此时直方图整体会上升一个高度，可能超过所设置的上限。解决方法具体如下：

(1)将裁剪值设为ClipLimit，求取直方图中比该值高的部分的和，用tatalExcess来表示。

(2)假设向所有灰度级均匀分配tatalExcess，求取以上操作带来的整体直方图上升高度：

(3)

式中，L表示整体直方图上升高度，N表示灰度级个数。

(3)设置界限为：

upper=ClipLimit-L

(4)

对直方图实施以下处理：

①当幅值比ClipLimit高，直接设置为ClipLimit；

②当幅值在ClipLimit与upper之间，直接填补至ClipLimit；

③当幅值比upper低，直接对L个像素点进行填补。

此时还有剩余的像素点，它们来自①、②两处，将其均匀地分给幅值比ClipLimit低的灰度值[12]。

在扩张两个图像通道后，对各通道图像实施极大极小归一化处理[13]。

极大极小归一化处理公式如下：

(5)

式中，x表示乳腺肿瘤灰度单通道图的像素值，xnew表示像素值集合中的最大值，Xmin表示像素值集合中的最小值，xnew表示归一化结果。

归一化像素值范围，使其范围统一至0～1，实现乳腺肿瘤灰度单通道图的最终通道扩张，从而更好地满足深度神经网络的输入需求。

2.2 深度神经网络区域分割算法的网络结构设计

基于深度神经网络构建乳腺肿瘤自动区域分割算法网络，其网络结构见图1。本研究深度神经网络算法主要构成单元包括：上下文特征多尺度提取单元、3D与2D混合卷积单元和具有解码与编码结构、用于实施2D切片分割的主路网络[14-15]。其中，上下文特征多尺度提取单元在主路网络编码中添加后，可提取乳腺肿瘤成像图像多尺度特征，添加的具体位置为编码末端。3D与2D混合卷积单元可提取切片中信息辅助主路的对应分割任务[16]。主路网络使用的是 U-Net 结构。

图1 网络结构

2.2.1混合卷积单元设计 设计3D与2D混合卷积单元，通过该单元获取切片上下文信息，并利用该单元协助分割2D切片。

在该模块中，首先利用2D卷积提取三维空间信息，接着利用较小尺寸的3D卷积提取切片上下文信息。为避免三维特征提取中出现空间不一致的问题，设置3D卷积中前两个维度的对应核大小，将其值设置为1，使像素变化信息的提取更加专注[17]。最终会生成一种带有上下文信息的分割特征图，可作为分割2D切片的辅助信息，提升分割乳腺肿瘤区域的性能。

3D与2D混合卷积单元的具体结构见图2。将当前分割任务假设为切片序列中的第p张切片，向模块输入当前分割任务以及该任务的上下切片，即第p+1张切片与第p-1张切片。

图2 3D与2D混合卷积单元的具体结构

具体来说，在3D与2D混合卷积单元的运行中，首先需要针对三张切片分别执行2D卷积，卷积大小为3*3，卷积个数为2个，以获取其二维特征图。而对于特征图来说，为确保相应通道在空间上的一致性，需要使用相同的2D卷积参数。接着拼接产生的二维特征图，使其成为一整个三维特征图，并将产生的三维特征图作为下一个单元的输入内容。通过3D卷积提取第三个维度对应的空间特征，使用的卷积大小为1*1*3[18]。最后获取带有上下文信息的分割特征图，并拼接主路网络中的特征图与获取的特征图，以在分割2D切片时添加上下文信息。

2.2.2上下文特征多尺度提取单元设计 接着设计上下文特征多尺度提取单元，在该单元中设计两个正常卷积，大小为3*3；设计两个空洞卷积，大小为3*3，采样率为2；再设计两个空洞卷积，大小为3*3，采样率为6。对输入的特征图实施这三种并行卷积后，能够获取三个尺度上的特征图，拼接不同尺度上的特征图，通过1*1的卷积变换通道，使其保持与输入特征图一致的通道数量。

2.2.3深度神经网络主路网络设计 深度神经网络中的主路网络，选择的是U-Net网络，该网络可以通过小样本数据集实施测试与训练，主要通过编码模块获取高层语义特征，以及通过解码模块获取分辨率很高的分割结果。并通过连接高级特征和分辨率较高的特征图提升分割精度。通过该网络的体系结构分割2D切片[19]。在编码中加入 3D与2D混合卷积单元获取上下文信息。

为保持编码结构上的一致，设计四个组合卷积块，并在编码末端添加上下文特征多尺度提取单元，以获取多尺度乳腺肿瘤图像信息。拼接2D切片的实际分割结果，即可获取乳腺肿瘤自动区域分割的实际结果。

2.3 网络训练

为对深度神经网络的分割网络进行更有效地训练，将广义骰子损失当做网络模型训练时的损失函数[20]。通过该损失函数可以整合多个类别的骰子，其计算公式如下：

(6)

式中，wl代表第l个类别的权重，rnl表示第n个像素在第l个类别中的正确值，pnl代表第n个像素在第l个类别中的预测值。

对分割网络进行训练后，即可利用该网络对乳腺肿瘤自动区域分割。

3 实验验证

3.1 实验数据集

本研究使用的是某三甲医院影像科专业医生标记与收集的乳腺肿瘤核磁共振成像图像数据集。数据集中包括284例患者的乳腺肿瘤核磁共振成像图像。

标记数据集图像，首先通过图片存档和通信系统与放射信息系统扫描影像，获取影像的冠状面与横截面后，通过ITK-SNAP软件三维分割病变区域。标记后的图像见图3。

图3 标记后的图像情况

将实验数据集按照3∶7的比例分为87个测试集与197个训练集。

3.2 深度神经网络模型训练

用python开发接口，通过多个GPU来对本研究网络模型进行训练。python开发接口版本为Python2.7， Cuda 版本为Cuda8.0，使用的深度学习框架为Caffe2，操作系统为Ubuntu16.04。

通过3块显卡对卷积网络进行并行训练，以节省训练时间，提升训练效率。

训练时通过Adam优化器实施网络模型的参数优化，在参数优化时设置的动量为0.9，输入批量设置为4。训练后的输出结果即为该像素点位于乳腺肿瘤病灶区域的实际概率。

3.3 实验评价指标

为对本研究方法的性能进行评价，通过阳性预测值(PPV)、灵敏度(Sen)、Dice相似系数(DSC)三个评价指标对分割结果进行量化。

其中DSC是衡量两个集合相似度的指标，计算公式如下：

(7)

PPV能够反映预测区域像素真正属于乳腺肿瘤区域像素的值，其计算公式如下：

(8)

Sen指的是被正确分类的乳腺肿瘤图像区域像素和实际乳腺肿瘤图像区域像素的比值。Sen的值越高，代表设计方法性能越好。Sen的计算公式如下：

(9)

3.4 单通道与三通道图像乳腺肿瘤自动区域分割实验

通过改变基于深度神经网络的乳腺肿瘤自动区域分割算法网络模型的输入图像，验证其在分割肿瘤中起到的作用。

在本研究算法网络模型中分别输入实验数据集的原始单通道图像与处理后的多通道图像。使用的数据为在测试集中随机挑选的37张图像。所获取的乳腺肿瘤自动区域分割结果见表1。

表1 乳腺肿瘤自动区域分割结果

由表1可知，在图像处理前，基于深度神经网络的乳腺肿瘤自动区域分割方法的分割效果一般。而经图像处理后，其分割效果得到了有效提升。其中，DSC提升了13.84%；PPV提升了21.14%；Sen提升了26.04%。这是由于通过对灰度单通道图实施图像处理，使其变成三通道图像，能够增强病变区域，并提升与其他组织的实际对比度。

3.5 不同单元组合乳腺肿瘤自动区域分割实验

在后续实验中，处理实验数据集的图像，即使用三通道图像进行实验。使用基于深度神经网络的乳腺肿瘤自动区域分割算法网络模型与其他不同单元的组合进行乳腺肿瘤自动区域分割，测试不同的分割效果。使用的数据为在测试集中剩余的50张图像。

使用主路网络进行乳腺肿瘤自动区域分割，该网络是U-Net网络，其各评价指标的实验结果为：DSC为63.39%；PPV为68.82%；Sen为64.92%。

利用上下文特征多尺度提取单元与主路网络共同进行乳腺肿瘤自动区域分割，其各评价指标的实验结果为：DSC为65.52%；PPV为70.92%；Sen为65.64%。

利用3D与2D混合卷积单元与主路网络共同进行乳腺肿瘤自动区域分割，其各评价指标的实验结果为：DSC为65.96%；PPV为70.18%；Sen为66.55%。

利用基于深度神经网络的乳腺肿瘤自动区域分割算法网络模型进行乳腺肿瘤自动区域分割，其各评价指标的实验结果为：DSC为76.48%；PPV为82.40%；Sen为75.93%。

根据实验结果可知，使用主路网络、上下文特征多尺度提取单元与主路网络的组合、3D与2D混合卷积单元与主路网络的组合均能够取得较好的分割效果；而使用基于深度神经网络的乳腺肿瘤自动区域分割算法网络模型则能够取得更好的分割效果，在实验中，假阳性像素的降低主要是通过上下文特征多尺度提取单元来实现；3D与2D混合卷积单元主要能够实现上下文信息的捕捉以及减少假阳性区域。

4 结论

本研究在基于深度神经网络的乳腺肿瘤自动区域分割方法的设计中，以U-Net网络为基础，添加上下文特征多尺度提取单元和3D与2D混合卷积单元，实现了基于深度神经网络的乳腺肿瘤自动区域分割算法网络模型的设计。经实验验证，该方法实现了良好的分割效果，对于乳腺肿瘤的早期检测有着很大的意义。