基于SENet多路网络的乳腺癌转移检测

刘琳琳，叶 强，何灵敏

中国计量大学 信息工程学院，杭州310018

乳腺癌是全世界妇女中最常见和最致命的癌症之一[1]。虽然乳腺癌患者的预后情况总体较好，5年平均生存率为90%，10年平均生存率为83%，但当乳腺癌转移时，预后会明显恶化[2]。淋巴结转移是影响乳腺癌患者预后的关键因素之一。临床上前哨淋巴结病理切片的检查结果作为最准确可靠的“金标准”[3-4]，在临床和科研上有着重要的作用。

但前哨淋巴结组织内往往存在较小的微转移[5]，甚至是小到单个癌细胞的转移，诊断工作量较大。对于前哨淋巴结，必须检查至少3个不同水平的淋巴结切片[6-7]。因此传统病理医生诊断过程是冗长费时的，且极易错过较小的微转移病灶。许多学者研究了传统机器学习算法在全视野数字化切片（Whole Slide Image，WSI）[8]中的应用[9-11]，但传统的机器学习算法多应用于小型数据集，且通常采用人工特征提取的方法，难以提取出有区分性的、高质量的特征。

近年来深度学习广泛用于病理学图像的研究中[12-13]，目前已有使用卷积神经网络（Convolutional Neural Network，CNN）对乳腺癌病理图像进行的相关研究[14-15]。Spanhol等人[16]基于AlexNet卷积网络，对BreaKHis数据集进行分类，准确率比传统机器学习算法高出6%。Bayramoglu等人[17]采用基于放大倍数独立的卷积网络对BreaKHis数据集进行分类，其准确率约83%。Deniz等人[18]通过微调预训练好的AlexNet网络，对乳腺癌的组织病理学图片进行分类，结果证明迁移学习比支持向量机[19]的识别效果更好。Litjens等人[20]证明使用卷积神经网络检测淋巴结中的癌症转移是可行的。Liu等人[21]利用卷积神经网络在Camelyon16数据集上取得了92.4%的准确率。Veeling等人[22]公开了PCam数据集，证明了WSI图像具有旋转对称和反射对称的特性，并使用旋转等效CNN网络进行测试。

虽然目前利用卷积神经网络进行检测已经取得了诸多成果，但仍存在一些问题：（1）已有研究的数据集多为乳腺本身的病理图像，缺乏对乳腺前哨淋巴结转移病理图像的研究；（2）已有研究中模型往往对癌细胞宏观转移检测效果较好，但对较小的微转移检测效果较差，导致整体检测准确率偏低。

针对以上问题，本文基于乳腺癌前哨淋巴结病理图像数据集（PCam），设计提出了SENet[23]多路卷积神经网络模型，用于检测前哨淋巴结病理图像中是否存在乳腺癌细胞转移。本文主要贡献如下：

（1）基于全新的乳腺癌前哨淋巴结病理图像数据集（PCam）进行研究，可检测乳腺癌细胞在前哨淋巴结中的转移情况，对及时诊断乳腺癌病情、确定治疗方案有一定的现实意义。

（2）设计提出了新的网络模型。模型使用堆叠卷积单元的结构以及跨层跳跃连接（Skip Connection）的方式，可以不使用池化操作，从而增加网络的表征深度；拥有更多的非线性变换，可以加强模型对特征的学习能力；可以减少参数的数量。

（3）设计了SENet多路卷积单元。卷积单元内使用标准卷积（Convolution）与深度可分离卷积（Depthwise Separable Convolution）[24]，分两路进行卷积操作，获取不同粒度特征图谱；后通过加和（Add）和串联（Concatenate）操作将特征图谱进行组合，获取更丰富、更高维度的特征信息来表征图像，防止遗漏较小的特征区域。同时在卷积单元内加入SENet注意力模块，可使网络学习利用全局信息执行特征重新校准，从而增强整个网络的表示能力。

1 方法

1.1 总体网络模型设计

本研究设计全新的卷积神经网络模型（见图1），模型使用堆叠多路卷积单元（见图2）的结构和跨层跳跃连接的方式。多路卷积单元内使用标准卷积与深度可分离卷积、加和操作与串联操作组合、SENet模块等组合而成。

图1 多路卷积神经网络模型结构Fig.1 Multi-channel convolutional neural network model structure

图2 多路卷积单元结构Fig.2 Multi-channel convolution unit structure

网络模型中堆叠使用3个多路卷积单元，每个卷积单元采用上述方式组合而成，卷积单元内分两路进行：A路做深度可分离卷积操作获取特征图谱，通过跨层跳跃连接与下一层卷积单元A路进行串联操作；B路做标准卷积操作和SENet模块获取特征图谱，作为下一层卷积单元B路的输入；A、B两路获取的特征图谱进行串联操作作为下一层卷积单元A路的输入。该网络模型可以获得更高维度和更加丰富的特征数据用以表征图像，有效避免在训练过程中模型易忽略较小微转移特征区域的情况，提高整体检测的准确率。

1.2 多路卷积单元设计

1.2.1标准卷积与深度可分离卷积

本文将两种类型的卷积进行融合，以获得更高维度和不同粒度的特征数据表征图像。标准卷积是每个卷积核与输入图片的区域和通道同时进行操作，实现通道相关性和空间相关性的联合映射；设前哨淋巴结病理图像的输入特征F的尺寸为(DF,DF,M)，采用标准卷积核K为(DK,DK,M,N),输出的特征G的尺寸为(DG,DG,N),DF与DG为每个通道的区域尺寸，M与N为通道数。标准卷积的操作如图3（a）所示，其计算公式为：

深度可分离卷积是将标准卷积分为逐点卷积和深度卷积，即卷积核进行区域卷积提取区域特征后，再进行1×1的通道卷积，从而实现区域相关性和通道相关性的分开映射。设前哨淋巴结病理图像的输入特征F的尺寸为(DF,DF,M)，深度卷积核尺寸为(DK,DK,1,M),输出特征为(DG,DG,M)；逐点卷积负责转换通道，卷积核尺寸为(1,1,M,N)，输出特征为(DG,DG,N)，深度可分离卷积的操作如图3（b）所示，其计算公式为：

图3 卷积方式Fig.3 Convolution method

深度可分离卷积的参数量和计算量约为标准卷积操作的1/9，且只会损失很小的精度。

1.2.2加和操作与串联操作

加和操作是两特征图谱在同一维度数值的叠加，即描述图像特征的每一维信息量增加，但是描述图像的维度没有增加；该操作可避免模型忽略微小的特征区域，避免遗漏病理图像中较小的微转移组织。串联操作是两特征图谱作通道数的合并，即描述图像本身的特征维度增加，但描述图像特征的每一维信息量没有增加；该操作可级联不同粒度的特征信息，多粒度特征有利于图像准确分类。图4为第一个卷积单元内，病理图像经过卷积后进行的加和及串联操作进行信息融合的示意图。

图4 加和及串联操作Fig.4 Operation of add and concatenate

假设两路输入的通道数据分别为X1,X2,…,Xc和Y1,Y2,…,Yc，卷积核为Ki，⊗表示卷积运算，则加和操作计算公式为：

串联操作计算公式为：

1.3 SENet模块

本文通过加入SENet网络模块作为注意力机制，显式地建模通道之间的相互依赖关系，重新自适应地校准通道式的特征响应。模块主要包含全局信息嵌入（Squeeze）和自适应重新校正（Excitation）两个关键部分，可使神经网络学习利用全局信息执行特征重新校准，来选择性地强调重要的特征并抑制不重要的特征，增强整个网络的表示能力。

1.3.1全局信息嵌入

Squeeze操作依据通道信息将空间维度进行特征压缩，即把全局空间信息压缩成一个具有全局感受野的通道描述符，且输出的维度和输入的特征通道数相匹配，用于表征在特征通道上响应的全局分布。统计信息z∈Rc是通过在空间维度W×H上压缩生成的，其中z的第c个元素通过下式计算：

式中，Fsq(⋅)为压缩操作，uc为第c个特征。

1.3.2自适应重新校正

Excitation操作以捕捉通道的依赖关系为目的，通过学习显式地建模特征通道间的相关性，为每个特征通道生成权重。该操作需要捕捉通道之间的非线性相互作用关系，同时为防止模型变得复杂和提高泛化性需设置两层全连接层。故Excitation操作主要由两个全连接（FC）层和两个激活函数组成，表示为：

式中，Fex(⋅)为激励操作，为Sigmod激活函数，δ(x)=max(0,x)为ReLU激活函数；sk∈RH×W(k=1,2,…,c),S={s1,s2,…,sc}；降维层参数升维层参数

最终的输出通过输入通道与各自的权值相乘得：

式中，X͂=[ ]x͂1,x͂2,…,x͂c,,Fscale(uc,sc)指 的 是 特 征 映 射uc∈RH×W和标量sc之间的对应通道乘积。

1.4 跨层跳跃连接

跳跃连接可以融合多层高层语义特征信息和低层特征图的细节信息，能够更好地提取不同尺度物体对应的特征信息。同时卷积神经网络层数越深，则模型表征能力越强，性能越好，但是在通过反向传播进行参数更新、最小化损失函数时，会产生梯度消失问题。这是因为反向传播使用链式法，需要进行一系列的连乘运算，导致浅层隐层网络梯度出现剧烈的衰减造成的。因此，本文在卷积单元间使用跳跃连接进行跨层连接（见图2（b）中虚线）解决此问题，计算公式为[25]：

式中，hi表示第i层特征输入，hi+1表示输出，F表示残差函数，θi表示权重。

2 实验设计

2.1 数据集描述

本文采用数据集PCam（PatchCamelyon）[21-22]，该数据集是在10倍物镜，2.43 μm像素分辨率下，对整张H&E染色的前哨淋巴结切片图像进行采样，提取到327 680张RGB三通道96×96像素的彩色图像。每个图像注有0或1的标签：标签为1表示阳性样本标记，表示图像32×32像素的中心区域至少有一个肿瘤组织像素（即存在癌细胞转移），如图6所示。

图6 PCam数据集部分图像Fig.6 Partial images of PCam dataset

为了提高模型对未知图像的泛化性能，本文应用了以下图像增强方法：水平旋转、垂直旋转、图像缩放80%~110%、每边裁剪0~25%、平移-20%~+20%、剪切-18~+18、旋转-45°~+45°、锐化0~1.0、浮雕0~1.0、高斯模糊0~3.0、局部模糊2~7。

2.2 实验环境

实验使用的环境如下：处理器为Intel®Xeon®CPU E5-2630 v4@2.20 GHz；内存（RAM）128 GB；独立显卡为GeForce GTX Titan X；系统类型为64位Ubuntu16.04；开发工具为Python 3.6，Keras框架。

2.3 训练策略

网络的训练初始学习率设置为0.1，衰减率为0.1，优化器为Adam，动量为0.9，损失函数为Binary Crossentropy，迭代次数为35次。图像数据集被随机分为三部分：50%作训练集，25%作验证集，25%作测试集。其中训练集用于训练以获取权重和参数；验证集用于验证效果调整参数，在训练过程中使用模型对验证集数据进行预测，根据验证集结果进行微调，以选出结果最优的模型所对应的参数和激活函数；测试集用于测试模型的检测精度与泛化性能。

图5 SENet模块网络结构Fig.5 Network structure of SENet module

2.4 评价标准

2.4.1准确率

准确率是测试集中模型正确的分类样本数占总样本数的比例，反映了模型的预测分类能力，公式为：

式中，P表示阳性样本数，N表示阴性样本数，TP表示实际为阳性且被预测为阳性的数目，TN表示实际为阴性且被预测为阴性的数目。

2.4.2 ROC曲线和AUC值

使用ROC（Receiver Operating Characterisitc）曲线对预测结果进行评估。ROC曲线无法定量分析，故使用曲线下的面积（Area Under ROC Curve，AUC）作评估指标，公式为[26]：

式中，D+为所有阳性样本的集合，x+为其中一个阳性样本，D-为所有阴性样本的集合，x-为其中一个阴性样本，f(x)是模型对样本x的预测结果，在0~1之间，W(x)仅在x为真时取1，否则取0。

3 结果及分析

本文模型训练过程中损失值变化情况如图7所示。可见：前10次迭代训练过程以初始学习率0.1进行，验证集损失值快速下降，效果较为明显；之后的训练过程中，损失值发生小幅度上升，表明在该学习率下模型已经达到局部最优，故学习率衰减为0.01继续训练；迭代至34次时，网络逐渐收敛趋于稳定，模型达到最优。利用训练后的模型对测试集中图像进行测试，实验的精度值可达到97.32%，ROC曲线的AUC值为98.05%（见图8）。

图7 训练过程中损失值变化情况Fig.7 Change of loss value during training

图8 测试集ROC曲线及AUC值Fig.8 ROC curve and AUC value of test set

为评估该模型的检测性能，分别与已有研究成果和主流卷积神经网络模型在相同实验环境下，对相同的测试集进行对比实验。同时为避免模型过拟合，以得到泛化能力好的模型，设置49%、51%、100%的测试集分别进行测试。结果见表1，表内数据为各模型对不同比例的测试集进行测试获得的AUC值。由表1可知，在不同比例的测试集上，本文模型预测的AUC值均高于其他模型，表明该模型具有较好的检测性能，且模型在不同比例的测试集情况下测试结果相近，表明模型的泛化性能较好。

表1 本文模型与其他模型对比实验结果Table 1 Results of model compared with other models

选取部分阳性样本，绘制其类激活映射（Class Activation Mapping，CAM）图[27]，如图9所示。通过CAM图可确定模型所关注的图像具体特征区域，即图像中高亮显示的区域为模型检测到的乳腺癌转移组织所在区域。

图9 原始图与CAM激活图Fig.9 Original images and class activation mappings

为探究本文模型的检测机理以及各模块的检测效果，通过设置不同的网络结构对测试集中图像进行测试，结果如表2所示。

表2 不同网络结构的对比实验结果Table 2 Comparison of results of different network structures

由表2中数据可分析：在SENet模块方面，本文模型中SENet模块和多路网络的设计，可以有效提高模型的检测性能。在卷积单元的数量上，设置为3个可达到最好效果，若卷积单元数量较少，卷积网络较浅，则无法高度概括图像和获取图像的特征信息，造成检测精度较低；而卷积单元超过3个以后，检测精度反而下降，这可能是由于网络层数的加深，对图像特征信息进行高度概括，导致对特征区域较小的微转移检测效果较差甚至忽略，从而导致模型在测试过程中整体的预测精度下降。

进一步探究本文模型对特征区域较小的微转移情况的检测效果，选取存在有多个微转移病灶的病理图像，在相同训练条件下，使用不同的模型和结构进行测试绘制CAM激活图，如图10所示。

图10 各模型对微转移情况检测效果Fig.10 Detection effect of each model for micrometastasis

由图10中标记的两处矩形框区域可分析：已有的ResNet50、GDenseNet等网络模型对微转移情况检测效果不佳。多路无SENet和单路加SENet两种结构可以识别出部分微转移区域。本文模型使用多路SENet的结构，可以更为详尽、准确地识别微转移区域。这是由于卷积单元内两种卷积方式的加和、串联操作，获取了更高维度、多粒度的特征信息；SENet模块作为注意力机制，可以突出重要的特征区域。通过多路卷积单元和SENet模块的有机结合，使得本文模型对特征区域较小的微转移也有很好的检测效果。

4 结束语

本文基于乳腺癌前哨淋巴结病理图像（PCam）数据集，设计提出了新的SENet多路卷积神经网络模型。模型堆叠使用SENet多路卷积单元和跨层跳跃连接的结构进行图像特征提取和乳腺癌前哨淋巴结转移检测。

实验结果表明，本文模型对乳腺癌前哨淋巴结转移有较好的检测效果，对比目前已有研究和主流的卷积神经网络，检测精度均有明显的提升。同时探究了模型的检测机理和对微转移区域的检测效果：由于多路卷积单元内使用标准卷积与深度可分离卷积融合、加和操作与串联操作组合、跳跃连接等方式，使得模型可以获取更高维度、更丰富的多粒度图像特征信息；SENet模块可使神经网络学习利用全局信息执行特征重新校准，突出特征信息，避免忽略较小的微转移特征区域，因此对乳腺癌的宏观转移与微转移情况都有较好的检测效果。

为进一步提高模型检测的准确率，后续还有很多工作要做，例如：在数据集上，可增加训练样本数量，对数据进行扩充，进一步增强模型的泛化能力；在网络模型上，可修改网络结构，增加其他注意力机制，进一步提高模型对特征区域较小的微转移情况的检测精度。