过参数卷积与CBAM融合的胸腔积液肿瘤细胞团块分割网络

陈思卓，赵萌，石凡，黄薇

1.学习型智能系统教育部工程研究中心，天津 300384；2.天津理工大学计算机科学与工程学院，天津 300384

0 引言

肺癌是全球发病率第二高、致死率最高的癌症（Sung 等，2021），2020 年因肺癌死亡的患者占癌症死亡患者数的18%（田艳涛和康文哲，2021）。肺癌的早期确诊对提高患者的存活率有积极作用。临床中可以通过CT（computed tomography）和MRI（magnetic resonance imaging）等影像学检查，为肺癌的确诊提供参考，但更严谨的诊断是依靠病理分析检查发现的肿瘤细胞。研究表明肺癌的出现通常会诱发患者出现胸腔积液（胸水）症状，在原发性肺癌和发生肺部转移的癌症患者的胸水中，能够找到肿瘤细胞和肿瘤细胞团块（Zhai 等，2017；Sarioglu 等，2015）。对胸水中的癌症细胞进行分割，能够帮助医生及时确定患者肺部是否存在肿瘤细胞。同时，可以为进一步进行病理学分析，判断肺癌肿瘤细胞的病理类型，确定肿瘤细胞的生物标记提供条件。对胸水以及胸水肿瘤细胞的分析能够监测患者疾病的发展情况（Nagrath 等，2007），为制定治疗方案提供参考，避免延误宝贵的早期治疗时间。

医学图像的分割通常是生物医学图像分析的第一步（Caicedo 等，2019）。但人工评判存在主观性强、费时费力的缺点。近年来使用计算机辅助癌症组织细胞分割的技术得到了发展。利用计算机对细胞组织进行分割，有着分割结果定量客观、分割速度快的优点。同时，使用计算机技术辅助医学图像处理，能够从常规的癌症组织学图像中提取潜在的有用信息（Echle等，2021）。在过去几年中深度学习网络在细胞分割领域有着优秀的表现。经典的语义分割神经网络包括在对称的编码器—解码器结构中引入跳跃连接，在解码中利用底层特征的 UNet（Ronneberger 等，2015）。在上采样中利用低层池化信息的SegNet（Badrinarayanan 等，2015），使用不对称卷积与空洞卷积令SegNet 模型体积降低、速度提高的ENet（efficient neural network）（Paszke 等，2016）。将每个编码器与解码器相连接，使编码器的输入连接到对应解码器的输出上，恢复降采样操作中丢失的空间信息的LinkNet（Chaurasia 和Culurciello，2017）。这些网络在语义分割领域都取得了比较好的成果。其中UNet 通过其U 形结构，在解码层使用跳跃连接的方式将图像的高层信息与图像的浅层信息相结合，使各层次的信息得以保留，提高了浅层特征的利用率，令网络能够学习多尺度特征。这一特性使UNet 擅长处理目标边界不规则、样本稀缺的医学图像分割问题。因此，UNet 及其衍生网络结构广泛应用于医学图像分割任务中。

尽管医学图像分割已经进行了广泛的研究，但是显微图像中胸水肿瘤细胞团块的分割仍然富有挑战。肿瘤团块细胞具有特征复杂细微、形态较小且形态多变的特点（陈颍锶 等，2021）。在临床分析中，胸水肿瘤细胞通常使用瑞—吉式染液、HE（hematoxylin-eosin）染色、肿瘤细胞涂片等方法进行细胞学分析。但是上述染色方法存在着色质量差、染色质量不稳定的缺点（McGrath 等，2014）。为避免因染色质量问题造成细胞边界不明显，细胞间对比度降低，对分割结果造成不良影响，本文使用未染色的胸水肿瘤细胞团块显微图像作为分割对象。但仍然面对如下挑战：1）细胞之间存在大量遮挡、粘连现象，容易导致分割不足，如图1 所示；2）细胞颜色和背景相似，导致细胞边界模糊，同时胸水肿瘤细胞没有特定的形状，细胞形态特征不明显；3）在显微镜下，胸水图像背景中存在着粒细胞、淋巴细胞、间皮细胞、肿瘤细胞等多种细胞成分（赵莉逦，2020），干扰分割结果；4）关于胸水肿瘤细胞团块国内外的研究都比较少（赵莉逦，2020），胸水肿瘤细胞团块显微图像数据获取比较困难。

图1 胸腔积液肿瘤细胞团块显微图像Fig.1 Microscopic image of a tumor cell mass in pleural effusion

图2 网络的基本结构Fig.2 Basic structure of the network

为解决现有胸水肿瘤细胞团块显微图像分割中存在的挑战，本文提出以 UNet 为基础，引入过参数卷积DO-conv（depthwise over-parameterized convolutional layer）（Cao 等，2022）与 CBAM（convolutional block attention module）（Woo 等，2018）注意力机制的分割方法。改进原有的UNet网络，将网络中的卷积操作替换为结合了深度卷积和传统卷积操作的过参数卷积（DO-conv），在维持相同网络深度的情况下，加强网络对图像特征的提取能力，解决细胞特征不明显的问题。同时，在网络底端编码器向解码器过渡的位置加入 CBAM 注意力模块，将模型的注意力集中在目标细胞，抑制网络提取无效特征（Wang等，2021；马思珂 等，2022），加强网络对非显著特征的感知能力，提高细胞定位精度。经过实验对比，本文方法的分割效果优于UNet、UNet++（Zhou等，2018）、ResUNet（Xiao 等，2018）、Attention-UNet（Oktay 等，2018）、UNet3+（Huang 等，2020）和U2Net（Qin 等，2020）。

本文的主要工作是：1）使用过参数卷积替换UNet 中的卷积操作，提高网络对特征的提取能力；2）引入注意力机制，充分利用提取的有用特征，抑制无用特征；3）建立一个胸腔积液肿瘤细胞团块显微图像的细胞语义分割数据集。

1 方 法

1.1 网络结构

DOCUNet（depthwise over-parameterized CBAM UNet）是基于UNet提出的网络结构，继承了UNet的编码器—解码器结构，在解码阶段通过跳跃连接融合图像深层与浅层的特征。整体的网络结构如图 2所示，分为特征提取、特征增强和特征解码3部分。

由于胸水肿瘤细胞团块显微图像分割的难点在于与细胞和背景对比度低、细胞聚集，导致细胞的边界特征不明确。本文在特征提取和特征解码阶段使用3 × 3 过参数卷积（DO-conv）替换常规的3 × 3 卷积，加强网络对图像特征的提取能力。在每次卷积操作后加入批归一化（batch normalization，BN）（Ioffe和Szegedy，2015）处理，并通过ReLU（rectified linear unit）函数进行激活。在网络底端编码器向解码器过渡部分，使用 CBAM 注意力模块。运用通道注意力机制与空间注意力机制，提高网络对全局信息的利用率，加强最高维的特征图中重要的特征并且抑制冗余特征，提高解码时高维特征的质量。随后进行跳接与特征解码操作，最后通过1 × 1 卷积和sigmoid 函数输出预测结果。

1.2 DO-conv

卷积操作是特征提取阶段的关键操作，考虑到胸水肿瘤细胞显微图像中细胞特征不明确、细胞边界模糊的特点，提高编码器特征提取能力是必要的。在传统方法中，加深网络模型深度是提高模型特征提取能力的常见做法，但是这种操作在增加模型计算量的同时，网络过深还可能造成梯度消失。为了提高模型特征提取能力而盲目加深网络模型并不是普适的方法。本文采用融合深度卷积和传统卷积的过参数卷积（DO-conv）替代传统卷积，提高模型提取能力，同时保持网络模型深度不变。在卷积操作中采用滑动窗口的方式，将步长设置为1，使输入图像分成多个大小与卷积核相等的块（patch），卷积核对每个patch 进行特征提取。在DO-conv 中先对每个patch 进行深度卷积，再对结果进行传统卷积，最后输出提取到的特征。具体处理过程如图3所示。

图3 DO-conv计算过程Fig.3 DO-conv calculation process

式中，Ο 为深度卷积运算符，Θ 为传统卷积运算符，P′表示深度卷积的中间结果，P′∈

在深度卷积操作中，可训练卷积核K 是一个3D tensor，表示为K∈，D为深度卷积的深度。如图3 所示，P′中的每一个元素都是P 按通道与K 中垂直向量点积得到的（图3 中绿色方块）。通过深度卷积，将H×W维的特征图转变为D维特征图，输出P′通过2D tensor 表示为P′∈深度卷积操作的计算为

如图3 所示，H×W=4，Cin=3，D=5。P 经过深度卷积后得到P′，随后对P′进行传统卷积操作（图3 中黄色方块），特征图输出通道为Cout，P′沿着C（C∈的Cout方向进行点积，输出F 用1D tensor表示为F∈传统卷积操作的计算式为

在 DO-conv 中输入图像的H×W维特征先被映射为D维特征，随后通过传统卷积操作使输出向量大小和传统卷积操作相同。由于卷积过程中D≥(H×W)，DO-conv 在输出相同大小的特征图的时候形成了过参数化的卷积操作，增加了模型在特征提取阶段的可训练参数，增强了模型对特征的提取能力，有助于解决分割任务中因为细胞未染色所造成的细胞特征不明显的问题。

1.3 CBAM 模块

在模型的特征提取阶段，编码器由卷积层、池化层、激活函数和批归一化层这些基础计算模块组成。其中，池化层会减小特征图的尺寸，使得模型可以看做是一种层次表示学习算法。若将卷积神经网络不同层次的特征图视做不同语义层次的表征，浅层的特征图拥有丰富的语义信息，用于提取细胞边缘等基础特征；深层的特征图可以提取抽象的语义信息，并保持一定空间联系（郭璠 等，2021）。多次池化操作会导致网络感受视野逐渐缩小，使网络过分关注局部特征，忽略特征与全局特征的联系。同时胸水肿瘤细胞团块细胞内部的特征十分细微，细胞核膜等细节信息容易在多次池化后丢失，对应的梯度信息得不到网络的关注，这在编码器末端输出的特征图中尤为明显。为缓解这一现象，对特征提取末端输出的最高维特征图使用CBAM 注意力模块，用其形成的注意力图对提取到的特征进行权重的再分配。CBAM 分为空间注意力和通道注意力两部分，空间注意力机制利用空间信息为每个像素进行加权输出，从而增强感兴趣的目标区域，同时弱化不相关的背景区域，提升关键区域的特征表达。通道注意力利用高维特征通道中每个通道的相关性，对不同的特征通道赋予不同的权重系数，从而强化重要特征，抑制非重要特征。CBAM 注意力模块的组成如图4所示。

图4 CBAM注意力模块Fig.4 CBAM attention module

在CBAM 注意力模块中，通道注意力模块使用平均池化操作和最大池化操作进行信息采集，形成两幅特征图。通过共享全连接层降维后，将两幅特征图相加，经过sigmoid 激活函数后得到特征的权重系数，最后与输入特征图相乘得到新的特征。通道注意力Ac计算为

式中，F是输入特征图，a和v分别是最大池化和平均池化操作，M为全连接降维操作，σ是sigmoid 激活函数。

空间注意力模块则沿着通道轴分别应用最大池化操作和平均池化操作，将获得的特征图拼接起来，通过7 × 7 的卷积和sigmoid 激活函数进行空间注意力映射，空间注意力As计算为

式中，Fc是通道注意力生成的特征图，C7×7是卷积核大小为7 × 7的卷积操作。

在CBAM 注意力模块中，空间注意力模块对输入特征进行细胞与背景区域的语义区分，通道注意力加强对细胞不规则轮廓信息的学习，二者结合产生注意力映射图。将注意力映射图和输入特征图逐元素相乘形成完整的权重图，完成对特征权重的再分配。整个CBAM处理流程为

式中，Ac和As分别为通道注意力和空间注意力，Fc和Fs是它们生成的注意力映射图。

2 实验与结果分析

2.1 数据的收集和数据的预处理

胸水肿瘤细胞显微图像由天津医科大学提供，邀请病理学专家在肿瘤细胞团块标记（Ma 等，2021）的基础上进一步筛选并且标记出每个细胞的边界。最终得到117 幅图像，每幅图像的尺寸为1 024 × 1 280 像素。图像中包含一处或多处肿瘤细胞团块，其中包含1～2 处肿瘤细胞团块的显微图像有77 幅，包含3～7 处肿瘤细胞团块的显微图像有40 幅，具体数量分布如图5 所示。将117 幅图像划分为5 个数据子集进行5 折交叉验证，训练中4 个作为训练集，1 个作为验证集。在训练开始前，从训练集先随机抽取17 幅图像构成测试集。最终训练时，数据集被分配为76幅图像的训练集，17幅图像的测试集，24幅图像的验证集。

图5 显微图像中肿瘤细胞团块数量分布柱状图Fig.5 Histogram of the distribution of the number of tumor cell clusters in micrographs

在训练过程中，为增强模型的鲁棒性，同时避免模型过拟合，对训练集进行数据扩充。使用的方法包括按照0.5的概率进行左右水平翻转，按照0.8的概率进行面积0.8 倍的缩放，按照0.5 的概率进行上下翻转，按照 0.8 的概率随机将图像顺时针旋转-10°～10°，最终将训练集扩充至4 000 例。在数据输入网络前，使用OpenCV（Open Source Computer Vision Library）提供的像素区域关系重采样法将图像尺寸转变为 256 × 256 像素。计算数据集中RGB三通道的均值和标准差，对数据集进行全局归一化处理。

2.2 实验环境与实验参数设置

实验使用 PyTorch1.11.0 框架，在一台GPU 型号为Nvidia Geforce RTX 3090，CUDA 版本为11.3 的计算机上运行。实验过程中初始学习率为 0.003，采用Adam（Kingma 和Szegedy，2017）算法对二分类交叉熵（binary cross entropy，BCE）损失函数进行优化，实验中模型均经过50次迭代。

2.3 评价指标

使用交并比（intersection over union，IoU）、Dice系数（Dice，1945）、精确率、召回率和豪斯多夫距离（Hausdorff distance95，HD95）作为评价指标，多角度地评估模型性能。

精确率与召回率的取值范围为［0，1］，精确度越高代表错误预测的像素越少，召回率越高则代表漏检的像素越少。

IoU 与Dice 系数均为度量样本集合相似度的度量函数，常用于评估医学图像分割的结果。取值范围为［0，1］，越大则代表标注的掩膜与预测的掩膜重合的区域越大，分割效果越好。

豪斯多夫距离是描述两组点集之间相似程度的一种量度，表示分割结果与标注结果两个点集之间最短距离的最大值。豪斯多夫距离可以度量细胞团块分割任务中分割结果边缘与掩膜边缘之间最大不匹配程度。为消除离群点对影响，采用HD95 作为本文方法的评估指标。

2.4 对比实验

为了验证模型的有效性，将提出的网络模型与UNet、UNet++、ResUNet、Attention-UNet 和UNet3+一起进行5 折交叉验证实验。实验结果如表1 和表2所示。

表1 不同模型在5折交叉验证中评价指标均值Table 1 The average value of evaluation indicators by different methods using 5-flod cross validation

表2 不同模型在5折交叉验证中评价指标方差Table 2 The standard deviation of evaluation indicators by different methods using 5-flod cross validation

从表1 和表2 可以看出，在IoU、Dice 系数、精确度、HD95上本文模型都优于其他模型，并且除HD95以外，所有的评价指标中本文方法的方差都是最小的。与UNet相比本文提出的方法在IoU、Dice 系数、精确度和召回率上分别提高了2.80%、1.65%、1.47%和1.36%。

为进一步验证本文模型的性能，对不同模型的分割结果进行展示，结果如图6所示。

图6 本文算法与多种算法的分割结果对比Fig 6 Comparison of segmentation results between the algorithm in the paper and multiple algorithms（（a）original images；（b）ground truth；（c）UNet；（d）ResUNet；（e）Attention-UNet；（f）UNet++；（g）UNet3+；（h）U2Net；（i）ours）

从分割结果上来看，ResUNet 因为跳接跨度大，部分语义信息提取不充分，导致分割时容易将背景中的干扰细胞误分为胸水肿瘤细胞。UNet++在背景中存在大量与肿瘤细胞相似的干扰细胞，且肿瘤团块细胞颜色与背景相似时容易出现误分割的情况。UNet 在细胞和背景对比度低、细胞膜边缘特征不明显时，容易出现欠分割与漏分割。U2Net 细胞边缘分割效果较好，但是面对背景复杂或细胞粘连严重的情况，U2Net 仍存在漏分割与误分割。面对肿瘤细胞相互重叠、细胞间粘连严重的图像中，本文提出的方法即使在细胞粘在一起形成紧密的团块，依然能够分割出细胞之间的间隙。当细胞团块中心出现干扰时，本文提出的方法也能对细胞团块进行精确分割。综合考虑肿瘤团块细胞分割的精确度与完整度，本文提出的DOCUNet 在胸水肿瘤细胞团块分割的任务上取得最好的结果。

2.5 消融实验

在5折交叉验证实验的过程中，在进行第5次验证实验时，所有模型均出现了较大的精度波动现象。如表3 所示，本文提出的网络在第5 次验证实验中，在IoU、Dice 系数、精确率与召回率中均取得了最好的结果，且在IoU与召回率指标中波动最小。

表3 第5次实验各评价指标及与均值的波动Table 3 The fifth experiment of each evaluation indicators and the fluctuation with the average value

为研究本文所提出网络模型精度波动较小的原因，在第5 次验证实验中的胸水肿瘤细胞团块显微图像数据集上进行消融实验，对过参数卷积（DOconv）和CBAM 模块的作用进行研究与讨论，实验结果如表4所示。从表4中可以看出，独立地使用过参数卷积或CBAM 注意力模块都能为模型在IoU，Dice系数与召回率上带来提升。使用CBAM 注意力模块特征图进行处理，有效地加强了肿瘤细胞中非显著特征的权值，使召回率有较大提升。使用 DO-conv卷积替换传统卷积操作则通过加强网络对图像特征的提取能力，加强模型对细胞不规则边界的感知能力，从而抑制模型的过分割，提高最终结果的精确率。

表4 各模块消融后的评价指标对比Table 4 Comparison of evaluation indexes after ablation of each module

各模块消融后分割结果对比如图7所示。从图7第1、2 行可以看出，当图像中目标细胞与背景对比度低，且背景中存在大量干扰细胞的图像时，UNet出现了漏分割。使用 CBAM 注意力模块对网络编码器提取的特征进行再分配后，有效缓解了UNet面对特征不明显图像的漏分割问题，使用 DO-conv 卷积加强模型对细胞特征的提取能力也能取得近似的结果。

图7 各模块消融后分割结果对比Fig.7 Comparison of segmentation results after ablation of each module（（a）original images；（b）ground truth；（c）UNet；（d）UNet+CBAM；（e）UNet+DO-conv；（f）ours）

从图7 第3、4 行可以看出，使用UNet 分割紧密的肿瘤细胞团块时，存在细胞边缘模糊的现象，使用CBAM 注意力模块或DO-conv 都可以缓解分割结果中细胞边缘模糊的问题，HD95指标的降低证明了改进的有效性，本文提出的DOCUNet 网络则可以分割出清晰的细胞边界。

消融实验结果的ROC（receiver operating characteristic）曲线和AUC（area under curve）值如图8所示。

图8 各模块消融后分割结果的ROC曲线Fig.8 ROC curve of segmentation results after ablation of each module

为了进一步解释使用的两种方法对模型的具体影响，使用基于Grad-CAM（gradient-weighted class activation mapping）（Selvaraju 等，2020）的SEGGradCAM（semantic segmentation via gradientweighted class activation mapping）（Vinogradova 等，2020）算法对实验结果绘制了类激活热力图。结果如图 9 所示。

从图9 第1、2 行可以看出，UNet 主要的关注点在于细胞的边界，对于细胞的中心关注度较低。解释了为什么当输入图像中肿瘤细胞边界不明确，且背景中有大量干扰细胞时 UNet 出现了漏分割现象。作为对比当 UNet 网络结构和CBAM 相结合时（图9 第1 行）细胞内的激活热力图从蓝色变成了黄色到红色，这表明网络关注到了细胞内部。同时，UNet 未识别的左右两处的细胞都受到了网络的关注。证明当背景中存在大量干扰细胞时，CBAM 注意力模块可以通过抑制背景特征，突出肿瘤细胞特征来提高分割精度。

图9 模块消融后的类激活热力图Fig.9 Thermogram of class activation after ablation of each module（（a）original images；（b）ground truth；（c）UNet；（d）UNet+CBAM；（e）UNet+DO-conv；（f）ours）

从图9 第3 行可以看出，使用DO-conv 后的网络在关注肿瘤细胞内的语义信息的同时，也能兼顾肿瘤细胞的细胞边界，使网络在面对形状不规则的细胞时能实现精确分割。面对细胞形态不规则、细胞间相互重叠的复杂分割情况，虽然使用DO-conv 进行分割可以有效提取图像特征，但从图9第4行可以看出，网络模型对细胞内部的关注度较低。然而，加入CBAM 模块形成本文提出的DOCUNet 网络后，这种情况得到了改善。在图9 第4 行中，DOCUNet 绘制的激活热力图显示细胞内部基本上都是红色与亮黄色的，并且细胞与细胞之间的边界清晰可见，表明该网络对细胞内部和细胞边界的关注度都很高，充分利用了图像中的语义信息。

3 结论

针对胸腔积液肿瘤细胞团块显微图像分割问题，本文提出了 DOCUNet 语义分割模型，实现了端到端的胸水肿瘤细胞团块分割。实验中为避免因胸水肿瘤细胞染色不均对实验结果造成不可预测的影响，本文采用未染色的细胞图像。通过使用过参数卷积层（DO-conv）替换传统卷积操作以解决胸水肿瘤细胞团块显微图像存在的细胞聚集、细胞形态多样、细胞膜分界不明显的问题。考虑到背景中干扰细胞多且细胞内部存在细微特征信息，使用 CBAM注意力模块对网络模型提取到的特征进行权重再分配，提高对肿瘤细胞的识别能力。通过5 折交叉验证实验证明了所提方法的有效性。实验中所提方法的平均IoU、Dice系数、精确率、召回率和豪斯多夫距离为0.858 0、0.920 4、0.928 2、0.920 3 和18.17，且除豪斯多夫距离外，本文方法的各指标方差最小。实验结果对比UNet 网络，各项指标分别提高了2.80%、1.65%、1.47%和1.36%，豪斯多夫距离下降了41.16%，在分割结果中本文提出的方法取得了最优结果。在消融实验中使用ROC 曲线和类激活热力图（SEG-GradCAM），验证了过参数卷积与CBAM 注意力模块，能够增强网络模型对肿瘤细胞非显著信息的提取，使网络注意到细胞内部的特征信息，提高网络模型的分割能力。

对胸水肿瘤细胞进行检测是筛查肺癌的一种方式，当前国内外较少针对该检测方式的研究，对胸水肿瘤细胞团块的分割是深入研究肿瘤细胞的预处理步骤之一。目前受限于可靠的标注数据数量和胸水肿瘤细胞形态与所处环境的复杂性，对团块细胞的分割仍存在漏检以及分割不全面的现象。接下来可以从细胞图像样本分布的特点，消除不同光照条件对图像的影响，对算法进行进一步的优化。收集更多数据，建立不同时期肺癌患者的胸水肿瘤细胞数据库，辅助医生对于肺癌不同阶段的诊断。同时，对结合深度卷积与传统卷积的过参数卷积以增加线性变化的方式，带来网络性能提升的原因进行进一步的研究。