基于多监督注意力机制神经网络的脑胶质瘤循环肿瘤细胞分割算法

袁红杰，杨艳，张东，杨双，2

1.武汉大学物理科学与技术学院，湖北 武汉 430072；2.桂林航天工业学院电子信息与自动化学院，广西 桂林 541004

前言

1869年，Ashwonh［1］对1 例癌症死亡患者进行尸检时发现其外周血存在类似肿瘤的细胞，首次提出了循环肿瘤细胞（Circulating Tumor Cells,CTC）的概念。CTC 是指由癌灶组织细胞脱离原发灶或转移灶释放进入外周血液循环的肿瘤细胞，存在于外周血中的各类肿瘤细胞的统称［2］。CTC 的检测可有效地应用在许多方面，包括化疗药物的快速评估、个体化治疗的耐药性检测、肿瘤复发的监测以及肿瘤新药物开发等［3］。近年来的研究表明脑胶质瘤CTC 可以作为脑胶质瘤诊断的特异性分子标志物，并在评估放化疗疗效、鉴别肿瘤复发和假性进展、筛选分子靶向药物等方面具有极大的潜在临床价值。2020年，Qi 等［4］首次使用基于滤孔过滤的分离技术对脑胶质瘤CTC 成功进行染色荧光标记。该标记技术优点颇多，但对于标记结果的判读却流程繁琐，其染色标记后的识别主要依赖于医师的专业经验，需要在显微镜下识别CTC 的同时手动画出细胞核细胞质的区域。此类方法需要医师操作时注意力高度集中，且对边界模糊的CTC 识别率低。为了更好地辅助医师，利用计算机学方法自动识别、分离、计算出CTC细胞核、细胞质区域面积成为当前研究的首要任务。

目前医学图像分割算法研究可以分为两个大类。第一类是基于概率统计学的传统算法，例如阈值分割法、基于区域的分割法、基于边缘的分割方法、基于形态学的分割方法等，这类算法的鲁棒性和泛化性较差且分割结果极易受到噪声干扰［5］。第二类是近些年较主流的基于机器学习的方法，例如监督学习、无监督学习和强化学习等，这些算法均需要搭建合适的神经网络框架，投入大量的数据，学习数据的共有特征，再通过优化自身网络参数来减小预测值和实际值的差距，以达到分割新数据的目的［6-11］。2015年，Ronneberger 等［12］提出U-Net 网络架构，该架构是基于Encoder-Decoder 的经典思想，很好地解决了医学图像分割任务中因数据集收集困难导致的分割精度较差的难题。2018年，Woo 等［13］提出卷积块的注意力机制模块，该模块是在通道和空间维度上进行重点提取，使得神经网络更集中于目标物体识别，提高分割准确率。

1 方法

专业医师对CTC 进行识别需要按照以下步骤：第一步需要在DAPI染色（蓝色）层面，确定细胞核位置，并且细胞核大小需要大于滤孔直径且无分叶；第二步需要在STEAM 染色（绿色）层面，确定细胞核周围胞质表达目标抗原的区域（即CTC 细胞质绿染区域）；第三步在CD45染色（红色）层面，确定CTC是否表达白细胞抗原（即红染区域），如果细胞红染、绿染面积比大于0.3，则认为是白细胞，予以排除，不计入CTC。按照以上要求，如果利用传统算法方式分割CTC，需要按照上述3 步依次进行，流程复杂且分割效果极易受到噪声干扰。因此，本研究选择机器学习方法实现分割CTC［14］。按照常规思维，分割细胞质、细胞核属于两个分割任务，需要搭建两个独立的网络分割。本研究基于数据特点选择使用混合训练的方法，一次投入3通道的混合数据，网络直接输出2通道预测分割图。

1.1 算法流程

针对图像质量参差不齐的脑胶质瘤CTC 免疫荧光图像，将根据原始数据的特点搭建合适的网络架构以满足最终的分割需求。本研究整体算法流程大致可以分为3个步骤：（1）数据集制作，包含图像预处理、标签制作、数据集增强等操作［15］；（2）搭建基于注意力机制的分割网络，并选择合适的损失函数；（3）投入测试数据集，分析预测结果。整体流程如图1所示。

1.2 网络结构

设计的网络构架如图2所示，该网络架构主要由两个部分构成，分别为左边的Encoder 部分和右边的Decoder 部分，也就是比较经典的编码-解码模型［16］。该网络主要由卷积模块、卷积块注意力机制（Convolutional Block Attention Module,CBAM）模块、下/上采样模块、计数模块构成，同层编码器的输出联结前一层的上采样输出作为解码器卷积模块的输入，以防止随着网络深度的增加输入特征丢失。网络的输入为3 通道的混合图片（DAPI蓝色、STEAM 绿色、CD45红色），而输出为2通道的二值图片（即细胞核、细胞质的预测分割图）。

图2 多监督注意力机制神经网络结构Figure 2 Structure of neural network-based multi-level supervision and attention mechanism

卷积模块（Convolutional Block,Conv Block）如图3所示，包含两个部分，它们均是由卷积函数、批标准化函数、Dropout 函数、线性整流激活Relu 函数构成［17-20］。其中卷积核选择为3，步长为1，为反射填充，Dropout的比例为0.3。

图3 卷积模块Figure 3 Convolutional block

CBAM 模块结构如图4a 所示，主要包含两个部分：第一部分为通道注意力机制［21］；第二部分为空间注意力机制［22］。CBAM 模块中的两部分串行处理能够很好地帮助网络学习输入特征的空间和通道维度的权重分布。输入特征图F（Shape 为H×W×C）通过通道注意力模块Channel Attention Module，得到1×1×C 的通道注意力特征图Mc。再将Mc 和原始特征图F 做矩阵乘法，生成Fc（Shape 为H×W×C）。Fc再通过空间注意力模块Spatial Attention Module，得到H×W×1 的空间注意力特征Ms。再将Ms 和特征图Fc 做矩阵乘法，生成F'（Shape为H×W×C）。通道注意力机制结构如图4b 所示。主要是将输入的特征图F 分别经过高为H 和宽为W 的全局最大池化（Global max pooling）和全局平均池化（Global average pooling），分别得到1 个1×1×C 的特征图，接着，再将它们分别送入独立、隐藏层为1 的全连接神经网络（Multilayer Perceptron,MLP）［23］，其中激活函数设置均为Relu。下一步将MLP 输出的特征进行基于以通道维度为基准的矩阵加法操作。最后，将混合后的特征矩阵投入Sigmoid 函数激活，生成最终的Channel attention feature，即Mc。空间注意力机制结构如图4c所示。主要是将输入的特征图Fc首先做一个基于通道维度为基准的Global max pooling 和Global average pooling，分别得到1 个Shape 为H×W×1 的特征图，然后将这2个特征图做通道拼接操作。再经过一个卷积核为7、步长为1的卷积操作，并把通道维数降为1，Shape 即为H×W×1。投入Sigmoid 函数激活生成Spatial attention feature，即Ms。

图4 卷积块注意力机制模块Figure 4 Convolutional block attention module

下采样（DownSample Block）和上采样（UpSample Block）模块的作用是使特征图升维或降维以满足网络在不同尺度下的特征提取和传播［24］。下采样模块由一个步长为2的卷积函数、批标准化函数、Relu 激活函数构成。上采样模块为插值函数、批标准化函数、Relu激活函数构成。

计数模块（Counting Number Block,CN Block），其结构如图5所示。输入特征分别经过全局Global max pooling、Global average pooling得两个1×1×C的特征矩阵，两特征矩阵做矩阵加法，再通过Relu激活函数和隐藏层为1的MLP，得到分割目标个数的预测输出。

图5 计数模块Figure 5 Counting number block

1.3 损失函数

损失函数是评判预测值和目标值之间差距程度的函数，选择一个合适的目标函数有助于网络模型预测效果、鲁棒性和收敛速度的提升，同时防止在反向传播时梯度消失和梯度爆炸问题。本研究提出自定义Loss 作为损失函数，本文Loss 主要由两部分构成，Loss 表达式如式（1）所示。第一部分为l1（Dice Loss），如式（2）所示，主要目的是最大化目标矩阵和预测矩阵之间的交并比；第二部分为l2（Cross Entropy Loss,交叉熵损失函数），如式（3）所示，主要帮助网络向预测正确目标个数的方向收敛。

其中，P表示预测矩阵，T表示真实值矩阵，n为预测类别个数，Ti为目标个数为i的真实概率，Pi为目标个数为i的预测概率。可以看到在几乎不用增加模型复杂度的情况下，使用混合自定义Loss 函数，能在更多维度去监督模型的学习以提升模型的拟合能力。

2 实验与结果

本研究所有网络框架的运行环境均为Anaconda3-2021.11-Linux-x86_64，均使用Pytorch 网络框架（其中Cuda 版本为10.2、Python 版本为3.8.12），均使用同一组自制训练/测试数据集（其中训练集与测试集比为10：1）。数据集的原始图片尺寸为720×720，为了满足网络的输入输出尺寸要求，均压缩至256×256 的尺寸（使用INTER_AREA 插值方式，即像素区域关系重新采样）。所有实验网络均使用适应性较强的Adam 优化器进行网络优化，其中动量值、衰减参数、学习率等参数均选择默认值［25］。所有网络均训练2 000轮，并保存训练过程最优模型。

2.1 实验数据

本文使用Qi 等［4］提供的基于滤孔过滤技术拍摄的CTC 荧光染色图。数据集制作：第一步需要对DAPI蓝色、STEAM 绿色、CD45 红色原图进行合并，分别选择其B、G、R 通道数据置于混合B、G、R 图片的3通道中；第二步针对绿色和蓝色的图片进行人工标注，标出细胞核和细胞质的面积。由于原图亮度、对比度不一致，大部分数据难以凭肉眼分辨边界，需要对原图进行自适应的亮度和对比度增强。接着在Qi 团队专业医师的指导下对改善后的图像进行标注，生成目标和背景的二值图。由于网络输入长宽比为1：1（原图为4：3），为防止输入长宽比压缩不一致，需要对原图进行裁减，流程图如图6所示。完成上述操作后对二值图进行归一化生成值为0、1 的标签矩阵，共生成189 组数据。由于数据量较小，需要对数据进行增强以扩充数据集来满足训练需求。为了防止数据集中每张图片目标个数和目标大小不一致对训练结果产生负面影响，本文采用分组增强数据集的方式进行数据扩充。按照分割目标为1 个和多个的标准把数据分为A、B 两组。A 组包含139张，B 组包含50 张。为了使测试集和训练集中的原始数据占比一致，通过计算，本文选择从A、B 两组分别随机取出15、5 张，分别扩充至30 张，组成60 张的测试数据。将A，B每组剩余部分分别扩充至300张，总数600 张作为训练数据。数据增强的方式为对图像随机进行旋转、缩放、裁减、亮度修改、对比度修改等混合方式，尽量减少人工干预对数据集扩充的影响。

图6 数据集处理流程图Figure 6 Dataset processing flowchart

2.2 评价指标

为了客观分析算法模型的预测性能，选择召回率（Recall）、精确率（Precision）以及Dice 系数3 类评价指标来衡量分割出的细胞核、细胞质和实际人为标注区域的差异。计算公式如式（4）～（6）所示：

其中，真阳性（True Positives,TP）为预测正样本，实际为正样本；假阳性（False Positives,FP）为预测正样本，实际为负样本；真阴性（True Negatives,TN）为预测负样本，实际为负样本；假阴性（False Negatives,FN）为预测负样本，实际为正样本。

2.3 实验结果与分析

为了定量分析本文算法模型，实验对比了U-Net模型和U-Net+Diceloss 模型，分别预测、计算、对比3类指标的平均值，结果如表1、表2所示。在分割CTC细胞核、细胞质任务上，可以看到本研究算法在对比U-Net+Diceloss 模型方面，可以在不牺牲预测精确率的情况下，在召回率和Dice 系数方面均有明显提升：细胞核分割方面，分别提升4.40%、2.51%；细胞质分割方面，分别提升5.59%、3.17%。而对比U-Net 模型，可以看到本研究算法3 项指标均有明显提高，细胞核分割方面，分别提升10.04%、1.02%、7.13%；细胞质分割方面，分别提升8.85%、0.51%、7.38%。

表1 细胞核分割对比定量表现（%）Table 1 Quantitative results of different algorithms for nucleus segmentation(%)

表2 细胞质分割对比定量表现（%）Table 2 Quantitative results of different algorithms for cytoplasm segmentation(%)

为定性分析本文算法优势，对比人工标注、U-Net和本文算法分割结果图，可以看出当针对单个目标的分割，两者表现不分上下，如图7a 所示。而在分割亮度、对比度较差的图片时，U-Net 只找到部分目标区域，而本文算法可以找到全部区域且分割效果较优，如图7b所示。而针对多目标分割的任务，在对比度较低的条件下，本文算法依然能够找到多个分割目标，表现也明显优于U-Net，如图7c所示。

图7 预测分割图Figure 7 Predicted segmentation

3 结语

本研究提出一种基于多监督注意力机制神经网络的脑胶质瘤CTC 细胞核、细胞质分割算法，解决了人工分割脑胶质瘤CTC 免疫荧光图像的边界分辨困难、操作流程复杂等问题。针对数据样本分割目标个数不一致的问题，本研究选择按比例增强数据，配平数据比。针对网络算法方面，首先提出混合训练的方式，只需一个网络模型，一次输入混合图片，网络直接预测细胞核、细胞质的分割图，缩减训练流程；其次提出一种混合Loss，最大化分割区域与目标区域的交并比，并训练网络向预测正确目标个数的方向收敛；最后，本研究加入CBAM 注意力机制模块，使得网络能在空间、通道层面重点学习数据特征。通过在同等条件下与U-Net算法的对比，确定本研究的算法优势，为后续计算脑胶质瘤CTC 细胞核质比用于评估放化疗疗效、鉴别肿瘤复发和假性进展、筛选分子靶向药物等方面提供帮助。