基于改进YOLOv5s的乳腺癌有丝分裂病理图像检测

刘雅楠 李靖宇 郝利国 赵添羽 邹鹤 孟洪颜 许东滨 董静

1 齐齐哈尔医学院医学技术学院 （黑龙江 齐齐哈尔 161006）

2 齐齐哈尔大学通信与电子工程学院 （黑龙江 齐齐哈尔 161006）

3 齐齐哈尔医学院基础学院 （黑龙江 齐齐哈尔 161006）

内容提要：乳腺癌病理图像的有丝分裂结果过程中，由于形态相近的细胞存在干扰，有丝分裂细胞目标小，难以分割标记，从而限制乳腺癌分级诊疗效率和准确性。因此，提出了一种基于改进YOLOv5s的乳腺癌病理图像检测算法。在骨干网络中加入Transformer结构，增强对图像小目标的检测能力。并通过引入ACMix结构，融合图像特征，提高检测性能，强化卷积神经网络对小目标的注意力机制。在检测头部分添加SK-attention，确保捕捉小目标的准确度。结果显示，改进的YOLOv5s的检测性能较改进前传统模型性能更加优秀，检测准确率达97.12%，能较好识别乳腺癌病理图像有丝分裂细胞，进而为后续诊疗提供决策依据。

乳腺癌较高的发病率和病死率对女性生命健康威胁较大，传统病理诊断借助显微镜直接对病理切片进行检查，借助医师主观经验和手动技术作出诊断。病理切片能较好地显示乳腺癌细胞的形态和组织结构，在制作难易程度和贮存条件上都具有优势，在临床中发挥重要作用[1]。在癌症病理诊断实际操作中，由于病理图像中的细胞数目众多，且细胞的形态相似，医师需较长时间能作出决策，且由于可能出现的疲劳观察、主观误判现象，需要借助计算机技术辅助病理图像检测，而深度学习方法为自动检测乳腺癌有丝分裂病理图像提供了技术环境[2]。基于图像特征提取方式，医学图像可分为传统图像自动提取和基于深度学习的提取。传统的图像自动提取主要凭借机器学习方法，需要手工提取特征，如Hog特征、Sobel边缘检测特征等，这类算法一方面需要手动提取图像的纹理、形状等特征，另一方面并不具备较强的泛化能力，特别是鉴于乳腺癌病理图像细胞数目庞大，所需时间较长，提取效果不明显[3-5]。

因此，基于深度学习的方法能解决手动提取图像特征的问题，缩短提取时间，同时能获得更多的有效特征[6]。深度学习已成为解决医学图像分类问题的首要手段。Joseph等提出YOLO（You Only Look Once）目标检测模型，此类算法借鉴人的大脑识别特性进行目标检测模型开发，表示人在对目标进行观察时，只需看一下就可基本确定目标类型以及目标所在位置，并不按顺序进行判断识别。YOLO目标检测算法原理是将图像分为S×S形式的像素方格，然后对落在方格中心的目标进行检测，从而实现对整张图片所有目标区域的目标类别及概率预测，提升了检测速度。但是，检测精度有所下降。

为强化YOLO检测性能，弥补YOLO目标检测漏检率高的问题，研究人员先后提出了单次多盒探测器（Single Shot Multi Box Detector，SSD），算法复杂性更小，精确度更高的YOLOv2及YOLOv3，但YOLOv3并没有很好地解决YOLO系列在边界框定位不够准确的问题。YOLOv4整体增加了新的算法思想并对各个子结构优化改进，主要是通过测试数据集数量的增加实现优化目的。YOLOv5官方模型包括4个版本的检测框架，让人可以根据不同检测目标的类型进行模型选择，增加灵活性[7-9]。但是，目前结合知网查找相关文献，利用YOLOv5进行乳腺癌病理图像辅助诊断的研究较少。因此，研究改进YOLOv5网络，发挥其在小目标检测优势，进而满足乳腺癌有丝分裂病理图像检测的临床需要。

1.乳腺癌有丝分裂病理图像数据集

1.1 乳腺癌有丝分裂病理图像特点

在乳腺癌诊断中对病理图像进行分级的诺丁汉分级系统中的有丝分裂指标可以评价癌症的侵袭性。通过病理切片进行有丝分裂的诊断并非易事，病理切片在制备过程中经由不同中心、不同设备制作最终呈现出染色结果会有较大差异[10]。除外部因素，有丝分裂现象是分为四个时期的复杂过程，前中后末四个时期各自特点不同各的特点。当有丝分裂处于末期时已经产生了两个细胞核，但是还没有分裂成两个独立的细胞时，这种情况只能计作一个有丝分裂。另外，切片中两种细胞的类间差异较小。一些非有丝分裂细胞在形态等方面与有丝分裂细胞之间的相似性极高，给诊断造成了很大的困难。一些凋亡细胞与有丝分裂细胞会有很大的相似性，极易产生干扰性，这也是有丝分裂精确检测的一大障碍。

1.2 乳腺癌有丝分裂病理图像数据集

本文使用的数据集是ICPR14 竞赛公开数据集，共有1696张图像。每张病理图像的大小为1539×1376像素，其中，训练集和测试集的病理图像的数量分别为1200张和496张。

2.检测算法及改进模块

2.1 YOLOv5s算法

YOLOv5s整体网络结构如图1所示，包括Backbone、Neck和Prediction 3个部分。其中Back bone网络由Focus、CBL、CSP和SPPF模块组成，承担提取输入图像信息作用。Backbone网络最后是SPPF（Spatial Pyramid Pooling-Fast）模块，在增加感受野的同时提取图片特征，SPPF相较于传统算法具有更少的计算量和更快的运行速度。Neck网络主要作用是实现对Backbone网络中所提取的特征进行特征融合，进而形成能被检测的目标信息。YOLOv5s的3个目标检测头分支，各自实现对乳腺癌有丝分裂细胞位置目标的小目标、中目标和大目标的检测。

图1.YOLOv5s的基本结构示意图

2.2 YOLOv5s算法改进

为解决乳腺癌有丝分裂病理图像检测目标特征复杂、干扰细胞繁多，检测时间长，检测难度大的问题。

本文提出的适用于乳腺癌有丝分裂病理图像的改进型YOLOv5s模型，如图2所示，改进点包括：①在骨干网络的最后添加ACMix模块；②将CSP结构更改为Transformer结构；③在小目标检测头上添加SK-attention，加强对小目标的检测能力。最终改进后的结构如图2所示。

图2.改进后YOLOv5s网络模型

2.2.1 ACMix模块

在骨干结构最后设计ACmix注意力模块，旨在提高网络对微小目标的敏感度，强化特征融合效果，便于最后提取结果。ACmix注意力模块由卷积注意力和自注意力两个模块并行构建，如图3所示，原理如下。先将H×W×C的特征通过3个1×1×C的卷积进行映射，分割为N个部分，得到3×N个尺寸为H×W×C/N的子特征。在上半部分（以K为内核的卷积路径），网络如同传统的卷积注意力模块，从局部感受野中抽取信息，子特征通过3N×K2N的全连接层，对生成的特征进行位移、融合和卷积处理，从而得到H×W×C/N的特征，共N组。而在下半部分（自注意路径），网络在全局信息的考量下，同时关注关键区域。3N个子特征对应的3个H×W×C/N尺寸的特征图各自充当查询、键和值的功能，严格遵从传统的多头自注意力模型。通过位移、聚合和卷积处理后，得到H×W×C的特征。接着，两条路径的输出经过Concat操作，其强度由两个学习的标量控制，如公式（1）所示。

图3.ACmix模块

两个分支的输出在合并之后，全局特征与局部特征得到了平衡的考虑，从而增强网络对微小目标的识别能力。

2.2.2 替换CSP结构

CSP结构更改为Transformer结构，Transformer是一种基于注意力机制的网络模型架构，最先应用于自然语言处理领域，并逐渐在计算机视觉领域中得到广泛应用。Transformer在模块上是基于编码器和解码器架构的，而编码器和解码器是由多个层构成。在编码器和解码器的结构中，编码器负责提取特征，解码器负责将提取到的特征转化为结果。一个标准的Transformer编码器由两大部分组成：注意力层和全连接层，注意力层提取特征信息，由全连接层输出所需结果。其基本结构如图4所示。

图4.Transformer编码器结构

2.2.3 添加注意力机制

将SK-attention结构添加到小目标检测头上，能够通过该机制显著增强对小目标检测能力。SK注意力机制中的SK是Selective Kernel的缩写，表示选择性融合不同尺度大小的卷积核。SK注意力机制结构如图5所示，由Split、Fuse和Select 3部分组成。在Split部分分别对输入图像进行3×3和5×5的卷积操作，得到U1和U2两个特征图。Fuse是计算两个卷积核权重的部分，将两者的特征图按元素求和，然后沿着H和W维度求平均值，得到一个C×1×1的一维向量，权重信息表示了各个通道信息的重要性。如公式（2）所示。

图5.SK-attention机制

3.实验结果分析

3.1 实验评价指标

本文从准确率、召回率、平均精度（mean Average Precision，mAP）3个评价指标去衡量模型的性能，如公式（3）～（5）所示。

准确率（Precision）：准确率表示正样本被预测正确的实例占总正样本预测个数的比例。见公式（3）。

其中：TP、FP分别表示正确预测的文本区域数、误判的文本区域数。

召回率（Recall）：召回率为正样本被预测正确的实例占所有真实正样本实例数量的比例。见公式（4）。

平均精度（mAP）是模型检测精度的评价指标，它与准确率和召回率相关，AP(c)表示类别c的平均准确率，N(classes)表示多目标分类任务中类别的个数。见公式（5）。

3.2 实验结果分析

选用Transformer、ACmix、SK-attention方法分别作为独立的变量模块，在相同的环境及训练技巧的前提下，研究各个模块在YOLOv5s网络的改进效果。改进的模型对目标的预测置信度要高于未改进的模型。通过开展消融实验，最终得到如表1的结果。

表1.消融实验结果

由表1可看出，将SK-attention添加至检测头后模型的准确率P、召回率R、平均精度均值mAP均有所提升；加入ACmix后，模型加强了干扰目标区域检测，增加了模型对干扰目标排除率；同时加入Transformer和ACmix模块以及添加SK-attention后网络检测准确率进一步提高，提升了算法的稳定性。

4.小结与展望

本文提出了一种基于改进的YOLOv5s的乳腺癌有丝分裂病理图像检测方法，通过改变CSP结构为Transformer结构提升性能，增加ACMix模块提升对图像特征融合能力，在检测头特别是针对小目标的检测头添加SK-attention结构增强卷积能力，提升对目标图片的检测性能。经实验，改进后的模型在检测整体准确率、召回率、平均精度均值等方面均优于改进前。今后，将持续结合临床应用实际情况不断改进模型。