基于颜色均衡分类网络的细胞识别算法

冯绍玮，李秋男，张中华，蔡小雨，姜小明

（1.重庆邮电大学生物信息学院，重庆 400065；2.重庆邮电大学重庆市医用电子与信息技术工程研究中心，重庆 400065）

血细胞的形态学检测能够弥补生化检测的不足之处，通过显微镜镜检，对检测多种血液疾病有着特殊的意义[1-5]。随着卷积神经网络的出现，为细胞自动化形态检测提供了新的机遇。但深度学习假定测试集与训练集的相互独立且分布相同，一旦数据分布发生变化，许多模型需要重新训练[6]。而由于细胞个体的多样性、各批次染色试剂效果以及操作人员染色手法的差异，不同血液涂片的颜色与分辨率大相径庭，普通的神经网络无法适应各种类型的数据集。在具有多领域的数据集中，深度卷积网络的分类准确率明显降低，无法满足临床检测的需要。

通常解决此问题的方法是通过对数据集进行预处理，使用图像处理算法将数据集迁移到统一领域。随着计算机视觉的发展，许多优化方法也可以应用到数字图像的处理中。但深度学习所需的数据集规模较大，传统的图像处理算法需要消耗大量的时间与资源，同时也无法满足实时处理的要求[7]。

综上所述，该文提出一种颜色均衡分类网络URNET，此网络能够同时实现快速地数据集颜色均衡化与异常红细胞的准确识别。

1 颜色均衡分类网络U-RNET

1.1 总体设计

常见的异常红细胞形态有镰刀形、半月形、泪滴形、球形等[8]，该文选取六类异常红细胞，分别为球形、椭圆形、水滴形、靶形、裂红细胞和棘红细胞。文中所提到的算法流程如图1 所示。首先，使用最优传输算法对数据集进行颜色均衡化处理，通过处理后的数据集训练颜色均衡网络U-net，然后将U-net与训练好的分类网络进行拼接，最后使用冻结层（Frozen）方法对网络进行微调，从而合成网络URNET 实现结合颜色均衡的更精确广泛的异常红细胞识别。

1.2 最优传输模型

传统数学模型在图像处理领域有着不可替代的作用，它能对数据本身进行处理而不需要额外的标签或参照。最优传输模型广泛地应用于两个样本域之间的迁移转换中。最优传输具有悠久的历史，涉及概率论、偏微分方程和凸几何等多种理论[9]。

该文中，最优传输作为数据集预处理方法，解决数据集颜色均衡化问题。通过代价函数，寻找一种原数据集到新数据集的最优空间映射，使多个领域内的数据集能够几乎无损失地迁移到另一个相同领域中。

1.3 颜色均衡网络U-net

颜色均衡网络的输入应为原始图像，输出则为颜色均衡化后的图像。网络需要实现将个体多且个体边界小的细胞图像尽可能完美地迁移到与标签相同的颜色分布。在医学图像领域，U-net 可以很好地胜任这项任务。首先在下采样过程中通过卷积层与池化层提取图像所需要的信息，然后运用转置卷积实现反编码，在上采样过程中剪裁并融合已获得的特征，最后通过激活函数对像素分类，获得所需要的迁移图像。U-net 独特的译码-解码结构完整地保留了图像的低分辨率与高分辨率信息，且能够实现图像的像素级分类，输出为每个像素点的类别，不同类别的像素显示不同的颜色，对于该文所涉及的边界模糊、梯度复杂、个体小、背景大的细胞图像，U-net能发挥十分优异的性能。

1.4 图像分类网络

常用的图像分类网络有AlexNet、VGGNet、ResNet与Inception-net 等。其中，ResNet 独特的结构使它的识别准确率与识别速度领先于其他网络。在临床中，需要更迅速、更准确地对病理图像进行检测，因此该文选用ResNet50 作为图像分类网络。

ResNet 引入残差网络结构，通过这种结构可以使神经网络搭建到更深的层数。残差网络模仿了高速网络中跃层连接的思想，改变了传统神经网络依次连接的惯例，后一层的输入来自于跳跃多层的神经网络层的输出。残差块中有两个相同输出通道数的3×3 卷积层，每个卷积层后连接一个BN 层（Batch Normalization）和ReLu 激活函数。

ResNet50[10-14]沿用了VGG 全3×3 卷积层的设计，共分为五个stage。第一个阶段在输出通道为64、步幅为2 的7×7 卷积层后依次连接了BN 层、ReLu 激活函数以及3×3 的最大池化层。在此之后，连接了四个残差块模块，每个模块由若干残差块组成。第一个模块的通道数与输入通道数相同，之后的每个模块在第一个残差块基础上通道数加倍，高和宽减半。最后，通过平均池化层，经全连接层展开后，由softmax 激励函数输出最后的分类结果。

1.5 颜色均衡分类网络U-RNET搭建

首先通过最优传输方法将数据集迁移到同一颜色分布，迁移后的数据集作为标签，原数据集作为输入训练颜色均衡网络U-net，保存训练后的权重。然后将U-net 输出的图像作为新的数据集，图像类别作为标签，训练图像分类网络ResNet50，保存训练后的权重。最后，级联网络结构将权重按层进行搭载，并通过冻结层方法对网络进行微调，最终得到颜色均衡分类网络U-RNET。U-RNET 搭建过程如图2所示。

图2 U-RNET搭建过程

2 实 验

2.1 实验数据集

该文数据集来自重庆德方信息技术有限公司的血液细胞采样图，由9 556 张1 500×1 122 RGB 图像组成，数据集中部分图像如图3 所示，每张图像均使用矩形框对各细胞进行了标注和分类，细胞类型与矩形框位置信息独立存放在xml文件中。

图3 部分细胞采样图

按xml 文件对原始图像进行剪裁并关联标签，然后对这些图像进行筛选并分类。根据文献[9]中的常见异常红细胞类型，共选取六类异常红细胞，分别为球形、椭圆形、水滴形、靶形、棘红细胞和裂红细胞。各类细胞图像如图4 所示。

图4 六类红细胞图像

六类细胞共有11 995 张细胞图像。按照已标注的数据类型，将图像归类为0-5。同时，按照7∶3 随机将数据集划分为互不包含的训练集和测试集。各类细胞图数量如表1 所示。

表1 各类细胞图数量

2.2 实验准备

与实验相关的工作环境设置为：深度学习平台操作系统为Windows 11。Nvidia GeForce GTX 3090显卡，CPU 为Intel i7-10700，Python 版本3.7.0，深度学习框架使用TensorFlow 2.6.0。

深度学习优化器为Adam；颜色均衡网络损失函数采用均方差（MSE），Loss 函数采用交叉熵；训练周期为200 次；每批次训练16 张图片；学习率为0.001；采用图像增强方法扩大数据集，在训练模型时：1）统一将图像调整为128×128×3；2）对图像进行随机翻转，范围为-45°～45°[15-16]。

通过最优传输方法，将数据集中的图像迁移到同一领域，作为训练领域迁移网络的标签。同时，为了验证该文方法的有效性，对数据集使用直方图匹配与之进行对比实验。

2.3 图像迁移与分类结果

通过1.5 节中给出的训练步骤，训练U-net 时，统计每一个训练周期内网络的损失与准确率。训练集Loss 随着网络训练的迭代迅速下降，经过200 个epoch 后，最优传输测试集Loss 为1.1×10-4；直方图匹配测试集Loss 为5.3×10-4，则模型最后已经收敛，很好地拟合数据集，在该数据集上能够表现出较高的性能。Loss 曲线如图5 所示。

图5 测试集与训练集Loss曲线

最终各图像处理结果如图6 所示，可以看出最优传输方法能够平滑地将图像迁移到同一颜色分布，迁移后的图像噪声并不明显；使用U-net 进行颜色均衡后，结果与直接用最优传输迁移相近，但特征与边缘更加清晰。而直方图匹配会带来大量噪声，图像中会产生较多的噪点，使用直方图匹配后的数据集训练U-net可以去除一部分噪声。综上，最优传输可以表现出比直方图匹配更优异的性能，神经网络则能够提升迁移的速度并做到信号滤波作用。实验证明了将最优传输方法与神经网络结合的有效性。

图6 各图像对比结果

在训练分类网络时，随机划分数据集并进行五次交叉实验。经过200 个epoch 后，细胞图像总体识别准确率如表2 所示。

表2 各种方法的识别准确率

最终，U-RNET 的总体识别准确率要高于其他三种迁移方法，达到95.5%，准确率曲线如图7 所示。除此之外，统计得出该神经网络处理一张图片所需的时间为41 ms，而最优传输方法需要2 s，说明U-RNET 具有良好的识别准确性与实时性。由于经过颜色均衡网络处理后的图像噪声更小，特征更加清晰，也使得被识别图像的数据分布更能满足神经网络的倾向。因此，U-RNET 最终的识别准确率高于最优传输本身，且由于最优传输处理数据集的优越性，准确率远远高于其他算法。

图7 测试集与训练集准确率曲线

3 结束语

该文针对细胞图像的特点，提出融合最优传输方法的U-RNET 细胞分类网络。利用最优传输方法处理数据集训练网络，能够充分利用神经网络自主提取图像特征，对多领域的细胞图像能够几乎无损失地迁移到同一领域，显著提高细胞类别的分类准确率。在该文所提供细胞数据集上的实验表明，该文方法对六类细胞形态识别可以达到95.5%的识别准确率，高于其他传统方法。且单幅图像处理时间仅41 ms，远小于传统数学模型迁移方法。实验表明，该文设计的融合最优传输方法的细胞识别分类网络U-RNET 在提高细胞图像识别率的同时，加快了目标图像的处理速度。