基于改进SLIC与CNN的细胞显微图像分割与计数

屈若为　徐桂芝

文章编号：1007-2373（2022）01-0001-06

摘要 针对细胞显微图像分割与计数问题，提出了一种基于改进SLIC（Simple Linear Iteration Clustering）超像素与卷积神经网络（Convolutional Neural Networks， CNN）的细胞显微图像分割和技术的方法。首先对细胞显微图像进行预处理，然后对图像进行改进后的SLIC超像素分割，再对图像进行去噪，最后利用卷积神经网络将细胞的重叠情况进行识别。实验结果表明，针对细胞显微图像中目标分割不准确和重叠细胞识别不清等问题，该方法分割计数的准确率大于92%，平均一幅图片的处理时间在100 ms左右。基于改进SLIC与CNN在获得较好分割结果的同时，运行时间短，提高了运算效率与精度。

关 键 词 SLIC;CNN;图像分割;医学图像处理;细胞计数

中图分类号 TP391     文献标志码 A

Cell microscopic image segmentation and counting based on improved SLIC superpixel and CNN

QU Ruowei， XU Guizhi

（State Key Laboratory of Reliability and Intelligence of Electrical Equipment， Hebei University of Technology， Tianjin 300130， China）

Abstract In order to solve the problems of segmentation and counting of microscopic cell images， an image segmentation algorithm based on an improved simple linear iteration clustering superpixel and an classification algorithm based on convolutional neural network （CNN） was employed. Cell microscopic images were first pre-processed， then segmented by improved SLIC superpixel. To count cells， the adhesive cells were classificated by CNN after being denoised. The experiment showed the good performance in microscopic image segmentation， classification and counting with accuracy of over 92% at around 100 ms per image. The method based on improved SLIC superpixel and CNN is fast and accurate in cell microscopic image segmentation and counting.

Key words SLIC; CNN; image segmentation; medial image processing; cell counting

0 引言

随着计算机视觉技术与人工智能的发展，计算机辅助诊断已经成为医学图像处理领域中重要的研究方向之一，人们希望在医学检测中减少由人为因素带来的误差[1]。细胞的阅片与计数问题一直是医学检测领域中一项非常重要的工作，而这项研究的基础是细胞显微图像的智能化分析[2]。目前，检验科医生主要是通过显微镜，用肉眼观察细胞显微图像，运用自己的经验区分活细胞与灭活细胞、重叠细胞和单个细胞等。但目视等人工方法具有以下几个缺点：1）获取的细胞图像掺杂噪声污染，会造成图像清晰度不高，影响医生的正确阅片;2）带有一定的个人主观性，医生根据个人经验不同，造成诊断误差;3）人工阅片需要长时间目视显微镜下的细胞图像，长时间的阅片会引起视觉疲劳。这些问题都会为诊断带来误差[3]。与人工阅片方法相比，显微图像的自动识别在对细胞图像分割及计数问题上显示出了极其强大的优越性，不仅可以使医生从大量简单繁重的阅片工作中解脱出来，还能够排除人的主观性带来的实验结果的不确定性[4-6]。然而细胞显微图像由于受光照影响，亮度不均匀，而且切片的厚度不同会使得切片中出现细胞堆叠的情况，为细胞显微图像分割与计数带来了困难[7]。

苏茂君等[8]提出了一种耦合的脉冲神经网络，实现了对血细胞图像的准确计数，但其误差主要来源于对堆叠的血细胞分辨不清，造成计数不准。武宗茜等[9]提出了基于自动波特征的计数方法，通过提取分割后细胞的连通区域，区分相互重叠的细胞，但这种方法存在一定程度的过度分割和欠分割，是造成误差较大的主要原因。王祥生等[10]提出基于清晰度的细胞显微图像分割和计数方法，在整幅细胞显微图像中通过图像各部分清晰度不同区别细胞和背景，在一定程度上减少了误分割，虽然将平均准确率提高到93.6%，但在重叠细胞的处理中引入手工分割及人工阈值选取，不能实现完全自动化。

目前，大部分圖像分割算法以独立的像素点作为图像分析的基本单位，而忽略了像素点之间的空间关系信息，使得细胞图像的分割结果较差。近年来，超像素的提出使像素之间空间组织关系得到了有效利用，这种算法的优点是，产生的超参数区域边界与图像中物体或背景的边缘贴合效果较好，即对目标物体与背景的分割效果较好。因此，在处理复杂图像分割问题时，超像素聚类算法取得了良好的效果[11-13]。

本文针对细胞显微图像分割不准确和计数速度慢等问题，通过将聚类中心移动到梯度最小的区域这一思想改进了简单线性迭代聚类算法（Simple Linear Iteration Clustering，SLIC），对HE染色细胞的显微图像进行目标细胞与背景分割，然后针对细胞重叠形态不同，运用卷积神经网络对不同类别的重叠细胞进行分类，最后对细胞显微图像的细胞数量进行计数。

1 SLIC超像素分割

超像素这一概念由Ren等[14]提出，是指图像中能够表达一定图像局部结构特征的子区域。它的工作原理是将一幅图的像素级提升为更高一级的区域级。Achanta等[15]提出了SLIC算法，该算法基于K-means聚类算法的思想，在图像中设置K个种子点，最终生成K个超像素区域[16-18]。算法的思想是将图像从三维颜色空间转换到五维空间（CIE-Lab），每个像素点的[（L，a，b）]颜色信息和[（x，y）]空间信息组合成一个五维的向量[V[L，a，b，x，y]]，利用欧氏距离计算两个像素点之间的距离，并将相似度高的像素点归为同一个超像素区域。由于空间上点的距离和颜色距离的数量级可能不同，欧氏距离则会偏向其中一个因素而忽略了另一个因素。因此，SLIC算法在像素点距离计算的问题中，并未采用欧氏距离作为计算方法。设第i个超像素中心描述为[Ci=li+ai+bi]，第[Ck]个超像素中心描述为[Cki=lki+aki+bki]。

其距离由式（1）～式（3）来衡量：

式中，m用来调整[dxy]的权值，一般为1～20，本文中m值取10。

基于CIE-Lab聚类的超像素区域计算过程，如图1所示。

通过SLIC超像素算法分割图像，并以新组成的超像素区域代替单个像素点作为图的基本单元，降低了图像分割时的计算数量级，减少了计算时间。与其他生成超像素区域的算法相比，SLIC超像素分割算法具有以下优点：1）由SLIC算法产生的超像素区域较为规则;2）产生的超参数区域边界与图像中物体或背景的边缘贴合效果较好，即对目标物体与背景的分割效果较好;3）SLIC算法自动化较高，需要人工调节的参数只有1～2个。

为了避免所选的聚类中心不合理导致计算效率下降，本文对算法做了改进，将聚类中心移动到最小梯度点，梯度定义为

2 卷积神经网络

从仿生学的角度讲，卷积神经网络（CNN）是模拟哺乳动物视觉皮层神经的一个非常成功的例子[19-21]。CNN在图像的识别与分类问题中具有很多优势：1）它虽然增加了网络结构的深度，但是每个神经元节点上的计算方法均为线性计算。这种用网络结构的复杂性代替单个神经元的计算复杂性的方法，使得该方法适用于大规模分布式计算机的使用特点，加速了卷积神经网络的发展。2）卷积神经网络无需人工参与图像特征提取，而是将图像直接作为网络的输入，网络通过前馈和反馈模式不断优化网络参数，对图像特征进行自动学习。3）卷积层具有“局部感受野”的特性，使得卷积神经网络对于图像的几何形变不敏感[22]，不会因为图像经过超像素分割而导致分类效果下降。因此，本研究结合了卷积神经网络这些优势对重叠细胞进行分类。

本文设计使用的卷积神经网络模型包括卷积层（Convolutional Layer）、池化层（Pooling Layer）和全连接层（Fully-Connected Layer）。

卷积层的每个节点连接上层输入，通过卷积模板对图像进行特征提取。卷积层的公式如下：

式中：[xlj]是第l层的输出;[xl-1j]是第l-1层的输出，也是第l层的输入;[Mj]是每个与卷积模板相匹配的上层图像子区域;j是卷积模板的编号;k是卷积核;b是偏置项;l是层数。

本文试验中卷积层中的激活函数都采用线性修正单元函数（Rectified Linear Unit，ReLU）。其计算公式为

池化层即下采样层，通常在卷积层之后，将经过卷积和激活函数计算的特征模板执行向下采样的操作，以提炼了特征模板的信息，并对图像信息进行降维。池化层中包含多个模板，每个模板与上一层的输出相对应，并不改变卷积层输出中模板的数量。常用的池化算法包括平均池化、最大池化等，本文选取的池化计算方式为平均池化，即对经过卷积的图像子区域取平均值。

全连接层的位置通常在卷积神经网络的末尾，起到信息综合与分类的作用，本文将单个细胞、2个细胞重叠、3个细胞重叠分别设置为类别0、1、2，全连接层的输出为分类结果。

3 基于SLIC的细胞分割

本文中基于改进SLIC的细胞分割与计数方法实现的主要思路如图2所示。1）选定SLIC种子点的个数K，进行基于改进SLIC超像素算法的分割，得到分割结果，并在每个超像素块中取颜色平均值，得到SLIC颜色均值图。2）将1）中得到的图像进行灰度处理，分割出细胞区域并进行去噪。3）提取图2f）中含有细胞的图像块，先将其统一为大小为88×88像素的圖像。4）将这些分割后的细胞图片输入到卷积神经网络当中进行分类。

3.1 基于SLIC的超像素分割

基于改进SLIC算法的超像素分割准确程度受到种子点设定数目和图像颜色的共同影响。超像素个数过少时，边界分割易出现错误，不能区分目标细胞与背景;超像素个数过多时，会出现过渡分割的现象，失去了采用超像素分割高效率的优势。由图3可以看出，当N<1 000时，细胞边界不清晰，与背景融为一体。当N>1 000时，分割效果与N=1 000时几乎没有差别，但分割过细，效率低下。本文将超像素图块的个数设置为N=1 000，并生成相应的颜色均值图，如图3所示。

由于HE染色细胞的背景较为复杂，且背景颜色与细胞颜色区分不大，故生成的细胞图像中有细小的噪声点。本文在此运用了非线性扩散滤波器，将图像中边缘和非边缘区域采用不同的平滑策略，在平滑图像和抑制噪声的同时，有效地保留了边界。

通过此方法改进后的SLIC算法，由于选取的种子点为梯度最小的像素点，初始的聚类迭代只向单方向进行，因此平均计算时间由原来的120 ms左右下降到100 ms左右，计算速度提升效果明显。

3.2 基于卷积神经网络的细胞计数

3.2.1 单个细胞计数

首先将图像进行二值化，通过阈值法滤掉图像中的噪声。得到的图像中连通区域的个数即为单个细胞的数量。由于在这些区域内，孤立细胞和重叠细胞同时存在，本文中先默认所有连通域均为孤立细胞，计为n，再考虑重叠细胞的情况。去掉了手工区分孤立细胞与重叠细胞的步骤，实现了细胞计数的自动化。

3.2.2 基于CNN的重叠细胞的分类与计数

由于本套HE染色显微图像数据中，最多为3个细胞重叠在一起。重叠细胞由于多个细胞相互接触或覆盖在细胞边缘形成凹点，在形态学上具有显著差异。在实验过程中，本文选取划分后的44 878个细胞图样本作为实验的数据集，随机选择其中的80%共计35 902张图片作为本实验的训练集，剩下的20%共计8 976张图片作为测试图像，用于评估算法的性能。其中子圖边长取88，将其作为输入放入CNN中训练参数。网络的总体结构图如图4所示。

CNN结构一共有8层，包含输入层1层，卷积层3层，下采样层3层，最后的全连接层1层。全连接层采用了dropout策略，对于输入的神经元做出随机忽略的决策，这样的操作避免模型过拟合。对局部神经元的活动建立惩罚机制，使反馈较小的神经元数值减小或降为0，同时使反馈较大的神经元数值变得相对更大，这样的操作可以提升模型的泛化能力。本文试验中CNN卷积层的激活函数采用ReLU函数。选取的池化方法为平均池化。全连接层的输出为细胞分类的概率。本文将单个细胞、2个细胞重叠、3个细胞重叠分别设置为类别0、1、2，将全连接层的输出的分类概率取整，得到分类结果。

因为本数据的特殊性，细胞重叠的情况为最多有3个细胞重叠在一起。细胞重叠情况如表1所示。重叠细胞在重叠位置的凹凸度会与细胞边缘的其他位置的形态有明显不同，即形态学差异明显。针对此问题，本文将单个细胞、2个细胞重叠、3个细胞重叠分别设置为类别0、1、2，在全连接层中得到细胞个数类别的分类结果。

则细胞数量的计算公式为

式中：n为单个细胞的个数;[n1]是2个细胞重叠的细胞数;[n2]是3个细胞重叠的细胞数。

4 结果与分析

本文中用到的实验平台为HP Z640 Workstation，处理器为Inter Xeon E5-2620v4 2.1 2133 8C CPU，显卡为NVIDIA Quadro M4000 8GB GFX，Windows 7操作系统。本文使用的HE染色细胞数据集来自英国利兹教学医院NHC信托病理学部，由60张图像组成，试验图像分辨率为1200×765像素[23]。因为使用了改进后的SLIC超像素对细胞显微图像进行分割，且将种子点初始位置设置为梯度最小的像素点，在一定程度上提升了分割速度。并且基于卷积神经网络对重叠细胞进行分类，检测速度较快。因此，对一幅图像进行分割、重叠细胞分类、计数的平均速度为0.1 s。

为了评价本文提出的改进SLIC超像素分割和CNN分类方法，选取了在图像分割及分类领域表现优异的算法作比较。其中，阈值分割法（OTSU）[24]是一种基于阈值的图像分割技术;分水岭分割方法（WATERSHED）[25]是一种基于拓扑理论的分割方法。支持向量机（SVM）[26]是一个由分类超平面定义的判别分类器，将当时流行的线性分类器推广到非线性的领域中，利用了非线性函数的特性，实现分类功能。各算法分割结果对比图见图5。

为了定量地评价算法分割的效果，本文选取了通用的评价标准：准确率（Accuracy）、精确率（Precision），召回率（Recall）和F1指标（F1-measure）：

式中，TP表示真阳性，即真实情况为细胞图像且被正确分类的细胞样本个数;FP表示假阳性，即真实情况为背景，且被误分为细胞的样本个数;TN表示真阴性，即真实情况为细胞，且被误分为背景的样本个数;FN表示假阴性，即真实情况为背景，且被正确分类为背景的样本个数。各算法运行结果见表2。

从表中可以看出，本文提出的算法准确率为0.882，优于阈值分割、分水岭方法和直接使用SLIC分割3种算法。值得一提的是，精确率为查准率，即正确计数细胞占所有准确计数的比例，本文提出的SLIC+CNN算法在精确率为0.901，优于其他3种算法。F1指标综合了精确率和召回率的分类效果评价，本文提出算法的F1指标达到0.925，高于其他算法。实验结果表明，本文提出的基于改进的SLIC和卷积神经网络的细胞分割与计数效果优于其他几种算法。

5 结论

本文提出的结合改进后的SLIC超像素聚类与卷积神经网络（CNN）的细胞图像分割与计数方法，达到了良好的效果。与一些传统的细胞分割与分类算法相比，其优越性在于利用了改进后SLIC算法能够清晰地区分目标物体与背景上优势，结合了细胞显微图像中细胞结构较为紧凑的特性，不仅能够得到较为完整的细胞图像，并且能够提高分割效率;采用CNN方法识别重叠细胞的重叠情况，解决了细胞的重叠问题带来的计数误差。此项研究工作将为临床后续的病理诊断提供辅助，降低了由病理医生经验不同造成的诊断偏差，减少其简单重复工作的强度，提高医生诊断效率。

参考文献：

[1]    卢宏涛，张秦川. 深度卷积神经网络在计算机视觉中的应用研究综述[J]. 数据采集与处理，2016，31（1）：1-17.

[2]    赵嘉莹，高鹏，朱勇俊，等. 人工智能的应用将改进中国基层医疗卫生服务效能[J]. 中国全科医学，2017，20（34）：4219-4223.

[3]    PAVLIN M，PAVSELJ N，MIKLAVCIC D. Dependence of induced transmembrane potential on cell density，arrangement，and cell position inside a cell system[J]. IEEE Transactions on Biomedical Engineering，2002，49（6）：605-612.

[4]    CHRISTY EVANGELINE N，ANNALATHA M. Computer aided system for human blood cell identification，classification and counting[C]//2018 Fourth International Conference on Biosignals，Images and Instrumentation （ICBSII）. March 22-24，2018，Chennai，India. IEEE，2018：206-212.

[5]    BILLS M V，NGUYEN B T，YOON J Y. Simplified white blood cell differential：an inexpensive，smartphone- and paper-based blood cell count[J]. IEEE Sensors Journal，2019，19（18）：7822-7828.

[6]    GE J，GONG Z，CHEN J，et al. A system for counting fetal and maternal red blood cells[J]. IEEE Transactions on Biomedical Engineering，2014，61（12）：2823-2829.

[7]    NAKAMORI N，DOI K，SABETI V，et al. Image feature analysis and computer-aided diagnosis in digital radiography：Automated analysis of sizes of heart and lung in chest images[J]. Medical Physics，1990，17（3）：342-350.

[8]    蘇茂君，王兆滨，张红娟，等. 基于PCNN自动波特征的血细胞图像分割和计数方法[J]. 中国生物医学工程学报，2009，28（1）：145-148，152.

[9]    武宗茜，王鹏，丁天怀. 活动轮廓模型在重叠藻细胞计数中的应用[J]. 计算机工程，2012，38（3）：209-211.

[10]  王祥生，王伟. 基于清晰度的细胞显微图像分割和计数方法[J]. 中国医学影像学杂志，2014，22（10）：797-800.

[11]  WANG P Y，ZHU H Q，LING X F. Content-based superpixel matching using spatially constrained student's -t mixture model and scale-invariant key-superpixels[J]. IEEE Access，2020，8：31198-31213.

[12]  GUO Y W，JIAO L C，WANG S，et al. Fuzzy superpixels for polarimetric SAR images classification[J]. IEEE Transactions on Fuzzy Systems，2018，26（5）：2846-2860.

[13]  YU W Y，WANG Y H，LIU H W，et al. Superpixel-based CFAR target detection for high-resolution SAR images[J]. IEEE Geoscience and Remote Sensing Letters，2016，13（5）：730-734.

[14]  REN，MALIK. Learning a classification model for segmentation[C]//Proceedings Ninth IEEE International Conference on Computer Vision. October 13-16，2003，Nice，France. IEEE，2003：10-17.

[15]  ACHANTA R，SHAJI A，SMITH K，et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34（11）：2274-2282.

[16]  GUPTA A K，SEAL A，KHANNA P. Divergence based SLIC[J]. Electronics Letters，2019，55（14）：783-785.

[17]  ZHANG Z，CHEN J，LIU Z. SLIC segmentation method for full-polarised remote-sensing image[J]. The Journal of Engineering，2019，2019（20）：6404-6407.

[18]  XIE F Y，SHI M Y，SHI Z W，et al. Multilevel cloud detection in remote sensing images based on deep learning[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2017，10（8）：3631-3640.

[19]  JIN K H，MCCANN M T，FROUSTEY E，et al. Deep convolutional neural network for inverse problems in imaging[J]. IEEE Transactions on Image Processing，2017，26（9）：4509-4522.

[20]  PINHEIRO P O，COLLOBERT R. Recurrent convolutional neural networks for scene labeling[C]. // Proceedings of the 31st International Conference on International Conference on Machine Learning，Beijing，2014：82-90.

[21]  LIU G S，ZHU M H，KIM J，et al. ELHnet：a convolutional neural network for classifying cochlear endolymphatic hydrops imaged with optical coherence tomography[J]. Biomedical Optics Express，2017，8（10）：4579-4594.

[22]  HE S F，LAU R W H，LIU W X，et al. SuperCNN：a superpixelwise convolutional neural network for salient object detection[J]. International Journal of Computer Vision，2015，115（3）：330-344.

[23]  BHANDARI A K，KUMAR I V，SRINIVAS K. Cuttlefish algorithm-based multilevel 3-D otsu function for color image segmentation[J]. IEEE Transactions on Instrumentation and Measurement，2020，69（5）：1871-1880.

[24]  TAREEF A，SONG Y，HUANG H，et al. Multi-pass fast watershed for accurate segmentation of overlapping cervical cells[J]. IEEE Transactions on Medical Imaging，2018，37（9）：2044-2059.

[25]  丁世飛，齐丙娟，谭红艳. 支持向量机理论与算法研究综述[J]. 电子科技大学学报，2011，40（1）：2-10.

收稿日期：2020-07-02

基金项目：国家自然科学基金（51737003，51677053）;河北省研究生创新资助项目

第一作者：屈若为（1989—），女，博士研究生。通信作者：徐桂芝（1962—），女，教授，gzxu@hebut.edu.cn。