深度学习在细胞图像分析中的应用进展

王尧，黄钢，2

1.上海理工大学健康科学与工程学院，上海 200093；2.上海健康医学院附属嘉定中心医院上海市分子影像学重点实验室，上海 201318

前言

在光学、电子和计算机技术飞速发展的今天，显微技术取得了很大的进步，在细胞实验过程中获得高质量图像是后续图像处理和数据分析的关键，对此问题可以通过选择合适的微孔板、控制细胞铺板密度以及选择荧光强度、发射光谱小的荧光染料来提高图像质量，再根据实验目的选择合适的成像模式和物镜［1］。深度学习是机器学习算法的一个重要分支，目前已经应用到众多科研领域中，特别是在图像处理领域。与传统的图像处理方法相比，深度学习的一个关键优势是它的特征层不是人为设计的，而是使用通用的学习程序从数据中学习特征。深度学习模型从输入层输入数据，输出层输出一个有误差的结果，通过反向传播、梯度下降等算法不断对输出结果进行优化，直到模型收敛或达到预期的效果才结束［2］。随着计算机技术的发展，深度学习在处理具有大量参数的问题时显示出巨大优势。卷积神经网络（Convolution Neural Network, CNN）、递归神经网络（Recurrent Neural Network, RNN）、生成对抗网络（Generative Adversarial Nets,GANs）等深度学习模型在图像分类、区域分割、目标检测和超分辨重建等方面都取得了令人满意的结果。本文详细介绍深度学习在细胞图像分析中的研究进展。

1 深度学习在细胞图像分类中的应用

图像分类，即按照一定规则给输入图像定义一个标签以此决定该图像的类别。设计一个分类器可以识别细胞图像之间的差异性、区分不同类型或者不同生长阶段的细胞。传统算法中，一般是通过手工提取图像特征，并将这些特征与给定的类别标签一起训练分类器，但基于深度学习的分类器具有自主学习图像相关特征的能力。在细胞图像分析中，深度学习算法，尤其是CNN 已被证明在细胞分类和亚细胞结构识别任务中取得优异表现。

基于CNN的分类器经历了长期的发展，LeNet是最早被提出作为CNN 图像分类器模型的，主要用于手写字体的识别［3］。随着深度学习的不断发展，很多优秀的模型被不断提出并应用于图像分类领域。在CNN 分类器逐步发展的同时，各种分类模型在细胞图像的分析中也展现出巨大潜力。Patil 等［4］将CNN和LSTM（Long Short-Term Memory）相结合，提出基于典型相关分析（Canonical Correlation Analysis,CCA）的深度学习体系结构，用于血细胞图像分类任务。CCA 从输入图像中提取各种重叠特征，分类准确度达到95.89%，其他类似深度学习算法的准确度均 不 到92%。Rui 等［5］提出一种基于融合网络（Fusion-Net）混合深度学习框架的高通量高光谱显微镜成像技术，用于在单细胞水平上快速分类食源性细菌。分别采用LSTM、ResNet和一维卷积神经网络等多种DL 框架，分类准确率分别达到92.2%、93.8%和96.2%。利用融合策略，将单个DL 框架堆叠形成融合网，同时处理这些特征，分类准确率高达98.4%。Shpilman等［6］开发一种基于深度学习的框架DNCIC，可以准确预测正常线粒体和罕见或未观察到的药物影响细胞，准确率达到98%，本研究结果为药物影响细胞的诊断提供基础。Wang 等［7］提出一种模式网络融合卷积神经网络集成实现白细胞分类，该体系结构依赖于PatternNet集成方法，PatternNet可以捕获每个参与模型的优点，同时对异常值不敏感。Wang 等［8］对传统的机器学习和深度学习图像分类算法进行比较和分析，在使用大样本数据集时，支持向量机的准确率为0.88，CNN的准确率为0.98。针对大量细胞图像进行分类的效果，基于深度学习的分类器比传统的分类器更迅速更准确。

2 深度学习在细胞图像分割中的应用

图像分割是将一幅图像分成几个具有特定属性区域的过程，是图像分析中的一个重要步骤，能够帮助研究人员从大量数据中获得丰富的有效信息，细胞图像分割可以提供关于细胞结构和功能的定量信息。传统的分割方法包括阈值分割、边缘检测、区域生长、直方图法等。基于深度学习的分割方法被分为语义分割和实例分割。语义分割是对图像中的每个像素进行分类，但是同一类别的对象之间不会区分。 2015年，Long 等［9］提出的FCN（Fully Convolutional Network）在网络架构上将全连接层均替换为卷积层，FCN 成为深度学习技术应用于语义分割问题的基石，许多流行语义分割模型，如SegNet、U-Net 都源自FCN，其中，显微图像分割中应用最广泛的模型是U-Net。实例分割是一种基于目标检测的分割方法，可以识别图像中不同对象并对其分类。最初的目标检测模型是由Girshick 等［10］提出的R-CNN，将CNN 应用于自底而上的候选区域来定位和分割对象。后续又在R-CNN的基础上开发了计算速度更快的Fast R-CNN 和Faster R-CNN。2017年，He 等［11］提出的Mask R-CNN 是在Faster R-CNN的基础上添加了一个预测分割mask 的分支，在检测目标的同时，对目标像素进行分割，从而实现实例分割，这个网络的平均分割准确率高达96.1%，优于其他有监督学习分类方法，适用于血液学分析。基于深度学习的分割方法在细胞图像分析领域具有重大意义，它可以帮助研究人员从大量数据中捕捉到有用信息。Joseph 等［12］开发一种自动分割角膜内皮细胞图像的方法，该方法包括图像扁平化、U-Net 和后处理，以实现单个细胞分割，确定定量的生物标志物，指示角膜移植后的健康状况。Roy等［13］提出的语义分割模型，采用DeepLabv3+架构，使用ResNet-50作为特征提取网络，可以在显微血液图像中准确地分割出白细胞，并且对接触红细胞的图像和全血涂片图像的分割平均准确率为96.15%，可以产生更好的结果。

深度学习在亚细胞结构图像分割中也发挥重要作用，Kumar等［14］提出一种SCPP-Net模型，该模型通过实现具有可分离卷积金字塔池化网络的有效编码器-解码器架构来自动分割组织病理学图像中的细胞核。Meku等［15］提出一种利用基于CNN的分割管道，用于自动分割线粒体和内溶酶体。通过平衡采样、改进对比度和迁移学习提高分割的鲁棒性，评估结果表明该方法优于其他先进算法。基于深度学习的分割方法已被广泛用于细胞计数、形态计量分析和组织图像分析。

3 深度学习在细胞图像目标跟踪中的应用

描述现实生活中的物体不仅需要量化它们的空间属性，还需要量化它们的时间属性。目标跟踪是通过一系列延时图像来跟踪目标，该方法在分析细胞或亚细胞结构中的动态信息是不可或缺的［16］。如今一些显微镜已经支持获取细胞和亚细胞结构的延时图像，但是在跟踪显微图像中的细胞时，由于存在细胞分裂、粘连运动不均匀等问题，准确性仍有待提高［17］。经典的跟踪算法可以被分为生成式和判别式，生成式方法重点描述目标的特征，通过搜索候选目标来降低误差，而判别式方法通过训练分类器来区分目标和背景，效果要比生成式好，目前大部分基于深度学习的目标跟踪方法也属于判别式。目标跟踪任务可以分为目标检测和数据链接，目前最常用的检测方法是MASK R CNN。另一个常用结构是RNN，其本质上是一种处理序列信息的方法，模型可以记忆保留的信息，但是在处理长序列过程中存在梯度消失和梯度爆炸的问题，随着LSTM 的提出与发展，这个问题得到解决，LSTM 是一种特殊的RNN 模型，引入细胞状态这一概念，分别使用sigmoid函数做输入门和遗忘门，tanh 函数做输出门来控制信息，LSTM 不仅可以记忆信息还可以筛选出有用信息，大大提高目标跟踪的精度和效率［18］。

Lugagne 等［19］开发一个基于U-Net 图像分析管道，不仅可以识别大肠杆菌细胞的位置，而且还可以跟踪它们的生长和分裂周期，专注于微流体设备中细菌生长的延时图像，可用于长期的单细胞分析。针对干细胞跟踪问题，Wang 等［20］提出一种具有卷积结构和多输出层的深度学习框架。利用卷积结构，通过迁移学习策略在显微镜图像数据上学习特征，多输出层可以跟踪人类干细胞的运动，同时监测细胞的有丝分裂，具有更高的跟踪性能和鲁棒性。Masoudi 等［21］提出一种基于循环聚焦的在延时图像系列中进行实例级微管（MT）跟踪的新方法，该算法在每一帧分割单个MT，连续帧的分割结果用于分配MT 之间的对应关系，最终根据每帧中的MT 生成一个不同的路径轨迹来估算MT 速度，结果表明MT 实例速度估算精度有大幅提高。Moghadam 等［22］提出一种基于深度学习的链接方法跟踪三维荧光图像序列中的多个细胞，训练3D-caln模型提取特征，使用足够多的连续两帧的单个荧光斑马鱼中性粒细胞的人工标记配对3D图像，与其他跟踪方法相比，该方法具有更好的性能。

4 深度学习在细胞图像超分辨率重建中的应用

超分辨率图像重建是指利用图像处理和算法模型将低分辨率图像重建为高分辨率图像的技术［23］。在细胞图像的分析中，获得高质量和信息丰富的图像对后续处理非常重要，需要采用不同的荧光通道、荧光染色试剂和曝光时间对细胞样品进行成像，并尽可能提高细胞图像分辨率。常见的传统超分辨率重建算法有以下3类：（1）基于插值的超分辨率重建：将图像上每个像素都看做是图像平面上的一个点，用已知的像素信息为未知的像素信息进行拟合；（2）基于退化模型的超分辨率重建：通过提取低分辨率图像中的关键信息，并结合对未知的超分辨率图像的先验知识来约束超分辨率图像的生成；（3）基于学习的超分辨率重建：利用大量的训练数据，从中学习低分辨率图像和高分辨率图像之间对应关系，根据该映射关系来预测对应的高分辨率图像。基于深度学习的图像重建方法通过学习低分辨率图像到高分辨率图像的端到端的映射函数，可以直接从低分辨率图像推理出高分辨率图像，提高细胞图像重建的速度、准确性和鲁棒性［24］。SRCNN 是较早提出应用于图像重建的卷积神经网络，将低分辨率图像进行双三次插值（bicubic）放大为目标尺寸，接着通过三层卷积网络拟合非线性映射输出高分辨率图像［25］。VDSR 是基于SRCNN 的改进网络，在增加网络深度的基础上，使用残差学习和梯度裁剪提升学习速率和收敛速度，并且提高重建的准确度［26］。除了传统的卷积网络，GANs 也被用于图像重建中，Ledig 等［27］提出的SRGAN 引进感知损失函数，其中包括对抗损失和内容损失，生成网络将输入的低分辨率图像根据内容相似性生成高分辨率图像，对抗损失使生成的图像更加细节化，判别网络则负责鉴别输出图像是真实的高分辨率图像还是生成的高分辨率图像。将深度学习与显微技术结合，可以实现细胞图像超分辨率重建和高效实时的分析。

Wang等［28］提出一个基于训练生成对抗网络来实现荧光显微镜中的超分辨率和跨模态图像转换，该模型将实验获得的低分辨率图像和高分辨率图像进行精确的多阶段图像配准，可将不同成像方式获得的低分辨率和宽场图像转换为高分辨率图像，包括宽场荧光、共聚焦和TIRF显微镜。单分子定位显微镜方法为了获得更高的空间分辨率导致成像速度缓慢，Ouyang等［29］提出一种计算策略ANNA-PALM（Artificial Neural Network Accelerated PALM），在不影响空间分辨率的情况下减少帧总数也可以获得高质量的超分辨率图像。该策略使用ANNs学习数据输入和输出之间非线性映射，从快速获取的定位图像和宽视场图像重建超分辨率视图，ANNA-PALM大大缩短了采集时间，实现了更高效的活细胞超分辨率成像。Jin等［30］使用U-Net来增强结构照明显微技术SIM（Structured Illumination Microscopy），通过训练的U-Net可以从较少的SIM原始图像中直接重建超分辨率图像，并从弱光样本中检索超分辨率信息，使亚细胞结构可以被清晰观测到，证明DL-SIM（深度学习辅助SIM）在活细胞多色超分辨率成像中具有巨大潜力。

5 总结与展望

深度学习在细胞图像分析中的应用取得了显著进展，已被广泛应用到细胞图像的分类、分割、跟踪和超分辨率重建中。作为一个先进且功能强大的图像分析工具，深度学习比许多传统分析算法表现出更迅速更高效的处理能力。尽管深度学习在细胞图像分析中显示出了巨大的优势，但仍然存在一些问题亟待解决。首先，深度学习需要大量的严格标注的数据集，而广泛用于细胞图像分析的公共数据集目前还很缺乏。其次，深度学习处理图像后得出的结论没有与生物发现深度结合起来。最后，深度学习缺乏一定的解释性，尤其是生物医学这种敏感领域。随着深度学习和显微技术的飞速发展，生成的高分辨率细胞图像具有更多的细节信息，对后续的客观分析也提供了很大帮助。相信在不久的将来，将二者结合的智能显微镜也会应用到细胞领域的分析中。