深度学习在染色体分割中的应用综述

陈少洁，赵淦森，林成创，彭 璟，黄凯信，李壮伟，黄润桦，杜嘉华，樊小毛

1.华南师范大学 计算机学院，广州510631 2.广东技术师范大学 电子与信息学院，广州510660 3.广州市云计算安全与测评技术重点实验室，广州510631 4.华南师范大学 唯链区块链技术与应用联合实验室，广州510631

根据世界卫生组织在《出生缺陷报告》中发布的统计：先天性疾病是导致婴幼儿死亡的一项极为显著的原因，占所有新生儿死亡总数的7%左右[1]。在经济发达的欧洲区域，这个比例更是高达25%。我国不仅是人口大国，也是出生缺陷和先天性疾病高发的国家。根据《中国出生缺陷防治报告（2012）》统计[2]，我国每年新增缺陷出生人数在90万例左右，约占新生儿总数的5.6%。出生缺陷是导致妊娠早期流产、婴幼儿死亡和先天性残疾的主要原因，不仅严重影响新生儿的生长发育和生活质量，造成严重的家庭经济负担，而且会造成巨大的社会经济损失，给原本日趋老龄化的社会带来巨大的潜在寿命损失。当前出生缺陷已成为影响我国人口素质和群体健康水平的公共卫生问题。导致出生缺陷和先天性疾病的原因很多，其中染色体异常、单基因缺陷、多因子遗传等遗传因素是较为常见的原因。

染色体是携带人类遗传信息的重要物质，其数目和形态结构与人类的健康紧密相关。每一个健康的人都具有23对染色体，分别为22对常染色体和一对性染色体，共46条染色体[3]。染色体分析对于临床医学诊断和生物医学研究都至关重要。由于细胞分裂中期的染色体均排列在赤道板上，且具有增厚拉长的特点，十分适合于视觉分析[4]，因此目前几乎所有染色体研究都采用中期染色体进行分析。

完整的染色体分析包括染色体图片的选择、将染色体和染色体簇从图片背景中提取出来、对接触或粘连的染色体簇进行分割以及对分割后的染色体进行分类四个大致阶段[5]。许多研究工作已经探索了自动化或部分自动化的核型分析技术，包括染色体分割[6-8]和分类[8-11]。接触或重叠染色体的精细分割对于后续的染色体分类、临床预测、诊断、治疗等步骤都至关重要。

在深度学习技术兴起之前，对染色体分割主要采用传统的图像分割技术，包括基于阈值、基于区域和基于边缘等分割方法[12]。但基于规则的传统分割方法不能较好地适应于复杂多变的重叠或接触的染色体情况。随着深度学习技术的快速发展，并在计算机视觉领域取得了瞩目的成果。越来越多的深度学习技术被应用于染色体分割中。这些研究可划分为基于语义分割网络的染色体分割[13-17]和基于实例分割网络的染色体分割[18-20]两大类。相比于基于规则的传统图像分割方法，具有自学习能力和较强泛化能力的深度学习技术在染色体分割中取得了更好的分割效果。

由于染色体呈线状非刚性结构且中期染色体图像往往存在强度不均匀的情况，导致许多染色体实例交叉、重叠在一起，使得用传统的分割方法进行染色体分割非常具有挑战性。同样，基于深度学习技术背景下的染色体实例分割研究也面临着许多挑战。首先，当前公开可用的染色体数据集屈指可数，大多数研究使用各自收集处理的数据集，使得不同的工作之间不具有可比性，无法推动染色体分割技术在准确率和精确率上取得大的突破。其次，染色体分割的最终目的是便于临床医学诊断和相关研究，但目前还没有报告显示具有鲁棒性的染色体分割算法被大规模地应用于临床医学中，也没有研究系统性地对比现有算法和模型在实际临床应用中的效果。

基于深度学习技术的染色体实例分割研究无论是对于算法的比较、改进和突破，还是对于临床应用的指导都具备非常大的参考价值。然而，当前尚无体系化的综述研究对基于深度学习的染色体分割技术进行总结。基于深度学习的染色体分割，能极大地简化数据预处理，通过端到端的分割方法，能实现精准高效的染色体分割。本文旨在调研现有的深度学习技术在染色体分割中的应用情况，归纳总结现有研究使用的方法及其优缺点。发现并揭示深度学习技术在染色体分割研究中存在的问题，展望基于深度学习技术的染色体分割领域未来的研究方向。

1 染色体分割领域的热点问题与挑战

染色体分割是医学影像分割技术的一种具体应用，类似于其他器官组织的分割。染色体的非刚性特质导致细胞图像中的染色体实例极其容易发生弯曲、相互黏连和重叠，为染色体实例分割带来了巨大的挑战[8-9]。染色体形态结构的易变性和接触重叠情况的多样性，使得应用传统的分割方法均取得较为普通的分割精度和准确率。随着具有自适应性的深度学习技术的发展，将深度学习技术应用于染色体分割成为了研究热点，但也伴随着巨大挑战。

1.1 染色体分割的任务与难点

染色体分割的目标是将两条或多条重叠或接触的染色体进行分割，使其各自成为完整且独立的染色体实例。对于一个给定的图像I，若其中包含的染色体实例总数为n，则图像样本I中的染色体实例集合可表示为UI={S1,S2,…,Sn}，其中Si表示第i条染色体实例。染色体分割任务的目标就是将每个染色体实例从UI中分离开来。

目前几乎所有基于深度学习的染色体分割研究均使用具有增厚和拉长等特点的中期染色体作为研究对象，但是显微镜下的染色体不仅存在接触或粘连、易折叠和扭曲的情况，还具有目标区域相似度和均匀性较差等特点。若选用原生细胞图像进行染色体分割，还会受到来自细胞核等其他物质的干扰，使得染色体的精细分割面临巨大挑战。再者，缺乏大规模的标注训练数据集，使得众多研究无法在统一基准上进行比较，推动基于深度学习技术的染色体分割研究取得更进一步突破。目前，基于深度学习技术的染色体分割研究主要采用应用于其他领域的实例分割模型，通过端到端的方式进行分割。由于不同类型的染色体均是由黑白条带构成，使用现有的模型进行染色体分割，没有考虑到染色体的图像特征，染色体实例分割结果还有较大的提升空间。

1.2 评价指标

为了评价各种染色体分割方法的优劣，需要一定的评价指标来评估不同方法的分割性能。但由于大多数染色体分割研究并没有在同一基准的数据集上进行研究，因此，目前不能仅仅以常见的评价指标的好坏对比来评价不同的染色体分割方法。这里介绍在众多染色体分割研究中较为常用的分割评价指标。分别有IoU（Intersection over Union）、Dice系数（Dice coefficient）、准确率（Accuracy）。

IoU，又称为Jaccard指数JAC。等于两个区域的交集与两个区域的并集之比，衡量的是预测结果与实际结果的重叠程度，其数值大小能够较好地评价分割算法的性能。用A表示染色体的真实标注，B表示分割算法的分割结果，其公式为：

其形象化表示如图1所示。

图1 IoU公式

Dice系数是常见的集合相似度度量指标，用于计算两个样本的相似性，其值的范围在0到1之间。分割结果最好时，其值为1，分割结果最差时，其值为0。其公式为：

其中，P1表示实际的染色体实例，P2表示算法分割出的染色体实例。 ||P1为P1区域的像素个数， ||P2为P2区域的像素个数。|P1⋂P2|求出P1、P2相同区域的像素个数。

Dice系数与IoU（又称JAC）的关系，为：

准确率（Accuracy）指准确分割的结果占总样本的百分比，是染色体分割中最为常见的评价指标。给定一个数据集，分割准确率可表示为：

其中，N表示数据集中的所有染色体实例的总数，N′表示算法或模型正确分割的染色体实例总数。

1.3 数据集现状

1.3.1 现有公开数据集

目前公开的染色体数据集屈指可数。最早公开数据集的是Grisan等人[7]，于2007年使用Q带显带技术[21]，从实验室获取了分辨率为768×576像素的162幅染色体图像，总共包含6 683条染色体。具体数据集可以从http：//bioimlab.dei.unipd.it下载。但是该数据集只有原始的Q带图像数据，没有对应的染色体实例的标注数据，使用该数据集的研究人员需要自行进行数据的标注工作。

Hu等人[13]于2017年使用了数千条半综合生成的重叠染色体人工合成了一个语义分割数据集。数据集总共包含13 434张94×93像素的染色体灰度图像，每个样本均包含两个随机重叠的染色体实例。每一幅图像均有一个大小相同的ground truth标注，ground truth标注中用类标签进行区分，如图2所示，黑色为类标签0，代表背景区域。红色为类标签1，代表第一条染色体的非重叠部分。绿色为类标签2，代表第二条染色体的非重叠部分。蓝色为类标签3，代表两条染色体的重叠部分。具体数据集可从https：//www.kaggle.com/jeanpat/generating-overlapping-chromosomes获得。

图2 Hu等人公开的数据集样本

一直以来，不乏染色体分割研究，但研究所用的数据集几乎没有公开。这是因为涉及到患者隐私的染色体数据，不仅在收集方面存在困难，而且手工标注染色体数据也是一个费时费力的过程[22]。手工标注通常需要由经验专家来完成，他们凭借着丰富的临床经验和学科知识来确保染色体数据的高质量标注。实现一定量的高质量标注的染色体数据集具有一定的挑战。

1.3.2 当前研究中使用的数据集

当前染色体实例分割数据集主要依赖研究人员自行收集和标注。例如Altinsoy等人[23]使用的是仁济医院的染色体图像创建数据集，数据集由40幅1 200×1 600像素的原始g带染色体图像组成；Sharma等人[24]使用的是来自医院真实的完整的染色体数据；Saleh等人[14]使用的是Pommier的数据集[25]；Sun等人[15]使用的是FISH数据集[26]；Chen等人[16]使用公开的核型图进行自标注作为数据集；冯涛等人[18]使用自收集的数据集进行研究；Xie等人[19]使用原始图像和合成标注的染色体图像；Lerner等人[27]、Shunren等人[28]实验使用的是只接触不重叠的染色体；Agam等人[29]、Garcla等人[30]使用的是重叠但不接触的染色体。

各种染色体分割研究中使用的数据集，不仅数据集包含样本数量不同，而且很多人工合成样本中染色体接触或重叠的数目和情况也不尽相同。这使得不同的方法之前无法基于同一基准上进行性能比较，为了推动染色体实例分割取得更进一步的突破，迫切需要大规模、高质量标注的公开染色体数据集。

1.4 关键技术问题和挑战

染色体精细分割的最终目标是能够成熟地应用于临床诊断中，便于疾病的分析诊断。由于染色体分割结果对后续染色体分类、临床诊断等一系列环节起着至关重要的作用，对染色体分割的精度要求会严格于对普通图像分割的精度要求。然而，当前染色体分割研究中还存在着以下几个方面的技术问题和挑战。

1.4.1 缺少可用的染色体标注数据集

在医疗数据紧缺的当下，开源的染色体数据集更是少之又少。目前基于深度学习的染色体分割研究大多都各自使用自己处理的数据集进行实验。有的研究采用真实世界中完整的染色体图片数据，如Sharma等人[24]、Madian等人[31]的研究。有的研究则是对重叠或接触的染色体进行分割，如Hu等人[13]的研究。这使得不同的研究实验背景和基准不同，实验结果失去了可比性。无法仅根据实验结果来评判某种分割方法性能的好坏，更无法明确不断出现的各种方法是否真的是在推动染色体分割朝着更为精确的方向发展。基准数据集的稀缺，不仅使不同的分割方法无法进行横向比较，更使得染色体分割技术应用于临床诊断遥遥无期。

1.4.2 模型的设计和优化

由于染色体图像中接触或重叠的染色体簇形态各异，且细胞核等细胞杂质、传感噪声等的影响，染色体图像中目标物体常常存在不清晰和强度不均匀的问题。这使得染色体分割不同于其他图像分割，对染色体进行分割更具有挑战性。类似于染色体这样的，容易出现接触、重叠和扭曲且边界模糊等情况的软组织，将普通的分割模型应用于染色体分割需要进行模型改进，才能更好地满足染色体精细分割的需求。目前大多数基于深度学习模型的染色体分割研究均采用现有的分割模型加以改进调整。随着医疗大数据与人工智能的结合，在未来有望设计出符合类似于染色体等软组织特点的分割新模型，这对于提高分割精度，推动软组织分割在临床医学的应用有着重大的意义。

2 基于深度学习技术的染色体实例分割

在深度学习技术日益盛行的当下，越来越多的研究采用神经网络进行染色体分割。通过端到端的方式简化了染色体的分割过程，使得染色体得到精确的分割。大体上可分为基于语义分割网络的染色体实例分割和基于实例分割网络的染色体实例分割。本章从这两条研究主线对现有研究进行归纳总结，指出不同分割方法的创新之处，并横向分析对比不同方法的优缺点。

2.1 基于语义分割网络的染色体实例分割

语义分割是对图像进行像素级别的划分，为图像中的每一个像素分配类标签[32]。语义分割的方法包括传统的图像分割方法[33]和基于深度学习卷积神经网络[34]的方法。最初，染色体分割研究是采用传统的图像分割方法。如Ji[35]、Andrade等人[36]使用基于阈值的分割方法；Manohar等人[37]、Karvelis等人[38]采用基于分水岭的分割方法；Dougherty等人[39]采用模糊聚类分割方法。

不同于传统的图像分割方法，基于卷积神经网络的图像分割技术不仅可以简化图像的预处理，而且还具备自学习的能力，能通过端到端的特征学习，较大幅度地提高图像分割的准确率和精确度。2015年，Long等人[40]提出了全卷积网络（FCN）。FCN[40]没有全连接层，允许任何尺寸的图像输入，能实现高效快速的图像分割。在此之后大多数的语义分割网络架构均采用这种方式。但池化层操作虽然融合了上下文信息且增大了感受视野，却会丢弃部分位置信息。为了保留位置信息，实现精准的语义分割，编码器-解码器的网络架构应运而生。通过编码器获取低分辨率信息并缩小图像维度，再通过解码器恢复空间维度、获取能提供精准定位的高分辨率信息。U-Net网络就是一种典型的编解码架构[41]。

U-Net由Ronneberger等人[41]于2015年提出。是一种基于FCN[40]的分割网络。由于U-Net网络是对像素块进行特征提取的，因此十分适用于数据量较少的医学影像分割。由U-Net网络架构延伸出来的多种分割网络也被广泛地应用于各种图像分割中。如加入了密集连接和深度监督[42]的UNet++[43]、UNet3+[44]；加入了残差连接的ResNet[45]；加入了残差连接和循环连接的R2UNet[46]；引入了注意力机制的Attention U-Net[47]等网络架构，目前广泛地应用于前列腺[48]、肝脏[49]、胰腺[50]等多种病理组织的分割中。目前大多数采用基于深度学习技术的染色体语义分割研究都是采用基于U-Net网络架构的分割方法。

Hu等人[13]于2017提出了基于U-Net[41]、针对染色体分割定制的卷积神经网络——Resulting neural network。网络架构如图3所示。设计了重叠染色体模型，使输出的分割图与输入图像具有相同的尺寸。因为染色体图像输入的特征尺寸较小，不适合经过过多的池化层处理，该模型通过减少了三分之一的模型层和块来匹配输入，简化了模型，使得能较好地进行分割，并减少了计算时间和存储空间。在半合成的染色体数据集上进行实验，IoU高达94.7%。该模型是染色体分割技术上的一个重要突破。首次引入深度学习方法来解决染色体分割问题，克服了以往基于像素强度的阈值分割和基于边界特性的几何分割等简单算法性能较差的弱点。但该分割网络仅能处理两个部分重叠的染色体簇的问题，对于超过两条以上重叠的染色体簇场景，该方法无法进行处理。此外，该分割方法仅在合成的数据集上进行测试，没有在临床中进行验证，其性能还有待考核。实验的IoU分割阈值距离临床应用标准还有很大差距。

图3 Resulting Net网络架构

Saleh等人[14]使用了改进的U-Net[41]架构来分割染色体。针对U-Net网络架构在进行训练时，结果可能出现过拟合的现象[51]，提出了使用测试时增强（Test Time Augmentation，TTA）策略[52]来解决这一问题。由于CNN在处理多维计算机视觉问题或面对上千张人脸等复杂模式时，可以分解处理任务，因此该方法还在U-Net的基础上增加了CNN层，对输入数据提取了更多的特征。如图4所示[14]，该网络架构的通道数和层数多于Hu等人[13]提出的架构，少于原始的U-Net架构[41]。具体的改进方法为用上采样操作取代池化操作，以提高输出的分辨率；并在收缩路径中使用了重复的3×3未填充卷积，每个卷积后进行一个整流单元和一个2×2的最大池化操作，以捕获输入特征映射。该研究的数据集是使用Cy3荧光端粒探针收集的染色体重叠数据集，数据集图像可于Github[25]中查看。对比了加入TTA的方法及新提出的改进U-Net方法，得到了使用Hu等人[13]提出的分割方法，重叠染色体训练和测试分割的初始输出分别为99.57%和99.22%。在Hu等人[13]的方法之上使用TTA后，得分分别为99.63%和99.27%。采用改进的新方法，训练准确率为99.79%，测试准确率为99.68%。表明了在测试时加入增强技术，能够增加模型捕获各种对象的机会，使模型学到更多不同尺寸、不同角度的情况，能有效地提高分割精度。

图4 改进的U-Net架构

图5 加入扩张卷积的U-Net架构

鉴于扩张卷积[14]在多个语义分割任务中表现良好。Sun等人[15]将现有的SS扩张卷积和GI扩张卷积[53]与典型架构U-Net[41]结合，并提出了三种改进的扩张卷积，即GS、FI和FIGI。改进的扩张卷积算法性能提高稳定，易于推广到多个重叠染色体分割场景，适用于任何网络中替代标准卷积的一般神经网络操作。此外，与标准卷积的固定感受野相比，扩张卷积有一个额外的超参数，称为扩张率。通过调整扩张率，可以调整感受野的大小，但与此同时不增加分辨率或覆盖率，具有较好的灵活性。改进的分割架构如图5所示[15]。该研究在Q-FISH数据集[26]（该数据集包含90 667个样本，图像为12位灰度的TIF文件，像素大小为1 536×1 024）、Overlaps-13434及Overlaps-90667数据集[25]上进行实验，对比了U-Net基础模型与使用了各种扩张卷积的U-Net模型的性能，发现提出的结合了扩张卷积的模型均能成功地在两个公开的重叠染色体数据集（Overlaps-13434及Overlaps-90667）中分割重叠染色体。所有提出的具有改进扩张卷积的模型都取得了比U-Net基本模型更好的分割结果，更是优于现有的基于U-Net的重叠染色体分割方法。对比U-Net-GS、U-Net-SS、U-Net-GI、U-Net-FI、UNet-FIGI模型的分割结果，得出U-Net-FIGI模型为最佳模型。这是因为它融合了FI运算和GI运算的优点，平均IoU可高达0.931 2±0.016 9～0.999 7±0.000 1，具有较好的分割效果。

Chen等人[16]的分割思路是受数据预处理启发，在现有模型不变的基础上，通过调整数据来最大化模型的效果。该研究最大的亮点是将数据模拟和形态学方法[54]结合引入到染色体分割中。使用了U-Net[41]和PSPNet[55]两个模型，使得实验无需进行复杂的数据预处理。为了克服将深度学习应用于染色体分割缺少大量重叠染色体数据集的困难，Chen等人[16]在公共的核型图上进行自标注，基于真实单一的染色体来生成重叠染色体簇，通过模拟策略生成了大规模标注数据。由于重叠区域的强度分布与真实的重叠图像有所不同，为了减少这种影响，该研究提出以不同比例的真实图像和模拟图像组成训练集，以最大限度地提高性能增益。方法流程具体可描述为将重叠的染色体输入到语义分割网络，得到非重叠和重叠的区域，再使用形态学方法拼接分割的区域结构，得到两个染色体分割的结果。该研究使用的训练集、验证集、测试集分别包含112个、15个、29个重叠染色体簇。该方法在26个重叠染色体簇中能成功分割出25条，分割准确率为96.2%。但该研究测试集中所含数据量过少，得出的结果意义不大。

Bai等人[17]提出了结合U-Net[41]和YOLO模型[56]的染色体分割方法。基于直接从细胞图像中识别出染色体簇，再对染色体簇进行语义分割的目标，该方法先使用U-Net网络对原始染色体显微图像进行分割，去除背景噪声，然后使用YOLO模型检测图像中的染色体簇，再用U-Net模型对识别出来的染色体簇进行实例分割。染色体分割提取的流程如图6所示[17]。该研究在50张随机原始显微照片，共1 662个非簇染色体实例和638个染色体簇进行实验。为了增强该方法的泛化能力，在训练前对数据进行了旋转、翻转和平移等操作[57]。该方法能够正确分割出2 283条染色体，分割准确率高达99.3%。该方法充分利用了U-Net在处理少量样本中的优势及其在染色体显微图像去噪中的优异性能和YOLOv3适合快速准确地识别大小目标，能有效地避免漏检的特点，充分汲取了不同模型的优点来进行染色体分割。该方法能够直面细胞图像，直接获得染色体实例，并获得不错的分割准确率。但需要同时运行UNet模型和YOLO模型，运算代价较大，并且在基于UNet染色体实例分割中，仅能处理两个染色体形成的簇，无法处理超过两条染色体实例形成的簇。

图6 分割流程

综上，大多数的基于语义分割网络的染色体分割的研究都是在U-Net基础上进行改进的。通过各种数据预处理、引入扩张卷积、调整模型结构、多个模型结合等多种方法来增强算法的鲁棒性和泛化能力。几乎所有语义分割网络在染色体分割中均能适应染色体簇复杂多样的形态结构，取得较为良好的染色体分割效果。但目前所取得的报告结果尚未应用于具体临床实践中，如Hu等人[13]提出的分割方法距离临床应用的标准还有很大的差距。此外，目前对染色体图像进行语义分割的研究尚未能大胆突破，大多数是在原始的U-Net架构之上进行改进，未来有待突破。最后，受限于语义分割的像素分类特性，每一个像素只能属于一个类别，决定了基于语义分割网络的染色体实例分割方法仅能处理简单的重叠影像，无法应对多条染色实例相互交叉的情况。

2.2 基于实例分割网络的染色体实例分割

实例分割是计算机视觉领域的重要任务之一，它具备语义分割的特点，不仅能进行像素层面的分割，还可以区分出不同的实例对象。对于属于同一类的多个对象，实例分割网络也能将他们分为不同的实例对象。常见的语义分割网络，如FCN[40]和U-Net[41]，他们不能直接区分同一类别的不同对象，均只能进行像素层面的分割，这在实际应用中往往不能较好地实现接触或重叠染色体的分割，而实例分割可能是更好的方法。随着深度学习网络架构在计算机视觉领域的发展，越来越多的实例分割网络用于染色体分割的研究中。

冯涛等人[18]基于Mask R-CNN实例分割模型[58]提出Mask Oriented R-CNN染色体实例分割框架。分割架构如图7所示[18]。鉴于方向信息对于染色体的精确分割至关重要，该研究基于Mask R-CNN[58]网络架构设计了有向包围框、AwIoU度量和有向卷积通路结构等有效组件来获取和应用方向信息，有效地提升了染色体分割性能。实验数据为自收集的181张，尺寸大小为1 017×896的分割标注的染色体分裂中期照片。包含背景、染色体和杂质3个对象类别，作为测试集进行网络训练，并合成了15 728张分裂中期原始照片，利用这15 728张原始风格合成分裂中期照片作为训练集。该研究使用不同IoU阈值下的平均精度均值（mean Average Precision，mAP）来评估和报告结果，这里简记为AP。采取COCO数据集（Dataset of Common Objects in Context Visual Recognition Challenge）[59]定义的计算方法，且算法中的IoU采用掩膜IoU。以原始的Mask Oriented R-CNN作为基准，实验结果是AP为22.49%，AP50为41.32%，AP60为38.13%，AP70为30.15%，AP80为12.63%，AP90为0.81%。使用改进的Mask Oriented R-CNN实例分割框架可得到AP为27.4%，AP50为51.54%，AP60为47.41%，AP70为37.42%，AP80为13.93%，AP90为0.36%的分割精确度显著提升的结果。该研究提出了结合方向信息的分割框架，能进行端到端的染色体实例分割，能直接从细胞图像中提取所有的染色体实例。但该实验的数据集标注难度和工作量非常大，尽管现有的技术能够辅助生成大量的虚拟样本，工作量还是巨大的。此外，细胞图像的尺寸较大，对模型的运算效率和硬件资源要求较高，且报告的性能指标是在作者自收集的数据集上获得，而该数据集中仅仅包括181张真实样本（含训练、验证和测试），无法验证和判断该方法在临床上的实际效果。

图7 改进的Mask R-CNN架构

通过综合对比Mask R-CNN[58]、FCIS（Fully Convolutional Instance-aware Semantic Segmentation）[60]和Shape Mask[61]三个网络的实例分割效果，Xie等人[19]直接将现有的Mask RNN模型（ResNet-101[45]作为骨干）应用于染色体实例分割。充分利用了Mask R-CNN[58]识别物体速度快、精度高且能快速实现预测物体类别、包围框和生成掩模任务的特点，实现染色体精细分割。实验的数据集包括原始图像和合成图像。模型经过对343张真实图像训练，在100张真实图像上测试，获得了AP为52.059%，AP50为90.590%。当将训练数据集中的真实数据和合成数据以1∶4的比例相结合时，测试AP和AP50分别提高了8个点和5个点。当IoU设置为0.5时，对100幅真实图像测试的分割准确率为95.644%。当实验数据为200幅组合图像时，分割精度为91.673%。该研究直接使用现有的Mask RNN模型，同行方便复现。能直接从细胞图像分割出染色体实例，具有直接应用于临床实践的可能。但该实验的现有指标是在少量数据上获得的，没有在临床上进行验证。再者，现有的实验结果是使用ResNet101作为骨干网络获得，作者没有给出ResNet50[45]骨干的实验结果。在实际应用中ResNet50骨干的Mask R-CNN使用更为广泛，同时相比ResNet101骨干的Mask R-CNN对运行环境的实用性更强。

图8 AS-PANet模型架构

林成创等人[20]提出了基于路径增强网络PANet[62]改进的AS-PathNet染色体实例分割模型。如图8所示[20]，即在PANet[62]的基础上结合数量统计分割（Amount Segementation，AS）。模型能够融合图像分类、目标检测、实例分割、染色体计数4个子任务共享特征层的特征联合训练，从而提高实例分割的精度。实验数据集为广东省妇女儿童医学遗传中心获取的临床染色体显微图像数据，标注了882个染色体簇样本，其中802个用于训练，80个用于测试。该实验在临床染色体数据中平均分割精度（mean Average Precision，mAP）为90.63%，比PANet提升了1.18%，比基线模型Mask R-CNN提升2.85%。分割准确率为85%，比PANet提升了2%，比基线模型Mask R-CNN提升3.75%。该研究是采用多阶段的非端到端的技术路线，先使用形态学对细胞图像分成若干个图像，再对图像中的染色体簇进行实例分割，图像的尺寸相对于细胞图像而言小了许多，带来的优势是数据标注的效率更加高了。但相比较端到端的方法而言，处理起来更加复杂。

实例分割不仅可以做到像语义分割那样的像素级别的分类，还具备目标检测的能力，能够将所属为一类的目标对象区分开来，能更好地实现染色体实例分割。但目前基于实例分割网络的染色体分割研究成果都是基于小的自我标注数据集得到的，未能在大规模真实的数据集中检验，性能还有待考核。

3 总结和展望

本文阐述了基于深度学习技术的染色体分割的任务及其难点，介绍了染色体分割的研究现状、相关评价指标和数据集。对基于语义分割网络的染色体实例分割和基于实例分割网络的染色体实例分割研究进行了综述，并总结不同方法的优缺点、相关实验使用的数据集及实验结果，如表1所示。指出当前染色体分割研究中存在的问题，展望未来基于深度学习技术的染色体分割研究的发展方向，为相关研究提供参考。

表1 深度学习技术在染色体分割中的应用总结

总的来说，基于深度学习技术的染色体分割取得了优于传统分割方法的准确率和分割精度，是染色体分割研究领域的大突破。但在当前基于深度学习的染色体分割研究中存在着以下的问题。

（1）缺少具备测试基准（Benchmark）的公开数据集。当前研究中缺乏高质量的临床染色体分割数据，以支撑不同的算法在该数据集上进行公平比较，促进新算法的设计。

（2）缺乏统一的评价指标。当前，不同染色体分割研究采用的评价指标各有不同，若能统一评价指标，可以更方便于不同研究之间的横向比较，推动染色体分割技术取得更大的进步。

（3）缺乏临床的实际效果评估，临床有效性难以判断。染色体分割的最终目的是应用于临床诊断，造福于人类社会。但是当前的研究成果几乎都是基于小型的私有数据集进行测试和验证，鲜有算法在大规模的临床上进行测试。因此，现有的研究成果在临床上的有效性有待考证。

在未来，为了促进染色体分割技术的发展，需要突破数据集稀缺、评价指标不统一、现有研究未应用于实际场景中等问题。需建立大规模的染色体分割的基准，包括大规模的分割数据集和性能基线，让各种研究在同一个数据集上进行公平比较。统一染色体实例分割的评估指标，使得不同的工作可以在同样的指标下进行对比。鼓励开展人机对抗，检验算法在实际临床应用中的效果，体现染色体分割研究的应用价值。