基于深度卷积神经网络的黑色素瘤诊断算法及临床验证

陈伟 黎行宙 MOOI Weijun 陈骁俊 孙梦哲 韩文卿 陈敏刚 张艳

在过去的10年中，由于皮肤紫外线暴露增加等原因，黑色素瘤的年新增病例增长了53%[1-3]，已经成为严重威胁公共健康的一类恶性皮肤疾病。不断攀升的发病率和致死率引起了对黑色素瘤预防、早期诊断和治疗的重视。尽管黑色素瘤是恶性程度及致死率最高的肿瘤之一，但经早期诊断和早期治疗的患者拥有极高的术后存活率[4]。

黑色素瘤诊断的第一步是对可疑皮损区域的视诊，临床公认的鉴别准则为ABCDE法则[5]：A为非对称(Asymmetry)，即皮损区域的形状不能分为对称的两半；B是边缘不规则(Border irregularity)，皮损的边缘表现为不整齐、不光滑，可能有切迹或锯齿状，而不像良性和色素痣那样有光滑的圆形、椭圆形轮廓；C为颜色改变(Color variation)，良性色素痣通常为单色，而黑色素瘤常表现为污浊的黑色，期间可有棕、褐、蓝、粉或白色等多种不同颜色分布；D是指直径(Diameter)，对于直径>5～6 mm或在短期内增长明显的色素斑要特别注意，黑色素瘤面积通常比普通色素痣要大，对于1 cm以上的色素痣在必要情况下建议行活检评估；E即隆起(Elevation)，部分黑色素瘤在早期会有轻微隆起。依据以上标准结合是否有卫星灶、皮损表面是否伴有溃疡以及家族史等病史，可对色素斑作出临床判断。但是，黑色素瘤疾病早期进行鉴别诊断的准确度非常有限。皮肤镜能观察到皮损高放大倍率、高分辨率的图像。Meta分析结果显示，与裸眼诊断相比，皮肤镜能够有效提高临床诊断的准确度，但仍然严重依赖于医生的临床经验。文献报道，一位经过足够训练的医生对黑色素瘤的诊断灵敏度可达到75%～84%[6]。

近几年，随着计算机技术的发展，出现了一些计算机图像分析技术和辅助诊断算法，对黑色素瘤的鉴别及诊断具有较高的灵敏度[7]。

传统的计算机图像分析辅助诊断算法[8]有赖于人工对疾病诊断所累积的经验(如多重颜色、特殊的形态学结构，包括条纹或伪足以及不规则血管结构等)，这类算法通过提取皮肤图像的结构、颜色、纹理等人工确定的语义特征，并利用这些特征作为浅层分类器的输入项，实现对皮肤病变的分类。这种方法不能有效利用大规模图像样本的优势来提高分类算法的精确度，且传统算法模型的分类能力比较有限[9]。

近年来，随着数据量的快速增长和计算机运算能力的大幅提高，深度学习在图像识别和分类方面的应用研究取得了很大的进展。在ImageNet数据集上，深度卷积神经网络(Deep convolutional neural network, DCNN)的图像分类精度已经超过了人类视觉[10]。基于DCNN的皮肤疾病分类系统是一种端到端的学习方法，输入端是皮肤疾病图像和相应的标签(即该皮肤病图像的诊断类别)，输出端是分类的结果。但由于皮肤病变外观的细微可变性和数据集的不平衡性(良性病例远多于恶性病例)，使用DCNN对皮肤病变进行分类仍是一项具有挑战性的工作。

1 资料与方法

1.1 临床资料

本研究的数据集来自国际皮肤图像合作组织(International skin imaging collaboration，ISIC)的皮损图像数据库(https://www.isic-archive.com/)和5所医院合作课题组(上海交通大学医学院附属第九人民医院、上海市奉贤区奉城医院、海南省妇女儿童医学中心、上海交通大学附属第六人民医院及上海交通大学医学院附属新华医院)的皮肤病数据库。根据临床实际需要，我们选择了14 239张带有诊断标签的皮肤镜图像(均为病理诊断结果)。

1.2 数据分类

根据数据库构成和临床需要，我们将所有图像样本分为3大类9小类：良性病变(黑色素痣、皮肤纤维瘤、脂溢性角化病、雀斑、色素性良性角化病、血管性损伤)、癌前病变(光化性角化病)和恶性病变(黑色素瘤、基底细胞癌)。在临床实践中，良性病变倾向于保守治疗或继续观察其变化；癌前病变需要进一步检查其进展并定期复查；而恶性病变需要更加积极有效的干预手段。

1.3 图像预处理

原始数据集包含高分辨率的皮肤图像，其中病变区域位于图片的不同位置。为了减少无关背景对皮损特征学习的干扰，我们使用Otsu的分割算法自动计算阈值，获得皮损区域的轮廓。

虽然数据库中有1万多张已标记(明确诊断)的皮肤病图像，但在DCNN的训练中，这种级别的数据量依然有提升空间。因此，我们采用离线数据扩增的方法来扩充皮肤图像的数量，用于DCNN的训练。数据扩增是从已有的训练样本中产生更多的训练数据，不仅可以减少DCNN的过拟合，还可以解决皮肤图像数据集数据不平衡的问题。例如，在原始数据集中，恶性黑色素瘤图像的数量远远少于良性痣的图像，而类别间的数据不平衡会影响分类的准确性。

本研究中，我们使用图像翻转和旋转来增加训练样本的数量，但不使用图像随机裁剪和颜色变换，以保留整个皮肤损伤区域及其原来的颜色特征。

1.4 分类网络训练

本研究利用迁移学习来训练分类网络。首先对分类网络进行大规模(128万张，1 000个类别)的通用图像库ImageNet的训练，获得与人类视觉相媲美的通用视觉性能，称为预训练。在预训练过程中，DCNN从大量的图像中学习了曲线、纹理、颜色等一般的统计特征。然后在微调过程中，将预训练网络中的softmax层替换掉，将softmax层的输出设置为9，即将皮损图像分为9类。使用皮肤图像的训练数据集对分类网络中的所有卷积层和全连接层进行微调，以更新网络的参数。

本研究采用50层的ResNet(ResNet50)作为皮肤疾病分类的预训练模型，因为在ImageNet大规模视觉识别挑战中ResNet取得了比GoogleNet和VGG架构更好的性能表现。ResNet的核心理念是将“shortcut连接”嵌入“plain网络”中，使得神经网络中的梯度能够进行更有效的传播。从网络集成的角度看，包含n个残差区块的网络等价于2n个浅层网络的集成。

1.5 DCNN分类结果的临床验证

实验样本为事先从1万多张皮肤病图像中预留出的139张(47例恶性黑色素瘤，92例良性黑色素痣)，分别由实验组(DCNN分类系统，构建原理如前所述，由上海计算机软件技术开发中心合作开发)和对照组(21名皮肤科医师，其中9名为具有5年以上皮肤镜诊断经验的专家，12名为2～5年经验的普通医师)进行诊断，分别计算两组诊断结果的灵敏度、特异度；由于DCNN的图像分类结果(单次分类任务仅1组数据)无法与21名医生的共同诊断结果进行数据统计，我们绘制人工智能算法的灵敏度-特异度曲线，计算曲线下面积(Area under the curve， AUC)，并与对照组进行比较。

2 结果

实验组鉴别黑色素瘤与黑色素痣的灵敏度为87.23%，特异度为80.43%，AUC为0.9129；对照组灵敏度为80.45%±17.78%，特异度为70.91%±11.66%；其中，对照组中专家(9人)灵敏度、特异度分别为86.29%±11.31%和73.91%±8.86%，而普通医师(12人)则为76.06%±20.81%和68.66%±13.30%。如图1所示，横坐标为诊断灵敏度，纵坐标为特异度，蓝色曲线为实验组诊断结果(DCNN能够根据需要调整分类参数，人为地提高灵敏度或特异度，即DCNN可以做出更偏向黑色素瘤或黑色素痣的判断，但受限于分类能力，提高灵敏度的同时特异度会下降，反之亦然)；图1A中黑色散点坐标为9名专家的诊断结果(红色三角为均值)；图1B中绿色散点坐标为12名普通医师的诊断结果(红色三角为均值)；图1C为实验组与对照组所有21名医生的诊断结果对比。

此外，实验组完成139张图片的分类耗时约3 s；对照组每张图片耗时(25.63±14.35) s，其中专家平均每张图片耗时为(12.86±4.83) s，普通医生则为(35.21±11.34) s。

图1 实验组DCNN分类结果的灵敏度、特异度曲线(蓝色曲线)和对照组21名医师的诊断结果散点图Fig. 1 The sensitivity and specificity curves (blue curves) of the DCNN classification results in the experimental group and the scatter plots of the diagnosis results of the 21 doctors in the control group

3 讨论

本研究中，我们使用ResNet50开发了基于数据库中上万张已标记皮肤病图像的DCNN皮肤病分类系统，并与来自5家医院的21名皮肤科医生就黑色素瘤-黑色素痣二分类任务进行临床验证。实验结果显示，DCNN的诊断灵敏度和特异度均高于皮肤科医生组，特别是DCNN的分类准确度比没有足够皮肤镜鉴别诊断经验的低年资医生要高很多。因此，DCNN作为一种临床辅助诊断工具在黑色素瘤的诊断中有很大的潜力。

但是，本研究获得的DCNN分类系统和诊断准确度仍有一定的局限性。首先，本研究使用的训练样本均为皮肤镜图像，未来想实现基于广泛人群的皮肤病筛查，必须使DCNN分类系统摆脱皮肤镜检查的限制。已知的结果表明，DCNN在图像识别和分类方面能够超越人类的视觉和判断，但目前因缺乏临床数据，无法收集到足够数量的、诊断结果准确可靠的临床图像来训练DCNN系统。因此，DCNN系统的诊断有效性只有在清晰有效的皮肤镜图像中才能得到保证，而在其他常见的临床图像中无法进行高效、准确的检测。

其次，在临床试验中，我们关注的是临床上最重要的黑色素瘤和黑色素痣的鉴别，受人力和试验复杂性所限，我们没有对9个甚至更多类的皮肤图像进行分类和对比。针对潜在患者进行大规模筛查，将是未来DCNN的重要应用途径。因此，提高DCNN对多种疾病的鉴别诊断能力也很重要，但这取决于皮肤病图像数据的采集数量。

最为关键的是，本研究因无法在短期内收集足够多的黑色素瘤等恶性病例样本，所以无法在真实的临床环境中对未确诊的新患者进行实验。因此，本研究只能采用数据库中已有的皮镜图像作为病例样本进行研究，使本研究结果具有局限性。在实际临床工作中，诊断依据不仅局限于观察皮肤镜图像，患者病史、家族史、病变在不同角度下光线下的视诊及触诊也是重要的诊断依据。

本研究的数据资料的来源、数量有限，但DCNN仍表现出了很大的潜力，有望在将来成为临床重大疾病筛查和鉴别诊断的重要方法。