深度学习在皮肤图像识别中的应用

谭 鸿，巴 伟，李承新

传统的医疗模式需要医生一对一的诊治患者，不仅耗费大量的人力物力，且无法满足日益增长的医疗服务需求。而随着大数据时代的到来和计算能力与云储存能力的显著增强，人工智能（artificial intelligence，AI）的发展，特别是深度学习（deep learning，DL）技术的进步使得通过智能诊断系统实现辅助诊治成为可能。本文将通过分析深度学习的应用原理及在皮肤图像分类中的最新进展，探讨深度学习应用于皮肤病分类识别的优点与不足。

1 深度学习用于图像分类的原理

深度学习最早由Hinton等[1]在2006年提出，通过模仿人类神经网络来对图像、声音、文本等数据进行解释。深度学习是一种具有多层表征的表征学习方法，通过组合简单但非线性的模块来获得分类特征，每个模块将一个级别的表征（从原始信号输入开始）转换为一个更高级别、更抽象的表征，最后通过综合多个高级特征来输出结果。与传统的机器学习需要人为提取特征不同，深度学习的关键是这些特征是深度学习算法自动分析及提取的。

深度学习是一个框架，包含多个重要算法：卷积神经网络（convolutional neural networks，CNN）、稀疏编码（sparse coding）、限制波尔兹曼机（restricted boltzmann machine，RBM）、自动编码器（autoencoder）、深信度网络（deep belief networks，DBN）、多层反馈循环神经网络（recurrent neural network，RNN）。不同的算法适用于处理不同的数据类型（图像、声音、文本）。CNN最早由LeCun提出并应用在手写字体识别上（图1）[2,3]，适用于图像识别与图像分类。2012年，CNN在ImageNet（世界上最大的图像识别数据库）大赛上夺冠，表现出强大的图像识别能力。CNN也包含多种模型，如AlexNet、VGG、GoogleNet、ResNet等，均已被证实在图像识别和分类中有着良好表现[4-8]。

近年来，随着AI技术的发展和大数据中心的建立，CNN在医学图像识别领域的应用成为研究热点。CNN是一种“端对端”模型，即输入图像便能输出类别。通过使用已经标识医学图像资源，深度学习在放射学[9,10]、病理学[11,12]、眼科学[13]、心脏病学[14]等领域已取得了一系列突破。作为一门高度依赖形态学的学科，皮肤图像在皮肤病的诊断中发挥着重要作用。皮肤科医生除了借助肉眼可视图像（临床图像）外，还可以通过皮肤镜、皮肤超声、皮肤CT、皮肤光学相干层析成像（optical coherence tomography，OCT）、皮肤组织病理检查等技术来辅助诊断。通过已标记的皮损图像，深度学习可充分挖掘数据、提取特征并对皮损进行分类。

图1 经典的LeNet-5结构识别手写字体示意图

2 深度学习在皮肤临床图像分类中的应用

临床图像具有易获得、成本低的优点，已累积的庞大数据量保证了深度学习在临床图像分类中的可行性。但相较于皮肤镜图像、皮肤组织病理图像而言，临床图像并不是标准化的图像，拍摄角度的不同、曝光程度的差异、周围毛发的干扰与背景皮肤的凹凸不平对深度学习的分类识别存在或多或少的干扰，这些干扰限制了深度学习在临床图像上的应用。人为剔除干扰较大的图像是目前通用的研究方法，未来研究可能会通过某些干扰处理方式来增强深度学习的应用能力，如用于识别耳郭、鼻翼、眼角等凹凸不平或毛发遮盖部位的皮肤肿物等。2017年1月，斯坦福大学人工智能实验室使用经过ImageNet预训练的v3 CNN模型对近129 450张临床和皮肤镜图像进行自动分类，涉及2 032种不同皮肤病，使用树状分类法将疾病分为恶性肿瘤、良性肿瘤和非肿瘤性皮肤病，并逐级往下分类至互斥的各种疾病。21名美国认证皮肤科医生的表现至少与一种算法相匹配，该算法对皮肤恶性肿瘤和黑素瘤的曲线下面积（area under the curve，AUC）分别为0.96和0.94[15]。2018年Han等[16]使用ResNet125模型对12种皮肤肿物共计19 398幅临床图像进行了分类，包括基底细胞癌、鳞状细胞癌和黑素瘤等，该算法对各种皮肤肿物的AUC为0.82～0.96，其中黑素瘤的AUC为0.96，与16名皮肤科医生水平相当。上述两项研究均采用了人机对抗的方法，机器（深度学习）达到了与皮肤科医生相当的水平，显示出了深度学习在临床图像分类中具有良好的应用价值和前景。其后一批韩国学者使用ECOC SVM分类器与经过预训练的AlexNet模型对3 753幅临床图像进行了分类，对鳞状细胞癌、光线性角化病、基底细胞癌、黑素瘤的敏感性、特异性均在90%以上[17]。

3 深度学习在皮肤镜图像分类中的应用

皮肤镜图像作为观察皮肤色素性疾病的利器，对皮肤病的诊断有着重要意义。由于皮肤镜图像较临床图像更为标准，使其成为深度学习研究的热点。国际皮肤影像合作组织（international skin imaging collaboration，ISIC）的公开数据库集合了超过13 000幅从不同临床中心收集的皮肤镜图像，在其2016年举办的黑素瘤皮肤镜诊断竞赛中，38个单位提供的79种深度学习算法参赛，排名前5的预测模型平均准确率在81%～84%[18,19]。2017年Thao和Quang[20]使用经过ImageNet预训练的VGG-16模型对ISIC 2017挑战集（包含2 000幅训练图像及600幅测试图像）的皮肤镜图像进行分类，对黑素瘤的平均AUC为0.816。2018年Haenssle等[21]训 练 的v4 CNN模型与58名皮肤科医生（其中30名是皮肤镜专家）对100幅皮肤镜图像（包括黑素瘤、色素痣以及其他类似黑素瘤的皮损）进行分类。皮肤科医生分别在缺乏及知晓临床资料的情况下对图像进行分类，取得的平均AUC水平均低于CNN，表明CNN在皮肤镜图像分类方面已超越人类水平。美国伊利诺斯大学的科研人员提出了一个多卷积神经网络（deep convolutional neural network, DCNN），他们将数据库中的皮肤镜图像分为恶性和良性皮肤肿物，对CNN模型进行训练及测试，为了提高模型在错误分类图像上的准确率，重复以错误图像为模型提供附加训练。利用ISIC 2016数据集对该研究所提出的深度学习模型进行了训练和测试。结果表明，该模型在训练和测试方面的有效性分别为0.98和0.81[22]。德克萨斯大学休斯顿健康科学中心联合北京协和医学院使用GoogleNet Inception v3模型对色素痣、脂溢性角化病、基底细胞癌和银屑病4种常见疾病进行了分类,对数据集A（1 067幅皮肤镜图像）的精确度为（86.54±3.63）%，数据集B（528幅皮肤镜图像）的精确度为（85.86±4.65）%[23]。Kaymak等[24]使用两步分类法对皮肤肿物进行分类：第一步是将皮肤肿物区分为黑素细胞病变和非黑素细胞病变；第二步是将黑素细胞病变区分为黑素瘤和良性黑素细胞病变，非黑素细胞病变包括基底细胞癌、光线性角化病、良性角化病、皮肤纤维瘤和血管病变等。训练出的AlexNet模型的准确性为58%，灵敏度为60.6%，特异性为57.8%。另外一项人机对抗研究共分析了724幅皮肤镜图像，包括黑素瘤（81例患者的350幅图像）和色素痣（194例患者的374幅图像），均经组织病理学检查证实。为了进行双重交叉验证，Yu等[25]将它们分成两个互相排斥的子集：一半的图像数据集被选择进行训练，其余的被选择进行测试，并且与皮肤科专家和非专家的准确性进行比较。深度神经网络的准确性分别为83.51%和80.23%，高于非专家的准确性（67.84%，62.71%），接近专家的准确性（81.08%，81.64%），其AUC值也与专家接近。北京协和医院的王诗琪等[26]使用经过5 094幅色素痣和脂溢性角化病的皮肤镜图像迁移训练的ResNet-50二分类模型对30幅色素痣和30幅脂溢性角化病的皮肤镜图像进行分类，与95名经过皮肤镜培训的皮肤科医师判读结果进行比较，准确率差异无统计学意义。

4 深度学习在其他皮肤图像分类中的应用

深度学习的应用跟数据量有很大关系，目前深度学习在皮肤图像分类中的应用主要集中在临床图像与皮肤镜图像中。近两年也有将深度学习应用于光学相干断层扫描（optical coherence tomography，OCT）图像及组织病理图像的报道。OCT是近十年迅速发展起来的一种新兴成像技术，它利用弱相干光干涉仪的基本原理，得到生物组织的二维或三维结构图像。目前OCT在皮肤科应用相对较少，获得的数据有限，使得人工识别OCT图像中的异常结构或细胞十分困难。而通过深度学习自动分析及提取OCT图像中的关键特征便具有了重大意义。2018年Mandache等[27]训练了一个10层的CNN模型，利用40幅全层OCT图像检测基底细胞癌，CNN取得了95.2%的特异度及96.54%的灵敏度，表明深度学习在OCT图像分类识别中具有良好前景。尽管深度学习已在肺癌、乳腺癌的组织病理分类中取得了一些成绩，但在皮肤病的组织病理图像中应用较少。2019年，Hekler等[28]使用了345幅黑素瘤及350幅色素痣的病理图像，以其中随机100幅组织病理图像（黑素瘤:色素痣=1:1）作为测试集，其余图片作为训练集，重复10次检测后得到已接受预训练的ResNet50的平均分类错误率在黑素瘤中为18%，在色素痣中为20%，全套图像的分类错误率为19%。而文献报道的不同病理专家对黑素瘤和色素痣的诊断不一致率达到25%[29]，说明深度学习对黑素瘤组织病理学诊断存在潜在帮助。

5 结语

深度学习在皮肤病领域还处于研究阶段，尚未完全实现临床应用。限制深度学习应用的主要障碍是数据量的不足与诊断标准的不统一。数据量的不足影响了深度学习的准确性，想实现少见病的临床应用则更加困难。常见病诊断标准的不同，也进一步限制了深度学习的临床应用，特别是皮肤组织病理的诊断与分类，在世界范围内尚存在较大差异，能否提出一个共同的疾病分类诊断标准使之能应用到深度学习上还有待探讨。

随着大数据时代的到来，在皮肤病领域建立一个尽可能全面、标准的人工智能诊断系统是可行并具有重大意义的。而建立一个更全面、更标准的皮肤病智能诊断系统还需要多中心、多学科的不断交流与一定量的数据积累。期望未来当人工智能面向全人类的时候，患者能够通过人工智能医学平台实现快速就医和初步诊断。而未来的皮肤病智能诊断系统不仅仅将提供诊断，还将提供辅助检查、治疗、药物输送、预后及健康教育等一系列服务。