深度学习和医学影像在预防医学中的机会

吕乐， 吴山东

深度学习在不少领域取得了巨大成功，显现出改变游戏规则的潜力。而和医学影像的结合可以促进目前工作流程的改进和改变。本文简要分享深度学习和医学影像在预防医学方面的机会。我们尝试概述现状，指出一些现有的成就，有意义的方向，局限性，以及短期内的机遇及挑战。为了充实我们的观点，我们引用了一些我们最近的关于放射影像研究的例子，也评论了一些最新的基于人工智能的研究成果和工业产品。

医学影像是疾病预防的检查手段之一，是指早期发现疾病，例如肺结节，肿瘤性疾病，肝/骨病变，目的是进行及时的干预和治疗，提高患者的健康管理。疾病的筛查是一种典型的预防医学模式。比如在美国和欧洲一些国家都有国家层面制定的乳腺癌筛查流程和相关指南，有大量的妇女接受定期的影像学检查，比如乳腺钼靶X线(digital mammography)，乳腺断层(digital breast tomosynthesis)，以期早期发现乳腺病变。对于一部分妇女，属于临床定义的高风险发病群体，她们还可以参加额外的基于磁共振的更敏感的筛查。影像学检查加强发病风险的预测和管理，进而支持临床决策，并最终提高疾病治愈率，降低疾病死亡率。传统疾病早期检测的方法是通过非侵入性成像设备的检查来完成，但是最近计算机辅助手段在影像检查和病变解读过程中的作用越来越突出。

深度学习，特别是卷积神经网络(convolutional neural networks，CNNs)，这一革命性的新技术已经在各个领域取得重大进展，是目前人工智能技术的基本代表[1]。在医学影像分析层面，深度学习更是取得了令人印象深刻的效果[2]。在目前的临床工作流程中，医学影像具有巨大体量的数据，远远超出了其它模态(例如文本)的医学数据，因此非常有利于深度学习技术的使用。深度学习可以分析各种多模态医学影像，包括X线、磁共振、CT、超声、病理和细胞图像等，能够在大量数据中检测到异常表现或者病变。例如，CT扫描数据对较大的淋巴结和结肠息肉进行分类取得了积极的结果[3]。在乳腺癌的筛查过程中，用基于深度学习的方法对乳腺密度进行自动分类，可以帮助医生进行发病风险的基本预测和指导进行何种补充性筛查[4]。另外，用深度学习技术还可以为降低目前较高的复查率提供诊断支持[5]。甚至在寻找新的定量乳腺癌发病风险标记物研究中，深度学习都取得了显著的效果。

传统的医学图像分析大多是基于临床经验，而传统的计算机医学图像分析大多是基于手动特征，是根据一些预先定义好的计算公式来提取某一类特征，但是手动特征对于描述医学影像是非常困难的，因为临床上很多真正有意义的影像特征都是定性的，基于经验的。而利用基于深度学习的数据驱动的方法，则可以改善其难度，比如CNN模型可以根据大规模的医学图像分析和标记，自动、自主地提取和组织有效的影像特征。基于CNN的各种研究还建立了大量的经验和证据，表明低级别的影像特征可以在不同成像设备所训练的神经网络模型之间进行共享和微调(也就是通过所谓的迁移学习的方法)。基于这一机制，医学影像建模甚至可以从用大量的自然图像训练的网络中受益。例如，很多研究工作都是利用ImageNet (一个有超过百万张有标记的自然图像数据集)来预先训练深度学习模型，并取得了可观的效果。

深度学习也重新点燃并加强了工业界对医学成像和临床应用的兴趣。目前，有一群健康产业的初创公司专注于医学影像的智能分析和信息学开发，主要的推动力还是深度学习。这些公司包括Heart-Flow、Enlitic、Arterys、Viz.ai、Zebra-Me和Butterfly Network等等。这些新创公司的努力和在细分领域的深度探索很好的补充了大型企业(如GE、西门子、飞利浦、Google、IBM和腾讯等)的研发领地。目前工业界和风险投资覆盖了医学影像分析的各个方面，也积极推动深度学习向临床转化。尽管目前还存在很多技术、业务和临床方面的挑战，有效且可扩展的深度学习产品将在未来几年内继续进步，大力推动高性能和可部署的医学成像分析、决策支持以及临床信息学方面的应用。

深度学习的出现对于疾病早期筛查的发展将是一个极大的推动。对大量的筛查影像数据的深度挖掘，对生物标志物的研究将会产生巨大的机会。深度学习也会提高对大规模数据的分析和解读能力。在深度学习广泛应用之前，对影像的解读研究主要集中在计算机辅助检测/诊断上(computer-aided detection/diagnosis，CAD)上，如通过乳腺X线检测乳腺病变/肿块，在CT检测结肠息肉、肺结节或CT血管造影发现血管病变和肺栓塞等。来自几个供应商的此类商业软件产品被开发并已经部署到临床工作流程中，但广泛的成功和读片效果并没有达到预期值。根据美国FDA批准的协议，CAD产品通常以第二读片人的方式工作，这意味着放射科医师首先在没有CAD的情况下进行独立图像诊断，然后结合CAD的分析发现再做最终诊断。该方法旨在借助CAD软件提高病变检测的灵敏度，但过多的假阳性造成了医生工作量的增加。事实上很多诊断工作对于有经验的放射科医师来说并不太困难，而CAD所增加的灵敏度并不能补偿工作量的增加，这是一个很现实的问题。美国在CAD方面的研究已经进行了几十年，但是临床实践效果却很难让人满意。CAD的概念和想法让人充满憧憬，但是临床工作的效果却取决于多个因素。首先，具体的CAD实现在计算机算法层面是有相当挑战性的，特别是考虑到医学影像的差异性和多样性。传统的机器学习方法有其局限性。其次，要改变放射科医生的思维模式也是相当困难的。因此，利用计算工具进行辅助诊断决策是一个涉及多方面因素的研究课题，其效果评价也应以真正的临床成效为唯一事实标准。

为了使CAD在预防性系统和临床应用真正起飞，需要解决真正的临床痛点，即传统的第二读片人方法或额外的工作负担。在这些方面，深度学习都可以带来积极的效果。同时， AI技术应该更好地被应用于提高对患者的临床护理能力。以下我们简单介绍几个有前景的AI应用场景和例子。

美国食品和药品管理局(food and drug administration,FDA)最近通过了一款作为第一读片人的软件(来自Viz.ai的工作)，该软件的本意是对中风患者提高检测大血管闭塞(large vessel occlusion，LVO)的机率并早期治疗。目前手动LVO检测的工作流程效率低下，并延迟了对患者的治疗，而通过计算机进行辅助分诊，实现基于AI软件的通知，节省卒中专家的时间，缩短了诊断时间窗。另一项类似的工作是低剂量全身CT扫描动脉粥样硬化血管钙化检测和分割，这是一项非常耗时的任务，很容易被人工诊断遗漏。人工诊断的缺点和深度学习的高性能创新方案意味着这些任务适合CAD方法。其关键还是需要识别和抓住第一读片软件的机会，以进一步提高CAD解决方案的成效。

胸部X线是最常见的医学成像检查手段，用于社区诊所和医院筛选健康和不健康人群(如年度健康体检时)。一个性能可靠、价格合适的自动化胸部X线检查和转诊工具，将是一个革新性的应用程序。这种软件程序可以部署在大量人群聚集或者居住的区域，特别是那些离大医院较远的地区。当然这样的任务也面临很多挑战(这些挑战也并不局限于胸部X线成像)：①无论是对于放射科医生还是计算机辅助诊断系统，胸部X线检测与其它成像方式相比，比如用胸部CT检查肺结节，存在更高程度的诊断不确定性;②预防性筛查需要降低假阳性率;③疾病知识图谱的建模和整合对于提高图像分类器的的诊断结果和推理至关重要;④打造临床上高性能的CAD系统需要人类医生可解释、可重复以及可验证的结果。克服这些挑战仍然需要很多努力，但最近的研究使该领域的发展更进一步，例如疾病部位的弱监督分析等工作[6]。

全身预防性癌症筛查是正常或者无症状人群筛查的重要任务。理想的初始筛查手段是使用更经济和非侵入性的技术，例如“CancerSeek”血液测试[7]，筛查所有参加年度健康体检。接下来，使用高性能、高精度的自动医学成像手段和病理学分析工具来定位和验证初始发现。最后，结合所有非成像和成像测试结果的临床决策融合模块可以向专家出具一份报告，并将已识别的“高风险”患者与绝大多数的“平均风险”患者区分。虽然最近检测和分割复杂器官及异常解剖的工作初步取得了很好的进展[8]，对于一般人群的预防性筛查，基于大规模数据集进行深度学习模型训练的方法仍需要进一步研究。

从历史上看，由于机器学习技术的不足、缺少临床合作伙伴以及临床试验和/或数据上的不开放，开展表征和定量生物标记研究所需的数据档案缺乏有力的支持，定量和精准成像面临障碍。 然而，随着深度学习能力的提高和精准医学政策方面的推动，我们看到了巨大的机遇。我们应该努力聚焦医院层面上的数据共享，用先进的计算技术探索精准医学生物标记，解决医生希望做到但是靠人类自身能力无法实现的问题。这些研究应该集中在有较高发病率的疾病，特别是癌症上。目前需要进一步开发的关键是如何在现有数据源(如医院档案)上训练深度学习系统，这些数据源的规模往往非常大，但也非常混乱和非结构化。

在基于医学影像的临床研究中，特别是大规模的定量分析和有标记的深度学习，先决条件之一是从医学扫描中精确且稳健地分割解剖结构，即将每个像素或体素分类为语义。基于CNN的深度分割方法展现出优越的性能，现在占主导地位。使用影像分割技术的价值在于可以将原始图像扫描转换为语义和人类可解释的特征，例如左心室的体积或患者胰腺的形状等。这些基于器官/解剖学的形状、体积和外观的特征可以从2D/3D/4D图像计算获得，以辅助个性化诊断/治疗以及大数据分析。其重要的挑战是搜集足够多的具有标定的数据用于深度学习模型训练，并确保任何分割解决方案都具有更高的适应性和强壮性。

最后还有很重要的一点，精准医学的关键目标之一是对临床数据进行回顾性分析，以探索和发现与发病相关的影像标志物。需利用一个医院或多家医院的数据，对患者的图像和非图像数据进行标记、挖掘和分析。比如，可以在图论基础上对多模态成像和非图像的患者数据进行建模和可视化，构建患者相似性，自动发现肿瘤类型簇等[9]。这种建模和高阶表示可以提供可索引的患者数据视图，超越普通分类的分析。重要的是鉴于许多疾病的长尾分布，如果没有强大的计算机化技术(如深度学习)有效利用大数据，这种分析即使不是不可能，也很难实施。

总之，最近深度学习的发展对于医学影像的分析正在产生巨大的影响，甚至可以使一些通过非深度学习方法不可能完成的重要任务(例如，通过第一读片进行数据分流)达到临床可以接受的水平。筛查影像大数据结合深度学习将是一个充满希望但具有挑战性。我们预期在不远的将来，这方面的研究和临床转化工作将会蓬勃发展。