人工智能时代的放射组学及Pyradiomics工具包在放射组学中的应用

马晓辉 周海春 梁佳伟 赖灿 贾绚

基因组学的出现及发展，阐明了肿瘤是由驱动其发生、发展的不同基因型亚群组成的，同一种肿瘤不同的基因亚型生物学行为迥异，对放化疗的反应各异，预后也迥然不同。同一种基因亚型肿瘤，基于不同的个体和内外环境，所处不同阶段，其生物学行为亦有差异。鉴于肿瘤的这种空间以及时间上的异质性，侵入性的活体组织基因分子检测有假阴性及片面性的可能[1]。为达到肿瘤的精准治疗，单靠传统病理及基因测序已显不足。这种背景下，便出现了以医学影像为研究对象，从解剖及分子影像中提取大量定量信息并将其与相应的生物信息和临床终点相联系的新兴的领域——放射组学。

放射组学通过使用数据表征算法可以实现自动化地定量分析一系列的放射表型特征，比如病灶的大小、形状、纹理等，这些放射表型潜在地反映病变的生物属性，如肿瘤内在的和肿瘤之间的异质性[1]。运用这些放射组学数据，建立生物信息学模型，将病灶的影像特征与其临床表型、基因分子标志物等相关联，成为精准医疗的强大推手。本文就放射组学概念、工作流程、基于Python语言的Pyradiomics工具包在放射组学中的应用及对精准医学的贡献，人工智能时代放射组学的机遇及面临的挑战等作一综述。

1 放射组学及其实现方法

1.1 放射组学概念 2012年，荷兰学者Lambin等[2]受到放射基因组学的启发，首先提出了放射组学的概念，后经不断发展完善，形成一门新兴学科——利用计算机图像处理技术，对CT，MRI和PET图像进行高通量、自动化分析，从中提取大量的定量特征数据，这些数据与患者其他数据相结合，并利用先进的生物信息学工具进行挖掘、建立模型，对肿瘤的异质性进行综合评价，提高对诊断，预后预测的准确性，又称影像组学[3]。在强调个性化精准诊疗的背景下，放射组学使医学影像从诊断为主迅速提升为一种核心工具，为临床诊疗作出具体有效的指导[4]。

放射组学广泛应用于各类疾病，在肿瘤的诊断，疗效评估和预后分析中尤为突出，多项研究表明，其有可能成为一种有效的生物标志物，对各种介入治疗方法的患者进行分层，指导治疗并预测预后情况，为肿瘤检测和治疗的决策提供定量和客观的支持[5]。放射组学需要获取医学图像的高维量化特征，最理想的方法是通过使用自动算法来定义并量化医学成像的表型特质。计算机硬件和人工智能技术快速发展，各种优秀算法大量涌现，建造模式识别工具，实现全自动地提取肉眼难以分辨的深层放射学特征，并将图像转换成可收集的数据，促使高通量放射组学特征提取得以方便、快捷的实现；加上各种功能强大的统计软件出现并不断完善，复杂的统计方法能够简便的计算机辅助实现，大量的放射组学数据分析也不再是难题。正因为有了医学图像的高通量提取、数据挖掘和人工智能的强大分类能力，放射组学得以迅速发展。

基于人工智能的放射组学技术主要有两种，一种通过应用工程硬编码实现，另一种使用深度学习方法来实现。前者往往需要专业领域知识，早期人工智能机器中的大部分智能都是通过编码实现的，用来解决定义明确的逻辑问题，例如下棋的计算机程序；后者通过使用反向传播算法来指导机器调整其内部参数，从而发现大数据集中的复杂结构，深层卷积网络是当下主流的深度学习方法，在处理图像、视频、音频等方面具有非常强大的功能[6]。无论是基于工程硬编码算法还是基于深度学习方法，都可以用于构建预测性或预后性非侵入性生物标记。

1.2 放射组学实现的方法 实际工作中，放射组学涉及到多个相互衔接的步骤，主要包括：（1）获取标准化的CT、MRI及PET高质量图像，并进行预处理；（2）识别及分割感兴趣区（region of interest，ROI）；（3）提取放射组学特征并量化；（4）建立数据库，深度挖掘数据，单独或结合人口统计学、临床、基因组数据建立模型，预测结果。

2 Pyradiomics工具包在放射组学中的应用

实际工作中，因为缺乏标准化的算法定义和图像处理，使获得的结果缺乏重复性和可比性，阻碍了放射组学的发展。为了解决这个问题，科学家和工程技术人员开发出了Pyradiomics工具包[7]。Pyradiomics工具包是一个基于Python语言的开源工具包，通过工程硬编码算法实现放射组学特征提取，作为当前应用最广的放射组学工具之一，该工具包支持2维和3维的影像数据，可以方便和可重复的提取放射组学特征，计算ROI的每个特征的单个值（基于分段）或生成特征图（基于体素）。

Pyradiomics工具包在3D Slicer软件中提供了一个简单方便的前端界面，方便了医学专业人员的使用[7]。3D Slicer是一个用于医学图像计算的免费开源研究平台，由美国国立卫生研究院和全球开发者社区支持研发，Mackin等[8]研究认为，基于3D Slicer的半自动分割方法比手动分割具有更好的可重复性。而且，该软件内直接集成了“radiomics”扩展，使两者功能结合在一起形成3D Slicer勾画影像图片的ROI，然后应用“radiomics”扩展进行放射组学特征抽取。Pyradiomics工具包默认以3维方式考虑体素到体素的关系，并输出与一阶、形状和纹理相关的多个放射组学特征，其定义的放射组学特征符合国际图像生物标记标准倡议[7，9]。

应用Pyradiomics工具包，可以通过四个步骤来实现自定义放射组学特征的提取：（1）图像和分割图（mask）的加载和预处理；（2）启用滤波器（filters）；（3）使用不同特征类计算特征；（4）返回结果。见图1。图像采集和重建方法的不同导致图像质量的差异，以及其他因素（如ROI分割的准确性、编码变化和基线临床特征等），都可能影响放射组学的下游特征提取过程。

图1 应用Pyradiomics工具包实现放射组学分析的流程

应用Pyradiomics工具包可以在原始图像及预处理的图像上获取放射组学特征，预处理的变换图像通过数个内置的滤波器来获得，包括小波滤波器（wavelet）和高斯-拉普拉斯（Laplacian of Gaussian，LoG）滤波器，以及几个简单的滤波器，如平方、平方根、对数、指数滤波器等。每种图像类型中均可以提取8种不同的组学特征，包括以下内容：（1）一阶统计特征值，通过常用和基本度量来描述图像ROI的体素强度的分布，包括中位数、平均值、最小和最大值等，共提取19个特征值；（2）三维形状特征，包括ROI三维尺寸及形状特征，与灰度强度分布无关，共提取16个特征值；（3）二维形状特征，包括ROI的二维大小及形状特征，与灰度强度分布无关，共提取10个特征值；（4）灰度共生矩阵特征，描述了图像ROI的二阶联合概率函数，是高阶纹理特征，共提取24个特征值；（5）灰度游程矩阵，关注图像灰度方向、相邻间隔和变化幅度等综合信息，高阶的纹理特征，共提取16个特征值；（6）灰度区域大小矩阵，用于描述图像亮度的二变量条件分布概率密度，共提取16个特征值；（7）邻域灰度差矩阵，用来量化灰度值与其距离δ之内的相邻像素的平均灰度值之间的差异，共提取5个特征值 ；（8）灰度依赖矩阵，量化图像中的灰度依赖性，共提取14个特征值。

3 应用Pyradiomics工具包进行的研究

Pyradiomics工具包被开发出来后，基于这一工具的研究开始出现。Griethuysen等[7]应用Pyradiomics工具包对429例不同的肺部病变进行放射组学特征抽取，以区分肺内结节的良恶性，该研究得到535个稳定性较高的放射组学特征，包括形状特征5个，一阶强度统计特征14个，纹理特征48个，对数特征310个，小波特征158个，分析发现基于影像的亚型与肺部病变的良恶性状态之间存在关联。Grimm等[10]分析了来自单个机构的275例乳腺癌患者的术前乳房MRI图像，使用计算机视觉算法从每例患者的影像中提取出56个成像特征，包括形态、纹理和动态特征，并使用多元分析来确定成像特征和乳腺癌分子亚型之间的关联，结果显示动态对比增强MRI的放射组学特征与luminal A和luminal B激素受体阳性的分子亚型密切相关。Gao等[11]研究了3个独立队列的165例胃癌患者的CT图像，使用Pyradiomics工具包提取了放射学特征，并使用LASSO逻辑回归模型筛选，获得了6个稳健的放射组学特征来建立模型，这6个放射组学特征在训练，验证和测试队列中显示出良好的估计肿瘤浸润调节性T细胞的能力，且多变量Cox回归分析表明，该放射组学特征是胃癌患者总体生存不良的独立危险因素。Kaissis等[12]应用Pyradiomics工具包，回顾性分析了207例经证实的胰腺导管腺癌患者的术前CT图像，并开发了一种随机森林机器学习算法以根据放射组学特征预测胰腺癌的分子亚型，该分类算法的灵敏度（0.84±0.05）、特异度（0.92±0.01）都较高，ROC曲线AUC为0.93±0.01，从而认为基于机器学习的术前CT图像放射组学分析可以预测与胰腺癌患者生存高度相关的分子亚型。Liu等[13]发现从Pyradiomics工具包提取的形态学特征可用于颅内动脉瘤稳定程度分层，其中，动脉瘤的平坦度是预测动脉瘤稳定性的最重要的形态学决定因素。Shi等[14]应用Pyradiomics工具包分析24例HIV感染者的胸部CT误诊图像,发现临床影像学特征结合放射组学可能有助于在HIV感染患者中识别类似肺癌的机遇性肺部感染。

综上可以发现Pyradiomics工具包可以深度发掘医学影像中的大量特征，并主要用于量化肿瘤的异质性，预测肿瘤病理及基因表型，当然关于肿瘤治疗疗效及预后评估也有报道，也可以发现其在非肿瘤病变的鉴别诊断、血管瘤稳定性评估等非肿瘤方面的应用潜力。

4 小结

随着成像和分析技术的进步，放射组学已成为肿瘤精准治疗领域的研究热点之一，其作用已经扩展到肿瘤管理的各个方面，囊括了从检测、诊断到治疗反应，以及进一步的风险监测的整个范围。放射组学的临床应用有望在肿瘤治疗的各个方面发挥重要作用，而Pyradiomics工具包这一开源的放射组学工具，将随放射组学的发展而不断完善，成为这一领域的强大助力。

本文介绍了放射组学的概念、分析流程、Pyradiomics工具包这一稳健的放射组学工具及其国内外应用Pyradiomics工具包进行研究的现状，希望能给初入该领域的研究人员一些帮助。虽然放射组学也面临一些挑战，比如结果的标准制定、结果的可再现性、大数据之下的因果关系的建立等，但在大数据、深度学习和人工智能的大潮推动下，放射组学必定会大放异彩。