基于多字典学习框架的肾透明细胞癌预后分析模型

涂 超 宁振源 张 煜*

1(南方医科大学生物医学工程学院，广州 510515)2(南方医科大学广东省医学图像处理重点实验室，广州 510515)

引言

肾细胞癌，好发于肾小管上皮细胞，是一系列具有临床、病理和分子特性差异, 不同治疗反应和预后效果的异质性癌症，是世界上发病率最高的10种癌症之一[1-2]。肾透明细胞癌[3]是其中最常见的子型，占据了肾细胞癌的80%～90%[4]。肾透明细胞癌具有从缓慢生长的局部肿瘤到向远处转移的侵袭性肿瘤等复杂多变的临床表现[5-6]。一个有效的预后分析方法可以很好地对患者进行预后风险分级从而避免治疗不足或治疗过度[7]。目前，肾透明细胞癌的预后分析方法有TNM分级[6]，UISS评分[7]，SSIGN评分[8]以及Leibovich评分[9]，然而这些分级和评分在很大程度上依赖于病理学家的经验与主观判断[10-11]。因此，研究基于病理图像的自动预后分析模型，对于辅助医生判断和临床决策有明确的意义。当前，随着计算能力和图片扫描技术的发展，高通量全切片数字扫描仪已被广泛应用于病理诊断领域，病理全切片图像(whole slide images，WSIs)分析在现代数字病理学中变得至关重要。基于此，本课题对肾透明细胞癌病理全切片图像的自动预后分析模型进行研究。

病理全切片图像含有丰富的几何组织结构，如图1所示。一张病理全切片图像不仅存在不同密集程度的恶性透明细胞癌病灶区域，也存在正常肾脏组织区域(例如，肾实质、肾小体、肾小管等)。较长生存期患者的病理全切片图像(见图1(a))与较短生存期患者的病理全切片图像(见图1(b))的组织纹理差异性也很大，这为预后分析研究带来了许多机遇和挑战。传统的特征提取方法提取人工预定义的特征[12-13]，如细胞或细胞核的尺寸、形状及纹理特征，变换领域特征[14]、基于图的特征[15-16]和受核函数启发的非线性特征[17]等。然而上述特征提取方法通常需要对数据集进行具体的设计(特征工程)，获得的特征常常不够全面，而自适应分析数据集并挖掘潜在特征的方法可以从图像中获得更加全面的信息[18]。其中深度学习[19-21]可以从图像中以数据驱动的方式学习潜在的特征，受到了广泛关注。然而深度学习的成功得益于大量的训练数据，当训练数据有限时(特别在医学领域)，深度神经网络的性能会出现明显的下滑。

图1 肾透明细胞癌患者的病理全切片图像展示。(a)生存期较长的患者(TNM分级I期)的病理全切片图像；(b)生存期较短的患者(TNM分级IV期)的病理全切片图像Fig.1 Two histopathological WSIs of clear cell renal cell carcinoma. (a) The WSI from a patient (grade I) whose survival time is longer; (b) The WSI from a patient (grade IV) whose survival time is relatively shorter

另一类是基于字典学习的特征学习方法[22-23]，通过学习相关字典自适应地从图像提取稀疏特征。与基于深度学习的方法相比，字典学习有明确的可解释性以及在数据有限的情况下仍然表现出色等优点。但对于病理全切片图像来说，在提供丰富组织纹理信息的同时，也给字典学习带来了挑战：1)通常病理全切片图像有兆级像素大小，直接输入整张病理全切片图像进行定量化分析将会带来沉重的计算负担，在优化字典学习的过程产生高计算复杂度。而基于因病理医生手动勾画局部病灶区域的字典学习，会丢失部分与预后相关的其他重要特征。为解决这一问题，采样病理全切片图像，以图像块为单位代替整张图像进行从局部到全局的分析是一种可行的策略，如何高效地从图像块提取特征并有效融合成为一个亟待解决的问题。2)对于采集的大量图像块，会存在与预后分析不相关的图像块，这些图像块不仅冗余，也会对患者预后分析产生一定干扰。因此，如何消除这些冗余图像块，是亟待解决的另一个问题。针对上述挑战，本研究提出了一个基于多字典学习架构的肾透明细胞癌预后分析模型(prognostic analysis with multi-dictionaries learning，MDL-PA)。

1 材料与方法

模型流程如图2所示，主要分为训练阶段和测试阶段，在训练阶段中又分为2个部分， 包括基于图像块水平的多字典学习和基于患者水平的生存模型构建。

图2 本研究提出的多字典学习架构的流程。主要分为训练(红色虚线框内)和测试阶段(蓝色虚线框内)，其中训练部分分为2个部分，包括基于图像块水平的多字典学习和基于患者水平的生存模型构建Fig.2 An overview of the proposed MDL-PA framework. It contains training section (In the red dashed box) and test section (In the blue dashed box). The training section is divided into two stages: multi-dictionaries learning stage based on patch level, and survival model construction based on patient level

具体来说，在训练部分第一阶段(见图2红色虚线框上部)，通过采样图像块从局部分析病理全切片图像。首先，归一化处理图像块，消除苏木素-伊红(hmatoxylin-eosin，HE)染色带来的误差；而后，使用深度自编码器，初步提取图像块的深度特征，并依据特征聚集相似图像块，形成多个组织病理微环境；最后，使用多字典学习归纳并聚合微环境的特征作为患者的全局特征。

在训练第二阶段(见图2红色虚线框下部)，由于微环境复杂多样，除病理区域外还存在噪声伪影或正常组织的区域。从这些区域提取的微环境特征可能存在冗余信息，干扰预后分析，导致预测准确性下滑。为此，本研究采用后剪枝策略，选择有预后作用的微环境特征及其相应的模型分支。然后，建立Cox比例风险回归模型，依据剪枝后的特征来预测患者的预后进展。

在测试阶段(见图2蓝色虚线框内)，对于输入的病理全切片图像，全采样为图像块后，依次通过训练好的自编码器、聚类模型、字典学习模型和Cox模型，得到最终的生存预测结果。

1.1 数据及预处理

实验用数据集是来自于癌症基因组图谱数据库(portal.gdc.cancer.gov)的项目(TCGA-KIRC)，包括378例由苏木素-伊红染色的肾透明细胞癌病理全切片图像以及相关临床信息(包括生存时间和结果状态)，其中发生感兴趣事件(如癌症复发或患者死亡)的样本数为107例，删失(随访过程未有感兴趣事件发生)样本数为271例。病理全切片图像分辨率分布在10 000像素×9 000像素到70 000像素×40 000像素区间内，在20倍率下，使用大津算法[24]去除病理全切片图像的空白背景，然后以256×256的滑窗，对去背景后的病理切片进行无重叠采样。为了减小图像颜色和强度变化的影响，对病理图像进行染色归一化：使用直方图匹配的方法对图像块色彩进行归一化以消除不同站点和不同仪器采集切片所造成的差异性，然后标准化强度值至0到1的范围大小。按4∶1的比例将患者分为训练集和测试集，并从训练集中随机抽取25%的数据作为验证集进行参数调优。

近年来，黑龙江省初步形成了专项扶贫、行业扶贫和社会扶贫“三位一体”的精准扶贫体系框架，但在具体实施过程中仍存在诸多问题。

1.2 基于图像块水平的多字典学习

1.2.1深度自编码器处理原始图像块

(1)

(2)

式中，A是输入图像块的总数目。

图3 本研究提出的深度自编码网络的结构。该网络总共包括9个卷积层，编码器前3层卷积层后分别接1个池化层，解码器后3层卷积层前分别接1个上采样层，并使用中间隐藏层(第5个卷积层)的输出作为图像块的深度特征Fig.3 A detailed description of the deep autoencoder. The network consists of nine convolutional layers in total. The first three convolutional layers of the encoder are connected to a pooling layer respectively, and the last three convolutional layer of the decoder is connected to an upsampling layer respectively, and the output of the middle hidden layer (The fifth convolutional layer) is output as deep features of patches

1.2.2多字典学习训练

基于图像块的深度特征，使用K均值聚类方法聚集图像块至k个不同的微环境{m1,m2,…,mk}，每个微环境表示一类相似的组织病理结构。为了更好地表达微环境特性，为每个微环境引入一个字典，挖掘微环境中潜在的纹理结构信息。具体地，在学习字典过程中，对于归为微环境m的图像块，最小化其原始输入深度编码特征h和字典查询结果D×f

(3)

式中，h是由自编码器提取到的图像块的深度特征；D是待学习的字典，f为h在字典D上的维数为n×1的稀疏表达向量，表达了一种微环境的局部特征，D×f表示D与f的矩阵乘积；正则化参数α用来权衡稀疏表达的稀疏程度和保真值的非负权重。在优化过程中，使用K奇异值分解(K-th singular value decomposion，K-SVD)算法[25]迭代训练字典D。在测试阶段，如果输入图像块属于微环境m，将会从该微环境的字典D中学习到特异性的局部特征f。

1.3 基于患者水平生存模型构建

1.3.2预后分析模型

使用提取的稀疏特征F构建Cox比例风险回归模型[26]，进而计算每个患者的风险指数，模型定义为

h(F)=h0eβF,

(4)

式中，h(F)是基于特征F随时间变化的风险方程，h0是基线值，表示患者自身的风险率随时间的变化趋势，大小取决于所患的疾病种类和使用的治疗手段等，不受特征大小影响，β是特征F的权重，可以通过最大化Cox部分似然得到。定义风险率为eβ，值大于1表明对应特征与预后呈负相关(即特征值越大，预后表现越差)；相反，小于1的风险率表明对应特征有助于预后的良性发展。

1.4 评估指标

为了评估模型的预测精度，本研究使用一致性指数(C-index)作为评估指标

(5)

式中，i和j表示不同的患者，其中患者i是发生感兴趣事件的患者，患者j是生存时间大于患者i生存时间的患者(包括删失数据)，I[·]表示满足条件(真实生存时间更长的患者的预测风险率更低)时输出为1，反之输出0。C-index=0.5表示预测概率和随机事件概率一样，而C-index=1表示对患者生存率预测精准。

此外，本研究还使用Kaplan-Meier曲线可视化生存函数S(t)=Pr(T>t)的发展趋势从而评估模型的性能，其中生存函数在时间点ti(以发生感兴趣事件为时间点)满足以下关系

(6)

式中，S(ti)是在上一个时间点ti的生存概率，di+1是在时间点ti+1发生感兴趣事件患者的数量，ri+1是在时间点ti+1前存活且仍然在随访的患者数目，di+1和ri+1都去除在时间点ti到ti+1期间发生删失的数据。当高风险生存曲线与低风险生存曲线分离明显时，说明模型性能表现出色。并通过对数秩检验(log-rank test)计算出P值，P<0.05说明使用模型预测的高低风险人群的生存函数具有显著性差异，即能够有效预测患者的高低风险几率。

2 结果

首先，通过消融实验验证本研究各模块的有效性。图4展示了在KIRC数据集上Kaplan-Meier评估结果的比较。其中图4 (a)、(b)、(d) 进行了特征选择方法(基线、阈值法和后剪枝策略)的比较；图4(c)的实验去除了多字典模块，直接使用深度特征对患者进行预后分析。缩写符号AC(autoencoding cluster)表示先使用深度自编码器学习图像块的深度特征，再依据深度特征聚图像块至不同的微环境；缩写符号MDL(multi-dictionary learning)表示所使用的多字典学习模块；基线是不进行特征选择的实验，阈值法是通过设置阈值进行单字典分析，保留有效的字典及对应微环境，后剪枝是本研究使用的特征选择策略。基于各个模型的预测将患者分成高、低风险，绘制Kaplan-Meier曲线并通过对数秩检验计算每种实验的P值。可见，本研究提出的MDL-PA方法能最大程度分离高低风险患者。同样的，表1中也可以得到直观的C-index值和P值数值结果。

图4 各方法的Kaplan-Meier曲线评估结果。(a) AC+MDL (AC表示先使用深度自编码器学习图像块的深度特征，再依据深度特征聚图像块至不同的微环境；MDL指代本研究提出的多字典学习模块)；(b) AC+MDL+阈值法；(c) AC+后剪枝策略；(d) 所提出的MDL-PA方法Fig.4 The evaluation results of Kaplan-Meier curve in the ablation experiments. (a) AC+MDL (AC indicates that the patches are learned by deep auencoder and clustered into different microenvironments; MDL indicates proposed module in this work.); (b) AC+MDL+threshold method; (c) AC+post-pruning strategy; (d) MDL-PA (Our proposed method)

表1 实验内容及评估结果Tab.1 The ablation experiments and evaluation results

接下来与其他几种预后分析模型进行了对比，包括Boosted模型[27]、随机生存森林(random survival forests, RSF)模型[28]两种传统的生存模型以及深度生存网络(DeepSurv)[29]、全切片病理图像生存分析框架(whole slide histopathological images survival analysis, WSISA)[30]两种深度学习模型。如图5和图6所示，在Kaplan-Meier曲线评估和ROC曲线评估(以5年存活率为界限进行绘制和计算)中，所提出的模型均取得了最优的结果。从表2具体指标也可以发现本研究提出的MDL-PA架构显著优于当前其他先进的方法。比较发现，所提出的方法在C-index值和AUC上均优于传统方法和深度学习模型。

图5 以 5 年生存时间作为分隔点，不同方法对肾透明细胞癌预后预测结果的ROC曲线展示Fig.5 The ROC curves are presented with the 5-year survival time as threshold, compared to the state-of-the-art methods

图6 不同方法对肾透明细胞癌预后预测结果的Kaplan-Meier 曲线评估(高低风险曲线分的越开表明模型性能越好)。(a) Boosted 模型；(b) 随机生存森林模型；(c) 深度生存网络；(d) 全切片病理图像生存分析框架；(e) MDL-PA架构(本研究提出的方法)Fig.6 The evaluation results of Kaplan-meier curve compared to the state-of-the-art methods (The more the high and low risk curves are divided, the better the model performance is). (a) Boosted model; (b) Random Survival Forests model; (c) DeepSurv; (d) WSISA; (e) MDL-PA (proposed method)

表2 对比实验内容及实验评估结果

3 讨论

病理切片是几乎所有癌症诊断的金标准。随着全切片扫描仪技术的迅速发展，大量病理切片得以数字化并存储在计算机中，通过自动定量化分析数字病理全切片图像辅助病理医生进行诊断。近年来，许多研究表明，病理全切片图像的肿瘤及其微环境区域的形态学特征为患者提供了重要的预后信息。Zhu等[30]提出病理全切片图像预后分析架构，使用深度学习的方法自适应学习病理图像的形态学信息进行预后分析。Cheng等[31]分割出病理图像的细胞核，提取不同核模式下的拓扑特征来对190例肾乳头状细胞癌患者进行预后预测，并在进一步工作中整合了基因数据生成新的预后生物标志物。张丹等[32]提出肿瘤微环境与癌变区域相互作用分数(tumor and microenvironment interaction score, TaMIS)来度量细胞核形态的混乱程度，发现非复发病患组的TaMIS特征表达往往高于复发病患组的特征表达，进而构建口咽癌症复发风险预测模型。

然而，由于肾透明细胞癌的组织异质性和数据的高维性，自动化预后预测仍然是一项艰巨的任务。本研究提出了一个基于肾透明细胞癌病理图像的预后分析框架，以多字典学习的方式获取病理全切片图像的预后特征，有效利用了图像整体特征，有助于辅助医生分析患者预后发展。首先使用从采样图像块中提取的深度特征来聚集图像块，生成微环境，再通过字典来归纳分析微环境特性，最后使用微环境特征作为患者的子区域特征来预测患者预后发展。可以直接定量化分析病理全切片图像，不需要任何手工标注，通过对患者的风险系数进行预测，辅助医生为不同风险级患者定制有效的术后恢复计划。

为证明提出模型的有效性，同时比较了传统方法和深度学习模型在肾透明细胞癌数据集上的性能。其中传统的Boosted模型[27]和随机生存森林模型[28]表现不佳，C-index只比随机模型好一点，分别为0.543和0.526，AUC分别为0.602和0.56，P>0.05说明其无法很好地区分开高低风险患者。分析认为传统的方法可能需要根据癌症的特性来定制具体的特征提取器，然而这需要手动标注，大大加重了病理医生的工作负担。而本研究提出的多字典生存模型，充分利用了表示学习的优点，通过数据驱动的方式挖掘潜在的鉴别性特征。接着，对比了两种目前比较流行的深度预后模型，可以发现DeepSurv[29]和全切片病理图像生存分析框架[30]获得了比较接近的性能，C-index分别为0.635和0.646，AUC分别为0.655和0.661。然而，本研究在通过多字典学习模型对图像特征进行处理后，预后分析指标C-index和AUC分别被提升到0.681和0.751，比传统生存模型和深度学习模型有更高的准确率，说明本研究提出的先分离后聚合的学习模式能够很好地归纳病理图像局部特性至全局特性，对肾透明细胞癌预后准确性的提升确有帮助作用。

另外，从表1 的实验结果来看，相同模型下，字典学习策略与深度自编码器的结合提升了C-index的0.052，加入后剪枝策略较基线提升了0.054，而较单字典分析的阈值法提升了0.036。分析原因可能有二：一是字典学习能够很好地归纳并稀疏化微环境特征；二是后剪枝策略可以从众多微环境当中找到与预后高度相关的信息，从而消除特征冗余，提升模型性能。该结果也说明，在基于WSI的肾透明细胞癌预后预测中，不同微环境特征引起的干扰因素会对预测结果造成较大影响，需要采用合理的方法抵消或减轻其干扰。

一个值得探讨的问题是，在本研究中，对病理图像是单一尺度采样，但图像在不同尺度下会有不同的特征表征，尤其对于病理图像，在不同尺度下能提供更丰富的图像信息，以利于进一步的生存分析。因此，设计合适的多尺度采样和特征融合方式，是有待进一步研究的问题。另外，当前模型是分段式训练，先基于图像块水平训练再回归患者水平进行训练，构建端对端的预后分析模型亦是下一步的研究内容。其次由于全采样提取的图像块数量非常大，模型训练耗时久，快速模型训练方法需要进一步探讨。

4 结论

本研究提出了一个基于多字典学习框架的肾透明细胞癌预后分析模型。该模型主要分为两个阶段：第一阶段基于图像块水平，通过多字典学习方式学习微环境的特征；第二阶段基于患者水平，选择对预后分析有帮助作用的微环境特征。最后，构建Cox比例风险回归模型对患者的预后进行预测分析。基于378例肾透明细胞癌患者的病理全切片图像数据实验结果表明，本研究提出的模型获得了更好的预后分析结果。