朱雪亮,应 捷,杨海马,李薄羏
(上海理工大学光电信息与计算机工程学院,上海 200093)
子宫内膜癌(Endometrial Cancer,EC)是一种生在子宫内膜上的癌症,是女性第六大常见癌症。2020 年有417 000个新增病例以及97 000 例死亡病例,目前发病率仍在增加[1]。由于该病通常在早期就有明显症状,所以经常在I 期就被发现,此时肿瘤局限于子宫体内[2]。根据国际妇产科联合会(International Federation of Gynecology and Obstetrics,FIGO)[3]EC 的术前分期,需要人工根据磁共振图像判读肌层浸润程度,此过程和分期直接相关,对预测预后及评估淋巴结转移风险有重要作用。是否为深度肌层浸润可作为区分IA 期和IB 期指标,且深度浸润和浅度浸润的预后明显不同。因此,术前准确评估子宫肌层浸润深度在治疗及预后中极其重要。子宫肌层被子宫内膜癌肿瘤浸润的深度大于等于50%的子宫肌层厚度就被认为是深度肌层浸润(Deep Myometrial Invasion,DMI),否则是浅度肌层浸润(Shallow Myometrial Invasion,SMI)。对于术前评估EC,磁共振成像(Magnetic Resonance Imaging,MRI)是一种重要且无创的成像方法[4]。人工判断肌层浸润变化较大,且不同的医生准确率也不同,主观因素影响较大,计算机辅助判别有助于更准确地估计肌层浸润深度。
目前在MRI 中对子宫内膜癌肌层浸润评估的计算机辅助诊断研究报道很少,国内尚未发现有相关研究。现有文献主要基于纹理分析评估DMI[5-7],其步骤为:人工圈画肿瘤区域,提取基于直方图的一阶纹理特征,使用逻辑回归或者随机森林进行分类,得到67%~79.3%的敏感度。子宫的MRI 图像分割有助于计算机辅助判别浸润程度,Kurata 等[8]证明深度学习可以在MRI 中有效分割子宫区域,但其形状、位置和背景复杂多变,要达到可以接受的性能需要大量的标注图像。
综上,为尽可能减少人工判断工作,本文提出一种计算机辅助判别浸润程度方法。考虑到计算机分割子宫体的可行性以及人工较易辨识子宫体区域,该方法在人工或计算机提供子宫体区域后自动给出浸润程度分类结果。该方法流程如下:①基于Otsu 和形态学处理分割出病灶区域;②提取病灶区域的一阶纹理特征和灰度共生矩阵特征,用于多种纹理的特征融合;③训练支持向量机进行浸润程度分类。如图1 所示。
Fig.1 Flow of classification of the depth of myometrial invasion in endometrial cancer MR imaging based on texture feature extraction and SVM图1 基于纹理特征提取和SVM 的MRI 子宫内膜癌肌层浸润分类流程
本文选择MRI 的矢状位T2 FS FSE 成像序列进行研究,在切片上人工沿着浆膜层圈画子宫体区域作为感兴趣区(ROI)。选择切片的原则是:与邻近的切片相比,此切片中肿瘤边缘距浆膜层最近。算法自动沿着浆膜层圈画的曲线起止点用直线连接,此封闭曲线围成的区域即ROI,见图2 中的绿色曲线(彩图扫OSID 码可见,下同)。将每个ROI 看作一个样本,相应的术后病理为其金标准标签。本文MRI 图像的像素值归一化为0-255 范围。
Fig.2 Segmentation results of some samplesNotes:Green curves represent ROI.First row:Original images.Second row:The corresponding segmentation result of tumor(red region).(a)-(c):DMI samples.(d)-(e):SMI samples图2 部分样本分割结果注:绿色曲线代表ROI,第一行为原图,第二行是对应的肿瘤分割结果(红色区域),(a)-(c)是深度浸润样本,(d)-(e)是浅度浸润样本。
在MRI 的T2 加权成像序列(T2WI)中,相对于正常的子宫内膜,子宫内膜癌最常表现为不均匀中等信号强度。相对于正常子宫肌层,肿瘤在T2WI 中呈轻度高信号[9],宫腔因液体成分呈高信号[10]。
Otsu 是一种自适应的图像分割阈值确定方法,也被称为最大类间方差法[11],其将构成图像的像素分成前景图像和背景图像两组。本文的Otsu 用于分割位于宫腔附近表现为中等信号以及高信号的像素区域,将其作为包含肿瘤和宫腔的区域,用于后续的肿瘤区域分割。
令I=f(x,y),L,ni和N 分别表示图像、图像的灰度级、灰度级i处的像素数量、像素总数,则归一化的灰度直方图概率分布为:
图像均值为:
所有像素被阈值k 分为两组:C1,C2。其中C1={(x,y)|0 ≤f(x,y) ≤k},C2={(x,y)|k+ 1 ≤f(x,y) ≤L- 1}。通 常C1是前景C2是背景,出现的概率以及均值分别为:
使类间方差最大的阈值k*为最优:
为减少浆膜层附近的亮度对Otsu 分割的影响,先对ROI 进行形态学腐蚀,然后进行Otsu 分割。Otsu 分割图像后得到二值图像,使用形态学腐蚀和膨胀消除或断开与宫腔肿瘤连通域有狭窄连接的过度分割部分。由此得到多个区域。选择和ROI 的形心最近的区域进一步获取含宫腔和肿瘤的连通域,记作区域A。当肿瘤浸润肌层时,区域A的局部轮廓会向外凸起,这将导致区域A 的凸包面积和其自身面积之差较大。另外,过度分割也会使面积之差变得过大,本文使用形态学处理解决该问题,由此得到宫腔和肿瘤的连通区域R1。
宫腔因有液体成分,相比于肿瘤区域呈现出较高的亮度[10],故使用阈值分割易于将R1 区域中的宫腔剔除,得到剩余的肿瘤区域。本文采用阈值分割方法剔除宫腔区域,阈值选为一固定值190,此值为反复实验后确定。本文设计的分割肿瘤算法流程如图3 所示,其中erosion(x)*m+dilation(y)*n 表示先迭代执行m 次形态学腐蚀再迭代执行n次形态学膨胀,结构元素分别为x×x 和y×y 的全1 矩阵,分割结果如图2 中红色区域所示。
Fig.3 Flow of tumor segmentation based on Otsu and morphological processing图3 基于Otsu 和形态学处理的肿瘤区域分割流程
基于图像灰度直方图的一阶统计纹理特征(first order texture features)能反映肿瘤组织的纹理变化,常用于肿瘤的纹理分析研究,如在CT 图像中利用一阶纹理特征进行甲状腺结节良恶性分类[12],表明恶性结节的熵明显高于良性结节,其峰度值也较高。另外,文献[5-7]表明一阶纹理特征和DMI 有相关性,因此本文在分割出的肿瘤区域提取一阶纹理特征用于建模,预测肌层浸润程度,包括均值(mean)、标准差(std)、熵(entropy)、偏度(skewness)、峰度(kurtosis),其公式按照文献[13]方法计算。
基于灰度共生矩阵(Gray-level Co-occurrence Matrix,GLCM)的纹理特征是一种二阶统计纹理分析方法,能综合描述图像在方向、间隔、变化幅度及快慢上的信息。基于GLCM 的纹理特征也被用于其他肿瘤的纹理分析[14-16],本文提取的GLCM 纹理特征用于描述子宫内膜癌的肿瘤特性。
设图像中像素(x,y)处的灰度为m,统计它与相距为d、方向为θ、灰度为n 的像素(x+ Δx,y+ Δy)同时出现的频数,记为P(m,n,d,θ)。若图像的灰度级为Ng,则可得到N2g个m 和n 的组合,将其排列为Ng×Ng的矩阵,其m 行n 列处的值为P(m,n,d,θ),表达式为:
式中,{X}代表集合X中的元素总数,此矩阵就构成GLCM。原始GLCM 不用于纹理分析,而是在此基础上提取统计量作为纹理特征。Haralick 等[17]提出14 种由GLCM计算出来的统计量,但若特征过多会导致速度慢且复杂,还可能存在冗余特征,不利于提高分类性能。本文提取6个GLCM 特征,分别是:contrast、dissimilarity、homogeneity、ASM、energy 和correlation。每个GLCM 特征计算步骤如下:先将原本256 级灰度变换为8 级灰度,步长d 取1,得到θ等于0°、45°、90°和135°四个方向的灰度共生矩阵,对应计算出4 个方向的GLCM 特征,最终取这4 个特征值的平均值作为其结果。本文提取的特征区域为不规则区域,不是常见的对矩形区提取GLCM,所用的方法是:统计灰度限制在病灶区域,若像素位置超出病灶范围则不计入GLCM 的统计结果。本文提取的所有特征如表1 所示。
Table 1 All extracted features表1 提取的所有特征
支持向量机(SVM)是一种模式识别方法,在解决非线性问题、小样本问题以及高维数据等问题中表现出许多独特优势。支持向量机通过建立一个最优决策超平面,使正样本和负样本之间的分类间隔最大[18]。
设训练样本为T={(xi,yi)|i= 1,2,…,n,xi∈Rm},y={+1, - 1},n为样本数,支持向量机可以描述为不等式约束条件下的二次规划求解,即:
其中,ξi为松弛变量,C 为惩罚因子。
式(6)可通过引入拉格朗日乘子进行求解,求得其对偶形式为:
由式(7)推导可得到决策函数:
其中,αi为拉格朗日算子,b 为判别函数阈值,K(xi,xj)为核函数,常见的形式有线性核函数、径向基核函数、多项式核函数等。
本文提取两种类别的纹理特征用于描述肌层浸润程度,比单独使用一阶纹理特征的方法能获得更多用于类别区分的信息。为使这些信息能被机器学到以提高分类性能,需将二者融合。本文将一阶纹理特征和GLCM 特征进行串联融合组成特征数据。为考察这种串联融合是否比单一类型的特征学到更多有效信息以提高性能,本文使用相同的学习器分别对这两种特征进行学习并比较性能。
另外,不同纹理特征间数值差异较大。为消除不同量纲的影响,需对特征进行归一化处理,本文使用高斯归一化,公式如下:
其中,t 为两类样本数量之和,Xmn表示第n 个样本的第m 个特征,是归一化后的特征值。
由于本研究所用数据集规模小,故采用留一交叉验证方法(leave-one-out cross-validation,LOOCV)估计分类器性能。LOOCV 依次将整个数据集中的一个样本移出作为测试样本,剩余的样本作为训练集训练学习器,最终使用留出的测试样本测试学习器。每轮LOOCV 使用网格搜索法(grid-search)优化超参数,具体按照文献[19]中描述的grid-search 和LOOCV 共同搜索超参数以及交叉验证步骤,在指定的超参数空间中搜索使F1-score 最大的超参数,使用scikit-learn(version 0.21.3)[20]中的GridSearchCV 方 法实现。然后使用最优超参数在训练集上训练模型,对留出的样本进行测试并输出预测概率。越高的概率表示深度浸润的可能性越大。若概率值大于等于阈值T,则预测为深度浸润,否则为浅度浸润。阈值T 定义为:使模型在训练集上的sensitivity 与specificity 之和最大的阈值。训练和测试迭代执行,直到数据集中每个样本都被测试一遍,则每个样本都有一个模型预测的深度浸润概率以及浸润程度分类标签。
本文所用性能评价指标有accuracy(Acc)、sensitivity(Sen)、specificity(Spe)、precision(Pre)、F1-score(F1)以 及ROC(receiver operating characteristic)曲线及其曲线下面积AUC(areas under the ROC curve),通过模型生成的标签和预测概率进行计算。ROC 的横坐标为1-specificity,纵坐标为sensitivity,AUC 可用于评估分类器性能,其值越大分类能力越强。F1-score 是对sensitivity 和precision 的综合评估。
其中,TP 表示预测正确的深度浸润样本数,TN 表示预测正确的浅度浸润样本数,FP 表示浅度被预测为深度的样本数,FN 表示深度被预测为浅度的样本数。
本文共收集到79 个ROI 作为样本(对应79 位EC 患者),包含19 例深度浸润、60 例浅度浸润样本。术前MRI 数据来自上海第一妇婴保健院,时间为2016 年2 月-2019 年1月。肿瘤图像分割经预处理后,提取一阶纹理特征和GLCM 特征并进行归一化,训练SVM,按照本文的LOOCV 方法评估学习器性能。实验使用python3.6 64-bit 实现,计算机配置为:Windows10 64 位操作系统,Intel(R)Core(TM)i5-9400f CPU @2.90GHz,RAM 为16.0GB。
按照本文方法将一阶纹理特征和GLCM 特征融合训练SVM。SVM 使用线性核,惩罚因子C 的网格搜索范围为10-4~103,训练集和测试集分类性能如表2 所示。
Table 2 Training and test performance of the proposed method表2 本文方法的训练与测试性能
由表2 可知,融合两种纹理特征使用线性核SVM 的测试性能没有较大下降,表明该方法具有一定的泛化能力。在基于手工圈画肿瘤的纹理分析研究中,得到的Acc 分别为91.0%、81.0%、78.0%;Sen 分别为67.0%、79.3%、70.0%;Spe 分别为100%、82.3%、84.0%。与之前研究不同的是,本文方法只使用了人工较易辨识的子宫体区域便自动给出了浸润程度分类,且分类性能较好。
本文除了使用SVM 进行特征融合并分类外,还与逻辑回归(LR)和随机森林(RF)以及常用分类器朴素贝叶斯(NB)进行比较。采用scikit-learn(version 0.21.3),参数设置如下:LR,使用L2 正则化,惩罚因子C 搜索范围10-4~103;NB,选择Gaussian Naive Bayes,var_smoothing 在10-9~104搜索;RF,树的个数为100,最大叶节点数为5 个,其他参数均为默认值。此外,为考察这种融合是否比单一类型的特征能学到更多的有效信息,使用SVM 分别对一阶纹理特征(First order)和GLCM 特征进行学习并比较性能。实验结果如表3 所示,不同方法的ROC 曲线如图4、图5 所示。
由表3 可见,本文方法比常用的分类器LR、RF 和NB的性能指标均高;从ROC 曲线看,本文方法也比其他分类器的AUC 高,表明SVM 可以高效地学习到区分浸润程度的信息。此外,对比融合前后的SVM 性能,融合两种特征在sensitivity 上有所降低,在accuracy、specificity、precision 等指标上有所提高,表明只使用一阶纹理特征会倾向于正确识别出更多的深浸润样本,但会有较多被错分为深浸润的样本。串联融合两种特征倾向于正确识别出更多的浅浸润样本,同时减少错分为深浸润的样本。
Table 3 Classification performance of different features and classifiers表3 不同分类器和不同特征的分类性能比较
Fig.4 ROC curves of different classifiers图4 不同分类器的ROC 曲线
Fig.5 ROC curves of different features combined with SVM图5 不同类型特征结合SVM 分类的ROC 曲线
针对计算机辅助判别MRI 图像子宫内膜癌肌层浸润程度需求,本文提出一种基于纹理特征提取和SVM 的方法,该方法先通过Otsu 和形态学处理分割病灶区,提取病灶区的一阶纹理特征和GLCM 特征,融合特征后使用SVM分类。该方法仅需计算机或人工提供子宫体区域,较易辨识,可自动估计浸润程度。本文将SVM 和常用分类器进行对比,结果显示SVM 有较好的分类性能。将单类型特征和融合特征做了对比,结果融合特征可提高accuracy、specificity、precision 等指标,但会降低sensitivity。实验结果表明本文方法对辅助判断肌层浸润程度可行。本文结果有助于未来对肌层浸润的特征提取研究,如可继续提取病灶区其他类型纹理特征,则可根据本文R1 区域提取的子宫肌层特征进行深入研究。