基于变换AUC的颈动脉斑块稳定性预测模型

摘" 要： 为了准确识别颈动脉斑块的重要生物标志物，在改进生物标志物所包含信息量的度量方法的基础上，通过向前逐步回归建立了基于变换AUC（Transformed area under curve）的颈动脉斑块稳定性预测模型。首先，在ROC（Receiver operating characteristic）空间提出变换AUC，并给出该指标在双正态分布模型和自由分布模型下的估计方法；然后，使用R统计软件，对比分析变换AUC与AUC等常用评估指标对非传统生物标志物的评估性能；最后，基于浙江医院提供的影像数据，利用变换AUC度量生物标志物的信息量，使用向前逐步回归筛选模型的方法建立高精度的颈动脉斑块稳定性预测模型。研究结果表明，该颈动脉斑块稳定性预测模型的AUC值达到0.9以上，能够准确识别斑块的稳定性，为临床医师对患者进行个性化诊疗提供更精准的参考依据。

关键词： 变换AUC；向前逐步回归；斑块稳定性；生物标志物；模型筛选

中图分类号： TP181；R445.2

文献标志码： A

文章编号： 1673-3851 （2024） 04-0529-08

DOI：10.3969/j.issn.1673-3851（n）.2024.04.012

收稿日期： 2023-11-16" 网络出版日期：2024-04-12网络出版日期

基金项目： 国家自然科学基金项目（12071436）；浙江省基础公益类项目（GF22H096743）

作者简介： 李翔宇（1999—" ），男，山东临沂人，硕士研究生，主要从事大数据分析、应用统计方面的研究。

通信作者： 吴" 炯，E-mail：wujiong0118@aliyun.com

引文格式：李翔宇，杨建萍，吴炯. 基于变换AUC的颈动脉斑块稳定性预测模型［J］. 浙江理工大学学报（自然科学），2024，51（4）：529-536.

Reference Format： LI Xiangyu， YANG Jianping， WU Jiong. A prediction model of carotid plaque stability based on transformed AUC［J］. Journal of Zhejiang Sci-Tech University，2024，51（4）：529-536.

A prediction model of carotid plaque stability based on transformed AUC

LI Xiangyu1a， YANG Jianping1b， WU Jiong2

（1a.School of Computer Science and Technology; 1b.School of Science， Zhejiang Sci-Tech University， Hangzhou 310018， China; 2.Affiliated Zhejiang Hospital， Zhejiang University School of Medicine， Hangzhou 310000， China）

Abstract：" To precisely identify critical biomarkers of carotid plaques， a model for predicting carotid plaque stability based on the transformed area under curve （transformed AUC） using forward regression was built on the basis that the method for quantifying the information content within biomarkers was improved. Firstly， transformed AUC was introduced in the receiver operating characteristic （ROC） space， and the estimation methods were provided under the binormal distribution model and free distribution model， respectively. Then， R statistical software was used to compare and analyze the evaluation performance of transformed AUC index with common evaluation indices such as AUC for non-traditional biomarkers. Finally， a carotid plaque stability prediction model with high-accuracy was built by using transformed AUC to measure the information of biomarkers and stepwise forward regression based on image data provided by Zhejiang Hospital. These research findings illustrate that the AUC value of the carotid plaque stability prediction model is above 0.9， indicating the model can accurately identify the plaque stability and provide more precise reference to clinicians for personalized diagnosis and treatment decisions.

Key words： transformed AUC; forward stepwise regression; plaque stability; biomarker; model selection

0" 引" 言

脑卒中的发生已成为威胁人类生命安全的第二大原因［1］。医学研究表明，20%～30%的脑卒中是由不稳定的颈动脉斑块引起［2］：不稳定的颈动脉斑块会导致颈动脉狭窄或阻塞，使脑部血供减少，进而引起缺血性脑卒中。因此，如何准确有效地评估颈动脉斑块的稳定性，对颈动脉斑块患者实施针对性诊治，已成为医学研究中一个亟待解决的问题。

提取颈动脉斑块的重要生物标志物对于评估斑块稳定性至关重要。随着影像学技术的飞速发展，利用颈动脉斑块的影像数据，使用AUC（Area under curve）、F1分数（F1 score）等常用评估指标度量生物标志物所包含的信息量，已成为提取颈动脉斑块重要生物标志物的主要方法［3］。Saba等［4］利用颈动脉斑块的CT测量值，使用二分类模型和AUC，发现斑块密度变化值是评估颈动脉斑块稳定性的一个重要生物标志物。李杨等［5］利用颈动脉斑块的CTA测量值，使用假设检验和AUC，发现斑块的体积是评估颈动脉斑块稳定性的另一个重要生物标志物。Lu等［6-7］利用颈动脉斑块的MRI测量值，使用logistic回归模型和F1分数，发现颈动脉斑块的形状和位置是评估颈动脉斑块稳定性的重要生物标志物。目前，基于不同的常用评估指标已得到一些重要的颈动脉斑块生物标志物，但在实际应用中，仅仅使用这些重要生物标志物识别颈动脉斑块的稳定性，精度仍比较低。

AUC、F1分数和Cohen′s kappa统计系数等是对ROC曲线（Receiver operating characteristic curve）使用描述性统计分析方法得到的一些评估指标［8-10］。ROC曲线是一个二维图表，它以敏感度和特异性为变量，描述生物标志物在不同决策阈值预测二元疾病结果的操作特征，ROC曲线所在的二维空间可称作ROC空间［11-13］。若ROC曲线完全位于单位正方形内的45°对角线上方，称ROC曲线是有效的［14-15］，此时相应的AUC等评估指标能准确地度量生物标志物所包含的信息量，且能够精确地评估生物标志物的重要性。然而，最近的一些医学病理研究表明，医学统计中常用的AUC等评估指标存在着某些缺陷，无法精确地评估某些生物标志物的重要性。如Bantis等［16］将肺表面活性蛋白B（ProSFTPB）作为肺癌标志物进行了临床病理研究，发现ProSFTPB是肺癌的重要生物标志物；但是该生物标志物的ROC曲线是S型的，在医学统计分析中，其AUC等常用评估指标的值都很低，不能认为是肺癌的重要生物标志物。因此，为了能够准确评估生物标志物的重要性，提高医学分析时的准确性，必须改进目前医学统计中评估生物标志物重要性的方法。

本文首先在ROC空间中提出一种新的评估指标，即变换AUC（Transformed AUC），并提出其在双正态分布模型和自由分布模型下的两种估计方法；然后，利用R软件对变换AUC在实际应用中的性能与AUC等常用的评估指标进行对比分析；最后，利用ITK-SNAP软件对浙江医院提供的颈动脉斑块的MRI影像数据进行分割和特征提取，使用变换AUC度量颈动脉斑块的生物标志物所包含的信息量，筛选出重要生物标志物，并结合向前逐步回归，建立评估颈动脉斑块稳定性的最优模型。本文提出的新指标和筛选模型的新方法能够有效应用于实际决策者筛选重要生物标志物，且能够提高医学分析时的准确性。

1" 变换AUC及估计

1.1" 变换AUC

在医学统计研究领域，一般生物标志物分为传统生物标志物和非传统生物标志物。假设X0=［X|D=0］和X1=［X|D=1］分别是患病和健康受试者的生物标志物的连续测试值，它们的密度函数分别为f（x）和g（x）。此生物标志物患病总体和健康总体之间的密度函数曲线和ROC曲线存在两种情况，示例分别如图1和图2所示。在生物标志物的统计分析中，常把具有有效ROC曲线的生物标志物称为传统的生物标志物，而不满足此条件的称为非传统生物标志物。使用AUC以及一些常用的评估指标通常不能有效地度量非传统生物标志物的信息量。例如，图1中的非传统生物标志物具有很高的信息量，是一个重要的生物标志物；但是它的ROC曲线不是有效的，对应的AUC值接近于0.5，因此在医学统计分析时，不能认为该生物标志物是重要生物标志物。

本文针对非传统生物标志物ROC曲线的特征，提出了变换ROC曲线（Transformed receiver operating characteristic curve， TROC）和变换AUC。假设X0和X1的分布函数分别为F（x）和G（x），令u=F（x）或u=G（x），对任意的u∈（0，1），称曲线

TROC（u）=G（F-1（u）），F-1（u）≥G-1（u）；

F（G-1（u）），F-1（u）lt;G-1（u）

为变换ROC曲线；称变换的ROC曲线与坐标轴所围的面积为变换AUC，记为A1。

显然，当F（x）没有下穿G（x）时，变化的ROC曲线与原始的ROC曲线形状相同，呈现凹形，此时生物标志物的变换AUC值等于AUC值。当F（x）下穿G（x）时，原始ROC曲线通常与单位正方形中的45°对角线存在多个交点。此时将45°线下方的ROC曲线部分对称翻转到45°线上方，得到变换ROC曲线。计算可知，生物标志物的变换AUC值大于AUC值。因此，变换AUC可认为是改进的AUC。

对于任意的连续递增非负有界函数ψ（x），有如下的非单调变换

h（x）=ψ（x），F（x）≤G（x）；

-ψ（x），F（x）gt;G（x）（1）

可以使生物标志物的变换AUC的值等于对它实施了非单调变换后的AUC的值，即A1=P（h（X0）gt;h（X1）），本文称此非单调变换为H变换。

1.2" 双正态分布模型下的变换AUC参数估计

在医学生物标志物的诊断识别中，很多生物标志物是连续且服从双正态分布的。为了使变换AUC能更好地应用于医学中重要生物标志物的识别，本文首先提出了一种在双正态分布模型下的变换AUC参数估计。

假设某一生物标志物在患病受试者中的测试值X0～N（μ0，σ20），在健康受试者中的测试值X1～N（μ1，σ21）。此生物标志物的变换AUC计算公式可表示为：

A1=∫x0-∞Φx-μ1σ1dΦx-μ0σ0+∫∞x0Φx-μ0σ0dΦx-μ1σ1，σ0lt;σ1；

∫x0-∞Φx-μ0σ0dΦx-μ1σ1+∫∞x0Φx-μ1σ1dΦx-μ0σ0，σ0gt;σ1；

1-Φμ1-μ0σ20+σ21，σ0=σ1，μ0gt;μ1；

Φμ1-μ0σ20+σ21，σ0=σ1，μ0≤μ1（2）

其中：x0=（σ0μ1-σ1μ0）/（σ0-σ1）为分布函数F（x）和G（x）的交点，Φ（·）为标准正态分布函数。

假设X01，…，X0m是来自于总体X0样本容量为m的样本；X11，…，X1n是来自于总体X1样本容量为n的样本。令μ^0=m-1∑mi=1X0i，μ^1=n-1∑nj=1X1j，σ^20=m-1∑mi=1（X0i-μ^0）2，σ^21=n-1∑nj=1（X1j-μ^1）2。本文采用 x^0=（σ^0 μ^1-σ^1 μ^0）/（σ^0-σ^1）来估计分布函数F（x）和G（x）的交点x0，构建双正态分布总体下变换AUC A1的估计值A^1：

A^1=∫x^0-∞Φx-μ^1σ^1dΦx-μ^0σ^0+∫∞x^0Φx-μ^0σ^0dΦx-μ^1σ^1，σ^0lt;σ^1；

∫x^0-∞Φx-μ^0σ^0dΦx-μ^1σ^1+∫∞x^0Φx-μ^1σ^1dΦx-μ^0σ^0，σ^0gt;σ^1；

1-Φμ^1-μ^0σ^20+σ^21，σ^0=σ^1，μ^0gt;μ^1；

Φμ^1-μ^0σ^20+σ^21，σ^0=σ^1，μ^0≤μ^1（3）

因为μ^0、μ^1、σ^20、σ^21为μ0、μ1、σ20、σ21的极大似然估计，具有渐近相合正态性，而A1是μ0、μ1、σ0、σ1的连续可微函数，因此A^1是A1的极大似然估计，也具有较高的估计效率。

1.3" 自由分布模型下变换AUC的非参数估计

考虑到在实际应用中，也存在着连续但并不服从双正态分布的生物标志物。因此，本文还提供了自由分布模型下基于H变换的变换AUC非参数估计。满足H变换条件的函数有很多，本文选取了一个特殊的H变换函数，即：

h（x）=2Φ（x-μ0）I{F（x）≤G（x）}-Φ（x-μ0）（4）

其中：I{·}为示性函数，E［X0］=μ0。

假设某一生物标志物在患病受试者中的测试值为X0，在健康受试者中的测试值为X1。X01，…，X0m是来自患病总体X0样本容量为m的一个简单随机样本；X11，…，X1n来自健康总体X1样本容量为n的一个简单随机样本。令

Fm（x）=m-1∑mi=1I（X0i≤x），

Gn（x）=n-1∑nj=1I（X1j≤x）（5）

构建H变换h的非参数估计：

h^（x）=2Φx-μ^0I{Fm（x）≤Gn（x）}-Φx-μ^0（6）

变换AUC的非参数估计为：

A^*=（mn）-1∑mi=1∑nj=1Ih^（X0i）gt;h^（X1j）（7）

由大样本理论可知，当样本量m、n足够大时，A^*也具有相合渐近正态性，估计效率同样较高。

2" 变换AUC评估性能的仿真分析

为了说明本文所提供的变换AUC能够准确地度量生物标志物所包含的信息量，本文设计了两个仿真实验，对比分析了变换AUC与医学生物统计中常用的生物标志物评估指标AUC、F1分数以及Cohen’s kappa统计系数在评估方面的性能。

第一个仿真实验假设生物标志物服从正态分布，选取患病受试者生物标志物的测试值X0～N（2，102），健康受试者生物标志物的测试值X1～N（2.3，52）。假设X01，…，X0m是来自患病总体X0样本容量为m的一个简单随机样本；X11，…，X1n来自健康总体X1样本容量为n的一个简单随机样本。设定样本容量（m，n）=（50，50），（100，100），（200，200），（500，500），（520，500），（800，800），（830，800）。变换AUC的值使用式（3）估计，采用经典的参数估计方法估计AUC的值，采用常用的计算方法计算F1分数和Cohen′s kappa统计系数的值。在不同样本数量下均重复计算10000次，将计算结果的均值作为各指标值，实验结果如表1所示。

变换AUC和AUC的取值范围在0到1之间，取值越接近0.5，表示其评估性能越差；F1分数的取值范围在0到1之间，取值越接近1，表示其评估性能越好；Cohen′s kappa统计系数的取值在-1到1之间，取值越大，表示其评估性能越好。根据表1的实验结果发现：用AUC、F1分数以及Cohen′s kappa统计系数评估该生物标志物的识别能力，得到的结果都是低识别能力生物标志物；而变换AUC的估计值大于0.6，说明该生物标志物具有一定的识别能力。显然这是一个非传统的生物标志物，因此，相较于AUC等常用的评估指标，变换AUC能更准确地度量非传统的生物标志物所包含的信息量，使用AUC等常用的评估指标筛选生物标志物时，该生物标志物极有可能被遗漏。

第一个仿真实验的结果表明，在双正态总体模型下，变换AUC比AUC等常用的指标有更准确的评估能力。第二次仿真实验对非双正态总体模型下的变换AUC的评估性能进行分析。选取患病受试者生物标志物的测试值X0～N（2，42），健康受试者生物标志物的测试值X1～F（4，2）。假设X01，…，X0m是来自患病总体X0样本容量为m的一个简单随机样本；X11，…，X1n来自健康总体X1样本容量为n的一个简单随机样本。设定样本容量（m，n）=（50，50），（100，100），（200，200），（500，500），（520，500），（1000，1000），（1000，1200）。使用式（7）估计变换AUC的值，采用经典的非参数估计方法估计AUC的值。不同样本数量下均进行10000次重复计算，将计算结果的均值作为各指标值，实验结果如表2所示。

根据表2同样可以发现，相较于AUC等常用的评估指标，变换AUC能够更准确地度量非传统的生物标志物所包含的信息量。从这两个仿真实验结果可以发现，在实际应用中使用本文所提出的变换AUC评估生物标志物，可以防止重要生物标志物被遗漏。

3" 颈动脉斑块稳定性评估的logistic回归模型

3.1" MRI影像数据提取

本文使用的颈动脉斑块MRI影像数据由浙江医院提供。首先采用ITK-SNAP软件读取原始MRI影像数据，并进行图像分割处理；图像分割时，由于颈动脉斑块同周围组织的灰度相近，本文使用ITK-SNAP框选ROI（Region of interest），通过调整阈值屏蔽灰度值过高或过低的部分，再在符合选定阈值范围内的区域添加参考点。然后，使用ITK-SNAP自动选择与参考点相连并且灰度相近的组织进行标注，在完成自动标注后，对有明显斑块的区域进行手动勾画，去掉明显没有斑块的部分。手动选取ROI及勾画的过程在临床医师的指导下进行，并经过检验与确认。图像ROI的选取及标注示例图像如图3所示。

颈动脉斑块MRI影像标注完成以后，本文利用Python中的PyRadiomics库对标注区域进行特征数据提取，共提取了107个生物标志物，包括三维形状特征（Shape-based）、一阶统计量（First-order statistics）、灰度共生矩阵（Gray-level co-ocurrence matrix）、灰度游程矩阵（Gray-level run-length matrix）、灰度区域大小矩阵（Gray-level size-zone matrix）、灰阶相关矩阵（Gray-level dependence matrix）和邻域灰阶差分矩阵（Neighboring gray tone difference matrix），使用F1，…，F107表示；然后根据病患的病历信息，给每一个颈动脉斑块MRI影像添加了标签，其中稳定的颈动脉斑块影像用D=1表示，不稳定用D=0表示。共采集样本141个，其中：斑块稳定的有35个样本，不稳定的有106个样本。

3.2" MRI影像特征的描述性统计分析

为了有效地提取颈动脉斑块稳定性的重要生物标志物，本文首先对每个生物标志物按类进行了描述性统计分析，主要包括计算各类生物标志物的均值、标准差和偏度，同时进行Shapiro-Wilk正态性检验，部分生物标志物的计算结果如表3所示。根据计算结果把生物标志物分为三类，分别是：第一类为类均值、方差具有较大的差异性且服从双正态分布，第二类为类均值、方差的差异性较小且服从双正态分布，第三类为不服从双正态分布。对第一类生物标志物，例如F6等生物标志物，使用变换AUC度量这些生物标志物的信息量时，本文建议使用双正态分布模型下变换AUC的估计方法；对第二类生物标志物，例如F2等生物标志物，这些生物标志物在进行初筛时应该去掉；对第三类生物标志物，例如F5、F8等生物标志物，建议使用自由分布模型下变换AUC的估计方法估计这些生物标志物的变换AUC值。

3.3 "基于变换AUC的重要生物标志物的筛选

基于描述性统计分析，对具有区分能力的生物标志物，本文分别用AUC、F1分数、Cohen′s kappa统计系数以及变换AUC评估它们的识别能力，部分结果如表4所示。从表4中可以看出，F3、F85等生物标志物的变换AUC值和AUC值有明显不同，且F1分数均在0附近，Cohen′s kappa统计系数都接近-1，若使用AUC等常用的评估指标来度量这些生物标志物的信息量，则这些生物标志物可能会被漏选；而这些生物标志物的变换AUC值显著大于0.65，表明变换AUC能较好地度量这些生物标志物的信息量，可避免医学筛选时重要生物标志物被错失。因此，本文建议在一般的医学筛选生物标志物时，使用变换AUC评估生物标志物的信息量。

3.4" 颈动脉稳定性预测模型的构建

本文根据变换AUC建立一个高精度的颈动脉斑块稳定性预测模型，为了进一步说明在医学诊断识别中使用变换AUC的优势，本文还建立了基于AUC的颈动脉斑块稳定性预测模型，并进行了对比分析。

本文分别使用AUC和变换AUC度量生物标志的信息量，筛选出一些重要的生物标志物，建立变量池。具体过程如下：a）把AUC值大于0.6的生物标志物放入变量池Ⅰ，共51个生物标志物；b）筛选出变换AUC值大于0.6的生物标志物放入变量池Ⅱ，共105个生物标志物。

为了快速找到基于AUC的最优颈动脉斑块稳定性预测模型，本文将选用变量池Ⅰ，使用向前逐步回归筛选模型的方法，并使用AIC（Akaike information criterion）值、AUC值度量模型偏差值，以说明预测模型的精度。具体的建模过程如表5所示。

对于变量池Ⅱ中的生物标志物F，若其变换AUC值显著大于AUC值，则对它按式（4）进行H变换，变换后的生物标志物用HF表示，将变换后的变量池Ⅱ记为变量池Ⅲ。为了快速找到基于变换AUC的最优颈动脉稳定性预测模型，本文使用变量池Ⅲ，采用了向前逐步回归筛选模型的方法，并使用AIC（Akaike Information Criterion）值、AUC值度量模型的精度。具体的建模过程如表6所示。

由表5和表6发现，基于变换AUC的最优颈动脉斑块稳定性预测模型的精度显著高于基于AUC的最优颈动脉斑块稳定性预测模型，最重要的原因是：a）变量池Ⅱ中包含的有识别能力的生物标志物显著多于变量池Ⅰ，使用变换AUC评估生物标志物的识别能力能有效地防止重要生物标志物的遗漏；b）本文建议的非单调H变换能提高某些非传统的生物标志物的识别能力。因此，在实际应用中，基于变换AUC评估生物标志物的识别能力，对原始生物标志物进行非单调H变换，能提高医学诊断模型的精度。

4" 结" 论

为了准确评估颈动脉斑块的稳定性，本文在ROC空间提出了变换AUC及其在双正态模型下的参数估计方法和自由分布模型下的非参数估计方法，有效解决了常用的AUC、F1分数和Cohen′s kappa统计系数等评估指标不能准确度量非传统生物标志物的信息量的问题。实验研究表明，变换AUC能很好地度量非传统生物标志物的信息量，其值均在0.6以上，可以有效防止重要生物标志物的遗漏。此外，基于变换AUC建立的医学诊断预测模型，模型的AUC值达到了0.9以上，相较于传统的模型筛选方法，具有更高的精度。

本文提出了高精度颈动脉斑块稳定性预测模型及其应用过程，然而，对于变换AUC的估计问题，本文只提供了双正态模型下的参数估计方法和自由分布模型下的非参数估计方法，且这两种估计方法的准确性和可靠性尚未进行系统研究。此外，关于是否存在更有效的估计方法仍需进一步研究。

参考文献：

［1］Micari A， Nerla R， Vadal G， et al. 2-year results of paclitaxel-coated balloons for long femoropopliteal artery disease： Evidence from the SFA-long study［J］. JACC Cardiovascular Interventions， 2017， 10（7）： 728-734.

［2］Schmidt A， Piorkowski M， Grner H， et al. Drug-coated balloons for complex femoropopliteal lesions： 2-year results of a real-world registry［J］. JACC： Cardiovascular Interventions， 2016， 9（7）： 715-724.

［3］王雪利， 崔志新， 吕文君， 等. 颈动脉斑块的无创影像评价方法的研究进展［J］. 承德医学院学报， 2021， 38（2）： 157-162.

［4］Saba L， Francone M， Bassareo P P， et al. CT attenuation analysis of carotid intraplaque hemorrhage［J］. AJNR American Journal of Neuroradiology， 2018， 39（1）： 131-137.

［5］李杨， 查云飞. CTA评价颈动脉斑块成分及体积与脑血管症状相关性［J］. CT理论与应用研究， 2016， 25（5）： 601-607.

［6］Lu M M， Cui Y Y， Peng P， et al. Shape and location of carotid atherosclerotic plaque and intraplaque hemorrhage： A high-resolution magnetic resonance imaging study［J］. Journal of Atherosclerosis and Thrombosis， 2019， 26（8）： 720-727.

［7］Lu M M， Yuan F， Zhang L C， et al. Segment-specific progression of carotid artery atherosclerosis： A magnetic resonance vessel wall imaging study［J］. Neuroradiology， 2020， 62（2）： 211-220.

［8］Fawcett T. An introduction to ROC analysis［J］. Pattern Recognition Letters， 2006， 27（8）： 861-874.

［9］余昊，赵超群，杨建萍.基于密度比模型的pAUC半参数估计方法及其应用［J/OL］.（2023-03-01）［2023-11-21］.http：∥kns.cnki.net/kcms/detail/33.1338.TS.20230331.0921.009.html.

［10］赵超群，余昊，杨建萍.正态总体决策曲线参数估计方法及其应用［J］.浙江理工大学学报（自然科学）， 2023，49（3）：379-387.

［11］王彦光， 朱鸿斌， 徐维超. ROC曲线及其分析方法综述［J］. 广东工业大学学报， 2021， 38（1）： 46-53.

［12］王曼， 徐春燕， 施学忠. 医学论文中ROC曲线应用错误例析［J］. 编辑学报， 2019， 31（2）： 159-161.

［13］何小梅， 王林晓. Logistic 模型和ROC曲线对替加环素致凝血异常的预测分析［J］. 中南药学， 2020， 18（9）： 1577-1580.

［14］Zhou X H， Obuchowski N A， McClish D K. Statistical Methods in Diagnostic Medicine［M］. Hoboken： John Wiley amp; Sons， 2009：261-296.

［15］Zou K， Liu A， Bandos A， Ohno-Machado L， Rockette H. Statistical Evaluation of Diagnostic Performance： Topics in ROC Analysis［M］. Boca Raton： CRC Press， 2012：6-14.

［16］Bantis L E， Tsimikas J V， Chambers G R， et al. The length of the receiver operating characteristic curve and the two cutoff Youden index within a robust framework for discovery， evaluation， and cutoff estimation in biomarker studies involving improper receiver operating characteristic curves［J］. Statistics in Medicine， 2021， 40（7）： 1767-1789.

（责任编辑：康" 锋）