基于组合模型的股票停牌预测研究

2020-09-15 04:48孙夫雄刘光明曾子轩彭梦琪
计算机工程与应用 2020年18期
关键词:准确率预测特征

孙夫雄,刘光明,曾子轩,彭梦琪

中南财经政法大学 信息与安全工程学院,武汉 430074

1 引言

在金融市场中,股票停牌制度是为了加强信息披露、解决信息不对称问题,对证券价格进行重新评估从而调整交易策略而进行的强制中断证券市场交易的过程。它是一种重要的市场稳定机制,可以提高市场透明度、保护投资者权益,也可以抑制股票的异常波动、维护证券交易秩序。但是中国股票市场的停牌存在着次数过多、时间过长等问题,导致停牌制度不仅没有实现监管层稳定市场运行、提高市场效率的目标,甚至还会产生供需偏差放大的问题,这就加大了股价的波动,并且降低了价格发现效率。

2015 年的 615 股灾期间,在6月 15 日至8月 26 日的两个月时间内,超过千家上市公司以“筹划重大事项”或其相关的理由申请股票停牌,以躲避股价暴跌,停牌比例超过了所有A股上市公司50%。另外,中国股市还存在着过长时间停牌的问题,然而强制性复牌政策措施十分有限。例如万方发展(000638)在2004 年停牌,直到2009年才复牌,停牌时间长达5年之久;2006年10月20日起,S延边路开启了长达三年半时间的停牌。这种随意、长期的停牌不仅给投资者利益带来巨大的损害,也影响着股市的秩序和稳定,同时还会给监管层的工作带来严峻的挑战。

中国股市上的乱停牌、长时间停牌等现象已经引起了金融从业者、学者、监管层等各个方面的关注,并就中国股市停牌方面存在的一些问题进行了一系列的研究。现有的研究着重关注的是停牌股票的估值问题、中国股票市场停牌有效性、上市公司停牌避险事件研究、停牌制度实施效果等方面,从这些研究中不难看出大多都是针对停牌事件之后的一些问题所展开的,基本上没有关于股票停牌事前预测方面的研究。

本文针对该问题,研究股票停牌预测的组合模型,并选取部分上市公司作为实证对象,对模型进行训练和测试,提高模型预测效果,从而为投资者理性决策和监管层制定合理的措施提供理论上的参考。

2 相关研究

目前,国内外学者将机器学习和深度学习的方法运用到了股票市场、并购预测等金融领域,取得了卓有成效的研究成果,而股票停牌的研究主要集中在停牌制度的实施效果和对股市的影响等方面,缺乏对股票停牌预测方面的研究。

在股价预测方面,国外学者Chou等[1]提出一个智能时间序列预测系统,使用滑动窗口启发式优化来预测台湾建筑公司的股价。学者Heo[2]基于财务报表,通过从公司内在价值预测股价的基本分析,对支持向量机(SVM)的股价预测能力进行了评价,并对股票的涨跌进行了预测,将SVM 结果与专家预测、神经网络、决策树和AdaBoost 等机器学习方法进行比较,发现SVM 表现出良好的预测能力。申浩男[3]引入BP 神经网络模型建立收盘价的预测模型,比较了LARCH模型和BP神经网络模型的预测效果。

在风险预测方面,特别是关于信用风险的预测方面采用了不同的方法,Zhu 等[4]提出了一种新的集成机器学习(ML)方法,即RS-RAB(Random Subspace-Real AdaBoost),用于预测我国中小企业在供应链金融中的信用风险;Zhao等[5]利用最小二乘支持向量机(LSSVM)来预测系统性金融风险。

在并购预测方面,袁丹蕾[6]基于并购动因基本理论,对并购动机进行了分析,并用单因素方差分析法选取了9个指标纳入预测模型的输入变量,运用神经网络中的BP神经网络算法构建预测模型对样本进行了训练和检验,并与传统的Logit预测模型的结果进行了对比;李阳[7]将沪深两市“ST”(特别处理)上市公司选为研究样本,构建“ST”公司被并购潜力预测模型,基于此模型预测未来年度被并购潜力最大的“ST”公司。

在股票停牌问题,国内学者关注的重点主要是停牌制度的实施效果和对股市的影响等。廖静池、王博、金丹灵等人则对股票停复牌制度的实施效果进行了研究,分别采用了多元回归分析、极端事件统计分析和计算实验等方法[8-10],黄维选取了我国A股市场2005年至2008年上市公司长期停牌的样本数据,并利用事件研究法和超额收益法等实证研究方法对停牌时间长短的影响因素及其带来的市场反应进行了研究;李哲则是在研究中指出了停复牌制度运行实践中暴露出来的问题及缺陷等[11]。

鉴于机器学习方法在股票市场、并购预测等金融领域应用的卓越研究,本文以随机森林模型为基础,研究构建股票停牌预测的组合投票模型。

3 相关理论基础

3.1 停牌理论分析

股票停牌制度的目的主要是减少信息的非对称性对不同投资者带来的不同影响,当一项重要信息出现并可能对股价有重大影响时,股票停牌可制造出一段缓冲期使投资者有足够的时间根据信息反馈对股票价格进行重新评估,并重新调整自己的投资策略使其符合预期。造成股票停牌的可能因素很多,包括但不限于股市异常波动、财务问题、并购活动等。

在众多因素中,股市异常波动、财务状况往往是触发股票停牌的主要诱因。当上市公司股票交易发生异常波动时,为告知交易者该上市公司内部异常状况,需要强制中断股票交易,从而警示投资者更改投资策略或督促出现问题的上市公司予以及时地改进。而财务信息反映了一个公司本身的经营状况和业绩,特别是重大财务信息的变动,在一定程度上会影响到市场各方对该股票的反应,进而可能会对股价产生影响,为避免市场波动而中断股票交易。

股票每日的交易信息:最高价、最低价、平均交易量、均价、收益率这5项指标变化反映了股价的波动,而财务信息来自每个季度公开的财务报表,共有80 余个指标,包括每股收益、每股净资产、总资产报酬率、销售净利率、资产负债率、权益乘数、流动比率、营业周期、存货周转率、应收账款周转率、总资产周转率、营业收入(同比增长率)等,各个指标从不同的侧面反映了公司财务状况,比如:

3.1.1 盈利能力

所谓盈利能力是指企业在一定时期内,利用各种经济资源来获取经济利益的能力,是各部门生产经营情况的一种综合体现。一方面,盈利能力是企业在某一时期销售水平的体现,同时也展现了该企业获取现金和降低成本的能力,另一方面,盈利能力也是企业资产运营效益的反映,反映了企业获取收益,规避风险的能力。因此,盈利能力的大小与企业经营状况的好坏相关联。

3.1.2 营运能力

营运能力揭示了企业资金运营周转的情况,反映了企业对经济资源管理、运用效率的高低。企业资产周转越快,流动性越高,企业的偿债能力越强,资产获取利润的速度就越快。

营运能力分析有助于判断企业财务的安全性、资本的保全程度以及资产实现收益的能力,这直接关系到企业的财务和经营状况

3.1.3 偿债能力

企业的偿债能力是指企业偿还到期债务的能力,是否能够及时偿还到期债务,标志着企业财务状况的好坏。通过对偿债能力的分析,可以考察企业持续经营的能力和风险,能够总结和评价公司长、短期内能否用其现有资产偿还债券,或者用以判断企业举债经营的安全程度,有助于对企业未来收益进行预测。企业偿债能力越低,越容易陷入财务困境,因此企业的偿债能力对企业财务状况的预测具有很强的解释力。

3.1.4 现金流量能力

企业的现金流状况反映了企业的盈利质量,收付实现制核算标准下的现金流状况是对企业现金收入和支出更加真实的反映,因此相比利润来说,其更加真实地衡量企业盈利质量的高低。

本文从公开的数据源采集各个上市公司的股价、财务信息,基于机器学习的原理研究股票停牌的分类系统。

3.2 随机森林模型

实现分类的技术很多,比如支持向量机(SVM)、决策树等,而随机森林具有表现性能好、能处理高维度数据(即很多特征的数据)等方面的优势,本文正是基于数据集的特征较多、类别分布不均衡而选择了随机森林。

随机森林(RandomForests)算法是由 Breiman 于2001[12]年提出来的,它是一个树形分类器的集合,其中元分类器{h(x,θk),k=1,2,…} 是使用 CART 算法来构建的未剪枝的分类回归树[13],x是输入向量,θk是独立同分布的随机向量,森林的输出结果采用投票法得到,票数最高类别即为输出结果[14],即:

式中,H(x)为组合分类模型;hi为决策分类模型;Y为输出变量(目标变量);I(hi(x)=Y)为示性函数。

在机器学习中,泛化误差(预测误差)是用于算法性能度量的最常用指标,泛化误差越小,表明算法性能越好。在随机森林中,误分率是由边缘函数(margin function)决定的,边缘函数表示的是平均正确分类数超过平均错误分类数的程度,定义边缘函数(mg(X,Y))为:

式中,avk为取平均;I(hk(x)=Y)为示性函数;Y表示为正确分类的向量;j为错误分类的向量。

则模型的泛化误差(PE*)可定义为:

式中,P为概率;X、Y为概率覆盖的空间;mg(X,Y)为边缘函数。

随机森林中决策树个数足够时,hk(x)=h(x,θk)满足大数定律,和合边缘函数相结合可得泛化误差收敛于:

式中,n为森林个数,泛化误差会随着决策树个数的增加而趋于某一个有限上界,因此随机森林有着良好的扩展性和防过拟合能力。

为了防止模型过拟合和降低模型的泛化误差,需要通过指标重要性计算来进行特征选择。指标重要性可以用基尼指数(Gini index)或者袋外数据(OOB)错误率作为评价指标来衡量[15]。这里主要介绍用基尼指数来评价的方法,用VIM 表示变量重要性评分,用GI 表示Gini 指数,假设共有v个特征X1,X2,…,Xv,首先计算Gini指数,计算公式为:

其中,K表示K个类别,pmk表示节点m中类别k所占的比例。特征Xj在节点m的重要性,即节点m分支前后的Gini指数变化量为:

其中,GIl和GIr分别表示分之后两个新节点的Gini 指数。如果特征Xj在决策树i中出现的节点在结合M中,那么Xj在第i棵树的重要性为:

假设随机森林(RF)中共有n棵树,那么:

最后,通过归一化处理得到特征Xj的重要性评分:

3.3 组合投票

对分类任务来说,学习器ht将从类别标记集合c1,c2,…,cN中预测出一个标记,最常见的结合策略是使用投票法,投票法则有三种方法:绝对投票法、相对投票法和加权投票法。用(x)表示ht在类别标记cj上的输出,并假设基学习器的数量为T。

对绝对多数投票法则来说,选择票数超过一半的类别即为组合模型的最终预测结果,即假设有超过一半的基学习器都预测了类别j,那么此时组合后的学习器给出的预测结果就是j。则有:

相对多数投票法就是选择票数最多的类别,如果出现最多票数的类别个数不止一个的情况,则在其中随机选择一个,投票规则如下:

在上述两种投票法则中,没有考虑各个分类器的重要性,即假设所有分类器的权重相等,在加权多数投票法则中,赋予各个分类器不同的权重wt,再按照相对多数的思想进行投票,其决策规则如下:

4 组合模型预测建模

4.1 模型设计

股票停牌预测系统主要包括三个步骤,首先通过数据预处理从原始数据中选取特征,形成数据集;然后完成多个分类子模型的学习;最后,随机抽取多个子模型进行投票组合,得到最终的预测结果,预测系统总体框架如图1。

图1中原始数据来自上市公司的股价和财务信息,预处理包括从原始数据中选择特征,并通过缺失值处理、归一化等形成数据集X={x1,x2,…,xn,y} ,其中n是数据规模,y是类别标签向量,模式是第i个多维特征向量,其中m是向量维度即特征个数,yi为标签;特征组合通过计算指标重要性VIM进行筛选,将m个特征划分为k个特征子集A1,A2,…,Ak,进而形成k个训练子集,其中i=1,2,…,k,第i个子集中第j个模式:,其中h维向量 (h≤m),即是xi降维后的模式;在此基础上,完成k个子模型M1,M2,…,Mk的学习,形成子模型池;最后预测阶段,从子模型池中抽取l(l≤k)个模型,并通过绝对多数投票法得到最终的预测结果。

4.2 数据预处理

数据预处理包括特征选择和归一化处理。其中股价信息包括每个交易日的收益率、最高价、最低价等指标,通过设置滑动时间窗口Δt统计股价波动趋势,设收盘价pΔt=[p1,p2,…,pl],其中pi表示股票在 Δt内第i天的收盘价,计算其最高价g1=max(pΔt),最低价g2=,收益率为 Δt内最后一天的收盘价与第一天收盘价的差除以第一天的收盘价,即g4=(pl-p1)/p1,平均换手率内每天的换手率/Δt,以这5个指标组成股价波动集合G=(g1,g2,g3,g4,g5)。

财务分析中共有80 余个指标,为了剔除指标的重复性和指标之间的相互影响,选择其中45 个财务指标C=(c1,c2,…,cn)且n=45。通过设置的滑动时间窗口Δt统计财务状况波动趋势,即计算Δt内各个指标的均值。集合G和C合并形成数据集X={G,C}。

数据的归一化是为了消除指标之间量纲的影响,使各指标处于同一数量级,常见的方法有min-max标准化和Z-score标准化方法,本文采用Z-score 标准化方法,经过处理的数据符合正态分布,转化函数为:

其中,μ表示所有样本数据的均值,σ表示所有样本数据的标准差。

模型训练采用监督学习方式,数据x的标签y∈{0,1},其中0类代表未停牌,1类代表停牌,当x的下一个时间窗口Δt内无股票交易则y=1,否则y=0。原始数据经过特征选择和归一化处理后形成数据集X≤{x1,x2,…,xn,y} 且n=50,其中股价数据G={x1,x2,x3,x4,x5} ,财务数据C={x6,x7,…,x50} 。

4.3 特征组合

过多的特征指标会造成维度灾难问题,如数据采集、模型训练和测试都需要承担很高的代价,这也会引起训练数据的稀疏化,从而导致分类器的分类效果变差,本文研究通过特征重要性计算来进行特征选择和组合[16],降低模型复杂度。

首先,将数据集X全部纳入模型中训练,计算特征重要性评分VIM并进行排序,筛选出其值大于均值的n个指标,即对 1 ≤∀i≤n,特征Xi的指标重要性评分VIMi >1/n。由于财务的指标比较多且可能存在冗余,仅考虑财务指标重要性评分排序,筛选其值大于均值的m个财务指标,即对 1 ≤∀j≤m,财务特征cj的指标重要性评分VIMj >1/m。在上述指标筛选的基础上,对特征进行组合即降维处理,从而形成k个特征子集,即A1,A2,…,Ak,进而得到k个训练子集,其中i=1,2,…,k。同样,得到k个测试子集,其中t=1,2,…,k表示第t个子集。

4.4 子模块训练及预测

随机森林模型参数θ={n,h,s} ,训练过程中需要不断调整θ以达到较佳的预测效果。

(1)n为弱学习器的最大迭代次数,一般来说其值太小,会出现欠拟合和分类准确率低的不良效果,但是若选择过大,花费的时间代价大,得到的模型性能无法达到最优,并且当n达到某一个数值之后,分类准确率也不会有明显的提升了。

(2)h为决策树最大深度,当数据少或者特征少的时候不用设置。当样本量多,特征也多的情况下,需要设置最大深度以提高模型效率,一般取值10~100。

图1 停牌预测模型

(3)s为内部节点再划分所需最小样本数,用来对子树继续划分进行限制,如果某节点的样本数少于该值,则不会继续再尝试选择最优特征来进行划分,一般取值10~110。

基于k个子训练集Xi分别对k个模型进行训练,通过网格化搜索算法对参数θ=(θ1,θ2,…,θk)进行调优,其过程为先给参数设定一组候选值[a,b],然后通过网格化搜索遍历参数候选值,最后根据模型得分确定最优参数。对模型评分的方法采用了K-折交叉验证,将训练样本随机地划分成K份子集,然后从中任意选取一份作为验证集,其余的K-1 份全部作为训练集,进行分类预测并验证,重复这个过程进行K次调换训练集与验证集,最终验证分类器的分类效果[17]。通过上述调优过程,得到了最优参数,得到了k个子模型M1,M2,…,Mk。

从模型池中随机抽取l个模型,分别对Xt中的对应集中测试样本进行预测,通过简单多数投票规则进行组合,得到最终的预测结果。假设l个分类器的输出形式为yi(x),i=1,2,…,k若第h个分类器标记x为停牌类,则yh(x)=1,否则yh(x)=0。最终决策为:

5 实验及分析

5.1 实验数据

从国泰安数据库中选取了1 053家上市公司为研究对象,时间区间是2015年12月至2017年8月,采集的财务数据共21 060条,股票数据共332 748条,其中财务数据来源于巨灵金融数据库,股票历史行情数据来源于网易财经网。考虑到我国市场上股票停牌的特殊性和复杂性,本文主要针对的是停牌时长超过一个月的较长期性停牌事件,暂不考虑频繁发生的短期性停牌。设置Δt为一个月,特征选择和归一化处理后,共计20 420条数据记录,每一条记录包括45 个财务指标、5 个股票指标及标签。

5.2 实验结果及分析

5.2.1 特征组合

针对50个特征进行VIM计算,如图2(a)所示,VIM大于均值(1/50=0.02)的共有14 个特征;45 个财务特征进行了VIM计算,结果见图2(b),高于均值(1/45=0.022 2)的财务特征共有15个。

图2(a)中14个特征包括{最高价x1,最低价x2,平均换手率x3,均价x4,收益率x5,每股净资产x7,流动资产比率x21,息税折旧摊销前利润/负债合计x31,营业周期x34,存货周转率x35,应收账款周转率x36,流动资产周转率x37,固定资产周转率x38,总资产周转率x39}。图2(b)中15 个特征包括{每股净资产x7,总资产报酬率x9,销售期间费用率x15,经营活动产生的现金流量净额/营业收入x18,流动负债/负债合计x23,经营活动产生的现金流量净额/负债合计x29,已获利息倍数x30,息税折旧摊销前利润/负债合计x31,营业周期x34,存货周转率x35,应收账款周转率x36,流动资产周转率x37,固定资产周转率x38,营业收入(同比增长率)x44,营业利润(同比增长率)x45}。

图2 特征重要性度量

根据各特征的VIM 计算,对特征进行组合形成多个子训练集,一方面降低模型复杂度,另一方面增加模型分类的多样性,比如特征组合{x1,x2,x3,x4,x5}侧重学习股票历史交易数据中的相关隐含信息,进而提高组合模型的预测精度,实验中测试了以下7个子训练集:

5.2.2 训练阶段

训练过程中通过网格化搜索算法不断调整模型参数θ,以达到较佳的预测效果。

当n=10~110 时,模型M1~M7 的平均测试集分数(即K次交叉验证的平均测试准确率,其值越大代表分类器效果越好)变化如图3所示。以M1为例,n从10变动到100 时,平均测试集分数一直保持着上升的趋势,当n >100 时,平均测试集分数开始下降,因此设置n=100 。同理 M2~M7 的n分别取值为 90、100、100、110、110、90。

图3 不同n 下的平均测试集分数

当h=10~110 时,模型M1~M7 的平均测试集分数变化如图4 所示。以 M1 为例,h从 10 变动到 75 时,平均测试集分数一直保持着上升的趋势,当h >75 时,平均测试集分数有所下降并趋于平稳,因此设置h=75。同理M2~M7的h分别取值为40、15、20、65、40、15。

图4 不同h 下的平均测试集分数

当s=2~11 时,模型M1~M7 的平均测试集分数变化如图5所示。以M1为例,当s <3 时,平均测试集分数直线上升,当s >3 时,平均测试集分数表现出下降的趋势,因此设置s=3。同理M2~M7下的s分别取值为4、2、10、7、3、2。

图5 不同s 下的平均测试集分数

5.2.3 预测阶段

(1)子模型预测实验

从表1可以看出,停牌预测子模型的整体预测效果都比较理想,准确率基本上都达到了82%以上,相比较而言,模型M2的准确率最高,达到了87.47%,但是却存在着最大的漏报率;而M1、M5 和M6 也得到了相对较高的预测准确率,但同时漏报率也比较高,这四个子模型的漏报率都在50%以上;剩下的子模型预测准确率虽有所下降,但漏报率低很多,误报率却有所上升。

表1 子模型预测效果 %

为了更直观地对各模型预测效果进行对比,这里引入ROC 曲线和AUC 两个评价指标,一般AUC 值在0.5和1.0 之间,且越接近于1,说明分类效果越好。上述7个模型的ROC曲线如图6所示,将其中误报率和漏报率较接近的4个模型M1、M2、M5和M6放在一起(图6(a)),将另外三个模型M3、M4、M7放在一起(图6(b))。图6(a)中,模型M1的ROC曲线比较靠左上方,且其AUC值为0.848 8,高于其他三个模型,图6(b)中,模型M4的ROC曲线整体较为靠左上方,且AUC值为0.822 6,高于另外两个模型。

图6 ROC曲线

(2)组合模型预测

基于上述单一模型预测效果的不理想,实验中通过随机抽取l个子模型,并采用绝对多数投票的方式来完成组合模型的预测,一共测试10 次并取平均值。设l=3、5、7,各组合模型预测效果如表2所示,就各组合模型之间相比较(即l取不同值)而言,当l=7 时,组合模型得到了最高的准确率、最低的误报率;当l=3 时,组合模型的准确率、漏报率以及误报率都介于其他两种组合模型之间;当l=5 时,组合模型的漏报率和误报率都高于其他两种组合模型,另外准确率却最低。

表2 组合模型预测效果 %

就组合模型与单一模型比较而言,当l=3 时,组合模型的预测准确率高于所有的单一模型,其误报率也低于其中4 个单一模型M3、M4、M5 和M7,但其漏报率却有所上升,另外,虽然其误报率略高于其他3 个单一模型M1、M2 和M6,但漏报率相比也得到了很大的改善;当l=5 时,组合模型的预测准确率高于其中4个单一模型,漏报率低于其中3个单一模型,误报率也低于其中4个单一模型;当l=7 时,组合模型的预测准确率也高于所有的单一模型,误报率低于其中4 个单一模型,漏报率低于其中3个单一模型。总体来看,组合模型预测较单一模型来说,在其中某个指标上得到了一定的改进,特别是将7个子模型组合后,效果最为明显。

5.3 实证分析

为了进一步验证模型的泛化能力,实验选取15家上市公司为验证对象,时间区间为2016第二季度初到第三季度末,共发生58次停牌事件。例如,渝三峡A(000565)和鹏起科技(600614)在此时段内发生停牌6次,分别为2016年4月、2016年5月、2016年6月、2016年7月、2016年8月和2016年9月;览海投资(600896)发生停牌4次,分别为2016年5月、2016年6月、2016年7月和2016年8月。

通过选取各公司在停牌时间点前一个月的数据为输入,对该停牌情况进行预测,如表3所示,各子模型都取得了比较理想的预测效果,其中子模型M7取得了最低的漏报率和最高的预测准确率;在组合模型中,当l=7 时得到了最高的准确率,虽然l=3 和5时组合模型预测准确率有所下降,但与子模型相比还是取得了较好的效果。

表3 模型预测效果 %

仍以上述三个公司为例,对渝三峡A来说,模型M7将6次停牌全部预测准确,模型M2、M3 预测准确率为50%,模型M1、M4、M5和M6将其中4次停牌预测准确,组合模型中,l=3 和5 时平均预测准确率分别为63.33%、65%,l=7 时预测准确率为66.67;对鹏起科技而言,模型M4和M7将6次停牌全部预测准确,模型M3预测准确4 次,其他4 个模型预测准确率为83.33%,组合模型中,l=3 时平均预测准确率为85%,l=5 时平均预测准确率为83.33%,l=7 时预测准确5 次;对览海投资来说,模型M2 和M7 其中2 次停牌预测准确,其他5个模型预测准确率为75%,组合模型中,l=3 和5 时平均预测准确率分别为70%、72.5%,l=7 时准确率为75%。

6 结束语

鉴于目前股票停牌预测研究的不足,本文基于机器学习原理提出了股票停牌预测的组合模型,将财务和股票的高维特征通过计算其重要性筛选和组合形成多个低维特征子集,分别训练子模型而形成模型池,在此基础上随机抽取多个模型,通过投票法进行股票停牌预测,取得了比较好的效果。本文是在整体上市公司数据的基础上研究停牌的分类模型,针对性不强,因此研究具体行业的停牌模式是未来研究方向。另外仅仅研究财务和股票两方面的数据是不足的,未来研究考虑将并购行为、股票公告等数据引入分类模型。

猜你喜欢
准确率预测特征
根据方程特征选解法
无可预测
选修2-2期中考试预测卷(A卷)
选修2-2期中考试预测卷(B卷)
乳腺超声检查诊断乳腺肿瘤的特异度及准确率分析
不同序列磁共振成像诊断脊柱损伤的临床准确率比较探讨
2015—2017 年宁夏各天气预报参考产品质量检验分析
不忠诚的四个特征
高速公路车牌识别标识站准确率验证法
抓住特征巧观察