基于评分卡—随机森林的云计算用户公共安全信誉模型研究

周胜利，金苍宏，吴礼发，洪征

（1. 陆军工程大学指挥控制工程学院，江苏 南京 210007；2. 浙江警察学院信息技术系，浙江 杭州 310053；3. 浙江大学城市学院计算机与计算科学学院，浙江 杭州 310015）

1 引言

随着云计算技术的迅速发展，云计算应用已经渗透到经济、政治、文化和国防等各个领域。一些著名的IT公司纷纷提供云计算服务[1]，如阿里巴巴的阿里云、腾讯公司的腾讯云、亚马逊的EC2/S3[2]、谷歌的 AppEngine[3]、IBM 的蓝云[4]等。人们只要接入互联网，注册云计算访问账号并购买云服务，就能利用云服务进行工作学习[5]。一些有害用户利用云计算的开放性、便捷性以及监管部门云计算信息安全管理手段的滞后性，将低俗、诈骗、涉政、涉毒等有害信息放到云上并快速传播，造成极其恶劣的社会影响。因此，必须根据云计算信息安全监管的实际情况，研究科学的云计算用户公共安全信誉模型，对云计算用户传播信息进行分析，发现预警有害用户，打击云计算环境下的违法、违规行为。

传统的云计算用户安全管理主要是以识别恶意用户为目标，根据用户异常操作次数、云服务提供商历史反馈、交易时间、交易次数等因素，设置影响因素权重，建立云计算用户信誉模型，较少涉及云计算用户发布文本信息的安全管理，且缺乏对信誉区分准确性的评估论证，难以满足监管部门对云计算用户安全监管及打击云计算犯罪行为的需要。针对以上问题，本文提出基于评分卡—随机森林的云计算用户公共安全信誉模型（PST-SRF, cloud computing users’ public safety trust model based on scorecard-random forest）。模型利用卷积神经网络分析云计算用户文本信息，同时基于评分卡—随机森林方法对云计算用户公共安全信誉相关指标进行筛选建模，识别有害用户，提高监管部门云计算安全管理效率。

2 研究现状

国内对云计算安全的监管主要是按照公安部云计算信息安全等级保护要求实行分级监管，主要涉及用户信誉评估、基础设施安全评估、违法用户识别、违法用户溯源分析以及犯罪打击等，尚未形成完善的云计算安全监管制度。目前，公安部正在开展云计算安全评估和认证工作，对于云计算用户信誉的监管还处于起步阶段。

学术界围绕云计算用户信誉模型开展了一系列的理论研究。文献[6]通过计算历史反馈因子、交易完成反馈因子的权重得到整体信誉，但未给出各因素权重的设定依据。文献[7]通过调整通信时间，提高信誉评估准确性。文献[8]对用户的信誉区间进行划分，并对信誉评估标准进行论证，但并未对用户信誉等级做区分准确性评估。文献[9]采用模糊层次分析法来量化云计算用户的行为，从直接信誉、推荐信誉、综合信誉、历史信誉这4个维度评估云计算用户信誉情况。由于评估结果只有可信与不可信2种，该方法无法实现对云计算用户信誉的量化评估。文献[10]构建了基于动态行为数据监控的信誉模型，利用数据挖掘与知识发现针对影响信誉的多个度测指标进行自适应的动态度量。文献[11]采用了基于改进的证据理论的云计算环境下海量用户行为信誉评估建模方法。该方法借鉴概率加权平均的原理来实现对云计算环境下海量用户行为信誉评估。其成本较低，但是建立的模型无法反映用户行为客观事实。针对上述海量用户信誉评估问题，文献[12]提出了一种基于改进动态博弈论算法的云计算用户行为信誉评估建模方法。该方法以博弈论为基础，利用不完全信息动态博弈对云计算环境下的海量用户进行分类，从不同角度将云计算环境下的用户行为可信关系量化，对用户信誉进行评估。

以上信誉模型的研究主要集中在用户操作行为，很少涉及用户的内容安全管理。在用户内容安全的研究上，传统的方法主要包括支持向量机[13]、朴素贝叶斯分类法[14]、随机森林、决策树法、K-最近邻法[15]等。以上方法主要采用浅层机器学习方法，缺乏对分词间逻辑关系的分析。为了提高浅层机器学习分类的精度，国内外学者引入深度学习。深度学习本质上是一种特征提取手段，能够较好地反映出文本信息的特征。文献[16]提出低维实数词向量表示的方法，利用不同词之间的相关性和依赖关系，有效降低了网络的深度。文献[17]介绍了一种高效的Skip-Gram模型，可以进行高质量的词向量特征训练，语义相似度效果非常好。文献[18]利用卷积神经网络进行分类，对网络参数进行微调，取得较好的分类效果。文献[19]针对英文文本提出基于K-max池化操作的动态卷积神经网络方法，提取文本特征向量，取得较好的英文分类效果。

云计算用户公共安全信誉评估本质上是分类问题研究，即把全部用户划分为合规用户和有害用户。文献[20]将线性回归用于信誉评分。文献[21]针对文献[20]信誉评分方法在处理交互效应和非线性因果关系的不足，采用逻辑回归进行信誉评分，利用正则化对变量进行选择，能够解决共线性问题，实现简单快速，但当变量空间变大时，回归的性能下降明显并且容易存在欠拟合问题。文献[22,23]运用决策树方法进行信誉评分，能够实现自动选择变量，很好地处理缺失信息，防止过拟合，该方法的准确性较采用逻辑回归方法高，但是方法的泛化能力比较弱。

上述研究为云计算用户公共安全信誉评估提供了良好的理论基础，但传统文本分类模型对有害信息的识别效度仍需要评估；信誉量化模型基于结构化指标体系，对于文本等语义模糊且强度难以定义的指标仍需要研究；信誉模型的泛化能力、数据处理能力、分类准确性仍需要进一步研究。基于上述分析，结合云计算用户信息安全管理的需要，首先，利用Word2Vec和卷积神经网络进行公共安全标签分类；然后，采用评分卡方法，筛选强相关性指标；最后，结合随机森林算法，建立PST-SRF模型进行云计算有害用户的发现、预警。

3 PST-SRF模型设计

3.1 PST-SRF模型基本流程

PST-SRF模型基本流程分3个阶段：预处理阶段、公共安全信誉评估阶段和预警监督阶段，如图1所示。

3.1.1 预处理阶段

预处理阶段主要进行用户发布文本内容的采集、自然语言处理和文本信息公共安全信誉标签处理，具体操作说明如下。

1) 爬取用户链接内容信息：通过云服务商提供爬虫工具以及日志采集机制，获得云计算用户链接跳转信息等。

2) 爬取用户内容信息：通过云服务提供商的文本信息分析系统，分析云计算用户各种内容信息，包括网页内容清洗、关键内容提取和非结构化信息保存等。

3) 用户信息源分析：将爬取的用户链接内容和用户内容数据进行降维处理，同时使用自然语言处理技术提取特征。

4) 用户公共安全标签：利用卷积神经网络对用户文本信息进行标签分类，按照预先设计的话题分类进行相关性分析。

3.1.2 公共安全信誉评估阶段

公共安全信誉评估阶段主要利用评分卡方法进行公共安全信誉指标分析、筛选，结合随机森林算法对用户公共安全信誉进行评估。具体步骤如下。

1) 指标体系分析：主要通过评分卡方法，利用WOE（weight of evidence）和 IV（information value）指数评估指标对信誉值的影响，筛选云计算用户公共安全信誉相关性强的指标[24]。

2) 评估模型构建：对指标体系中各个特征利用随机森林进行建模、分值转换。

3) 模型评估：对模型进行评估，主要考察其准确率和召回率，对模型参数和算法进行优化调整，达到最佳的评估效果。

图1 PST-SRF模型工作流程

3.1.3 预警监督阶段

该阶段是信息的整体处理和反馈阶段，云服务提供商将预警监督的数据反馈给云计算信息安全管理中心，便于预测、发现有害用户，及时做出判断。

3.2 公共安全信誉等级分配策略

云计算用户公共安全信誉等级分配策略是公共安全信誉评估的重要参考依据。公共安全信誉等级越低的用户，其访问行为的危险级别越高。用户公共安全信誉分成优、良、中、差4个级别，分别对应用户行为危险级别为正常、低危、中危、高危，如表1所示。

表1 公共安全信誉级别与对应的用户可疑级别

4 PST-SRF模型实现

本节将从用户公共安全标签文本处理、指标体系构建、随机森林特征选择算法这3个方面介绍PST-SRF模型，其具体实现步骤如下。

4.1 用户公共安全标签文本处理

用户公共安全标签文本处理主要包括文本分词相关处理、词向量计算以及利用卷积神经网络进行文本向量分类。

4.1.1 文本分词相关处理

对云计算用户所发言论进行文本分词相关处理，包括分词、词性标注、实体识别等。在分词后，保留名词、动词，去掉相关的形容词、副词和停用词等。

4.1.2 词向量计算

对分词后获得的名词、动词进行向量计算，包括3个步骤。

1) 使用 mini-batch方法对文本内容进行分组，并对文本缺少的分组，使用特殊字符进行补全。

2) 使用词向量计算并扩展相关单词的关联词，使用Word2Vec框架把相关单词变成词向量，词向量可计算词之间的距离关系，得到相近的词。

3) 使用skip-gram方法进行推测，该方法能根据目标词输出其周围最相关的词。对于词向量中的任意一个单词w，通过skip_window的参数n，形成一系列的二元组(Context(w),w)，生成 Huffman树，生成的Huffman树节点根据词频进行构建，如图2所示。

图2 分词向量处理

4.1.3 文本向量分类

利用卷积神经网络进行文本向量分类。向量的卷积是文本特征向量进行高层次特征提取的过程，与卷积窗口大小、学习率、卷积步长以及正则化系数有关。云环境的文本经过数据预处理后，根据网络文本的长度，本文设置卷积窗口为5，设置卷积步长为1（经过实验，卷积窗口设置为5效果最好）。文本卷积式为

其中，矩阵W表示输入的文本向量，Xij代表第i个文本的词特征向量，G代表卷积核函数矩阵。G大小受输入的文本数K和卷积的窗口win共同影响。矩阵W与矩阵G输出的结果矩阵为H。其中，Hij代表第i个文本通过j次卷积得到的向量。

卷积神经网络的最终目标是将相关词划分到几大类安全标签类别中，需要优化的参数主要包括2个部分：词向量和网络参数。本文记词向量为E，卷积操作的参数为，分类器的参数为We，记W=((s1,y1),(s2,y2),… ,(sq,yq))，其中，si表示对应句子的类别标签，表示训练集样本个数。表示已知参数θ时将句子si的标签分为yi的概率，则优化目标为其中，λ为正向参数。

4.2 指标体系构建

IV是信息价值或者信息量，WOE为证据权重，是对原始自变量的一种编码形式。

变量WOE编码，首先把变量进行分箱处理，然后对第i组WOE值进行计算。计算式为其中，pyi是分组中符合条件用户（对应的是有害用户）占所有样本中所有相应用户的比例，pni是分组中正常用户占样本中所有正常用户的比例，#yi是分组中有害用户的数量，#ni是分组中正常用户的数量，#yT是样本中所有有害用户的数量，#nT是样本中所有正常用户的数量。WOE表示分组中有害用户占所有有害用户的比例和当前分组中正常用户占所有正常用户的比例的差异。

对式(4)做变换得

变换后，WOEi表示当前组有害用户与正常用户的比值和所有样本中这个比值的差异。这种差异是用这2个比值的比值再取对数来表示的。WOEi越大，这种差异越大，这个分组里的样本响应的可能性就越大；WOEi越小，差异越小，这个分组里的样本响应的可能性就越小。

基于前面的分析，可得IV的计算式为

通过变量各分组的IV值可以计算整个变量的IV值，计算式为

其中，n为变量分组个数。

通过WOE和IV筛选后，保留下来的指标可以用作训练指标模型所需的特征。在训练之前，对每个样本指标进行WOE的转换。

IV值的选取根据IV值衡量标准决定指标是否保留[24]，如表2所示。

表1 IV值衡量标准

4.3 随机森林特征选择算法

通过WOE和IV筛选后，保留下来的指标可以作为训练指标模型所需的特征，在训练模型之前，首先要对每个样本指标进行WOE转换，然后针对该子类评分模型，利用随机森林特征选择（RFFS,radom forest feature selection）算法提取有效特征，具体算法如算法1所示。

MacAcc表示最大分类正确率，FGSet表示筛选后的特征集合，LMaxAcc表示局部最大分类正确率，LMeanAcc表示局部平均正确率。

算法1中步骤1)和步骤2)表示数据前处理步骤，步骤3)～步骤12)为特征选择最大子概率算法，步骤13)和步骤14)为从局部最优概率中选择出全局最优的正确率，并且提取相对应的特征。

算法1 随机森林特征选择算法

输入WOE和IV选择为0.1～0.5之间的特征，生成数据集S，共有N个

输出 验证集上的最大分类正确率MaxAcc和对应的特征集合FGSet

初始化

1) 读入训练数据集S

2) 设置MaxAcc= 0

特征选择最大子概率算法（循环N−2次）

3) 将S随机10等分

4) 设置局部最大分类准确率LMaxAcc=0和平均分类准确率LMeanAcc=0

5)LAcc[1∶10] = 0

6) for (iin 1∶10)

7) 在S上构建RandomForest分类器

8) 在测试集合上执行分类

9) 比较分类结果和观测值，计算LAcc

10)LMeanAcc=LMeanAcc+LAcc

11)LMaxAcc= 最大的LAcc[i]

12) 对特征按重要性排序FGSet

输出结果

13) 输出最大的LMaxAcc为MaxAcc

14) 输出分类准确率最高MaxAcc的特征集合FGSet

5 实验评估分析

通过实验分析，验证文本标签分类的正确性、模型指标筛选处理的合理性、随机森林参数调整的合理性以及评估模型的准确性。

在阿里云ODPS（open data processing service）平台进行实验测试。该平台由10台S10机器组成，每台机器的配置为32核64 GB内存2 TB硬盘，其中包含3台管控集群和10台计算集群，管控集群用于对任务进行分发和管理，计算集群负责各机器学习分布式计算任务的运行。

5.1 用户文本标签分类实验

实验的目的是评估云计算用户文本标签分类的准确性。实验所使用的数据为某政法云平台的公共安全分类数据集。本文选取了其中包含政治人物、司法相关、公众人物等的实验数据。对每个类别分别随机选取其中的 70%用于训练、30%用于测试。数据预处理阶段使用 Word2Vec完成文本的简单处理，包括分词、词性标注等。在预处理阶段会设置句子分词后最长词数，对未达到最长分词个数的分词单元统一使用规定符号补全。然后，利用卷积神经网络提取指定任务的句子特征。为了防止过拟合和提升模型的预测准确率，使用dropout算法进行优化。

实验主要通过准确率（accuracy）、灵敏度（sensitive）、特异度（specificity）、精确率（precision）、召回率（recall）、F1值等指标进行评估[24,25]。评估指标如表3所示。

表3中，P表示正样本数量；N表示负样本数量；TP表示被正确分类的正样本；FP表示被错误地标记为正样本的负样本；FN表示被错误地标记为负样本的正样本；TN表示被正确分类的负样本。

表4的斜对角线体现了真实标签与预测标签的一致性。表4中A～R分别代表18种敏感话题。模型对话题D、F、J、K、L、N等标签预测准确率在90%以下，其余各个类别的预测准确率在90%以上，满足实际应用需求。

表5各项评估指标均在90%以上，说明模型具有很好的分类效果，满足公共安全信誉评估应用需求。表5中A～R含义同表4。

5.2 评分卡指标筛选实验

实验的目的是为了说明模型指标选择的科学性。实验数据为从某政法云平台中选取的6万个用户内容行为数据，包括1万个黑样本数据和5万个白样本数据。对各数据字段进行属性扩充后，最终进行模块化存储。

将黑样本和白样本分别按照7∶3的比例（机器学习常用的比例）进行分割再组合，形成训练样本和测试样本。

表3 模型评估指标

表2 混淆矩阵值

表5 混淆矩阵评估指标

表6 cnt_good指标WOE分析结果

表6表示cnt_good指标的WOE值及其代表性分析结果。表6中横坐标表示正面句子条数分箱区间，纵坐标WOE表示不同区间对应的值。图3进一步分析cnt_good指标的WOE值变化情况和分箱效果。图3中，WOE值越大，反向指标越小；WOE值越小，且中间无跳点，则说明该分箱效果较好。另外，正向指标的WOE值正斜率越大，反向指标的负斜率越大，则说明指标区分能力越好，即对评分的影响越大。

图3 cnt_good 指标WOE分析结果

通过指标分析，可以筛选出符合统计学规律的指标作为模型训练的候选特征，然后通过多重共线性分析对候选特征进行相关性分析，删除一些相关性强的指标，减少模型特征的维度。

筛选的最后一步是通过IV分析来确定单一指标对模型预测能力的贡献，IV表示每个指标所包含的信息量，相当于是指标WOE值的加权，其值的大小决定了自变量对于目标的影响程度，IV的实验分析结果如表7所示。

5.3 公共安全信誉模型ROC、AUC混淆矩阵实验评估

经过数据分布情况分析，不断进行模型迭代，最终得到22个重要特征，树的棵数为200，每棵树的最大深度为5。通过ROC、AUC等指标评估模型效果如图4所示。

表7 指标IV值

图4 ROC曲线

图4中纵轴表示TPR，即实际正样本中被预测成正样本的比例；横轴表示FPR，即实际负样本中被预测成正样本的比例。其中，4个坐标点分别表示如下。

1) 坐标(0,0)表示实际正样本中，被预测成正样本的比例为 0，即所有预测都错误；而在实际负样本中，被预测成正样本的比例也为 0，即所有负样本都预测正确。

2) 坐标(0,1)表示实际正样本中，被预测成正样本的比例为 1，即所有正例都预测正确；同时，实际负例也被预测正确。

3) 坐标(1,1)表示实际正样本中，被预测成正样本的比例为 1，即所有正样本都预测正确；但实际负样本中，被预测成正样本的比例也为 1，所有负样本预测错误。

4) 坐标(1,0)表示实际正样本中，被预测成正样本的比例为 0，即所有正样本都预测错误；且实际负样本中，被预测成正样本的比例为 1，即所有负样本都预测错误。

可见，第 2)种情况效果是最好的，而第 1)和第3)种情况是2个极端，第4)种情况效果最差。因此，对于ROC曲线，越是靠近左上角，效果则越好。

为了对ROC曲线中的效果进行数值量化，引入了AUC指标，该指标表示的是ROC曲线下方的面积。模型效果越好，ROC曲线越逼近左上角，AUC值越靠近1.0。本模型的AUC=0.9，达到了预期效果。

在本文的模型中，以概率0.5作为预测为正样本和负样本的切分点，得到的混淆矩阵效果如表 8所示。表8中预测为正样本（1表示正样本，0表示负样本）的数目为1 843个，正确数目为1 340个，错误数目为503个，正确率72.7%，召回率47.4%，F1为57.4%，满足实际应用需求。

6 结束语

本文所提 PST-SRF模型对云计算用户的文本内容进行公共安全信誉评估。模型利用词向量结合卷积神经网络方法，对用户内容安全进行分类打标签，并结合评分卡方法中WOE和IV指标筛选方法，筛选云计算用户公共安全相关指标，之后根据数据离散情况、随机森林中树的个数、属性个数、树的深度，采用 bootstrap对样本进行子采样，降低子模型之间的关联度，建立公共安全信誉评估模型。实验评估结果表明，PST-SRF模型对用户公共安全信誉具有较好的区分效果，能够有效识别有害用户，提高云计算用户信息安全管理效率。

表8 本文混淆矩阵

[1] 刘楠, 魏进武, 刘露.大数据交换信息链[J].电信科学, 2016, 32(10)∶130-136.LIU N, WEI J W, LIU L. Big data exchange based on information chain[J].Telecommunications Science, 2016, 32(10)∶ 130-136.

[2] 周维, 路劲, 周可人, 等.基于并发跳表的云数据处理双层索引架构研究[J].计算机研究与发展, 2015, 52(7)∶ 1531-1545.ZHOU W, LU J, ZHOU K R, et al. Concurrent skiplist based double-layer index framework for cloud data processing[J].Journal of Computer Research and Devlopment, 2015, 52(7)∶ 1531-1545.

[3] 张常有, 邵立向, 李文清, 等.云服务的自组织机制及性能分析[J].中国通信, 2012, 9(6)∶135-144.ZHANG C Y, SHAO L X, LI W Q, et al. Self organizing mechanism for cloud services and performance analysis[J].China Communications,2012, 9(6)∶135-144.

[4] 陈康, 郑纬民.云计算∶系统实例与研究现状[J].软件学报, 2009,20(5)∶ 1337-1348.CHEN K, ZHENG W M. Cloud computing∶ system instances and current research[J]. Journal of Software, 2009, 20(5)∶1337-1348.

[5] 王国峰, 刘川意, 潘鹤中, 等.云计算模式内部威胁综述[J].计算机学报, 2017, 40(2)∶ 296-316.WANG G F, LIU C Y, PAN H Z, et al. Survey on insider threats to cloud computing[J].Chinese Journal of Computers, 2017, 40(2)∶296-316.

[6] 李丙戌, 吴礼发, 周振吉, 等. 基于信任的云计算身份管理模型设计与实现[J]. 计算机科学, 2014, 41 (10)∶ 144-148.LI B X, WU L F, ZHOU Z J, et al. Design and implementation of trust-based identity management model for cloud computing[J].Computer Science, 2014, 41(10)∶ 144-148.

[7] TIAN L Q, LIN C, YANG N. Evaluation of user behavior trust in cloud computing[C]//2010 International Conference on Computer Application and System Modeling (ICCASM). 2010∶ 567-572.

[8] 苏铓, 李凤华, 史国振. 基于行为的多级访问控制模型[J]. 计算机研究与发展, 2014, 51(7) ∶ 1604-1613.SU M, LI F H, SHI G Z. Action-based multi-level access control model[J]. Computer Research and Development, 2014, 51(7)∶ 1604-1613.

[9] 周茜, 于炯. 云计算下基于信任的防御系统模型[J]. 计算机应用2011, 31(6) ∶1531-1535.ZHOU Q, YUU J. Defense systemm model based ontrust for cloud commputing[J]. Coomputer Applicationn, 2011, 31(6) ∶ 15331-1535.

[10] LI X Y, GUIX L, MAO Q, et aal. Adaptive dynammic trust measuremeent and predictioon model based on bbehavior monitoring∶ adaptive dynammic trust measureement and predictiion model based oon behavior monitooring[J]. Chineese Journal of Compputers, 2009, 32(4))∶ 664-674.

[11] 杨家兴. 复杂杂网络安全态势评评估模型仿真分析析[J]. 计算机仿真真,2013, 30(8)∶289-292.YANG J X. SSimulation analysiss of complex netwoork security situation assessment mmodel[J]. Computerr Simulation, 2013,30(8)∶289-292.

[12] 毛建景, 张凯凯萍. 云计算环境下海量用户行为信任评估模型[J]. 计计算机仿真, 20016, 33(3)∶ 385-3888.MAO J J, ZHHANG K P. Behavvior trust evaluationn model for massive users undercloud computingenvironment[J]. Computer Simulation,2016, 33(3)∶385-388.

[13] 丁世飞, 张健健, 张谢锴, 等. 多分分类孪生支持向量机研究进展[J]. 软件学报, 2018, 229(1)∶ 89-108.DING S F, ZZHANG J, ZHANGG X K, et al. Surveyy on multi class twwin support vectoor machines[J]. Jouurnal of Software, 2018, 29(1)∶ 89-108.

[14] WANG S C, XU G L, DU RR J. Restricted Bayesian classification networks[J].Science China(IInformation Sciennces), 2013, 56(7)∶210-224.

[15] LAM H K, EEKONG U, LIU H BB, et al. A study of nneural-network-based classifiers forr material classification[J]. Neurocomputing, 2014∶ 144.

[16] HINTON GE. Learning distributed representations of concepts[CC]//The 8th Annnual Conference off the Cognitive Science Society. 19886∶1-12.

[17] MIKOLOV TT, CHEN K, CORRRADO G, et al. Effficient estimationof word represenntations in vector spaace[J]. Computer Science, 2013∶ 1-12.

[18] KIM Y. Convvolutional neural nnetworks for sentence classification[CC]//The 2014 CConference on Emmppirical Methods inn Natural Languagge Processing. 22014∶1746-1751.

[19] STILO G, VEELARDI P. Efficieent temporal miningg of micro-blog texts and its appliccation to event disccovery[J]. Data Mining and Knowledge Discovery, 20016, 30(2)∶ 372-4022.

[20] KENNETH AA C, MICHAEL EE S. Debit, credit,or cash∶ survey evidence on gassoline purchases[J]]. Journal of Economics and Business,1999, 51(5)∶409-421.

[21] WIGINTONJ C. A. note on thhe comparison of logit and discriminant models of coonsumer credit behaavior[J].Journal ofFinancial and Quantitative Analyysis,1980,15∶757-7770.

[22] MAKOWSKKI P. Credit scoringg branches out[J].Credit World, 1985,75∶30-37.

[23] CARTER C, CATLETT J. Assessing ccredit card applicaation using machine learning[J].IEEEE Expert Magazine, 1987, 2(3)∶71-79.

[24] WANG G, HAO J, MAA J, et al, A comparative assessment of ensemble learning for credit scorring[J]. Expert Systtems with Applications , 2011,38(11) ∶223-230.

[25] GARRETH J, DANIELLA W, TREVORH, et al. Anintroduction to statiistical learning wwith application in R[M]//An Introduction to Satiistical Learning. 20013∶ 78-129.