基于改进残差网络的客户还款行为预测新方法

明 志，郑山红，李万龙，蒋美英

(长春工业大学 计算机科学与工程学院， 吉林 长春 130102)

0 引 言

近些年，信贷业务日益增长，伴随着互联网金融迅速发展，网络小额贷款逐步出现在大众视野，给信贷机构带来巨额利益的同时，也迎来了空前的风险挑战。中国人民银行发布的《中国金融稳定报告(2021)》中显示，截至2020年末，金融机构不良贷款余额3.47万亿元，同比增加2 816亿元，不良贷款率1.92%，同比上升0.06个百分点。研究表明，除了违约还款，提前还款行为也会产生金融风险，如再投资风险、利润下降风险等[1]。因此，合理追踪金融数据，对借款人的还款行为预测变得越来越重要。

随着互联网金融的迅速发展，传统的金融模型已经不能满足对客户还款行为的预测，从而越来越多的机器学习模型被提出应用于借贷风险的预测与评估中，并表现出较好的精度。陈涛等[2]为提高资金利用率，构建基于SVM的提前还款风险预测模型，对资金调配起到了积极作用;金静松[3]使用决策树算法对按期还款、提前还款和违约还款等借款人行为进行预测，并且通过M5P算法对分类正确的提前还款行为预测其还款周期；杨剑翀[4]构建基于遗传算法的BP神经网络模型，从而对借贷风险进行评估；Bastani K等[5]借鉴谷歌商店推荐系统的Wide&Deep模型提出一种新方法，对客户是否会发生违约还款进行预测；王雨帅[6]构建基于CNN的违约风险判别模型，可以很好地识别潜在发生违约行为的客户；王重仁等[7]为提高个人信用风险评估准确性，提出融入注意力机制的LSTM-CNN融合模型，通过对比实验表现出模型的有效性。

残差神经网络(Residual neural network，ResNet)[8]被提出,用以解决网络深度增加时发生性能退化问题，在图像处理、语音识别等领域表现出极大的优越性，但是，很少有研究将残差网络应用在信贷领域上。鉴于残差网络可以克服因层数过多导致的网络训练饱和等问题，因此，文中将ResNet应用于客户还款行为预测中，对提前还款、违约还款和正常还款三个还款行为进行预测。针对互联网金融数据特点，在原始ResNet基础上增加特征融合层，在每一个残差块的输出特征合并到特征融合层之前融入通道注意力机制，并使用GAP层代替全连接层。最后，设置对比实验，使用拍拍贷数据集进行模型优越性的验证。通过以上分析，文中提出模型可以更好地对客户还款行为进行预测，为金融机构抵御风险提出一种新方法。

1 残差神经网络基本原理

随着数据量增多和特征的复杂度提升，网络模型深度需不断增加，当模型有更深的网络时,理论上可以取得更好的结果。实验发现，更深的网络其性能可能会出现退化问题，因此，He K等[8]提出ResNet，其跳跃连接可以有效缓解信息在网络传递过程中的损耗，在不增加复杂度的基础上使模型有更强的表达能力。

1.1 残差单元

ResNet的基本构建块是残差单元，残差单元由卷积层、批处理归一化层(Batch Normalization, BN)[9]和Rule激活函数组成。经过第l个残差单元后的输出为

xl+1=f(xl+F(xl,Wl))，

(1)

式中：F(xl,Wl)----残差函数;

Wl----权重;

f(·)----非线性激活函数Relu;

xl----输入;

xl+1----输出。

xl与F(xl,Wl)的维度必须相同，如果不同，则需要通过映射使两者维度一致。另外，残差函数的形式有多种，输入数据经过一个堆叠两层卷积网络的残差函数依次经过卷积层、BN层、Relu、卷积层、BN层，当构建深度极大的网络时，需堆叠三层卷积网络以减少模型复杂度，加快训练速度。

1.2 残差神经网络整体框架

残差神经网络由多个残差单元堆叠而构建，残差神经网络被提出以来，有多个版本的改进，包括从网络连接结构、残差单元结构等角度根据不同学习任务进行调整。深度残差网络将输入数据依次送入卷积层、BN层、Relu、最大池化层，然后输入到多个残差单元中，再经过平均池化层和全连接层，最后进行分类得到预测结果。

2 改进ResNet的客户还款行为预测模型

文中针对互联网金融数据噪声大、特征提取困难以及ResNet网络结构等特点，提出基于改进ResNet的客户还款行为预测模型。由于ResNet能够更充分利用信息，有效地对信息进行传递，可以提取更丰富的特征以进行分类预测，因此，文中选择ResNet18作为预测模型的基础，并针对现有问题进行改进，模型整体框架如图1所示。

图1 改进的深度残差网络整体框架

在原始ResNet的基础上，首先，把每一个残差块(Residual block)的输出单元输入到过渡层(Transition layer)，然后,融合通道注意力机制(SE block)以获得各个通道的权重，自适应调节各通道的特征响应值。再后，将获得通道权重的各残差块输出特征合并到特征融合层(Feature fusion layer)。最后，为了降低参数数量，使用GAP层代替全连接层，将池化后的特征向量输入到softmax函数进行分类，最终得到用户还款行为预测结果。

2.1 特征融合

针对以下两个问题对ResNet算法进行改进。随着金融业的兴起，互联网金融数据量逐步增多，用户特征错综复杂，特征提取困难；另外，ResNet会进行多个卷积操作，输入向量经过不同的残差块后会输出不同大小和个数的特征图，不同特征图有不同的特征表示，原始的RseNet仅根据最后一层网络的最终输出特征进行分类预测，丢弃了浅层网络提取的特征，而不同的特征表示对客户还款行为预测有不同的作用。因此，融合浅层和深层特征后再进行分类，可以获得更好的预测效果。

通过上述研究与分析，提出增加特征融合层的深度残差网络模型，网络整体框架如图2所示。

将浅层特征与深层特征相融合，进行多特征融合映射以对客户还款行为预测。在原始ResNet的基础上，首先，把每一个残差块的输出单元输入到过渡层，过渡层由池化层和卷积层组成，先进行最大池化以减少参数个数，再经过1×1卷积改变特征图的个数，目的是增加特征表达能力,并保持各个残差块输出的特征图个数一致。然后将每个残差块经过过渡层映射后的特征合并到特征融合层，特征融合层表明对向量进行拼接，设第i个残差块经过过渡层后的输出为oi，那么特征融合层的计算公式为

o=o1⊕o2⊕o3⊕o4，

(2)

式中:⊕----向量拼接。

图2 增加特征融合层模型框架

2.2 融入通道注意力机制

受注意力机制应用在其他领域的启发[10-11]，将每一个残差块的输出特征经过渡层处理后，融入通道注意力机制再合并到特征融合层，抑制无关信息干扰，保留更重要的目标特征信息，进一步提升该模型应用于客户还款行为预测的效果。

注意力机制是借鉴了人类视觉注意力的思想，将注意力放在更重要的目标上，其中，Squeeze-and-Excitation block(SE block)[12]核心思想是通过GAP获取网络的通道统计信息，考虑到泛化因素，设置了两个非线性全连接层对通道统计信息进行门机制操作，获取对各个通道的依赖程度。根据权重值的不同对各个通道值进行调整，增强有效信息的表达能力并抑制无效信息，以增强空间编码能力来训练模型，从而达到较好的预测效果。SE block结构如图3所示。

图3 Squeeze-and-Excitation block(SE block)

图中，⊗表示元素对应相乘，Reduction ratio为下降率，目的是减少参数量。

通道权重为

W=σ(D2(δ(D1(GAP(x)))))，

(3)

式中：x----输入特征向量;

GAP----全局平均池化;

δ(·)----relu激活函数;

σ(·)----sigmoid激活函数;

D1,D2----全连接层。

因此，文中在各残差块进行特征融合前引入了通道注意力机制，从通道间的依赖关系进行建模，从增强空间维度编码能力的角度抑制无用信息以提升模型效果。

2.3 全局平均池化

原始ResNet提取特征后，分类时使用的是全连接层，但是全连接层会使模型变得复杂臃肿，生成大量参数，不易于训练，训练速度降低也容易产生过拟合现象。文中提出的模型进行了多特征融合，网络参数增多，计算量大，防止模型泛化能力减弱，因此采用GAP层[13]代替原始ResNet的全连接层，减少复杂度，提升分类预测的鲁棒性。

GAP即对每一个通道的所有像素值进行平均计算。GAP不仅可以降低模型训练复杂度、防止过拟合现象发生，还可以有效整合空间信息，剔除全连接黑箱操作。因此，文中使用GAP代替原始网络的全连接层，从而减小模型复杂度，提升模型训练速度与泛化能力。

3 实验设计

3.1 数据来源与处理

数据来源为第二届魔镜杯数据应用大赛。对数据进行如下处理：保留标签为逾期还款、提前还款和正常还款的样本；对重复的贷款id进行去重处理，对相同的贷款id只保留最后一次出现的样本；删除贷款后才会产生的相关信息，如剩余本金、剩余利息等特征。进行数据处理后，共有70 773个样本，包含借款金额、借款期限、借款利率、初始评级、性别等共计20个特征，违约还款所占比例为11.34%，提前还款所占比例为28.52%，按照7∶2∶1的比例划分训练集、验证集和测试集。

3.2 实验流程

文中提出的模型流程如图4所示。

图4 客户还款行为预测流程

首先将拍拍贷数据集分为训练集、测试集和验证集；然后把训练集作为输入数据对模型进行训练，直到满足最大迭代次数，得到训练好的最优网络模型；最后，将测试集输入到训练好的网络模型中，对预测结果与真实类别进行比较，从而评估验证该模型的优越性。

3.3 实验设置

实验的运行环境是i5处理器，ios操作系统，CPU服务器，8 G内存；采用Keras深度学习框架，Jupyter notebook编译软件，python语言进行实验建模。文中提出的预测模型在训练过程中，batch采用256；Adam优化算法[14]，初始学习率设置为0.000 1，动量参数设置为0.95，权重衰减设置为 0.000 01；采用交叉熵损失函数；其余参数设置见表1。

表1 模型参数

3.4 实验结果与分析

为了验证模型的有效性，实验选择对比实验为ResNet、CNN、DT、SVM、LR、KNN。选取Accurary(准确率)、F1-score(F1值)、AUC(ROC曲线下面积)为评价指标,综合性地验证模型效果是否提升。由于文中进行多分类预测，且样本标签不均衡，因此选用Macro average规则计算F1值和AUC。

实验结果见表2。

表2 实验结果 %

改进的ResNet模型和原始ResNet模型应用于还款行为预测的ROC曲线如图5所示。

图5 ROC曲线

实验结果表明，其他模型可能在某一个指标上有较好的效果，但很难平衡所有评价指标均可以稳定在同一水平。对比发现，改进的ResNet模型在可以保持预测精度最高的同时，仍然保持最高的F1分数和AUC，各个评价指标从多角度证明了文中提出模型的优越性与可行性。深度学习模型可以学习更加复杂的函数表示，并且提高模型的泛化能力，解决过拟合问题[15]，通过对结果分析，大部分深度学习模型的各个指标均优于机器学习算法，表明深度学习方法可以更好地提取复杂的金融特征以进行分类预测。另外，由于ResNet有较深的网络，可以更好地捕捉特征之间的非线性关系，并进行跳跃连接进行残差学习，有效解决了深层网络容易产生梯度消失的问题，因此，其预测性能优于传统的CNN拟合方法。但是，ResNet模型没有考虑到多特征融合及各个通道向量值对预测结果的影响，因此，文中提出的预测模型在进行特征融合和融入通道注意力后应用于客户还款行为预测中，表现出较好的效果和较高的精度，总体性能均优于其他对比方法。与所有模型进行对比，改进的ResNet模型在Accurary指标上平均提升7.84%，在F1指标上平均提升3.39%，在AUC指标上平均提升1.84%。

4 结 语

针对互联网金融数据噪声多、数据量大及已存在模型的缺陷，在原始ResNet增加特征融合层，将浅层网络与深层网络进行特征融合，并融入通道注意力机制抑制无效特征，最后使用全局平均池化防止过拟合、降低计算量。文中提出的改进ResNet预测模型在缓解信息网络传播过程中丢失与损耗的同时，将网络集中在对客户还款行为预测任务更重要的特征上，通过实验表明了该模型的优越性与有效性，证明该方法在客户还款行为预测的有效性和可行性。在真实的信贷数据中，数据量往往更大，数据特征具有多样性，如何从复杂的特征中提取有效特征进行网络小额贷款客户还款行为的预测是进一步研究方向。