大数据驱动下的信贷风险预警系统研究

汪峰

（聚贤融资租赁(上海)有限公司 上海市 200131）

信贷风险问题是所有金融机构发展期间必须面对的重点问题，如果信贷风险管理水平不足，便无法满足金融机构的发展需求，只有构建一套切实可行，能够满足金融机构发展需求的信贷风险预警系统，才能够使金融机构面对的信贷风得到有效控制。因此，有必要对大数据驱动下的信贷风险预警系统进行分析。

1 信贷风险综述

现如今，科技的发展令我国信贷行业获得了长足的进步，各种信贷机构相互之间的竞争也变得愈发激烈，信贷风险的重要性得到了非常多的关注。信贷业务作为金融机构的一项主要业务，其在开展过程中具有非常大的风险，而我国目前的信贷风险管理技术却与国际理念的风险管理技术存在一定差距，无法满足金融机构的长期发展。而且在金融机构发展期间，信贷风险管理属于一项综合性较强的工作，风险贯穿在整个信贷业务的所有流程中，所以金融机构需要从贷前分析、贷时控制、贷后监管等多个环节入手，以此来保证贷款的正常收回。就目前而言，信贷部门在开展业务的过程中，通常会将内部数据作为判断信贷风险的主要参考，信贷部门也为此专门构建了面向信贷业务数据信息的数据库，但是因为数据信息相对较为单一，很难全方位体现出信贷风险，所以应该结合大数据技术完成信贷风险预警系统的构建，以此来整合信贷业务中产生的所有数据，实现对信贷业务的全方位评估，为信贷业务中的风险情况做出预警，避免信贷风险的发生[1]。除此之外，通过构建信贷风险预警系统还可以完成对信贷业务的全方位管理，有效降低信贷业务开展期间需要面对的风险。在预警系统构建过程中，需要加强对大数据平台的利用，以此来保证预警系统的使用效果。

2 信贷风险预警分析

基于大数据技术的风险预警系统可以分为源数据、数据交换、计算、应用、访问五个层级。其中源数据层是风险预警系统中的数据核心，其中包含了信贷行业内部、外部的各种数据信息。而数据交换层则能够完成对风险预警系统中数据源的控制与管理，完成对数据源数据的存储、组织，确保数据计算层在工作期间拥有足够的数据支撑。数据计算层可以完成对交换层数据的提取、整理、加工，从而形成信贷业务需要的各种基础数据与指标。而数据应用层则能够将计算层处理后的数据传输至数据库中，以便用户访问层对数据进行调取。

在信贷风险预警系统中，源数据层属于预警系统的重点数据来源，还是信贷风险系统得以完善的基础，其中主要包括内部数据源以及外部数据源两个部分。数据交换层则属于信贷风险预警系统中的数据信息交换平台，能够以信贷系统获取到足够的数据信息，其主要作用就是将数据源层中的各种数据信息以数据文件的形式存储到数据交换平台中。数据计算层是信贷风险预警系统中的重要组成部分，属于整个系统的核心内容。数据计算层能够利用数据平台交互技术将各种数据信息存放到分布式系统中，并通过数据加工将结构、非结构数据处理成符合信贷风险预警系统的基础数据内容，并合理利用计算规则完成数据信息的加工、筛选，从而生成信贷风险指标[2]。在此期间，计算层会利用Hive 完成对关系型数据信息的存储，利用Hbase 完成对半结构、非结构化数据信息的存储，sqoop 将会用作数据信息的传输等。数据应用层可以完成对计算层数据的整理与汇总，并将整合后的数据传输至数据服务器中，保证数据访问层具有足够的使用数据。数据访问层属于信贷风险预警系统的访问窗口，用以帮助用户完成数据信息的访问。信贷风险预警系统就是将信贷数据资料作为基础，帮助金融机构完成信贷风险判断的系统。

3 预警系统关键技术

3.1 Hive

Hive 就是在Hadoop 上构建出的数据仓库框架，在信贷风险预警系统中负责数据计算层贴源数据、数据汇总内工作，在使用期间，不仅可以作为与ETL 相应的数据库，用来完成对内部、外部结构化数据信息的存储，还能够将ETL 加工处理后的数据信息与数据历史记录存储在Hive 中。

3.2 Hbase

Hbase 属于分布式面向列的一种开源数据。在预警系统中，Hbase 的主要作用就是完成对行外非结构化数据的存储，经过存储的非结构数据能够通过Hbase 转化成为结构化数据存储至Hive。

3.3 Oozie

Oozie 工作流属于DAG 中的一组动作，动作中指定了执行顺序。在预警系统中，通过Oozie 能够完成对流程的合理调度，从而在流程调度区域中发挥出非常好的效果。Oozie 的主要任务就是在数据平台ETL 中对加工作业开展调度管理。

3.4 Sqoop

Sqoop 属于帮助Hadoop 与关系型数据库两者之间将内部数据相互传递的一种数据传输工具。在预警系统中，Sqoop 可以在应用层中使用，使用时能够将计算层中加工得出的各种基础数据以及汇总数据传输至关系型数据库中，从而将数据提供给Web 进行查询使用[3]。

3.5 Streaming

Hadoop Streaming 是一种能够为MapReduce 编程提供方便的工具包。在预警系统中，合理利用Streaming 就可以完成对数据的快速处理，并将贴源区的数据传递至关系型数据库。

4 数据计算层架构

在信贷风险预警系统中，如何实现数据信息的存储加工正是预警系统中的关键内容。预警系统中的数据计算层需要在大数据平台上设计并实现。在设计过程中，需要优先将数据交换区中的数据信息全部传输至大数据平台中，这部分数据信息将会存储在数据计算层贴源数据区Hive 与Hbase 内，数据标准区则会将这部分数据信息进行标准化操作并实现统一设计、管理，然后在计算层的汇总层内部将标准化数据按照加工规定完成加工统计，当前数据需要通过Sqoop 输送至数据库中使Web 端对其进行展示。数据计算层架构内容如下：

（1）在数据计算层的整体架构中，交换区域外部数据平台共包含3 部分，即信贷业务数据、外部数据以及业务实时数据，这3部分数据会通过数据传输、推送等方式把数据传输至数据平台。

（2）在数据计算层中，还能通过YARN 对数据平台中的数据开展统一管理。然后采用HDFS 完成对数据文件的存储、集群创建管理。

（3）数据平台中的数据信息文件可以通过Hive 传输至信贷业务数据表中，在此期间需要利用脚步封装数命令完成对Oozie 的合理调度。

（4）数据平台外部数据能够利用Hbase 进行转换并进入Hive中，此时需要通过Oozie 完成数据信息调度。

（5）数据平台业务数据与外部数据将会利用Hive 与转换脚本生成标准化数据，生成的数据将会经过Oozie 调度存储至Hive 中。

（6）利用Sqoop 与外部RDBMS 连接完成后，可以结合标准化数据按照汇总规则完成数据信息的汇总统计，方便Oozie 的后续调度。

（7）数据平台中已有实时业务数据将会与标准化业务数据相结合，然后利用Streaming 完成数据加工。

（8）Sqoop 经过脚本封装将标准化基础、汇总数据传递至RDBMS 中，这部分脚本需要由Oozie 进行调度。

（9）BI 工具可以利用标准sql 对RDBMS 基础、应用、汇总数据进行访问，利用Spark Sql 完成对历史区域中的数据、实时数据访问。

5 预警系统数据组织

5.1 数据表组织

预警系统包括了贴源数据、历史数据、标准数据、汇总数据四个不同的数据区域。为了能够明确四个数据区域内的业务数据，系统数据表组织可以划分成为三级，其中第一级主要用作区分预警系统中各类数据应该属于哪一个区域，而第二级则主要用于区分数据信息的业务类型。第三级便是具体的数据表内容，数据分组需要结合具体含义来完成命名[4]。

5.2 数据文件组织

新店风险预警系统中的各类数据文件需要存储到HDSF 中，为了对业务类型、文件类型进行区分，需要对数据文件专门进行组织。

5.3 N作业组织

作业可以利用一个作业同时处理多个数据逻辑，或是通过将一个业务逻辑拆分成为多个作业来完成处理。

6 信贷风险预警系统实现

6.1 贴源数据区

在信贷风险预警系统中，贴源数据区就是为了完成数据加载、转换专门设计出的数据区，属于纯技术加工类型的数据区。将与源系统相同的数据结构与内容融入到贴源数据区需要经过构建数据表以及导入数据两部分。第一部分为构建数据表，购进过程中为了能够保证数据完整性，需要将构建的数据表结构与原系统的数据结构保持一致性。

6.2 数据标准区

数据标准区的主要任务就是将贴源数据区域内的数据信息，按照信贷业务的分类方式实现数据标准化的过程。想要实现数据标准区就需要同时完成代码标准化以及码值标准化。实现步骤包括构建标准数据表以及构建标准码值数据两个部分，其中构建标准码值数据就是实现码值转化，在数据标准化的过程中便可以完成码值的转换。

6.3 数据汇总区

在预警系统中，数据汇总区的主要作用就是标准区域内的数据按照风险指标加工规则完成汇总数据处理的整个流程。该部分包括构建汇总数据表以及汇总数据加工两个部分。

6.4 流程调度

预警系统能够通过Sqoop 完成数据信息的传递，完成对Hive中的基础数据与汇总数据的传输，关系型数据库中数据信息可以提供给其他区域使用。流程调度即是完成作业调度管理，由于预警系统中需要通过脚本完成大部分操作的实现，所以调度作业类型需要选定shell 作业。在流程调度过程中，主要包含三个实现文件，三个文件分别代表作业流程、配置信息以及脚本信息。通过作业流程能够完成对作业的调度管理，而利用配置信息则可以完成面向对多种参数的有效说明，脚本信息则可以完成对实现过程的封装处理。

7 结论

总而言之，时代的发展令信贷行业面对的风险越来越大。在大数据的驱动下，通过将信贷业务数据与外部数据相结合，可以在数据平台中完善信贷风险预警系统，在信贷业务开展期间完成风险评估。相信随着更多人了解到信贷风险预警系统的重要性，预警系统将会变得更加完善。