基于大数据技术实现的农村普惠金融系统

杨雨锋 四川信息职业技术学院 四川广元 628017



基于大数据技术实现的农村普惠金融系统

杨雨锋 四川信息职业技术学院 四川广元 628017

【文章摘要】

近年来农业在我国经济体系中重要性逐渐提高。而农业发展急需大量资金注入，银行贷款是一种典型应用。本系统主要在业务分析上考虑如何进行大数据技术应用，数据服务模型，综合分析农村普惠金融系统的业务流程和功能性分析。为新农村建设提供相关的技术支持。

【关键词】

大数据；数据模型；Hadoop；功能分析

1　大数据技术简介

大数据（big data），或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷去、管理、处理并整理成为帮助企业经营决策更积极目的的资讯。（在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据不用随机分析法［抽样调查］这样的捷径，而采用所有数据的方法）大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Veracity（真实性）。

大数据是一个概念，也是一种技术，也是一种应用。

大数据技术是云计算技术、软件技术、网络技术、通信技术、物联网技术、市场营销技术、电子商务技术、数据库技术的综合应用，通过对互联网上海量数据的跟踪、分析，智能化的给人们提供决策依据，科学决策，从而提高成功率，创造价值。

2　数据库技术介绍

数据库（Database）是按照数据结构来组织、存储和管理数据的仓库。如何处理的SOA-数据关系的三个不同模型来管理大数据、云数据和数据层次结构。

SOA的三个数据中心模型分别是数据即服务（DaaS）模型、物理层次结构模型和架构组件模型。DaaS数据存取的模型描述了数据是如何提供给SOA组件的。物理模型描述了数据是如何存储的以及存储的层次图是如何传送到SOA数据存储器上的。最后，架构模型描述了数据、数据管理服务和SOA组件之间的关系。

常用的数据库为MySql、SQLerver、Oracle等，与开发工具、Windows、Android、Linux、IOS等操作系统结合，即可开发出农村普惠金融服务的管理软件（平台）。

数据库效率问题可采用一个解决方案是现代分层存储模式。数据库不是磁盘，而是一组相互连接的高速缓存点，其存储于本地内存中，也可能转向固态硬盘，然后到本地磁盘，最后到云存储。缓存算法处理这些缓存点之间的活动，从而来平衡存储成本（同时也是平衡同步地更新成本）和性能。

对于大数据，它也是经常可以创建适用于大多数分析的汇总数据。

3　Hadoop介绍

Hadoop旨在通过一个高度可扩展的分布式批量处理系统，对大型数据集进行扫描，以产生其结果。Hadoop项目包括三部分，分别是Hadoop Distributed File System（HDFS）、HadoopMapReduce编程模型，以及Hadoop Common。

Hadoop平台对于操作非常大型的数据集而言可以说是一个强大的工具。为了抽象Hadoop编程模型的一些复杂性，已经出现了多个在Hadoop之上运行的应用开发语言。Pig、Hive和Jaql是其中的代表。

4　农村普惠金融系统功能分析

a.依权限等级提供读写修改功能。确保安全性。

b.提供多个客户关系图。直面形象的了解客户之间关系。

c.提供各种类搜索引擎，可以快速搜索使用者需要的信息。

d.采用分布式云存储，可以储存更多的数据。

e.兼容并整合各种金融工具在数据库中应用中。

f.显示编辑功能，可调节字体，背景等选项。

g.导出数据功能，在合法权限下可从数据库导出数据。

h.提供简单的分析功能，可初步分析客户情况，给出参考建议。

i.个人备注功能，依靠帐号可写入仅该用户可看到的备注。

j.关注功能，需要关注客户可收藏在关注栏。

5　软件实现过程

第1步：收集数据

要查找数据、收集数据以及根据数据作出决策，您需要实现一个分布式系统。因为设备基本上在不停地发送数据，您需要能够以较小的延迟加载数据（收集或获取数据）。这项工作在收集点完成，这里也是为实时决策而评估数据的位置。稍后我们再回到收集点。

来自收集点的数据流入 Hadoop 集群（在本例中，即大数据机）。可能还会将其他数据提供给此设备。例社交信源将来自分择相关哈希标记的数据聚合者（通常是一家公司）。然后使用 Flume 或 Scribe 将数据加载到 Hadoop。

第2步：整理和移动数据

下一步是添加数据（社交信源、用户个人信息和使结果与分析相关所需的任何其他数据）和开始整理、解释和理解数据。

例如，将用户个人信息添加到社交信源和添加位置数据以建立对各用户以及用户相关模式的全面了解。通常，这使用 Apache Hadoop MapReduce来完成。用户个人信息通过 Hadoop InputFormat接口从 Oracle NoSQL 数据库批量加载，因此被添加到MapReduce数据集。

为了将所有这些与 POS 数据、客户关系管理（CRM）数据以及各种其他交易数据结合，您可能会使用 Oracle Big Data Connectors将精简的数据高效地移动到 Oracle 数据库。然后您可以使用 Oracle 商务智能云服务器（Exalytics）或业务智能（BI）工具或者（这是比较有趣的地方）通过数据挖掘之类的工具，对您所跟踪的数据有一个全面的了解。

第3步：分析数据

最后一个阶段（这里称为“分析”）是创建数据挖掘模型和统计模型以便用于产生合适的优惠券。这些模型真正是皇冠上的明珠，因为它们让您能够基于非常精确的模型实时进行决策。模型进入收集点和决策点以作用于实时数据。该模型描述和预测客户个人的行为并基于这些预测确定要采取的行动。

第4步：开发、测试、运行系统

针对农户、银行双方的需求分析，按照软件开发的流程，选择合理的开发工具、数据库、操作系统，组建团队完成软件开发，并且实现与现有邮储银行系统软件的兼容、安全。

6　结束语

农村普惠金融系统是根据农业发展资金业务需要，结合银行金融业务流程，开发采用主流技术形成的。在应用过程过大量采用大数据技术，及时高效准确解决现实问题，具有一定应用于推广价值。

【参考文献】

［1］陈志菲.大数据背景下提升高职研究水平的若干思考.邢台职业技术学院学报.2015，32

［2］刘承良.网络大数据的现状与展望.中国管理信息化.2015，18（12）

［3］曾凌静.大数据系统架构及技术发展研究.石家庄学院学报.2015，17（6）

【作者简介】

杨雨锋 男，毕业于成都信息工程学院，现在四川信息职业技术学院任教，研究方向：网络工程，linux应用。