金融大数据的处理以及在银行业中的应用

孙 波

（山西金融职业学院，太原 030000）

1 研究背景与研究意义

目前，信息技术（包括大数据、云计算、区块链、人工智能等）以惊人的发展速度向各领域渗透，从主观思维、客观行为两方面改变着广大消费者和传统银行业，商业银行面临着利率市场化存贷利差缩小问题以及以阿里巴巴、京东为代表的互联网企业的竞争，在此背景下探索大数据技术与银行主营业务的融合迫在眉睫，既为大数据技术提供展示舞台，又是银行转型的 “红利”源泉与驱动力量，推动银行以积极、开放的态度向数字化、智能化、开放化方向发展，以期实现更好地进行金融数据的管理和应用的目的。当前，我国银行业的首要任务便是深入研究和使用大数据技术，创新客户管理、营销方式、服务模式、产品设计、经营管理途径等，充分利用信息网络技术来拓展非利息收入业务，进而推动商业银行转型升级。

2 金融大数据概述

2.1 金融大数据的含义及其作用

大数据是海量数据的集合，数据量级至少在TB 级以上，且传统的典型数据库软件无法完成对数据的收集、存储、管理以及分析，这样的数据即是大数据，金融大数据便是金融行业的积累的巨量数据。大数据的基本特征可以用四个“V”来概括，即Volume（体量大）、Variety（多样性）、Value（价值密度低）和Velocity（速度快）。大数据的类型包括三类，即结构化数据（可由二维表来进行逻辑表达和实现）、非结构化数据（不便于用数据库二维逻辑表来表现，如图片、音频、视频等）、半结构化数据（纯文本数据，可通过某种特定方式解析得到每项数据）。

商业银行每天近七千万条交易数据，其中核心交易数据都超过TB 级，若数据分析师能有效管理和应用起这些数据，将为银行赋能并带来可观价值。实际运用中的金融大数据则不是对静态数据的集合，而是对金融数据的动态处理过程，包括四个环节，即数据的采集、清洗、存储和查询、分析与可视化，进而挖掘数据背后的价值，帮助商业银行更有针对性地设计个性化金融产品、开拓新型金融业务、提供优质金融服务。

2.2 金融大数据的处理

金融大数据主要包括宏观经济数据（GDP、社会消费品零售总额、固定资产投资、进出口总额、工业增加值等）、行业数据／指标（银行业不良贷款率、拨备覆盖率、资本充足率等）、上市公司数据／指标（基本数据、财务报表数据、交易行情数据、公司公告数据）等。

大数据处理是指面向类型复杂的海量数据，使用非传统的工具进行数据采集、数据清洗、数据存储、数据挖掘分析，从而获得分析和预测结果的一系列过程，具体如下。

2.2.1 金融大数据的采集

数据采集包括手动采集和自动采集（借用Python爬虫技术实现）两种方式。宏观经济数据的采集渠道有国家统计局网站、中国统计年鉴、国家各部门网站、各级政府统计局网站和数据商的数据产品等。银行业数据采集渠道有中国人民银行网站、国家外汇管理局网站、中国银保监局网站、中国外汇交易中心网站等。上市银行数据采集可以通过证券交易所、巨潮资讯网、新浪财经、和讯网、凤凰财经、网易财经、东方财富网等进行采集。

2.2.2 金融大数据的清洗

银行业中，无论是利用数据进行分析决策还是设计金融产品，在保证数据源可靠的同时，还得保证数据质量。未经清洗的数据一旦投入使用，就会对使用者产生决策误导。数据清洗环节包括数据预处理和质检两个过程。

（1）数据预处理，包括空缺值处理、重复值处理、异常值检测、数据规范化、逻辑错误检测。

（2）数据质检是通过对数据中字段、表的结构及业务逻辑的检验，来判断是否存在错误数据需要二次清洗，包括对数据属性、金融知识、关联关系的质检。

2.2.3 金融大数据的存储和查询

当今社会，数据已成为一种重要的生产要素，海量数据的存储是一个客观趋势。便捷地存储数据和快速地查询数据，是数据存储技术首要解决的问题。数据存储是信息技术对每天所需的数据内容（从应用到网络协议，从文档到媒体等）进行归档、整理和共享的过程，是大数据的核心环节。关系型数据库主要有MySQL、SQL Server 和Oracle。数据查询可以运用SQL 查询语句，包 括：SELECT、DISTINCT、ORDER BY、WHERE、LIKE 等。

2.2.4 金融大数据的分析与可视化

金融大数据的分析与可视化，是前面所有环节的落脚点，要求能够根据行业或企业自身需求选择合适的可视化工具制作可视化报告进行数据解析。常见可视化工具包括WPS 和Office 绘图工具、DataV 可视化组件库、腾讯云图、Tableau 等，编码类可视化工具包括ECharts 可视化工具、R 语言绘图、Python 语言绘图和SAS 语言绘图。通过对采集并清洗好的金融数据做图表，如面积图、词云、雷达图、饼图等，再结合文字分析，最终以报告的形式对所得数据背后的信息加以生动呈现，查找出问题、提炼出解决方案，为行业、企业的发展做出书面诠释。此外，还可以结合客户的非财务数据和财务数据进行综合分析，让客户从定量和定性两个角度清晰地认识自己的消费规律、投资特点等，并运用文字、图表这种可视性比较强的形式为其设计合适的理财规划等。

商业银行的金融产品研发人员、理财经理、私人银行经理、信贷人员等掌握大数据技术后，可以更好地进行宏观经济、微观客户金融行为的分析，设计出更加符合市场需求的金融产品、推荐给客户更合适自己的理财方式、提供给客户高品质的金融服务以及做好客户的信用管理，一定程度上降低商业银行所面临的信贷风险。总之，互联网时代，数据的力量不容小觑，尤其是金融大数据，更是一个新的风口，带来高效率的同时还能创造高收益。

3 大数据技术在银行业的应用

商业银行是海量数据的聚集地，除了资金和金融产品交易数据外，还有储蓄、信贷、征信、资产、客户数据等，若银行借用大数据技术对其进行管理、分析和应用，将会获得因数据驱动带来的红利。常见的银行的大数据应用场景集中在客户画像、精准营销、风险管控、投资理财等方面。

3.1 大数据技术在银行客户管理中的应用——“客户画像”更清晰

通过手动采集或自动采集（借用Python 实现）以下四类数据，包括客户在社交媒体上的行为数据、客户在电商网站的交易数据、企业客户的产业链上下游数据和其他有利于银行了解客户兴趣爱好的数据，利用这些结构化和非结构化数据构建以客户为中心的客户整体视图。银行业深度挖掘客户的个人偏好、资产状况、消费习惯、投融资方式等，方可更加真实、完整、生动地刻画出“客户画像”，这也为银行进行客户管理、精准营销、风险监测、战略制定等奠定良好基础。客户信息是银行运用先进互联网技术，对客户进行合理分类后，针对不同类型群体设计对应的营销方案，提升客户办储蓄卡和信用卡的可能性。此外，银行掌握独立客户数据之外，还可继续掌握他们之间的关系，探索客户人脉，进而打造庞大的“客户关系圈”，提高营销成功率并降低人力和费用成本。银行只有做到深度了解自己的客户，才能做到有的放矢。

3.2 大数据技术在银行业务经营和服务中的应用——“精准营销”更具体

大数据技术通过实时营销、个性化推荐、客户生命周期管理，实现精准营销的目的。零售银行方面，商业银行通过客户数据挖掘、洞悉客户交易行为，展开精准营销。一是通过模型发现影响活跃的因子，推动精准“获客”和“活客”。二是精准打造产品数据平台，构建跨部门、跨地区产品数据共享机制，同时要制定差异化销售点，以此保证精准营销。三是借用大数据及时采集客户软性信息数据，构造360 度客户视图，再根据客户类型与数量设置不同的采集标准，实现精准营销和客观的客户评价。商业银行相较于第三方支付等公司的优势在于拥有较多的中高端客户，通过挖掘这些高净值客户的数据信息并展开多维度分析，了解不同客户差异化需求，借用其中有价数据建立计量经济学模型或统计分析模型输出结果，并及时获取更新数据，周期性对模型进行反复训练，以期形成较为成熟的模型，最后借此模型对银行数据进行数据挖掘分析，发现客户的个性化需求，为其提供私人专属管理服务，以此增加客户忠诚度与客户黏性，实现银行金融产品和服务的精准营销。

3.3 大数据技术在银行风险控制与管理中的应用——“风险管控”更严格

多元化是互联网时代的典型特征，带来积极影响的同时，也有一定的负面作用，如金融风险愈发复杂多变，这将对金融活动的正常运行产生阻碍，更是对相关部门有关金融监管提出了更高的要求。大数据技术包含各类金融风险的计算法，在金融风险监管中构建完善的防范系统，通过对金融风险进行计算、识别、监管，将风险发生的可能性极大降低。比如，发放贷款作为银行最重要的资产业务，贷款质量的优劣直接影响银行的盈利能力和风险高低，且银行作为负债经营的企业，风险管理工作更应受到高度重视，利用大数据技术解决贷款前（客户信用信息不对称）、贷款中（银行工作人员审批错误）和贷款后（资金用途改变和企业经营不善）存在的问题，实现快速识别风险及其来源，尽快找到应对策略，将可能面临的损失降到最低，尤其应借助信用评级模型及时考评和跟进客户信用质量的变化。商业银行运用大数据技术可更全面地了解客户的消费习惯和行为特点，提高风险模型的精确度，提升风险定价能力。

3.4 大数据技术在银行帮客户进行财富管理中的应用——“投资理财”更高效

互联网时代中，客户获取投资方面的信息渠道越来越多、知晓的理财方式也越来越丰富，且随着民众收入水平的逐步提升，更多的客户对财富的保值增值的意识日益浓厚，更加积极主动地参与到个人、企业财富管理活动中来。因此，广大客户对于如何选择适合自身特点的投资理财模式的需求也在不断升级。银行作为规模最大的金融机构，在此背景下，更应该乘着大数据技术的东风，在金融科技企业抢夺客户竞争中，发挥自身优势，稳固客户的忠诚度。银行业掌握用户资金的交易信息，包括交易金额、交易时间、交易用途、资产分布等，运用大数据技术分析客户交易数据，可在一定程度上解决金融信息不对称问题，提供符合不同客户资产状况和投资需求的金融产品与金融服务，以此满足他们对财富管理的期待。比如，低净值客户偏好于风险性低流动性强的、高净值客户则更重视产品的长远收益，有利于银行业创新理财产品与服务。此外，利用组合算法、风险模型分析等大数据技术，结合传统资产组合理论构建投资模型，综合考虑用户的投资预期、财务实况、理财年限、投资偏好、资产处置习惯等，运算生成的个性化的投资建议方案，尽可能帮助客户动态调整各类资产比例，高效运用闲置资金，使收益率与流动性实现最优匹配。

4 总结

综上所述，传统银行业借大数据科技之舟，从客户关系管理、精准营销、风险管控、客户财富管理等方面入手，定将驶向“智能化”“数字化”“精准化”的彼岸。但要想让大数据技术在银行业发挥更大的正向作用，需要一定的前提条件，包括建立完整高效的信息数据系统、培养金融科技人才胜任金融数据处理工作、建立金融大数据管理的相关制度等。只有在严控金融科技潜在风险的基础上，才能让金融大数据的现实价值落地，促使其为保障银行业的信息安全性做出贡献，并推动商业银行朝着“三升两降”的转型方向不断迈进，即提升盈利能力、提高竞争力、优化服务质量，以及降成本、降风险。