赵文瑜,范 涛,候 秦,冯必成,俞 枫,苑 博
(1.华东理工大学,200237;2.上海华腾软件系统有限公司,200233;3.国泰君安证券,200120)
金融交易风险监控平台的相关技术研究
赵文瑜1,范 涛1,候 秦2,冯必成2,俞 枫3,苑 博3
(1.华东理工大学,200237;2.上海华腾软件系统有限公司,200233;3.国泰君安证券,200120)
随着互联网+模式的迅速发展,互联网金融已经成为当今社会不可或缺的一部分。金融业的信息安全已经关系到社会的各个方面,在金融的信息网络中任何一个安全漏洞都有可能引起重大损失,因此对金融业的风险实施有效的监控是非常有必要的。本文主要对基于互联网行为分析的风险反欺诈监控平台关键技术的研究与介绍。在实践应用中,本平台能够有效的处理海量级的金融业数据,从关系复杂的金融大数据中提取金融交易风险的判别准则,从而有效的监控金融业的风险。
互联网金融;金融大数据;金融交易风险;反欺诈
电子银行的快速发展推动了金融大数据的高速积累,金融业的风险预测和风险管理已成为当今金融业研究最关键的环节之一。IDC定义大数据是一种从非常大量的各种各样的数据中提取经济价值的技术与架构。随着金融信息化的高速发展,金融信息系统具备了新的风险特征。其风险不仅包括传统意义上的金融风险,还包括技术风险、运营平台及第三方支付平台产生的系统风险,以及巴塞尔委员会提到的声誉风险(即由于重大安全事故或系统缺陷引发的公众对金融机构的信心危机)。
基于互联网行为分析的风险反欺诈监控平台的建设目标是通过平台建设帮助金融机构全面满足监管机构要求,改变传统的安全控制措施,建立全方位、立体式的监测,提高金融机构对风险的管理和监控水平。帮助金融机构建立以互联网行为分析为基础的,全面的,事前防范、事中监测及事后分析的风险监控体系;帮助金融机构搭建以互联网行为分析为基础的,稳定的、动态的风险规则模型库,实现对交易全面业务风险智能排查、实时预警,有效防止欺诈风险的发生;帮助金融机构建立流程化风险事件处理,有效识别交易的风险级别,实施相应的动态安全策略,及时处理不安全交易、保护客户资金安全,提高美誉度,减少损失; 帮助金融机构进行多维度的风险分析,通过改进系统、完善业务流程、建立规章制度等多个方面防范风险再次发生,同时为风险管理规划提供数据基础。
本章节主要介绍了金融交易风险监控平台的相关技术。首先介绍了数据的采集技术,其次介绍了规则引擎技术,最后介绍了本系统的业务流程管理平台。
2.1数据的采集技术
2.1.1终端信息采集技术
为了对金融业的风险实施有效的监控,我们必须及时获取用户的各种信息,通过对用户的各种信息的挖掘,我们可以得到用户的日常使用习惯。在本项目中我们通过Javascript和浏览器插件Aleax等技术获取用户的IP地址、MAC地址和操作系统等信息,获取用户经常使用网上银行和手机银行的习惯,当发现某笔交易来自于非常用的终端时,将会提示警告信息,提醒风控人员及时处理。
2.1.2数据抓取技术
数据抓取技术是针对交易流水数据从网银、POS、电话银行、借记卡等相关系统的数据发布接口接收数据,其抓取按照时效包括实时数据抓取、批量数据抓取。
实时数据抓取是采集实时交易分发程序发送的准实时转接交易流水。准实时转接交易流水先送入采集交易表,然后再经交易过滤筛选后,送入受检交易表。然后再按一定条件并发地从受检交易表提取交易记录,调用交易检测模块进行检测处理,得到交易检测模块返回的值后,判断检测结果并将可疑的交易记入可疑欺诈交易表。批量数据抓取是系统以批量方式从相关系统导入电子渠道客户的客户信息、账户信息等批量数据,供系统进行规则分析和关联展示使用。
2.2规则引擎技术
规则引擎是在基于规则专家系统的基础上发展而来的,规则专家系统属于人工智能的范畴,它模仿人类的推理方式,使用试探性的方法进行推理,并使用人类能理解的术语解释和证明它的推理结论。
在本项目中利用规则引擎实时对客户交易行为细节进行快速分析,并计算风险分值和风险评级提交后续处理。引擎会对预先设定的风险指标进行跟踪、分析和监控,可以降低规则维护的成本和工作量,降低静态规则可能带来的大量误报、漏报。
规则引擎的输入、输出可以定制,输出的风险记录要求包括(不限于)风险值、触犯的监控规则(如多条可并列),可链接显示客户历史风险记录或交易习惯。规则分析采用了基于规则引擎的处理方式,规则分析处理流程如图1:
图1中方框表明了数据准备、检测引擎、结果处理之间的集成处理,主要由外部构建数据对象,将所有业务对象实例化、数值化后,调用检测引擎,通过“风险评分”将运行结果反馈出来,形成“风险评分处理”。
2.3业务流程管理平台
业务流程管理,是一套达成银行各种业务环节整合的全面管理模式。它能够据业务环境的变化,推进人与人之间、人与系统之间以及系统与系统之间的整合及调整。以信息传递、数据同步、业务监控和企业业务流程的持续升级优化为基础,实现跨应用、跨部门、跨合作伙伴与客户的企业运作。通过对企业内部及外部的业务流程的整个生命周期进行建模、自动化、管理监控和优化,使银行成本降低,利润得以大幅提升。业务流程管理平台的模型如图2所示:
案件管理需风险监控员、策略管理员、案件调查员等不同岗位的人员对案件进行建案、派案、调查、核销、结案,通过业务流程管理平台可以很方便的进行业务建模和流程监控。下面是一个简单案件管理的流程如图3所示:
图1 风险评分处理流程
图2 实现了对业务流程管理平台的建模
本章介绍了金融风险监控平台的创新特色技术。介绍了本平台的高性能设计、高可靠性设计、高安全性设计、高扩展性设计。通过使用分布并行的联机检测、基于内存的高效联机检测引擎、基于规则状态的统计量计算等相关技术实现了金融风险监控平台的高性能设计。通过采用分发缓冲和实时断点机制、健康检查下的任务接管、批量续做等相关技术实现了金融监控平台的高可靠性的设计。通过采用SSL加密和F5加速、密码结合数字证书认证、统一认证和权限控制等相关技术实现了金融监控平台的高安全性设计。通过采用应对业务动态发展的技术策略、检测规则的横纵扩展等相关技术实现了金融风险监控平台的高扩展性的设计。
3.1高性能设计
3.1.1分布并行的联机检测
监控金融欺诈风险的性能是风险反欺诈监控平台的关键指标,在互联网时代,我们每天创造了大约250百万兆字节的数据。为了能够对海量数据进行有效的分析,本平台采用了分布并行的联机检测。核心检测按照多进程并发设计,每个检测进程可以按照客户类型,客户行为,交易类型等做好任务范围划分,由交易送检模块完成交易向指定检测进程的发送。这样,每个检测进程的处理范围可根据检测强度进行调节。各个检测进程间相互隔离,可以多进程并行运行在同一台服务器上,也可以分散运行于不同的服务器上,由送检模块根据用户配置的分发策略,通过MQ或Socket报文向其发送交易,而检测结果又可统一汇总到可疑交易表中。由此,确保了检测性能的横向、纵向可扩展。
3.1.2基于内存的高效联机检测引擎
在本项目中检测引擎采用数据准备和检测分离,实现了算法的灵活定义。检测规则基于多类型数据项进行多项式组合运算,针对时间窗口的上下文统计,使用高效搜索的内存数据结构和滑动窗口队列技术。将数据项和运算符作为节点构建内存评估树描述规则,采用高效递归算法完成评估运算。以此构建的引擎结构利用内存处理的高效性,同数据库访问相结合实现了最优化的检测效果。此外,采用高效的内存数据库产品,将统计需要的热点表精简后部署,来简化内存中交易上下文环境的程序化维护,并将统计结果直接填入规则评估结构,完成与检测部分的衔接。
3.1.3基于规则状态的统计量计算
在检测分析中,统计量计算要耗费巨大资源。而其构成的规则,往往随业务需求不断调整,包括规则状态的“启用”、“停用”的切换。此外,模版规则在不同机构或商户组的分配情况,使得一些统计量在后续规则分析中没有被用到,或一个统计量只对部分机构和商户才有实际意义并参与了规则检测。 因此,为了避免无谓开销,需要在用户进行规则维护的过程中联动修改对应统计量的状态,同时在准实时检测程序初始化和批量准备阶段过滤无效统计量,以节省系统开销,提升整体检测性能。
图3 是一个简单的案件管理的流程模型
3.2高可靠性设计
3.2.1分发缓冲和实时断点机制
在实时和准实时检测中若采用DSP(交易分发模块)完成交易派送,在碰到通讯异常和接收停顿,DSP将交易存入临时表缓冲,临时表必须限制容量,但可以通过受检字段精简来提高缓冲容量。
分派方式可以采用将固定大小的交易文件存入存储空间的指定目录,由相关检测进程读取,处理中的交易文件将成为检测进程的断点记录。若采用由检测进程主动读取受检表进行检测,可通过检测进程记录交易精确时间(受检交易需按时间顺序读取)来确保之后处理的连续性。
3.2.2健康检查下的任务接管
实时和准实时检测可以采用多机并行处理,为了排除单点故障和实现自动恢复,每台检测机器上部署健康检查程序,记录本机检测进程的健康状态,同时对异常的检测进程采取本地重启和跨机接管的策略,即对部署在本地的进程尝试重起,指定次数仍未恢复的,由跨机的健康检查程序进行接管。 同时,交易分发模块将根据每个检测进程的最新部署情况自动调整交易分发目的地,实现无人工干预下的任务接管和动态检测分布。
3.2.3批量续做
批量的运行备份采用Stand By的方式,即维护一台工作状态与生产系统完全一致的备机,在主机故障时切换执行。 批量检测采用串行任务并行处理的方式,对整体串行任务中的数据量统计和规则检测按商户顺序划分、并发处理。每个并发进程自动记录当前处理的交易号作为断点。同时,批量总控下的各任务处理完毕也需记录执行状态。 这样,通过一张批量状态信息表,就记录当日批次执行情况的切片(断点信息),总控程序可以根据批量状态切片进行断点续做,当批量任务在任意一个环节被中断后,无论是批量主机还是备机,都可以在同一张批量状态信息表的情况下互相接管,实现了批量续做。
3.3高安全性设计
3.3.1SSL加密和F5加速
对于因特网上的管理和服务请求交互,采用SSL通讯,确保了通讯链路上的数据加密安全。同时在网络接入端,使用F5进行SSL硬件加速,确保访问效率。
3.3.2密码结合数字证书认证
对每个登录用户进行多因素身份认证,将CFCA数字证书ID结合用户名和密码,进行外部服务用户的身份认证,确保平台访问用户身份的真实性。 同时,将CFCA证书作为加密密钥,用证书私钥对关键业务进行数字签名,确保业务数据的安全性。
3.3.3统一认证和权限控制
系统的用户身份认证和权限管理使用专用数据对象进行存放和维护,实现用户的统一化管理,以确保用户数据和权限数据的独立存储,保证数据的安全可靠,同时实现统一用户认证。
用户信息和权限信息分别以两组树状结构分级维护,双方单向关联,即,用户指向角色。用户信息按机构、部门、工作组分级组织。权限信息分为操作权限、角色权限、角色组权限、机构权限等多级管理,不同权限针对管理和服务界面上的不同操作功能。具体落实在菜单、功能按钮、数据访问等多类对象的操作控制。
3.3.4安全事件检测和审计功能
安全有关事件包括:对安全有明显危害的事件和与安全有关的操作事件。当用户发起与安全有关的事件可通过包括安全机制的开放系统互连实体进行检测。检测事件的技术规范由安全管理实施。检测各种与安全有关的事件后随即产生后续动作:事件的本地报告、事件的远程报告、登录事件记录和恢复动作。
用户发起的安全事件属于审计对象,同时还包括:试探性操作、敏感数据修改、重要操作等日志留痕;系统将单独设立审计员角色,行使监督职责,与其他应用角色形成权限制衡。
3.4高可扩展性设计
3.4.1应对业务动态发展的技术策略
根据系统的实际需要和未来发展,在架构设计之前需要将风险业务和应用功能同后续的技术实现进行有效的整合。这里不仅包括对现有的静态业务的实现,更重要的是能够适应风险业务动态变化的特点,以应对不断变化的欺诈形势和防范措施。
因此,除了业务模型和技术平台之外,我们为系统特别设计了多类别的中间模块,以解决业务对技术平台的适配性、不同业务功能间的松耦合、不同处理环节的协作与隔离等问题。其中包括:实时和准实时交易分发控制、批量总控调度、联机检测的统计、检测分离结构、批量内存统计量算法、Web应用的分层调度、基于任务/状态/参与者的工作流程控制等。这些中间模块,从业务的组装、协作、控制、解耦等角度为今后风险业务的发展提供了良好的灵活性和适应能力。
3.4.2检测规则的横纵扩展
规则检测的横向扩展,主要通过对规则检测各环节的抽象分析,细分操作粒度,在问题合理分解的基础上,将互不影响的原子性操作进行并发性程序执行,并逐步实现任务分派、多机并行处理的硬件扩展目标。
规则检测的纵向扩展,主要通过对规则检测各环节合理分段,将专一化的任务交由特定程序处理,并根据任务执行中的资源消耗选择合适的硬件部署方式。
规则检测的横向、纵向扩展需要综合考量,融合使用。 例如,可以通过横向并发数据统计处理的方式,来增强系统整体纵向检测的效率; 而采用检测交易按近期、远期分开处理的分离部署,则体现了该环节的横向扩展。
在业务适应能力方面,规则横向扩展代表了检测规则支持的丰富程度,如:对滑动窗口、交易序列、历史回溯等复杂统计项的高性能实现,增加了规则对欺诈行为模式的描述能力。 规则纵向扩展代表了整体业务流程的拆合增删能力,如:交易预检、交易路由、检测分析等串行组合,由此实现系统业务的灵活性。
本项目是申报产学研/产业联盟合作专题的项目,基于上海市校企合作产学研平台,以高校理论研究和教学基础,以企业自身的技术开发经验,促进了科技成果的快速转化。上海华腾软件系统有限公司与华东理工大学有着长期的广泛的友好合作关系,特别是在联合培养学生、提供就业机会、联合开展技术难题攻关、系统软硬件设计与开发等方面进行长期的合作,共同建设校企产学研合作平台。
在本次项目开发中,华东理工大学提供了相关理论的支持,上海市华腾软件系统有限公司完成本系统的开发与完善。系统上线后一个月内,即捕获各类电子渠道欺诈交易100多笔,设计金额达到三百多万,系统运行半年以来,已累计挽回欺诈损失二千多万,创造了可观的风控业绩。
[1]Franks, B.,Analytics on Web Data:The Original Big Data,in Enterprise Analytics,T.H.Davenport,Editor.2013,Pearson Education,Inc.:Upper Saddle River,New Jersey.J_x0007_
[2]A.Oboler,K. Welsh, and L. Cruz, The Danger of Big Data:Social Media as Computational Social Science, First Monday, vol. 17, no. 7, 2012
[3] 王瑛.基于SSL加密协议的网络端安全研究.长春理工大学学报,2010,9
[4]Jame Manyika, et al. Big data: The next frontier for innovation, competition, and productivity.[Online]Available from: http://www.mckinsey.com/insights/ mgi/research/technology
[5]Big Data in 2020[Online] http://www.emc.com/leadership/ digital -universe/iview/big-data-2020.htm.
[6] 缴明洋,谭庆平. Java 规则引擎技术研究[J].计算机与信息技术,2006.3
[7]Jang D,Chone KM. Points-to analysis for JavaScript[C]// Proc of the 2009 ACM Symp on Applied Computing. New York:ACM,2009:1930-1937
[8]http://www.alexa.com
[9] Basel Committee on Banking Supervision.Basel Ⅲ:The Liquidity Coverage Ratio and Liquidity Risk Monitoring Tools[R].BIS,2013.
[10]晓辉.中国金融认证中心(CFCA)发布蓝牙KEY产品.网络安全技术与应用,2013.
赵文瑜(1966-)华东理工大学信息科学与工程学院高级工程师
范涛(1988-)华东理工大学信息科学与工程学院硕士研究生
候秦(1969-)上海市华腾软件系统有限公司市场部主管,工程师
冯必成(1976-)上海市华腾软件系统有限公司技术研发总监,高级工程师
俞枫(1969-)上海国泰君安证券信息技术部总经理,教授级高级工程师
苑博(1982-)上海国泰君安证券信息技术部大数据平台总监
Research on the related technology of financial transaction risk monitoring platform
Zhao Wenyu1,Fan Tao1,Hou Qin2,Feng Bicheng2,Yu Feng3,Yuan Bo3
(1.East China University of Science and Technology,200237;2.SHANGHAI HUATENG SOFTWARE SYSTEM CO.,LTD,200233;3.GUOTAI JUNAN SECURITIES,200120)
With the rapid development of internet plus mode,the information security of financial industry has been related to all aspects of the society,any security vulnerabilities in the financial information network could cause significant losses,so it is very necessary to effectively monitor the risk of financial industry.This paper mainly studies the key technologies of the risk counter fraud monitoring platform based on the Internet behavior analysis.In practical application,the platform can effectively deal with the massive financial data.The extraction of the risk of financial transactions from the complex financial data to determine the criteria for effective monitoring of risk of financial industry.
Internet banking;financial big data;financial transactions risk;anti fraud