基于大数据处理技术的IT系统实时信息交互判异算法

文/张文举

银行卡转接系统实现了系统间跨行、跨境业务的互联互通。系统可用性是衡量用户体验的基础指标。交易链路上各节点都有发生故障的概率，影响用户体验。鉴于此，对全链路的交易进行实时监控，变得越来越重要，以便及时发现问题并进行应急处理。

1 信息交互判异现状

目前， 普遍的判异算法大多基于均值、静态参数的方法，存在以下几点不足：

（1）对交换信息数据的转移缺乏适合判异的转换及指标衍生处理，数据结构未根据特征的差异化存储；

（2）现有的数据判异逻辑，缺乏对用户行为习惯的分类，以及不同性质银行的业务属性不同特征差异性化处理；数据判异未充分结合不同时间段趋势进行实时动态调整；

（3）信息交换数据涉及多个领域，数据的结构、格式、量级均呈现出多元化、快速增长的趋势，未对来自不同来源的原始数据交互信息进行转换和过滤及差异化处理。

基于上述现有技术方案的不足，存在以下问题：数据存储压力大，硬件资源消耗很大，且系统性能和效率大幅下降，难于对来自不同来源的原始数据交互信息进行有效的处理和深度的挖掘，从而导致误报、漏报、延时告警的发生，由此可能延误故障处理时机。

2 信息判异算法设计

为了解决现有技术方案所存在的问题，本文提出了能够对不同来源的原始数据交互信息进行有效的处理和深度的挖掘，实现基于数据衍生的数据交互信息判异系统及方法。

2.1 主要指标设计

涉及的监控指标主要有四类，根据监控对象的属性、业务、应用系统需要进行组合使用。

2.1.1 成功率和异常返回码占比

记回溯时间Δt内交易笔数为n，成功交易笔数为nsucc，异常返回码i的笔数为ni，则交易成功率异常返回码占比

2.1.2 TPS波动

记每秒交易笔数为TPS。对回溯周期Δt内的交易笔数n，计算TPS均值记本周期的TPS均值为上一周期的TPS均值为则TPS波动

2.1.3 无交易上送

记当前时间为tcur，最近一笔交易上送时间为tlast，则无交易上送时间为Δtnotrans=tcurtlast；

2.1.4 平均响应时间

对回溯周期Δt内的交易笔数n，记每笔交易k的响应时间为tk，则平均响应时间

图1

2.2 数据处理系统框架及方法

判异系统架构分为五个功能模块。

2.2.1 数据转移

对所有业务通过数据转移模块转移至监控库，该模块主要实现根据需要进行异常监控的对象对原始数据过滤采集，去冗后降低存储数据压力。

2.2.2 数据转换及存储

（1）对转移来的数据，根据后续数据存储、数据指标衍生、数据判异及规则优化需要，将不同领域的数据结构从格式、业务标识、传输对象等进行统一定义；将非标准化的数据标准化在转化；将具有一定周期性、偏态的维度通过统计标准化公式进行换算；

（2）对转换后标准化的数据按照数据源、领域、对象进行分层存储，避免后续数据衍生、数据查询进行全表扫描等影响性能的问题。

2.2.3 数据指标衍生

（1）区域：该子模块根据银行卡交易地区差异化特点，将数据衍生为分为36个区域指标；

（2）角色：该子模块根据银行属性、交易类别衍生出交易中担任的不同角色，不同角色所呈现的数据特征不一；

（3）周期：该子模块按照周期性特点，将数据衍生出不同的窗口化的周期指标；

（4）TPS趋势：该子模块根据实时各领域交易曲线（TPS即每秒钟交易量上升、下降、平滑、深夜），将数据衍生出4个时间片。

2.2.4 数据指标判异

（1）该子模块将数据衍生模块生成的指标，按照数据本身所呈现出的规律，对监控对象通过利用聚类将特征相近的对象归为一类，并根据其业务量、成功率、TPS趋势对各时间片下业务要素进行分类，建立判异规则等级；

（2）该子模块根据金融服务标准，对数据判异规则进行定义3类指标：A类为无交易上送，B类为成功率，C类交易量负波动，通过上述规则共生成20万量级的数据判异指标库；

（3）该子模块域监控对象根据自身的数据特征自动匹配其数据判异指标集、获取各时间片下符合其业务属性的判异指标，计算相应时间片下数据指标异动情况并输出判异结果。如图1所示。

2.2.5 数据指标异常告警

（1）该子模块将数据判异模块所输出的判异结果，通过告警的方式进行系统、web等方式展现，及时通知到相关方；

（2）该子模块建立了判异指标的有效率评估指标Y1-报警量、Y2-有效率、y3-事件量，并对指标建立基线，当触发基线将自动计算数据判异衍生指标的特征值，重新生成衍生指标相应的阈值并自动更新。

3 算法应用效果分析

本算法建立的基于实时交换信息的数据判异系统及方法，以符合实际数据特征的结构化方式对数据进行转换、衍生、存储，大幅提升了数据判异系统的处理性能及判异有效率，并通过衍生指标建立数据判异规则模块，在处理对象数据判异的过程中根据数据特征，智能调用符合其自身规律的衍生规则、动态调优阈值，降低了人工干预造成的误判，实现了秒级数据异常监控的突破，判异有效率达到97%以上。

4 结语

本算法不限于银行卡领域，在金融、制造等多个领域均可适用。随着计算机和网络应用的日益广泛以及不同领域的业务种类的日益丰富，根据数据交互信息进行异常判别操作以便产生告警的方法和系统变得越来越重要。本算法能够对来自不同来源的原始数据交互信息进行有效的处理和深度的挖掘，从而更精确地进行异常判别操作，及时发现问题并进行应急处理，大幅提升运维能力。