基于HANA内存数据库的统信报表平台

张光明

摘 要：HANA内存数据库，应用多维分析引擎技术，构建保险统信报表平台，对业务和财务数据中的40个维度和近万个指标建模，实现了多维统计报表秒级响应，提升了分析效率，更好地支持公司运营管理和分析，逐步推广成为精细化的管理平台。

关键词：监管报送；風险管理；报表分析

中图分类号：TP311.1 文献标志码：A 文章编号：2095-2945（2019）01-0069-02

Abstract： Based on HANA memory database， by multi-dimensional analysis engine technology， the paper constructs the platform of the report form of the insurance corporation， models 40 dimensions and nearly ten thousand indexes in the business and financial data， realizes the response of multi-dimensional statistical report form at the second level. This improves the analysis efficiency， better supports the company's operation management and analysis， and is gradually promoted to be a refined management platform.

Keywords： regulatory submission； risk management； report analysis

1 应用背景

浙商保险的统信报送工作，从系统层面上，原先存在数据分散、运算效率低、报送校验耗时长等问题。因此基于HANA内存数据库自主研发统信报表平台，实现报送数据源统一归集的目标，提高报送数据的效率和准确性，提高成本与效益平衡能力、提升公司核心竞争力的内在需求。

2 应用要解决的痛点

2.1 数据分散，交叉取值

此前，系统主要建立在财务系统和核心系统的基础上，形成的两套独立数据源，分别执行数据清洗和运算程序，取得财务类指标和业务类指标。同时，二者又有交叉取值的情况，部分财务指标需从业务数据源中计算后，转移到财务系统数据库内进行二次汇总计算。

2.2 数据清洗程序执行效率低

原财务系统和核心系统所使用的Oracle 10g是属于事务性关系数据库，因内存不够IO读写效率太低，在处理大数据量运算方面性能有瓶颈。限于改进优化，提升空间有限。

2.3 报送校验流程严重依赖人工控制

因存在交叉取值的问题，需人为控制业务和财务指标计算的执行顺序；因指标校验是一套独立工具，需人工导入固定格式的Excel表格，一般耗时超过30分钟。由于监管指标间有严密的逻辑校验关系，或有个别指标取值异常导致需重提的情况，则需要反复提取再校验。

3 实现机理

HANA内存数据库的运用，极大地提高了运算效率。HANA在数据库启动过程中把数据从磁盘上加载到内存中，而对数据进行操作也是数据先不存储到磁盘上，而存储在内存中，用MVCC：（Multi Version Concurrency Control）来控制内存数据的一致性，而后台SavePoint定时的把内存中数据的修改从内存中写入磁盘。内存数据库并不实时的把数据更新到磁盘上，这样就减少磁盘的IO操作。读写操作都针对内存进行，不再直接与磁盘数据库交互，是一种异步操作，异步操作使得前端的写操作更快。

4 解决方案

系统核心部分是在HANA内存数据库中的数据清洗、提取、校验的各种存储过程，相关的基础数据维护、提取和校验报送数据、查询和导出报送文件等操作界面属于功能程序。

4.1 数据清洗、提取、校验存储过程

4.1.1 业务数据清洗程序

同步核心承保、理赔、再保、准备金等源系统数据，按报送指标的类别分组，形成21个汇总数据表。

4.1.2 财务数据清洗程序

同步总帐余额表，依据定义的分摊规则，依次完成公共部门分摊、前后线部门分摊、产品分摊、总分分摊、分支分摊及车险分摊、来源分摊、使用性质分摊等过程，从而形成供报送指标取数所需的数据表。

4.1.3 业务指标提取程序

依据业务指标配置表生成指标查询SQL脚本，存放于临时表。按四级机构代码分组，批量执行查询脚本，生成明细指标记录。按机构代码和指标层级汇总关系计算生成汇总类指标记录。

4.1.4 财务指标提取程序

依据财务指标配置表和机构映射表，依此按取值来源为总帐数据、分摊数据、现金流量数据、业务数据分别获取指标记录，最后获取计算类指标记录。

4.1.5 指标校验程序

依据指标间校验公式和机构间校验公式，按序依此计算公式两边的汇总值，判断是否一致。将有差异的结果输出到日志表中。

4.2 基础数据维护功能

4.2.1 指标及取数规则定义

（1）财务指标定义。定义财务指标的分类、数据源、币种、报送频度，以及取值范围。总帐和分摊来源取值按财务科目体系限定范围；现金流量来源按表行次限定范围；业务来源直接复制业务结果表；计算类指标维护运算符及子项指标名。（2）业务指标定义。定义业务指标的分类、数据源表、报送频度，以及取值范围。业务取值范围格式按查询的SQL脚本拆分，依此定义取值字段和函数、数据源表、查询条件所需字段名、条件值及关系符，特殊条件使用附加字符串字段。可按配置拼装成完整的查询SQL语句。

4.2.2 报送机构和层级维护

（1）机构定义。定义保监会上报机构代码、机构名称、区域编码、机构层级，关联维护财务公司段、财务成本中心（四级单独上报时需要）、业务机构代码以及上报类型等。（2）機构层级关系维护。定义保监会上报机构之间的层级关系，依次为全辖-省分-中支-四级独立报送机构。

4.2.3 财务科目体系

数据项包含8个核算维度，依次为公司段、成本中心、会计科目、明细科目（含再保公司）、产品代码、渠道代码、使用性质、来源等。

4.2.4 业务数据字典

数据项包含产品代码、险别代码、车辆类型、使用性质、渠道细分代码、农险产品、健康险标记等，主要用于指标定义的查询条件字段时引用。

4.2.5 指标校验公式

分指标间校验、相同指标按机构间层级校验两种公式，均从原校验工具库里导出，后续按监管发文进行更新。

4.3 提取和校验报送操作界面

引用SAP Data Services任务管理界面，提交定制的Job请求。提供5组参数：（1）报送时间范围，默认年初至当前日期前一个月末。（2）报送类型：1-快报、2-月报、3-季报、4-半年报、5-年报、6-年度决算。（3）财务指标执行步骤，决定是否重抽财务数据、是否执行数据清洗、是否执行业务数据同步、是否执行指标提取。（4）业务指标执行步骤，决定是否重抽业务数据、是否执行数据清洗、是否执行数据提取、是否执行数据汇总。（5）校验执行步骤，决定是否执行校验及校验类别，1全部指标、2仅限业务指标、3仅限财务指标。

请求提交后刷新页面，状态栏显示 表示正常运行完成。通过日志界面可查看当次执行结果是否有异常。

4.4 查询和导出报送文件

在WEB应用上开发了指标查询页面，可按期间、机构、指标、报送类型查询结果，用户在线复核反馈数据。

5 技术方案

5.1 软硬件配置

部署在企业内网，软硬件基本配置如下：

5.1.1 硬件服务器

使用Huawei solutions for SAP HANA-RH8100 V3，内置HANA内存数据库，版本HANA 2.00.012。

CPU：英特尔至强E7-8880处理器*4

内存：DDR4 RDIMM内存-32GB-2400MT*96

硬盘：通用硬盘共10T

该硬件实际上多项目共享，占用资源仅约500G。

5.1.2 软件配置

操作系统：Linux RedHat 6.4

中间件：Weblogic 12c

页面应用：基于Java语言，采用SpringMVC WEB框架开发实现，MyEclipse 8.6开发

数据抽取及任务调度：SAP Data Services 4.2

5.2 系统架构

基于SAP HANA内存数据库为主体，通过SAP Data Services从核心系统、财务系统等企业生产环境定期同步源数据，按照监管报送的频度，每月执行数据清洗、提取、校验等存储过程。

前端应用为WEB应用和DS服务两种形式，分别提供数据维护、指标查询和导出的功能页面，及发起任务请求。

6 应用成效

HANA内存数据库在报表系统改造取得突破。多年来，浙商保险信息技术部为应对日益增加的大量数据处理的需求，前瞻性地研究先进技术。经论证于2017年引入HANA内存数据库，并率先在公共报表系统上试点改造完成验证。从用户体验结果看，原需1～2小时提取的报表，改造后105毫秒完成提取。依据项目前后整体对比，性能平均提升逾千倍，显著提升了IT效率，具备推广应用的基础。

7 结束语

（1）实现报送数据源统一归集。大幅提高数据清洗和指标运算的速度，从而提高报送数据的效率和准确性。（2）持续拓宽应用领域。报表报送分析平台支持全险种主要维度指标的展示与分析，集成全辖分析报表，拓宽业务融合范围，形成企业级报表平台体系。（3）提升快速响应能力。进一步提升分析报表运行效率及更新频率，有效助力经营管理驾驶舱或仪表盘的实现，提升平台快速响应能力。

参考文献：

[1]陈建华.监管有效性研究[M].北京：中国金融出版社，2012.

[2]鲁素英，郭永强.金融统计中的“全科目”上报与非现场监管[J].中国统计，2011（10）.