ETL技术在银行成本分摊系统数据处理中的应用

杨 政， 康 磊

(西安石油大学 计算机学院， 西安 710065)

0 引 言

成本分摊是指将某成本中心在特定会计期间内发生的各项成本，以合理的原则向受益的成本中心、利润中心、产品等成本接收对象进行分摊，以充分反映这些成本接收对象所应该承担的成本信息。

银行成本分摊需分摊的成本包括人员费用、运营费用、业务费用、行政费用、税费及其他费用等。各项费用根据其与业务的关联程度可划分为直接费用和间接费用。直接费用是指与产品销售或业务活动直接关联的费用支出；间接费用是指那些与产品销售或业务活动无直接关联，但是间接支持了产品或业务活动正常运转的费用支出。

1 银行成本分摊系统数据部分组成

银行成本分摊系统组成如图1所示。该系统由5大模块构成， 对此可做阐释分述如下。

(1)公共管理模块：完成对系统所涉及的基本档案、影响因素、映射规则的统一管理；

(2)责任会计模块：完成系统所需要的责任凭证管理，实现内部结算；

(3)成本分摊计算模块：完成成本分摊的方案设置，实现日常计算执行；

(4)盈利性核算模块：完成账户级EVA(EVA是英文Economic Value Added的缩写，一般译为附加经济价值，这是全面衡量企业生产经营真正盈利或创造价值的一个指标或一种方法)指标所涉及的各项收入、支出的计算，实现各个维度的EVA汇总计算；

(5)盈利性分析报表模块：提供满足日常经营管理应用需要的成本分摊及盈利性分析报表，提供给全行不同层次的报表使用者。

图1 成本分摊系统组成

除上述模块以外，银行成本分摊系统离不开数据，与数据相关的模块有2个。这里推得设计表述如下。

(1)外部系统数据文件：根据成本分摊外部数据接口规范的约定，由源系统或子系统通过源数据向成本分摊系统提供数据，以文件的形式；外部系统即源系统或子系统，如人力资源系统、内部资金转移定价系统等。

(2)ETL数据处理：成本分摊系统接受加载外部数据后，根据自身需要进行ETL数据加工处理，加工过程中将利用设置的相关映射规则，为成本分摊计算模块、盈利性报表模块等分别分步提供数据。

2 ETL模块处理

各个子系统将数据推送到成本分摊系统中，得到源数据，成本分摊系统对数据进行ETL模块处理，也就是将数据进行抽取、转化、加载到成本分摊系统中，对成本分摊的后续计算模块和报表模块提供数据支持。

2.1 数据的来源

成本分摊系统的数据来源分布在各个子系统中，需要人力资源系统、内部资金转移定价(FTP，下文FTP均指资金转移定价)系统、增值税系统、财务系统等系统提供数据。采用ETL技术将所需数据从各系统中抽取、转换、加载到成本分摊系统中，具体如图2所示。

图2 子系统与成本分摊系统数据处理关系

Fig. 2 Data processing relationship between subsystem and cost sharing system

由图2可知，人力资源系统、内部资金转移定价系统、增值税系统等子系统将数据以文件格式推送到成本分摊系统中，成本分摊系统中进行ETL数据抽取、转换、加载，将数据格式转换成本系统需求的数据格式。人力资源系统为成本分摊系统提供机构信息、部门信息、人员信息、薪酬信息、人员费用、运营费用、业务费用、行政费用等数据，FTP系统为成本分摊系统提供定价收入、定价支出等数据，增值税系统为成本分摊系统提供增值税数据等税费。

因为现有业务数据源或子系统多，如何保证数据的一致性，真正理解数据的业务含义，跨越多系统整合数据，最大可能提高数据质量，迎合业务需求不断变化的特性，是ETL技术处理的关键。

2.2 数据的抽取

数据的抽取是数据进入数据库的入口。由于数据库是一个独立的数据环境，需要通过抽取过程将数据从业务系统、外部数据源、脱机的数据存储介质中导入到成本分摊的数据库中。

数据抽取方式是：各子系统生成数据文件放在指定服务器路径下，然后通过XManager软件登录到对应服务器路径下，通过文件传输功能，获取到成本分摊服务器路径下。

数据从其他外围系统或子系统中获取，外围系统列表举例见表1。

表1 外围系统列表举例

由表1举例可知，资金转移定价系统中结果集表可以获得余额年累计数、当前余额等数据，人力资源系统中员工表可获取员工名称、薪资等数据。外围系统或子系统将运行所需表数据生成多个文件，推送到某一服务器路径下，成本分摊系统通过XManager软件登录到对应服务器路径下，通过文件传输功能，将每个文件获取到成本分摊服务器路径下。然后编写脚本，此脚本功能为将从外围系统或子系统抽取过来的数据文件加载到相对应的事实表中。外围系统或子系统提供的数据文件数据都是以‘|’分隔，所以在此时需要将文件中数据加载到表中才能使用，因此需编写相对应程序脚本才能完成这一步，到此时数据抽取才能完成。

2.3 数据的转换

数据转换是真正将数据源变为目标数据的关键环节，只有将原始数据转换成成本分摊系统定义的标准才能参与成本分摊计算，如果数据格式不准确，将会影响计算结果。根据数据调研结果，确认内容见表2。

表2 数据来源及字段

由表2可知，第一列是获取数据的源系统；账户级明细数据是指每个表的每条数据都应该是一条条账户信息，比如一个人的一个账户信息，科目级数据是指确认到每个科目的粒度信息；字段是从这个系统中需要获取到的哪些字段。

在数据抽取结束后，获取到最基本的源数据。如图3所示。

图3 数据加载转换处理

由图3可知，在Oracle环境下编写存储过程。存储过程将获取到的源数据通过定义的规则和要求转换成成本分摊系统的数据格式。加载增值税系统价税分离交易明细数据，然后获取增值税系统价税分离交易明细数据中的增值税字段，为后续报表计算提供数据支持；加载人力资源系统员工表，对员工表数据转换，比如部门ID字段, ID字段会被加密成一段无意义字符，这时就需要转换成定义好的规则。部分字段转换规则见表3。

由表3可知，将数据转换成某种占比后，将参与到成本分摊的计算中，会根据不同的占比进行费用分摊，这些占比数额将决定最终分摊数额的数额。

2.4 数据的装载

成本分摊系统的数据处理中的关键一步就是数据装载。在进行数据转换后，通过存储过程已经将对应数据装载到表中，如图3所示。数据的加载就是将各个子系统的数据文件通过脚本文件加载到对应表里面，或者将数据转换后的结果插入到表中。

表3 部分字段转换规则

对于数据量小且数据变化频率较低的数据文件采用软件工具经过必要的转换后装载到相应的事实表中；对于数据量大的数据先用软件工具生成每日的增量数据，再将数据插入/更新到相应事实表中。

数据转换结束，成本分摊计算完成，生成结果集，将结果集汇总，最终将数据加载到成本分摊报表中。

2.5 数据的校验

在数据加载完成后，需要对加载后的数据进行校验。数据加载后的校验是对加载质量的检查，同时数据校验的结果也是判断新系统能否正式启用的重要依据。

加载后的数据校验的指标主要包括五方面：完整性检查，引用的外键是否存在；一致性检查，相同含义的数据在不同位置的值是否一致；记录条数检查，检查新旧数据库对应的记录条数是否一致；特殊样本数据的检查，检查同一样本在新旧数据库中是否一致。

在成本分摊报表部分，会检查数据展示信息，同时对数据的格式以及数额进行检查和校验，详见表4。

如果查出有什么问题及时在存储过程中进行改正。

表4 成本分摊报表部分数据

3 结束语

成本分摊系统ETL部分的成功实施，对数据抽取、转换、装载的过程有了更明确的分工。通过将各个子系统数据经过抽取、转换、装载成符合要求的数据，并且拥有较高的数据质量。

在以后的工作中，研究拟将各个子系统的数据整合到数据仓库中，在需要开发新系统对接数据时，只需对接数据仓库，而无需再对接各个子系统，这将会大大减少开发成本。