ETL和ESB架构在企业信息化建设中的应用

文/秦晓燕

1 传统企业信息化建设过程中存在的问题

随着企业信息化建设的不断进步及互联网技术的飞速发展，越来越多的日常事务更多的依赖多种多样的IT 信息化系统，在满足企业高速发展的同时，建立了一系列的信息化系统。信息化系统的建设提高了企业的信息化发展，提高了企业的办公效率，也对企业的高速发展提供了强有力的支撑。但由于这些系统大都是在不同时期由不同开发商以不同的技术框架实现的，导致了系统间信息的孤立、资源无法共享，增加了企业系统的运维成本，加大了系统之间操作的复杂度，引发了各类问题。具体体现在以下几点：

1.1 用户体系无法统一管理

由于各系统均需要独立维护各自的用户体系、权限管理，这样既浪费了企业的资源，也无法保证用户体系的完整性和一致性。例如，对于需要登录多个系统的用户，在进入每个系统的时候，都需要输入用户名和密码，且由于各系统的账号、密码管理的不统一，所以需要业务人员记录多个账号和密码，增加了业务人员的操作复杂度，带来了极大的不便利。同样，对于系统管理员的工作也带来了一定的难度，比如有员工离职，系统管理员需要到不同的系统中删除离职人员的账号信息，不仅增加了工作量，还容易产生删除遗漏的情况，给企业造成一定的安全隐患。

1.2 系统间数据中断

由于各系统在建设初期，不同开发商只考虑了当下系统的需求，采用的开发技术和框架也存在很大的差异，缺乏统一规划，数据标准不统一，不同系统间数据流转无法通过系统直接实现，导致了数据中断，降低了企业业务流转的时效性，增加了人工处理的复杂度，一定程度上增加了出错概率，降低了工作效率。

1.3 系统架构不一致

伴随着信息化系统的增多，不同的信息化系统的部署方式各不相同，有些系统需要部署在Windows 操作系统，使用Sql Server 数据库，有些系统需要部署在Linux 操作系统，使用Mysql 数据库，对企业运维团队的要求也越来越高，增加了系统运维工作量，同时服务器资源也很难有效利用，一定程度造成硬件资源浪费，增加了企业运维成本。

1.4 服务扩展困难

在企业业务快速扩张的情况下，信息化系统的服务扩展相对困难。

2 企业服务总线ESB架构研究与实现

针对企业信息化系统建设过程中遇到的各种各样的问题，使用了ETL 和ESB 框架构建了企业服务总线ESB 平台。该平台主要包含了企业数据中心、企业服务总线、信息化系统以及企业运维四大模块，如图1所示。

2.1 企业数据中心

当前正处在大数据时代，大数据给企业带来了新的机遇和挑战，通过对企业的大数据分析，可以合理有效的整合企业资源，帮助企业提高管理水平，优化企业管理模式，突破传统经营迈入创新经营之路，由此可见，数据将在企业的发展过程中发挥越来越重要的作用。

通过对企业多种不同架构的信息化系统的调研、分析，结合企业实际业务需求，最终将多系统中共用的数据进行了梳理、合并、分析后，建立了企业数据中心，同时创建了企业的专有数据池--“基础池”。所谓“基础池”，是指多个系统中共用的且都需要各系统单独进行维护的数据，但该数据在企业的多个信息化系统中应是相同的或一致的（例如：机构管理、部门管理、用户管理以及其他可共用的诸如商品等业务基础数据等）。在建立“基础池”后，对所有“基础池”相关的数据进行新增/编辑时，都需要设定统一的入口进行操作，这样就能够保证该部分数据在所有信息化系统中是完全一致的，既能保证数据的完整性、准确性，也能实现数据的实时性，同时也能够简化企业员工对信息化系统的操作，最终将系统操作变得更加便捷、高效，提升了用户体验度，减少了出错率。

由于企业有多个不同的信息化系统，使用了不同的数据库(SQL Server，Oracle，Mysql等)，且也是安装放置在不同的物理服务器上，这时如果我们要用代码的方式来实现，其复杂程度较高且工作量也会比较大。如果使用SQL语句或者存储过程的方式，首先需要连接不同的数据库服务器，单独进行处理，最后再将不同系统对应的SQL 执行结果进行比较、合并，这种方法更显笨重、易出错且兼顾到数据的实时变化等状况，最终使用ETL 技术来解决诸如此类的问题，实现企业数据中心的建设。ETL，是英文Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。数据抽取前期需要做大量的调研分析工作，搞清楚各信息化系统中有哪些数据，确定哪些数据是需要提取到“基础池”中的，不同信息化系统使用的是哪种数据库服务，存在的数据是否有差异等，只有充分的分析清楚后才可以进行数据抽取的设计工作。关于抽取频率的考虑：对于实时性要求高的数据，可以考虑每小时抽取一次；对于实时性要求不高的数据，可以一天抽取一次。关于抽取策略的考虑：对于新增、更新的数据，可根据创建时间或者更新时间，进行数据的增量抽取策略；对于删除的数据（尤其是物理删除的数据），可采用全量拉取比对的策略。数据转换是对系统中重复的数据、不完整的数据或者有错误的数据进行修正的过程。由于不同时期建立的信息化系统，在使用过程中有些信息化系统经历了多次的开账处理，中途会产生大量的不整合数据，数据转换阶段最重要的工作就是将这些不整合的数据进行清洗过滤或者根据一定的规则进行转换。最后数据加载，顾名思义就是将转换后的数据给相关人员展示。

在“基础池”的建设初期，考虑到企业信息化系统的现状，最终选择了使用Kettle 工具来完成ETL 的大部分工作。Kettle 是一款国外开源的ETL 工具，纯java 编写，可以在Windows、Linux、Unix 上运行，它提供图形化的界面，操作起来简单便捷，支持多线程的处理方式，对应海量数据的处理，时间短、效率高。Kettle 可以管理不同的数据库，在使用的过程中，可以通过系统化界面创建对应的transformation，完成针对数据的基础转换工作，然后创建job 设定执行频率即可，操作简单方便，极大的减少了开发的工作量，同时也能够满足企业对数据完整性和实时性的要求。

2.2 企业服务总线ESB

ESB 全称为Enterprise Service Bus。它是传统中间件技术与XML、Web 服务等技术结合的产物。ESB 是实现企业系统间的集成和数据流转的重要技术架构，它支持各种协议的接口，对于企业不同时期开发的系统有很好的兼容性，可以简化打通企业系统间数据流转的工作量，让系统间集成变得更简单。同时ESB还集成了服务安全模块、接口调用安全模块、数据安全模块以及日志监控模块。可以将ESB理解为一个中间件平台，包含了服务注册、服务授权、服务监控、服务治理等服务。通过使用ESB 企业服务总线，可以简化企业应用系统业务逻辑，变得更加简单、更有针对性，同时也减少了企业信息化系统间的耦合度。

搭建企业服务总线时使用了Spring-Boot微服务框架，其设计的目的是可以用来简化新Spring 应用的初始搭建以及开发过程。在使用Spring-Boot 搭建ESB 服务总线时，分别配置了开发环境、测试环境、生产环境对应的配置文件，以便在不同阶段针对不同环境可以快速的进行打包、服务部署等相关工作。在ESB企业服务总线中定义了企业部门新增/修改接口、企业用户/修改接口、企业商品新增/修改接口、企业客户新增/修改接口等。在不同企业信息化系统中，在用到和基础池相关数据时，均通过ESB 中提供的相关接口进行处理，减少了系统和系统间直接交互的复杂度，降低了系统服务的耦合度，同时也减少系统运维工作量。

图1：企业服务总线ESB 平台

2.3 企业信息化系统

企业的IT 运维人员可以对OA、CRM、ERP 等信息化系统，进行统一的用户分配、权限设定，不再需要登录不同的信息化系统单独进行设定。不同业务部门的人员仍然在原有的信息化系统中处理日常工作，企业数据中心和企业数据总线的建立，对于各信息化系统的业务处理逻辑没有任何影响。

2.4 企业运维

通过ESB 提供的服务监控，能够及时的发现问题并解决问题，提升了系统的稳定性和健壮性。伴随着企业规模的不断壮大，也能够更有针对性的进行服务扩展，更加充分的利用公司服务器资源，降低企业运营成本。在建立数据中心的同时，进行了所有信息化系统的统一数据备份，在数据丢失或遭到破坏的时候，能够及时快速的进行数据恢复工作。

3 结语

随着 ESB 的发展及企业信息化建设的推进，ESB 提供了一个强大的、可伸缩的集成平台。本文通过ETL 和ESB 技术建设的企业数据中心和企业服务总线研究，解决了系统间信息孤立、资源无法共享的问题，降低了出错率，提高了工作效率，简化了信息化系统之间数据共享，提升了系统稳定性和健壮性，降低了企业运维成本，最大程度上提高了业务回收效益。实践证明，ETL 和ESB 技术是企业实现应用系统信息化集成的一种有效实施方案。