数据瘦身系统建设方案探讨

刘卫民，王 婕，冯伟立

(中国联合网络通信有限公司天津市分公司 天津300204)

应用技术

数据瘦身系统建设方案探讨

刘卫民，王 婕，冯伟立

(中国联合网络通信有限公司天津市分公司 天津300204)

数据瘦身系统建设的目标是为了解决电信运营商日益增长的历史数据造成系统性能下降，占用昂贵的存储空间资源的问题，并且为历史数据的统一存储和管控提供了有效的解决方案。通过瘦身系统抽取支撑系统数据库的数据并转存到非关系型数据库(HBase)中，用户可以通过瘦身系统提供的接口访问里面的历史数据，实现生产数据库数据清理和加速历史数据库的数据访问速度的目的。数据瘦身系统同时提供对历史数据的快速访问，通过对数据的存储优化和索引优化，对历史数据的访问将比未部署数据瘦身系统前得到较大的提升，改善用户的满意度。

数据瘦身 HBase 流程引擎

1 总体描述

1.1 建设背景

运营商为支撑业务发展，建立了众多的业务系统。这些系统在很好地支撑业务的同时，对后端系统设备的压力也日益增长。数据瘦身系统的建设将缓解生产系统数据存储的压力，优化数据，降低硬件投资，同时有效提升生产系统的响应速度，改善查询效率。

1.2 建设思路(见图1)

通过瘦身系统抽取数据库的数据并转存到其他存储空间中去，用户可以通过瘦身系统提供的接口访问里面的历史数据，实现生产数据库数据清理和加速历史数据库的数据访问速度的目的。

2 技术架构方案

2.1 总体设计思路

设计思路包括两部分：功能架构、存储架构。

在功能架构上的设计遵循了多模块解耦的设计原则，根据职责的分工，分为两个子系统，一块是提供管理界面，负责对整个系统进行配置及监控；一块提供运行引擎，根据系统的配置执行相应的逻辑操作，如图2。

图1 数据瘦身系统建设思路Fig.1 Development thought of the data slimming system

3 总体功能架构(见图3)

① 系统监控。日常维护能看到监控界面，用户可以观察到任务的执行情况，并对任务进行操作，同时还可以对告警、服务和目前的存储情况等进行监控查询。

图2 总体设计思路Fig.2 Overall design idea

图3 总体功能架构Fig.3 Overall functional architecture

② 任务管理。为数据迁移提供任务定义、动作管理、流程定义等基础功能，用户可以在此定义任务，并作为流程引擎的环节执行。

③ 基础管理。提供系统基础的功能定义，包括异常、告警、数据源、策略等管理功能。

④ 存储管理。提供对存储逻辑视图的统一管理，包括存储仓库管理、存储单元管理、存储视图管理等功能，用户可以使用这些功能去透明地管理底层复杂的存储结构。

⑤ 流程引擎。提供流程支持，任务作为环节执行。

4 系统功能方案

4.1 系统监控

4.1.1 任务监控

用户监控界面是提供给用户使用的监控任务进程的统一界面，用户可以查询到正在执行的任务实例的信息、各个任务关联环节的信息，并且能够对环节执行重启、暂停和中止的操作。

任务信息包括任务实例名称、任务名称、任务类型、开始时间、结束时间、状态等。

环节信息包括环节名称、开始时间、结束时间、总历时、状态等。

用户能够通过任务名称、状态、开始时间及结束时间对任务进行查询，并能够在界面直接启动一个临时任务或者对定时任务的执行状态进行变更，如暂停或者启动。

4.1.2 告警监控

告警监控界面是用于监控系统产生的所有告警信息，并提供查询功能。

告警信息包括告警名称、告警描述、告警级别、创建时间、通知方式、通知人、状态等。

用户可以通过选择异常名称、告警级别、通知方式、开通时间、结束时间对告警进行选择，并进行告警的处理及复位等操作。

4.1.3 异常监控

异常监控界面用于展现所有系统抛出来的异常信息，并提供查询功能。

异常信息包括了异常类型、异常描述创建时间、状态及关联类型编码、关联类型标识等信息。

用户可以通过选择异常类型、状态、开始时间和结束时间进行查询，并根据关联类型标识和编码判断异常的来源。

4.1.4 存储监控

存储监控用于展现所有的数据仓库中拥有的存储单元，并提供存储单元的数据量、已用空间和查询次数等相关的统计信息，并展现出存储单元相关的视图。

存储监控包括了存储仓库名称、存储单元名称、创建时间、状态等信息，以及存储单元的更多信息，包括存储单元的数据总量、消耗的存储空间及通过服务查询的次数等信息，以监控存储单元的当前状况及后续趋势。

存储监控可以通过选择存储仓库、存储单元名称、开始时间和结束时间来过滤存储单元的信息。

4.2 任务管理

流程是对任务执行过程的定义，通过模板的形式去关联多个动作环节，并为不同的动作环节间定义先后的执行顺序。

流程通过配置一个或者多个动作形成一系列的处理过程，每个动作需要根据属性配置不同的内容。

流程必须能够支持版本管理，每个流程模板只能有一个有效的流程模板，用户可以选择设定有效的流程模板。

4.3 服务管理

4.3.1 服务定义管理

提供服务定义的界面，服务关联到一个视图，并且展现出相关的授权信息。

服务定义提供目录化管理，不同的服务可以归类到不同的目录下面，服务的信息包括名称、编码、关联视图、状态及创建时间等。

服务代表了数据开放访问的接口，服务以标准的格式满足外部系统对数据访问的需求。

服务请求和访问的报文都基于 XML，一个服务通过视图的方式汇聚数据，并对涉及的数据进行约束和对输入条件进行约束，返回的数据基于XML，以行和列的形式展现数据。

服务必须要有权限控制，权限与外部系统关联，任何一个外部系统对服务的访问必须通过权限校验，否则系统将拒绝服务。

4.3.2 外部系统管理

外部系统配置提供了对外部访问者的配置功能，外部系统的定义需要包括 IP地址、鉴权码以及最大连接数的定义，系统能够根据这些信息去定制外部系统的访问鉴权，访问鉴权可以打开或者关闭，同时可以为外部系统配置相关的服务访问权限，外部系统访问无权限访问的系统时，将会被拒绝访问。

4.3.3 认证方式管理

提供了认证方式的定义功能，认证方式包括了名义和编码，认证方式的处理逻辑将通过硬编码的方式实现，即通过相应的编码，去获取对应的处理逻辑。

认证方式包括验证码认证、用户名密码认证等方式。认证方式的信息包括名称、编码、创建时间等。

4.4 基础管理

4.4.1 数据源管理

数据源管理提供了对数据源的定义，数据瘦身系统基本上是对外部数据源，如数据库、文件等操作，因此需要一个统一的界面去管理所涉及到的数据源的信息。

数据源的信息包括了名称、类型、状态、用户名、密码、驱动、连接串及备注等信息。

4.4.2 异常管理

定义异常的信息及编码，系统中抛出来的异常信息必须与这里的定义对应，否则无法拦截出相关的日志信息。

异常信息包括名称、密码及备注等信息。

4.4.3 策略管理

策略管理提供了任务执行的策略的管理，策略包括了一次执行或者循环执行、执行时限、时间单位、时限值、告警时限值、执行周期、执行开始时间、执行结束时间、执行后关联任务等信息，策略是驱动任务执行的主要约束。

4.4.4 告警管理

告警管理提供告警信息的处理配置，可以配置为发短信告警、邮件告警或者仅记录，告警需要关联到指定的异常类型，负责特定异常信息的告警。

告警的信息包括了异常类型、告警级别、告警条件、告警频度、处理人、通知方式、状态等信息，并针对这些信息提供查询过滤功能。

在产生告警的时候，将针对告警信息进行解析，并映射到已经预定义好的告警上面，并展现出相应的处理过程。

4.5 存储管理

4.5.1 存储仓库管理

存储管理提供了对存储仓库的管理，可以定义存储仓库并初始化存储仓库，如果一个存储仓库的类型为数据库，可以从其他数据库导入表的信息，表的信息对应到存储单元，字段的信息对应到存储单元的属性。

仓库的信息包括了名称、类型、状态、用户名、密码、驱动、连接串及备注等信息，通过这些信息系统能够连接上目标系统。

4.5.2 存储单元管理

存储单元对应存储仓库的信息，类似于数据库-表的关系，在数据瘦身的后端为数据库的情况下，存储单元即是一张表，包括表相关的属性，例如字段、主键等信息。存储单元的属性信息可以通过导入某个表的属性完成。

存储单元的信息包括名称、所属仓库、状态、创建时间以及属性信息，属性信息包括名称、编码、值类型和字段类型等信息。

4.5.3 存储视图管理

存储视图提供了服务对数据访问的一个入口，数据服务通过访问视图实现对数据的访问，存储视图可以是一个数据库的视图，存储过程提供版本的功能，通过版本管理应对视图的变化。■

［1］ 陈劼，王鑫. 业务支撑系统大数据迁移的质量与时间管控[J]. 江苏通信，2013(5)：53-54.

［2］ 黄昆. 数据“瘦身”，分层存储[J]. 中国计算机用户，2007(2)：60-61.

［3］ 方慕贤，吴声援. 设备管理信息系统的“瘦身”[J].中国设备工程，2013(12)：44-45.

Development Scheme of a Data Slimming System

LIU Weimin，WANG Jie，FENG Weili
(Tianjin branch of China United Network Communications Corp，Tianjin 300204，China)

The goal of data slimming system construction is to solve the problems of poor system performance caused by growing historical data of telecom operators and the occupation of expensive storage space，and to provide an effective solution to unified storage and management of historical data．Through data extraction from supporting databases to non relational database(HBase)by the slimming system，users are able to get access to historical data through an interface provided by the system，so as to fulfill data cleaning of the production database and speed up data access speed to historical database．The data slimming system also provides fast access to historical data．Through optimization of both data storage and indexing，the access to historical data will be far more improved compared with others without the slimming system，thus enhancing users’ satisfaction.

data slimming；HBase；process engine

TP399

A

1006-8945(2015)09-0031-03

2015-08-06