业务实时监控方案

黄启雄

【摘要】 随着社会信息化的发展，业务经营数据价值与日俱增，对运营信息分析的及时性要求也不断提升。本方案运用数据复制产品，通过数据库日志实时捕获业务变动导致的数据变化，采用了流转换技术以及流处理方法进行实时数据处理，并使用了内存数据库做进一步的分析，有效提升了业务数据的获取效率。实现对生产运营信息的及时分析，以更短的时间进行实时决策的目的。

【关键词】 数据库日志 流处理 内存数据库信息化社会对业务运营分析及时性要求越来越高，亟需一种实时或准实时监控业务受理数据的方法，实现高速分析，以达到辅助快速决策的目的。传统的经营分析，一般在原有业务系统上直接进行统计分析，或者建设数据仓库系统用于分析。前者可能占用业务系统大量的资源，对正常运营造成极大影响，通常在繁忙的业务系统上不允许常态化应用。后者一般在业务系统闲时从数据库表中按日、按月抽取数据，存放在数据仓库中，能进行复杂的分析，但也难以及时运营分析，导致问题发现时间延迟。因此，设计一套新的方案，通过读写分离技术将对源系统的影响降到最低，并具备高性能、低延迟，适应复杂业务环境，满足实时、准实时的运营监控分析需求。

一、目标

本方案提供了一种基于数据库日志，通过结合使用数据实时复制产品如GoldenGate、流处理产品如Stream和内存库如Timesten，实现对业务受理数据进行及时监控的方法。主要目标是：

1、解决了数据获取的时效性问题。提供了一种基于数据库日志的实时数据获取方法，数据处理与存储采用流技术与内存技术，全过程不写磁盘，在低生产系统开销的情况下提升整体数据获取跟分析的性能。2、实时与准实时数据应用能力。提供高效的实时统计、实时监控与准实时分析能力，将数据应用的响应时间由传统的天级提升到分钟、小时级。3、辅助快速决策。实时与准实时的数据，能提供了更广阔的应用场景，如基于异常业务销售、办理波动，迅速变更渠道资源如人员排班等工作，又如库存变更与物流配送时间点合理安排，提升厅店效率，实现减员增效。最终实现将传统的业务分析从辅助决策长期目标向提供实时运营，协助提高企业管控能力，从而提升了企业数据信息的价值。

二、技术方案

本方案主要组成部分包括数据获取模块、数据处理模块、数据存储模块、数据应用模块、系统管理模块五个部分。各模块的功能具体说明如下：

1、数据获取模块。数据获取模块包括数据实时获取和数据实时加载两个子模块。当业务系统数据库因业务受理、业务回退等种种原因产生数据变动时，数据获取子模块根据预定义需要监控的表，通过数据复制产品实时捕获数据库相关变化LOG并转化成可识别的数据格式，传递到流处理模块或内存库。数据加载子模块获取的数据按既定逻辑要求加载到数据存储模块，过滤清洗掉与实时分析需求无关的数据，降低数据存储的压力，并保证目标系统与源系统的数据一致性。

2、数据存储模块。数据存储模块采用内存数据库作为存储介质，对数据的进行集中存储与管理，一方面避免了数据在处理过程中的大数据量交易数据落地写磁盘对分析性能的影响，保障了处理过程的及时性；另一方面内存数据库也为外部频繁的数据实时读取、调用与分析提供了高效的响应能力。

3、数据处理模块。数据处理模块包括实时数据汇总与准实时数据分析两个子模块。实时数据汇总依托流处理的强大在线汇总能力，获取并提交展示对及时性要求最高、逻辑相对简单的信息。准实时数据分析基于内存数据库，按照既定的周期如每10分钟，对加载的数据做轻度汇总，并进一步的分析挖掘，最终提交逻辑相对复杂的分析结果。

4、数据应用模块数据应用模块在获取数据处理模块的结果，并构建各类业务场景，如实时统计，实时监控，准实时分析等。实时统计面向业务量、收入等最核心的指标，展示当前累计发展量，尤其在短期促销时可更显性查看成果。实时监控通过监控波动率，设定阀值门限等，及时掌握收入风险、渠道交易异常、库存情况等，用于管控风险。准实时分析不仅对业务数据做简单的汇总，还可以通过设定多个维度，实现更细致的分析，如各渠道横向对比，基于时间序列的纵向对比等。

5、系统管理模块。系统管理模块是系统稳定、高效运行的有效保障，包括调度管理、负载均衡、异常控制等。调度管理具备任务管理、依赖管理、并发管理等功能，按时间定时生成或者按照事件触发任务，在满足系统能力或优先级要求时派发，控制整个系统程序有条不紊执行。负载均衡主要对主机集群的管理，将应用均衡分配到各主机节点，充分发挥集群的性能，以应对实时、准实时分析带来的高并发、高负荷分析与访问。异常控制则在系统出现异常时，如设备故障、程序故障时，提供临时解决方案，确保系统的高可用性。

三、结语

本方案使用数据实时复制技术，通过抓取数据库日志，实时获取生产数据并通过流处理转换技术，对业务受理数据进行实时计算，或直接输出到内存数据库中进行准实时分析，最终交付直观展现业务信息。在此基础上能有效提升企业信息的价值，为实时决策提供更快捷的依据。