基于复杂事件处理的云决策平台

文/NovaTeam团队

基于复杂事件处理的云决策平台

文/NovaTeam团队

作品介绍

在云计算的开发与使用中基于事件序列的状态检测具有较高应用价值，能满足用户对数据的各种各样的检测要求，灵活且易扩展，动态处理数据检测匹配结果，为他们的决策提供有力的支持。针对此，我们提出开发Cloud Action：基于复杂事件的云决策平台。

价值主张

随着虚拟技术的发展，从网络计算到网格计算，再至今日的云计算，计算领域呈现出日渐复杂化的趋势。而在云计算的过程中会产生众多实时数据，如何从这些纷杂的实时数据中提取出用户所需的信息，为用户做出决策提供有力的支持，这是本设计的目标所在。

一个完善的云计算系统应当提供给用户一个平台，用于定制用户关心的事件，并及时通知事件的关心者或及时触发执行下一步动作。

面对云计算中的众多实时数据，作为不同的角色，各类用户有各自不同的需求，他们所关心的事件类型各不相同，我们不可能将所有的事件全部呈现在管理员以及应用开发人员的面前，成百上千的监控项足可以让任何人头疼不已。云计算的系统管理员可能更加关心底层硬件的使用状况，作业的运行状况，目前可用主机的状态，Jobslot满足的约束条件。应用开发人员可能更关注于终端用户的请求是否被妥善地处理，分发的作业是否得到有效的执行；终端用户则更加关注自己计算任务成功与否，何时才能完成。

简单的事件己经不能满足用户的需要，用户更关注于它们组合产生的复杂事件，通过组合使用户可以探测出所需的信息，从而更好地做出相应的决策，及时地采取行动。

面对上述问题，采用复杂事件处理是很好的解决方法。复杂事件处理（Complex Event Processing，CEP）是近年来逐渐得到重视与应用的一种技术，它将传统的先存储静态数据再进行挖掘与处理的思路，转变为处理无限的动态事件流，更加符合现实世界的真实数据模式，能够高效、即时地在数据洪流中过滤出相对少量的具有应用意义的信息。复杂事件处理的核心思想是将查询条件进行存储和索引，让实时事件流经过这些查询条件，检测这些事件是否触发相应的查询条件。这样就不需要每当新的事件发生时去计算建立索引，从而大大缩短了事件处理时间。

Spring Source的Hyperic HQ目前已经可以完善支持在单个时间点上基于单个资源以及多个资源的事件定制。但是在针对某一时间段内事件序列的检测上仍有待完善，而这一部分往往正是云计算应用开发用户密切关注的：应用开发用户或许不关心哪台机器CPU利用率超标了，但是他一定关心他创建的虚拟机是否在正常运转，他一定关心他目前的虚拟机多少是进行I/O密集型操作以及计算密集型操作的。而上文所提到的“正常运转”，“I/O密集型操作”，“计算密集型操作”这些状态明显都不是几个瞬时值就可以定义清楚的，而是需要满足在一个时间范围内的某些条件或者事件序列，并且，针对同一个事件或者状态，不用的用户还可能有不同的理解。

同时，采用复杂事件处理技术进行其他决策也是很具优势的。例如用其控制作业调度，Cloud Action能够很好地支持这种应用场景。在作业处理系统中，往往作业相互之间具有时序约束关系，有一些的约束条件甚为复杂，而可以通过定制的调度规则，当检测到事件流中相应的约束条件都满足时则触发下一个调度任务。

同理，其他一些业务流程的控制也可以采用Cloud Action来完成。

构架设计

如图1所示，Cloud Action云决策平台利用Hyperic HQ采集的数据，进行数据分析和挖掘后供故障检测、监控和系统管理等上层应用程序使用。

Hyperic HQ屏蔽了底层软、硬件的异构性，并可以将采集的各种系统数据传送给Cloud Action，从而Cloud Action能够很方便地进行集成和部署。Cloud Action通过对由系统数据封装成的事件进行检测或处理，发现其中用户关心的有意义的事件，传递给上层应用程序。Cloud Action采用了诸如结合许多事件的复杂模式检测等技术，并通过事件层次结构、事件之间的关系使用规则处理算法进行事件关联和抽象。事件之间的关系包括因果关系、成员关系和时间序列关系等。这些事件关系以及时间窗口限制被用于确定哪些事件具有意义。

Cloud Action的系统结构如图2所示。

Hyperic HQ Adapter模块主要负责调用Hyperic HQ的API，获取HQ的监控数据，将数据按照不同的时间与数据项，封装成不同类型的事件，发送给事件流引擎。UserPortal模块负责提供给应用程序定制事件查询规则。CEP Grammar Adapter模块将用户制定的规则转换为事件描述语言（EQL）描述的查询规则给CEP Engine。CEP Engine是Cloud Action的核心，它接收用户定制的规则和Hyperic HQ采集的事件，获取满足规则的事件返回给UserPortal模块。

而针对于底层的硬件资源监控模块，为了适应于大规模场景，同时提供三个级别的数据信息：虚拟主机(VirtualHost)、虚拟主机集群(VirtualCluster)、虚拟主机结点（Node）。结点下可以区分多个集群，而虚拟主机集群可以将多个虚拟主机结合在一起进行管理，使得层次结构更为清晰。同时最后可以通过分析不同层次的数据，更好地进行管理。而且可以在上面配置更高层的整体的分析。

图 1 Cloud Action云决策平台

图 2 Cloud Action系统结构