基于大数据的智能审计平台研究

（中国移动通信集团安徽有限公司，合肥 230061）

基于大数据的智能审计平台研究

王欢，许暖，沈波

（中国移动通信集团安徽有限公司，合肥 230061）

审计平台是信息安全管理工作的基础运维平台，随着公司业务系统的不断增多、业务逻辑日益复杂，各类审计数据成几何级别的增长，传统的审计平台面对大数据的审计职能已经捉襟见肘。本文探讨了通过采用大数据分析技术，重构传统的审计平台，提升审计效率。

安全；大数据；审计；搜索；solr；Hadoop

1 背景介绍

随着接入4A审计系统外系统逐渐增多，原有优化方案在数据库存储上采用分布式部署、分库、分表等方式已不能满足应用系统业务逻辑复杂、审计数据量庞大（要求标准化后的审计信息在60 s内得到查询结果）、审计分析策略复杂、审计报表导出耗时较长等日益增长的现实问题。从传统技术角度解决大数据背景下的问题已无法在高效益低成本的前提下做出较好的解决方案，经过部门调研在众多可选择的提升方案中，我们选择Solr（企业级搜索应用服务器）和Hadoop（基于大数据分布式服务）技术与4A审计管理平台整合，从技术框架进行优化和摒弃，最终解决安徽移动4A安全系统建设面临的由审计日志量逐渐递增、审计日志基数过大而产生的报表分析导出过慢、日志查询性能不佳等突出问题。

为解决审计日志在大数据量下查询效率低下以及审计数据筛选出具报表耗时的问题，在实现架构上做了如下调整：由传统关系型数据库查询技术过渡到审计日志全文搜索技术的解决方案；由根据筛选策略直接在数据库上进行数据筛选匹配导出报表过渡到将审计日志推送到Hadoop大数据分布式策略分析集群，分布式并行进行策略分析、数据筛选、筛选结果入库、导出数据的流程。经过上述架构优化调整后，将提高的审计日志搜索性能、满足报表快速生成的需求，同时解决了传统关系型数据库数据搜索性能（RDBMS要兼顾查询和DML效率必有取舍）发展瓶颈问题，大大减轻了数据库运行压力。最终实现审计日志搜索和分析的性能提升、实现工作效率提升和经济成本节约。

2 技术方案及关键点

2.1 技术方案

基于大数据的审计平台不同于传统的审计平台，对数据检索和分析的性能要求大大提升，用以往传统的通过扫表、读库的方式进行数据筛选已经远远不能适应目前大数据的数据能力分析。而目前流行的Solr全文搜索服务和Hadoop大数据平台为审计平台指明了出路。表1和表2是Solr和Hadoop技术与传统数据库的技术对比。

基于上述的对比分析，同时经过多次技术调研，在众多可选择的提升方案中，最终选择Solr和Hadoop技术与审计管理平台整合，从技术框架进行优化和摒弃，最终解决公司安全系统建设面临的由于审计日志数量逐渐递增、审计日志基数过大而产生的报表分析导出过慢、日志查询性能不佳等突出问题。

2.2 审计平台架构实现

原有的审计分析平台采用传统的Java服务进程抽取原始日志库数据进行策略分析，将分析后的结果再导入筛选日志库中提供给审计前台查询和报表导出。此方案技术实现比较容易，但是存在诸多弊端，如执行效率低下，频繁的进行数据库的DML操作导致数据库压力较大，报表产生时间较长等。

原有审计服务平台架构图如图1所示。

要解决基于数据库的审计分析平台诸多弊端，必须在存储方式上做出调整，根据策略将数据文件抽取出来，剥离对在线库的反复长期的使用依赖，利用Hadoop分布式并行处理技术对抽取的数据文件进行大规模的并行分析，从而既减小了数据库压力也提高了分析能力。

优化后的数据存储方式逻辑图如图2所示。

完成架构调整后，平台的数据分析处理能力得到较大提升。基于分布式部署大数据平台，数据分析能力有了本质上的提升，大大减少了对数据的DML操作，减轻了数据库的压力。同时，具备复杂的策略数据分析能力，结合功能强大的开源分析组件可针对复杂的策略进行定制开发，分布式处理策略分析任务，效率更高。在系统整合上，NameNode节点采用主备模式，DataNode节点采用廉价的多PC Server部署，使新审计系统具备了高可靠性、高稳定性等特性，建设成本更低。

表1 solr技术与传统数据库技术的比较

表2 基于Hadoop平台与传统数据库架构策略分析比较

图1 传统审计平台架构图

在审计应用层面上，丰富了审计策略管理界面，将原来写在程序配置里的策略整合到管理页面中，优化后的策略支持较复杂的策略配置，如多策略的叠加、支持审计操作的按次数进行预警统计分析、支持审计结果按指定规则百分比抽样筛选等。在平台整体性能提升的基础上，也同步改善了系统的使用体验，丰富了审计手段，简化了日常维护管理的工作量。对于审计结果的展示，同步也做了较大的调整，增加了大量图形化的审计结果展示，不仅简单易懂，也间接的节约了审计管理员的工作时间，报表的导出形式支持多种主流的文档格式方便使用，文档导出时间也有了极大的提升。审计平台的前台整合实现中，引入了Solr技术，如图3所示，在结构演化图中保留原有前台查询界面(JSP， Action，Service)，将原有的数据访问层（DAO）实现替换为Solr的实现，即原来直接查询Oracle数据库中的审计数据，更改为从Solr索引文件集群（从索引文件中）中分布查询，结果仍然保留原来对象格式返回给页面，这样前台页面可以复用，而不用修改。

图2 基于大数据架构的审计架构图

图3 基于Solr技术的审计查询技术演进图

图4 基于Solr技术的数据分析示意图

优化后，采集器采集到审计日志数据，然后对其进行标准化，在标准化的同时一份数据入审计采集数据库，相同的一份拷贝数据通过准实时的异步创建方式生成数据索引文件。对于历史日志可以采取使用独立的创建索引工具批量生成索引文件。目前， 公司部署了3台Solr服务器，针对每个标准化服务中的审计标准化记录数据，通过负载算法将不同的记录分发到两个不同的数据分片中（shard）。每个shard中存在一份数据备份（相同的数据在不同的主机上保存），以提供冗余，增加审计数据安全和可靠性。基于Solr技术的数据分析示意图如图4所示。

3 应用情况

通过此创新在公司审计管理运用中的推广，实现了1 700多个主机资源、近300多个数据库资源、14个应用系统审计日志的集中管理和快速审计，覆盖了10亿余条应用资源和系统资源操作日志，原有的数据分析瓶颈得到了彻底的解决，数据分析性能显著提升，如表3所示。

表3 平台性能提升对比表

自上线以来，平台日接受全省审计查询20 000余次和每月将近100多个审计报表生成。新架构下的审计平台很好的承载了各项审计作业和任务，高效、快捷的实现了数据抽取和审计分析，提升了工作效率，大大节约了安全审计人员的日常管理时间，为支撑网业务的稳定运行做出了有力的支撑。

[1] 陈伟， Wally Smieliauskas． 云计算环境下的联网审计实现方法探析[J]． 审计研究，2012(3)：3．

[2] 邓小榕，陈龙，王国胤． 安全审计数据的综合审计分析方法[J]． 重庆邮电学院学报(自然科学版)，2005(5)．

[3] 阮哈建，刘西友． 大数据与审计机关的应对策略[J]． 中国内部审计，2013(6)．

Research of intelligent audit platform based on large data

WANG Huan, XU Nuan, SHEN Bo
(China Mobile Group Anhui Co., Ltd., Hefei 230061, China)

Audit platform is the basic operation platform of information security management,with the business growing, the business logic of the system become more and more complex, various types of audit data into geometric level growth, the traditional audit platform in large data auditing functions are already cash-strapped. This paper discusses the data-analysis technology, reconstruction of traditional audit platform, enhance audit eff ciency.

security; big data; audit; search; solr; hadoop

TN918

A

1008-5599（2014）12-0019-04

2014-11-22