新一代日志分析系统为企业运维减负

赵明

伴随着大数据时代的到来，启明星辰于2015年12月25日正式对外发布了面向企业级客户、融合大数据技术的泰合新一代日志分析与审计平台（以下简称TSOC-SA3），以满足需要分析天量安全日志的政企客户的需求。该平台结合当前主流的大数据技术，并采用具有自主知识产权的分布式非关系型数据库（CupidDB）技术，有效处理日志大数据问题，开启安全管理的SOC3.0时代。

TSOC-SA3基于分布式节点计算机制，使用自主知识产权的非关系型数据库CupidDB，具有高可靠性的分布式、全文索引、实时格式化数据搜索和原始数据关键字搜索等功能。系统融合多种信息安全技术和管理理念，充分实现组织、管理、技术三个体系的合理调配，帮助用户进行基于日志的综合审计和日志全生命周期管理，从而最大化地保障网络、主机和应用系统安全机制的有效性。

融合大数据技术的日志管理技术架构

系统采用了国内领先的高性能日志采集范式化技术、大数据分布式存储与索引、流式集中事件及情境关联分析，从产品技术架构的层面，进行了系统性的设计，使系统真正成为一款能够支撑持续海量日志管理的系统。

第一，日志采集层面使用了异步通信、高速缓存、日志范式化流水线和消息中间件技术，对海量异构日志进行持续不断高速的采集，使用户能够采集并预处理网络中大规模审计对象的日志。

第二，日志存储方面，针对大数据日志，系统采用了具有自主知识产权的分布式非关系型数据库CupidDB从根本上消除了使用传统关系型数据库的日志审计系统的性能瓶颈，弥补了数据存储、数据索引、数据搜索和数据备份的不足，使日志审计系统真正迈向了大数据时代。对数据进行分片和副本，将分片和副本保存在不同的分布式节点上，同时对数据进行全文索引，通过分布式节点的增加实现对TB/PB级日志数据的保存，并可将数据以文件系统方式保存在各节点上，实现了存储和分析的水平弹性扩展，满足用户存储长期日志数据的要求。

第三，日志分析层面包括实时流式分析、交互式分析、全文检索、历史数据回放、批处理分析等多种先进技术。

第四，流式分析采用内存实时计算、复杂事件处理（Complex Event Process，CEP）技术结合日志相关的各类情境数据进行实时监控和关联分析，帮助用户及时发现安全异常，快速关联出安全隐患。

第五，历史数据回放提供了历史数据检测的功能，方便安全审计员对保存在系统中的海量数据进行回放，通过高速回放技术为用户重现历史安全场景。

第六，批处理分析使用了数据抽取、数据聚合等技术，能够对TB级日志快速生成报表，满足安全审计员生成各类安全日报、周报和月报等需求。

灵活强大的交互式查询

系统使用了大数据交互式查询技术，满足安全审计员的日常工作需要。安全审计员可以通过自定义的仪表盘同日志审计所存储的所有日志进行交互，实时查询数据，查询时间缩短到秒级。系统支持任意嵌套查询，并可随意回退，通过仪表板可视化处理数据，真正做到所见即所查。系统可将查询条件保存为策略，支持策略的导入导出，供后期使用，为安全审计员工作提供便利。安全审计员通过仪表板可任意选择需要显示的字段和信息，并可对查询结果随时进行统计分析、可视化分析，包括地理定位、多维分析、TopN分析，支持关键字和正则表达式的全文检索。系统的交互式分析功能为安全审计和分析人员在进行安全事件调查和威胁分析时提供了一个强有力的武器。

混合式检索技术

系统提供混合检索技术，其特点就是不仅提供了基于范式化后的格式数据内容的实时关联分析和统计报表，同时还提供强大的全文搜索功能。混合式检索技术包括通过对范化后的字段值进行全部日志记录的搜索，其功能基本等同于传统关系库中的SQL查询，查询出包含搜索值的所有的日志记录，并分行显示。同时，系统支持全文检索技术，它不局限于几种或几十种固定的字段，不需要指定数据的格式，可以结合时间与关键词进行搜索，实时展现搜索结果，并对关键字进行高亮显示。全文检索在使用上就和Google一样直观易用，用户可以输入关键词或正则表达式进行任意搜索，提供即时的在线查询。混合式检索技术使系统在事件检索上做到了灵活与高效。

威胁情报采集与利用

随着信息技术的不断发展和应用，攻击变得越来越隐蔽和难以发现，诸如APT之类的攻击很难被发现和防止，层出不穷的数据泄露事件和攻击对组织的声誉和财产乃至国家安全造成了十分恶劣的影响。大多数组织没有足够的人员、时间、资金和精力来应对威胁。因此，威胁情报在频繁受到攻击的高风险的重点行业大型企业和政府事业单位中，将会明显提升关联分析的准确性和目标性，帮助组织有效发现隐藏的威胁。

因此，系统集成了威胁情报的功能，可提供通过导入或者主动自动抓取的方式获取内外部相关威胁情报信息并利用于关联分析和实时监测。用户可根据自己的需要和行业特点通过系统从公开的网络威胁情报源和自己的情报来源获取情报并将其保存入系统威胁情报库，针对安全事件进行关联分析，帮助安全管理人员弥补传统安全防护体系架构针对APT等新兴攻击应对乏力的缺陷。

合规管理与分析

系统不仅是一个检测外部入侵攻击的高级分析工具，还是一个基于日志进行合规审计的强有力工具。考虑国家制定的信息系统等级保护制度对用户网络安全建设的重要性，系统为了帮助用户更好完成等级保护建设，内置等级保护自查功能。该功能包含等保定级、等保备案、等保测评、历史回查、评分归档和完整的等级保护调查模板等，并以可视化方式帮助用户及时了解全网等级保护建设情况。

此外，系统还基于等保、PCI、27001、SOX等合规性要求内置了大量合规分析场景，用户可以通过丰富的合规分析策略对全网的安全事件进行全方位、多视角、大跨度、细粒度的实时监测、分析、查询、调查、追溯，动态了解系统的合规情况，为用户合规性建设提供有效支撑。