计算机取证中日志分析技术综述

姜燕

（湖北医药学院 公共管理学院，湖北 十堰 442000）

日志是指系统所指定对象的某些操作和其操作结果按时间有序的集合，每个日志文件由日志记录组成，每条日志记录描述了一次单独的系统事件[1]。日志文件为服务器、工作站、防火墙和应用软件等IT资源相关活动记录必要的、有价值的信息。日志文件同时记录了计算机犯罪的大量“痕迹”，如何充分利用日志发掘有效的计算机证据，是计算机取证研究领域中一个重要的问题。

1 日志分析基本方法

关于日志分析的方法有很多的分类，文中从如下几个方面来描述日志分析的基本方法。

1.1 基于统计的审计分析方法

基于统计的日志审计分析是一种异常检测分析方法，根据系统日志定义正常用户的行为模式，然后根据当前用户行为模式与历史用户行为之间的偏差来判断攻击事件。

Denning[2]提出第一个实时入侵检测专家系统模型，以及实时的、基于统计量分析和用户行为轮廓（Profile）的入侵检测技术，此后大量的入侵检测系统模型很多都基于Denning的统计量分析理论。

通过对主机日志数据的分析，利用统计理论提取用户或系统正常行为的活动轮廓，建立起系统主体的正常行为活动轮廓。检测时，如果系统中的日志数据与已建立的主体正常行为特征有较大出入，就认为系统遭到入侵。

基于统计的用户活动轮廓通常由主体特征变量的频度、均值、方差、被监控行为属性变量的统计概率分布以及偏差等统计量来描述。典型的系统主体特征有：系统的登录与注销时间、用户登录失败次数、CPU和I/O利用率、文件访问数及访问出错率、网络连接数、击键频率、事件间的时间间隔等。

SRI的IDES和Haystack实验室的Haystack是两个典型的基于统计的日志审计分析系统。

该方法的优点是实现简单且在度量选择较好时能够可靠检测出入侵，缺点是以系统或用户一段时间内的行为特征为检测对象，检测的时效性差，在检测到入侵时入侵可能已造成损害，度量的阈值难以确定，忽略了事件间的时序关系。

1.2 基于规则库的分析方法

基于规则库的分析方法是通过收集入侵攻击和系统缺陷的相关日志知识来构成日志知识库，并利用日志知识寻找企图利用这些系统缺陷的攻击行为。在实现上，基于规则库的分析方法只是在表示入侵模式的方式以及在主机日志中检查入侵模式的机制上有所区别，主要实现技术有专家系统、入侵签名分析、模式匹配等。

专家系统通过将有关入侵的知识转化为if-then结构的规则，前者为构成入侵的条件，后者为发现入侵后采取的响应措施。专家系统的优点为把系统的推理控制过程和问题的最终解答相分离。缺点是缺乏处理序列数据的能力，性能取决于设计者的知识，只能检测已知的攻击模式，无法处理判断不确定性，规则库难以维护且更改规则时要考虑对规则库中其他规则的影响。

Steven R.Snapp[3]等设计和实现分布式入侵检测系统（DIDS）原型，其是基于规则库的分析方法的代表。

林英[4]设计并实现了一个日志分析检测系统，日志分析机制借鉴了 OSSEC的框架和利用了 TCT（The Coroner’s Toolkit）工具包，在OSSEC规则库的基础上进行扩展。规则库由XML撰写，用户可以自行对规则进行添加、修改、删除。

冯绿音在其硕士学位论文中叙述了基于正则表达式（regular expression）的模式匹配，并使用正则表达式对日志进行第一层、第二层解析。

1.3 基于机器学习的分析方法

基于机器学习的分析方法是利用日志的信息来学习用户的正常行为模式，通过日志的历史事件用一些学习算法来预测未来的用户行为。

孙宏伟[5]等分析了机器学习应用于网络连接级的异常检侧模型的过程，然后建立了异常检测系统原型，以验证此方法用于IDS的可能性及所能达到的性能，并得出两个结论：特征个数并不是越多越好；基于内容的特征对于建立分类模型很重要。

1.4 基于数据挖掘的分析方法

基于数据挖掘的分析方法是从海量日志数据中提取出所感兴趣的数据信息，抽象出有利于进行判断和比较的特征模型，根据这些特征向量模型和行为描述模型，采用相应的数据挖掘算法判断出当前网络行为的性质。

数据挖掘是一种利用分析工具在大量数据中提取隐含在其中且潜在有用的信息和知识的过程。数据挖掘算法主要有关联分析、序列分析和聚类分析，其中关联分析方法主要分析事件记录中数据项间隐含的关联关系，形成关联规则；序列分析方法主要分析事件记录间的相关性，形成事件记录的序列模式；聚类分析识别事件记录的内在特性，将事件记录分组以构成相似类，并导出事件记录的分布规律。在建立上述的关联规则、序列模式和相似类后，即可依此检测入侵或异常。

王莘在其硕士学位论文中对数据挖掘中关联规则算法进行了研究及改进，包括APriori算法、FP-growth算法、NEFP算法和FUP算法。许占文[6]等分析了Apriori算法在日志关联取证中的两个性能瓶颈，并在对事件主次属性的约束和修改支持度和置信度阈值设置两个方面进行了改进。文娟[7]等设计并实现了一个基于关联规则数据挖掘的日志分析系统，数据挖掘引擎在实现过程中针对挖掘数据的特点对Apriori算法进行了改进。

梁晓雪[8]等对基于聚类的日志分析技术进行了综述，针对聚类应用在日志分析中存在的主要问题，从聚类算法的选择标准、改进方向、性能分析3个方面探讨了k-means算法在该领域的研究成果，并指出今后的研究方向将着眼于：改进聚类质量的研究，将日志聚类方法推向实用化；对聚类数据做进一步分析，包括文本、声音、图像等形式的日志数据进行分析；数据可视化展现。

国光明[9]等讨论基于日志的计算机取证分析系统的分析与设计，给出了基于计算机日志的取证分析系统的总体结构和计算机日志分析取证系统日志处理、挖掘与分析子系统结构，并着重讨论了日志数据的预处理、挖掘与分析模块的主要功能与设计思想，并对挖掘模式进行了评估和分析。

基于数据挖掘的检测方法建立在对所采集大量信息进行分析的基础之上，只能进行事后分析，即仅在入侵事件发生后才能检测到入侵的存在。

1.5 基于状态转移的分析方法

基于状态转移的分析是一种误用检测方法，采用系统状态、状态转移与日志特征的表达式来描述已知的网络攻击模式，以有限状态机模型来表示入侵过程，入侵过程由一系列导致系统从初始状态转移到入侵状态的行为组成，其中初始状态为入侵发生前的系统状态，入侵状态表示入侵完成后系统所处的状态，采用优化的模式匹配技术判断当前事件是否与攻击模式匹配。

Phillip A.Porras[10]等于1992年提出基于状态转换分析的入侵检测技术并在随后得到发展。状态转移分析引擎包括一组状态转移图，各自代表一种入侵或渗透模式。每当有新行为发生时，分析引擎检查所有的状态转移图，查看是否会导致系统的状态转移。如果新行为否定了当前状态的断言，分析引擎将状态转移图回溯到断言仍然成立的状态；如果新行为使系统状态转移到了入侵状态，状态转移信息就被发送到决策引擎，由决策引擎根据预定义的策略采取相应措施。

以状态转移分析方法表示的攻击检测过程只与系统状态的变化有关，而与攻击的过程无关。状态转移分析方法能检测到协同攻击和慢攻击；能在攻击行为尚未到达入侵状态时检测到该攻击行为，从而及时采取相应措施阻止攻击行为。状态转换图给出了保证攻击成功的特征行为的最小子集，能检测到具有相同入侵模式的不同表现形式。状态转移分析方法中状态对应的断言和特征行为需要手工编码，在用于复杂的入侵场景时会存在问题。

2 日志关联分析

上述方法在各自的分析领域内得到了较好的分析结果，但都只从单方面考虑造成这些入侵违规的因素，没有把各种日志信息综合关联分析，得到的分析结果往往比较片面。

日志关联是指将所有系统中的日志以统一格式综合到一起进行观察。在网络安全领域中，日志关联分析是指对网络全局的日志安全事件数据进行自动、连续分析，根据用户定义的、可配置的规则来识别网络威胁和复杂的攻击模式，从而可以确定事件真实性、进行事件分级并对事件进行有效响应。

基于日志关联分析的取证模型包括代理端、关联分析知识库、关联分析引擎和关联分析结果处理，分析步骤分为数据聚合、规范化数据、事件特征关联和事件序列关联。

Fredrik Valeur等提出了一种入侵检测告警关联的完整方法，对所有组件进行分析评价，构建了一个实现关联过程的框架，在框架之上用工具分析大量数据集，对每个组件单独进行分析，但关联分析的效果依赖于数据集。Phillip A.Porras等提出基于任务影响度的安全告警关联，该方法基于原型系统EMERALD M-Correlator，从多种安全设备收集安全告警报告，安全设备的告警经过一系列的处理，经过扩展和可能的聚合被转化成一个内部事件报告格式。Alfonso Valdes等提出一种将随时间进行的攻击、来自异构传感器的报告和多步攻击进行关联的方法。Peng Ning等制定了一个框架，利用关联入侵警报入侵的先决条件，发展出三种工具（称为可调图形的简化，重点分析和图分解），以便于大量相关警报的分析。

伏晓[11]等对介绍了这一技术的处理过程及体系结构，重点总结比较了报警聚类及融合、攻击场景重建和攻击意图识剔3个关键阶段的已有算法。刘必雄[12]等在论述日志关联分析平台的体系结构与功能模块的基础上，提出一种新的网络攻击追踪系统模型。阐述该模型的总体结构与工作流程，提出基于登录链的追踪算法。

3 结束语

利用日志分析发掘有效的计算机证据，是计算机取证研究领域中一个重要的问题。本文分析了日志文件及日志分析在计算机取证中的重要作用，综述了日志分析的基本方法和关联分析方法，指出日志分析技术在今后的发展方向，为进一步得到全面的信息资源奠定了基础。

[1]林晓东，刘心松.文件系统中日志技术的研究[J].计算机应用，1998，18（1）:28-29.LIN Xiao-dong，LIU Xin-song.Analysis of log technology in file system[J].Computer Applications，1998，18（1）:28-29.

[2]Denning D E.An Intrusion-detection Model[J].IEEE Tran on Software Engineering，1987，13（2）:222-232.

[3]Snapp S R，Brentano J，Dias G V，et al.DIDS （Distributed Intrusion Detection System）-Motivation，Architecture， and An Early Prototype[C]//Proceeding of the 14th National Computer Security Conference，Washington DC，1991.

[4]林英，张雁，欧阳佳.日志检测技术在计算机取证中的应用[J].计算机技术与发展，2010，20（6）:254-256.LIN Ying，ZHANG Yan，OUYANG Jia.The log detection technology in computer forensics[J].The Application of the Computer Technology and Development，2010，20（6）:254-256.

[5]孙宏伟，邹涛，田新广，等.基于机器学习的入侵检测方法实验与分析[J].计算机工程与设计，2004，25（5）:694-696.SUN Hong-wei，ZOU Tao，TIAN Xin-guang，et al.Intrusion detection method based on machine learning experiments and analysis[J].Computer Engineering and Design，2004，25（5）:694-696.

[6]许占文，王晓东.高效关联规则数据挖掘算法研究[J].沈阳工业大学学报，2002，5（4）:12-16.XU Zhan-wen，WANG Xiao-dong.Research ofefficient algorithms of association rules data mining[J].Journal of Shenyang University of Technology，2002，5（4）:12-16.

[7]文娟，薛永生，段江娇，等.基于关联规则的日志分析系统的设计与实现[J].厦门大学学报：自然科学版，2005（44）:258-261.WEN Juan，XUE Yong-sheng，DUAN Jiang-jiao，et al.Section of river，of association rules based on log analysis system design and implementation[J].Journal of Xiamen University：Natural Science Edition，2005（44）:258-261.

[8]梁晓雪，王锋.基于聚类的日志分析技术综述与展望[J].云南大学学报：自然科学版，2009，31（S1）:52-55.LIANG Xiao-xue，WANG Feng.Clustering based on log technology analysis and prospect[J].Journal of Yunnan University：Natural Sciencf Edition，2009，31（S1）:52-55.

[9]国光明，洪晓光.基于日志挖掘的计算机取证系统的分析与设计[J].计算机科学，2007，34（12）:299-303.GUO Guang-ming，HONG Xiao-guang.Log-based computer forensics system analysis and design[J].Computer Science，2007，34 （12）:299-303.

[10]PorrasP A，Kemmerer R.A Penetration State Transition Analysis A Rule-Based Intrusion Detection Approach[C]//Proceedings of the 8th Annual Computer Security Applications Conference，NewYork:IEEE.1992:220-229.

[11]伏晓，谢立.安全报警关联技术研究[J].计算机科学，2010，37（5）:9-14.FU Xiao，XIE Li.Security alertcorrelation technology research[J].Computer Science，2010，37（5）:9-14.

[12]刘必雄，魏连，许榕生.一种基于日志关联的网络攻击追踪系统模型[J].重庆科技学院学报：自然科学版，2007，9（4）:81-84.LIU Bi-xiong，WEI Lan，XU Rong-sheng.Attacker-tracing systematic framework based on log correlation network[J].Journal of Chongqing University of Science and Technology：Natural Science Edition，2007，9（4）:81-84.