网络入侵检测技术分析

◆薛传东

操作系统、网络体系与服务器技术

网络入侵检测技术分析

◆薛传东

（徐州工程学院信息化中心 江苏 221018）

网络安全是相对安全而不是绝对安全，网络入侵与攻击会一直会持续存在。基于人工智能的机器自主深度学习算法和运用大数据进行数据深度挖掘分析技术相结合的入侵检测算法是未来的发展趋势，本文介绍了网络入侵检测技术，供相关读者参。

网络安全；入侵检测；机器学习；大数据分析；人工智能

1 引言

网络安全对于国家和社会都起着至关重要的作用，没有网络安全就没有国家的安全、没有社会的和谐稳定。在可预见的未来网络入侵行为会一直伴随着网络的成长与发展。技术的进步带来的是颠覆性传统规则的改变。任何一种互联网新技术的发展和创新，必然会引起网络世界的连锁式技术变革，进而产生新的入侵形式与新的攻击方法。传统的入侵检测方法已不能满足现在和未来的入侵检测需求，日益多样化和复杂化的网络入侵形式给入侵检测带来了前所未有的挑战。

2 入侵检测技术研究背景

随着计算机技术与网络技术的快速发展，网络技术的更新迭代速度呈指数级增长，网络中传输的数据量呈几何级暴增，海量的数据处理与检测技术不足间的矛盾是当前网络安全所面临的主要问题。如何快速识别出入侵行为和攻击行为是当前必须深入研究的课题。

网络安全是相对安全而不是绝对安全，当前和未来时期网络入侵与攻击会一直会持续存在。传统的入侵检测技术是通过匹配特征库进行识别非法入侵和攻击行为。存在的问题：（1）黑客技术更新非常快，黑客非常容易规避现有规则，对已知的漏洞和缺陷进行全新模式的入侵和攻击。（2）用于检测识别的特征库更新存在严重滞后问题。

3 入侵检测技术研究的意义

入侵检测技术是预防网络入侵和抵御网络攻击的关键技术，通过立体交叉的多层次实时检测和高效的大数据分析，可以准确地分析各类网络协议，监控网络异常流量，检测出各类入侵攻击行为。通过筛选比对判定是正常数据访问还是异常非法的入侵攻击行为。

入侵检测设备一般部署在网络边界，但黑客会挑选网络边缘的网络设备进行入侵，边缘设备一般都没有日志备份和日志异地存储功能，黑客会利用边缘设备为跳板进行入侵攻击和数据收集分析。必须对所有网络设备和服务应用尽可能全面地做好网络安全防护，以防止可能遭到的网络入侵破坏，尽可能减少因入侵攻击造成的各项损失。

4 入侵检测技术存在的不足和改进方向

目前的网络防御还是处于被动防御阶段，由于防火墙和入侵检测设备自身的机制缺陷问题，应对入侵和攻击的效果不能尽如人意。当前存在几点缺陷：（1）不能阻断入侵行为和对入侵攻击行为进行实时的溯源分析；（2）各类检测样本特征库更新严重滞后；（3）目前入侵检测都是事后分析，无法做到实时检测和与安全设备的实时联动。

针对当前的入侵检测技术响应滞后、错误率高等问题，入侵检测技术需要从以下几个方面进行改进和研究。

（1）建立实时高效可靠的分布式日志备份系统

传统的日志备份系统存在资源消耗巨大，日志备份系统只能对重要节点的业务系统和关键网络设备进行日志的备份，而相对边缘的网络设备和业务系统鉴于日志存储设备功能的局限性，基本不会做日志的存储备份，这恰恰是黑客入侵的重要通道和途径。系统被入侵后黑客肯定会以最快的速度删除日志，进行痕迹清理。

因此迫切需要建立一套轻量级日志存储收集系统，该系统需要资源占用率低、可靠高效，可以分布式实时动态地进行日志采集、传输、存储。这样就可以把所有业务系统、网络设备、安全设备等设备的日志进行收集记录，对于后续的入侵检测起到至关重要的作用。

（2）将各类日志信息转换为统一格式

搭建日志收集备份系统实时收集各系统所产生海量的各类型日志。如何对这些海量的日志进行高效处理？将各类型的日志信息格式进行统一。针对多源异构的日志信息需要进行数据补全、去重、去噪、降维、合并、聚类等技术处理，将日志数据转换为统一格式，对数据进行彻底的清洗，为下一步检测分析做好数据的前期准备。

（3）建立入侵攻击特征样本库

样本特征库是网络安全领域极其稀缺的安全资源。单独黑客或黑客组织基本都不对外公开发布0 day漏洞信息。如何及时获取各类黑样本是个非常重要的问题。（1）利用厂家公开发布的已知漏洞信息，把黑样本增补进攻击特征样本库。（2）通过厂家公开发布的安全访问特征信息，建立各类安全访问的白名单特征样本库。（3）建立高效入侵检测模型进行大数据分析，通过误用检测、异常检测、混合检测等检测技术精准识别入侵和攻击行为，并提取样本特征信息添加进特征样本库。

真实的网络环境中，新的入侵攻击形式是需要时间才能发现的，需要收集尽可能多的黑样本进行分析。然而0 day漏洞发现的当天入侵攻击就已经开始，在没有截获或截获很少的黑样本时，入侵检测系统根本没法做出准确及时的响应，而产生的实质性危害已经不可避免。如何高效实时收集黑样本是当前面临的重大挑战。

（4）建立实时高效大数据分析数学模型

面对复杂的网络入侵攻击，使用基于人工智能的机器自主学习技术和大数据深度挖掘分析技术是当前最前沿的安全防御措施之一。未来构建的入侵检测模型需要做到实时入侵检测，内联入侵预防、外联攻击阻断，实现网络各层面数据的监控、安全设备间的智能联动、安全事件上报等，继而利用大数据分析建立网络安全态势感知系统，并以此作为网络安全状况评估的重要依据。

面对各种黑客的入侵、渗透、攻击，是否能第一时间发现、识别、预警，是否能第一时间进行阻断、防护，是否能第一时间进行分析、溯源、上报，这是衡量大数据分析数学模型好坏的唯一标准。

5 入侵检测技术分析概述

入侵检测技术的核心是如何辨别出入侵和攻击行为的特征信息。入侵检测分为：⑴特征检测是依据特征库进行识别非法入侵行为，识别准确率高，缺点是特征库需要实时更新。⑵异常检测是依据行为规则检测，通过机器自主学习运用大数据比对检测未知的入侵行为和攻击行为，缺点是存在误报。

即使通过大据进行比对分析发现海量数据中的异常个别行为，也不能确定入侵检测的精度。不能期望只建立一个数据分析模型就能检测出所有异常的行为，通常是建立多个异常检测模型进行多层次全方位检测，用来减少检测的误报率。

入侵攻击的几大类型虽然攻击方法千差万别，但基本攻击形式是相同的，通过将攻击代码注入正常语句参数中进行攻击，所以识别语句中参数的异常是可以检测出绝大部分的异常行为。

网络节点是否存在异常是由所处网络环境中其他节点所决定的。如果大量的网络节点都正常访问同一个节点，那么这个被访问节点的异常概率就很小。反而，一个节点相对孤立，只有很少的节点去访问，那么这个节点异常的概率就非常大。

通常90%的异常行为都不是攻击行为。而90%攻击行为又都是无害行为。发现异常行为并不难，难的是对每个异常行为做出准确的判断，难的是对所有的异常行为进行溯源分析。需要判断出哪些行为是危害程度高的异常行为，哪些异常行为是已经造成危害的行为。建立威胁模型的难点是既要求对已知攻击行为有较高的检测准确度，又要对未知攻击行为的保持较高的检测灵敏度。

当前绝大多数的安全模型都是浅层次的线索分析模型，只能应对大部分常见的攻击入侵。而与危害巨大的地下黑产业链攻击相比，这些入侵防护就是小儿科。只有以数据驱动安全，充分发挥机器自主深度学习能力结合人工智能使用大数据深度挖掘技术，这样才能抵消与黑产威胁攻击不对称的局面。面对攻击的未知领域，我们需要探索的路还非常漫长。

6 常用入侵检测技术分类与发展方向

常用的入侵检测分为两种：⑴基于主机入侵检测是通过分析检测主机的各类行为判定主机是否被入侵攻击。⑵基于网络入侵检测是通过分析网络传输中的数据特征和与主机尝试连接的数据特征来判断网络是否被入侵攻击。

不论采用哪一种入侵检测方法都需要保证检测的实时性和准确性。如果数据检测实时性低就不能及时发现入侵攻击行为。相反如果入侵检测识别率不是很高，将大部分的正常数据访问行为识别为攻击行为，将会严重消耗主机和服务器的处理器性能和内存性能。

入侵检测技术的发展趋势是基于人工智能机器自主深度学习算法，运用大数据分析进行数据深度挖掘，实时判断分析出入侵行为和攻击行为，再与防火墙进行智能联动阻断入侵和攻击，并及时数据上报、溯源分析、证据取证等。各国的网络安全研究人员正在改进算法和提出新的检测算法，增加了网络态势感知能力和对未知攻击的探测能力。目前入侵检测技术刚刚开启智能化研究，基于人工智能机器自主深度学习算法和大数据挖掘分析检测算法已经成为网络安全领域各国争夺的制高点。

7 机器自主学习的入侵检测算法

机器深度学习是让机器模拟人类的学习、思维、分析、判断的一种人工智能的深度学习算法。运用智能化大数据分析算法对数据进行判断，得出那些数据行为是正常行为和非正常行为。利用机器学习建立入侵检测模型，通过数据挖掘找出攻击间的关联性、分析出攻击行为中的关联信息。可以把入侵检测理解为数据挖掘和数据关联分析的研究，利用机器学习让基于攻击目标的攻击行为的攻击过程逻辑结构清晰地展现出来，提高应急响应效率。机器深度学习广泛应用在人工智能领域、语音处理领域、模拟识别领域、机器翻译领域等信号处理领域。机器深度学习算法用来训练自动提取和筛选有效的攻击特征黑样本，并有效解决了抓取检测数据特征而消耗大量系统资源的问题，在入侵检测效率上有大幅度的提高。

8 总结与展望

网络安全问题的研究需要有前瞻性和开拓性，需要引入新方法和新思维，不能局限于当前的入侵检测方法。针对未来的远景期望，面对日益严重的网络安全问题，我们需要更加智能化的入侵检测手段。根据不同的入侵场景，在基于机器自主深度学习和基于深度神经网络的样本提取中，结合大数据深度挖掘和人工智能技术，使用针对性的入侵检测方法是未来时期网络安全研究的重点方向。

⑴许聪源.基于深度学习的网络入侵检测方法研究[J].浙江大学，2019，6.

⑵郝科伟.基于机器学习方法的网络入侵检测技术研究[J].西安科技大学，2018，6.