大数据下的网络入侵检测和防御设计

大数据下的网络入侵检测和防御设计

德州日报社：于坤

【摘要】互联网的普及和信息技术的发展让网络安全问题已经成为人们关注的焦点。在大数据环境下，网络入侵的检测和防御面临着新的挑战，针对网络入侵的防御，需要结合入侵特點来针对性设计。本文将以大数据为背景，阐述网络入侵的定义和特点，分析传统网络入侵检测方法的不足之处，并提出基大数据技术的网络入侵检测和防御设计方案，以期为网络安全领域提供有益的参考。

【关键词】大数据；网络入侵；检测；防御；系统框架

中图分类号：TN929                           文献标识码：A                             DOI：10.12246/j.issn.1673-0348.2024.06.022

在大数据时代下，入侵行为的形式更加多样化，传统的网络入侵防御方法主要基于既定规则和特征匹配来识别和阻止潜在的威胁，但这类防御方法存在一定的局限性，如规则依赖性高、对新出现的入侵行为无法识别、误报和漏报等问题。为了应对这些问题，本文提出了大数据下的网络入侵防御设计，指出通过实施动态内容保护，建立更安全的网络架构，以及采用分布式防御设计等措施有效地防御入侵行为，本文旨在通过这些防御设计，提高网络安全性，保护用户和组织的利益不受网络入侵的威胁。

1. 网络入侵的定义和大数据下的入侵特征

网络入侵是指未经授权的用户或程序通过网络以非法手段侵入、窃取、破坏或操纵计算机系统资源的行为。在大数据时代下，入侵行为涵盖了病毒感染、数据挖掘、数据篡改等多种形式，入侵行为的目的和原因也相对复杂，可能的动机包括获取敏感信息、破坏系统功能、造成经济损失和获取非法利益等[1]。传统的入侵行为中，入侵者通过利用系统漏洞、密码破解、恶意软件攻击、病毒植入等方式非法获取系统中的个人身份资料、商业机密或财务数据等敏感信息，以此达到破坏计算机或者信息牟利的目的。个别入侵者在开展攻击行为时，还会在攻击过程中在电脑系统留下程序病毒，以此感染计算机系统，进一步加剧系统的安全风险，病毒感染容易导致系统崩溃、数据丢失或瘫痪，给用户和组织带来严重损失[2]。

传统的黑客攻击多是依赖入侵者自己编写的攻击程序完成，但是在大数据时代到来后，数据挖掘开始被作为更常见的攻击手段，被频繁应用于各类入侵行动中。在大数据时代下，由于数据量巨大、数据类别繁杂，为了快速整理和使用数据，大部分网络用户均开始应用数据挖掘技术，比如最常见的爬虫技术就是一种快速爬取网站数据的挖掘技术，在Python中，至少有Requests、BeautifulSoup、Scrapy、PyQuery、Lxml、Selenium、aiohttp、urllib和requests等九个库支持用户开发和使用爬虫技术。数据挖掘技术的广泛应用容易引发技术滥用风险，未经授权的用户借助数据挖掘可以搜集和分析大量的数据，从中获取有价值的信息，并滥用这些信息，且在挖掘技术的支持下，网络入侵者还可以进行数据篡改和盗用。

相比于黑客攻击和病毒植入，数据挖掘存在更强的隐蔽性，且更难被界定其行为性质，事实上，大部分的数据挖掘行为无法被有效防御，其原因便在于从性质上而言，挖掘行为只是一种帮助用户进行大数据阅览的便捷辅助方式，由于不会直接对服务器造成破坏或者数据篡改，防御系统很难判定用户进行的挖掘操作是否属于入侵，并做出防御反应，由此加剧了大数据下的网络入侵防御难度。

2. 传统入侵防御检测方式的不足

传统的网络防御是基于既定规则和特征匹配来进行入侵检测，核心思想是通过分析和匹配网络流量、用户行为或其他安全相关数据与已知的攻击模式或异常行为特征，来识别和阻止潜在的威胁[3]。所谓既定规则，指由网络安全专家根据已知的攻击方式和漏洞特性制定的指令集，比如指定对外部服务器的连接尝试次数超过特定阈值就被视为潜在的拒绝服务（Distributed Denial of Service）攻击，这样当某人频繁访问又切断与网站服务器联系时，就会被判定成攻击行为，从而拒绝其访问。特征匹配则涉及识别和比较数据包的内容、源地址、目标地址、端口号、协议类型等信息，以确定它们是否与已知的攻击签名相匹配，这种方法依赖于服务器自身的数据库，数据库中必须包含已知的恶意活动和异常模式，才能让防御系统对访问行为做出判断[4]。

上述的传统防御方法实施简单，易于理解，对于检测已知的网络入侵能起到较好的效果。然而，这类防御方法的局限性也相当突出，由于是依靠事先编写的指令集对已知的攻击行为进行识别，因此这类方法的规则依赖性较高，工作人员必须定期更新和维护规则库，以适应新的威胁和攻击手段。而当新出现的入侵行为不能匹配现有的规则时，防御系统就会出现漏报，同时，当正常的流量访问与某些规则恰巧出现匹配时，防御系统也会出现误判，误将正常访问当作是网络入侵，导致误报[5]。

另外，这种防御方式需要不断添加大量的规则和特征匹配，才能识别更多的入侵行为，因此需要消耗大量的计算资源，影响网络性能，所以该类方法的适应性差，对于不断变化的网络环境和攻击策略难以做出有效的回应。

因此，随着网络攻击手法的不断演进，传统的基于规则和特征匹配的入侵检测方法逐渐暴露出其应对新型攻击的能力不足，新型攻击往往采用之前未被发现的方法或技术，而基于既定规则和特征匹配的入侵检测系统无法应对这些新型攻击，就导致对入侵防御的效率低下。

3. 大数据下的网络入侵防御设计

3.1 实施动态内容保护

动态内容保护的原理是基于身份验证和权限控制。通过对用户进行身份验证，确定用户的合法性，然后根据用户的身份和权限，控制用户对动态内容的访问和操作，主要包括以下方面：①用户身份验证。通过用户名和密码、数字证书、生物识别等验证用户的身份，确保用户是合法的；②用户权限控制。根据用户的身份，为用户分配相应的权限，利用访问控制列表（ACL）、角色基础的访问控制（RBAC）等权限控制方法限制用户对动态内容的访问和操作；③数据加密。对动态生成的内容进行加密，用对称加密、非对称加密、哈希算法等算法防止非法用户获取敏感信息；④审计和监控。对用户的访问和操作进行审计和监控，利用日志记录、入侵检测系统（IDS）等审计方法发现异常行为，及时采取措施进行处理。

动态内容保护的设计思路见表1所示。

在表1所涉的设计中，访问控制确保只有合法用户才能进行后续操作，用户只能访问其被授权的资源，数据加密保护了数据的机密性，数字签名确保了数据的完整性和非抵赖性，审计监控则提供了对所有操作的追溯和监控能力，通过这些环节的协同作用，动态内容保护机制能够有效地防止未授权访问、数据泄露和篡改等安全风险，保障系统和用户数据的安全。

3.2 建立更安全的网络架构

为提高网络安全性，可以建立分段网络及访问控制，将无线网络划分为多个虚拟局域网（VLANs），将不同类型的设备或用户隔离开来，限制访问敏感资源，并使用强大的身份验证机制认证用户身份，配合多因素身份验证，如令牌、证书等，加强认证。在网络运行中，还可以使用强大的加密算法保护无线网络流量的机密性，如AES（高级加密标准），避免使用较弱的加密算法，如WEP（有线等效隐私）。通过实施WIDS和WIPS来监控和检测无线网络中的异常活动和潜在的入侵行为，实时或近实时的基础上分析网络流量，发现和响应潜在的攻击。网络框架中还要添加日志管理和网络活动监控，及时发现异常行为和威胁，并采取适当的措施进行响应，使用安全信息和事件管理系统（SIEM）来集中存储、分析和报告网络安全事件。在网络防御中，服务器终端的安全非常重要，因为它们是系统的一部分，容易成为攻击者入侵的目标。通过采取这些服务器终端安全措施，可以增加无线网络的整体安全性，并减少终端设备受到攻击的风险。同时，及时更新和维护这些安全措施，以适应不断演变的网络威胁。一方面，为服务器终端设置强密码是保护其安全性的第一步。确保密码足够长且复杂，包括字母、数字和特殊字符，及时更新终端设备的操作系统和安装的应用程序，以修补已知的安全漏洞并提供最新的安全功能，开启自动更新选项可以使终端设备始终保持最新的安全补丁。另一方面，启用终端设备上的防火墙，限制网络连接到必要的服务和应用程序，这有助于阻止未经授权的访问和入侵。当不使用时，关闭服务器终端的无线连接，防止未经授权的连接，并减少被动攻击的风险。避免连接到不受信任或开放的公共网络，对于需要传输敏感数据的终端设备，使用加密协议（如TLS）确保数据在传输过程中的机密性和完整性。网络管理的最终目标是最大程度地利用网络的可用时间，改善网络组件的使用、网络效率、服务质量、安全性和经济效益，并简化管理。

3.3 分布式防御设计

分布式防御是应对分布式爬虫攻击的防御手段，传统的防御方式面对这种攻击手段颇为无力，因此为了有效地防御这种模式的攻击，可以采用分布式防御体系，即效仿分布式攻击的模式，将防御资源也分散到多个地理位置，以减轻单个地点的压力，提高整体的防御能力。这种设计由网络层面的防御和应用层面的防御共同构成，两个防御层中，网络层面的分布式防御主要采用CDN（内容分发网络）技术，这是一种分布式网络服务，其作用是将网站的内容分发到全球各地的缓存服务器上，用户请求可以从距离最近的缓存服务器获取内容，以此来提高访问速度，并减轻源服务器的压力。当遭遇分布式爬虫攻击时，借助CDN的支持，防御层得以减轻攻击请求对源服务器的影响，因为攻击请求会首先到达CDN的节点，而CDN的节点则根据访问策略对请求进行筛查和过滤，让合法的请求转发到源服务器，如此即避免了服务器被多数请求轰炸，出现过载停机问题。

应用层面的分布式防御主要采用分布式拒绝服务（DDoS）防御技术。DDoS防御技术可以通过检测和阻断恶意流量，保护目标服务器免受攻击。在分布式防御体系中，会根据分布式攻击大量利用“僵尸网络”的特性，对应部署多台防御设备，所有防御设备都保持协同工作，对恶意流量进行检测和阻断，当其中一台设备检测到恶意流量时，可以将相关信息传递给其他设备，其他设备据此阻断来自同一攻击源的流量，从而有效地防御分布式爬虫攻击。此处以X表示正常用户的访问行为矩阵，用X的元素xij表示第i个用户对第j个资源的访问行为。用Y表示爬虫的访问行为矩阵，用Y的元素yij表示第i个爬虫对第j个资源的访问行为。用P表示防御系统的识别结果矩阵，用P的元素pij表示第i个防御设备对第j个访问行为的识别结果。用n表示用戶，用m表示资源数量。在构建分布式防御体系时，需要让P尽量地接近X，同时与Y有较大的差异，因此需要优化目标函数，即最小化P和X间的差异，同时最大化P和Y间的差异，其目标函数的优化过程表示如下：

在实际优化中，使用支持向量机（SVM）等分类算法学习正常用户和爬虫的访问行为特征，并生成决策边界，用于区分正常访问和异常访问，此处以w代表法向量，以b代表位移项，以yi代表标签（1表示正常，-1表示异常），其表达如下：

在（2）中，目的是找到能最大化边际的超平面，该超平面可以最大化正常数据与异常数据之间的边界间隔，确保所有的正常数据都位于超平面的一侧，而所有的异常数据（如分布式攻击流量）都位于另一侧，将训练好的模型部署到分布式防御系统中，实时地对访问行为进行分类，即可完成对数据挖掘等入侵行为的有效防御。

4. 结束语

在信息技术快速发展的大背景下，网络攻击手段日益更新，传统防御检测技术受限于自身的防御设计局限，已无法满足当前网络安全的需求。在大数据时代中，网络流量呈现出多样性和动态性，因此需要对网络流量进行实时监测和分析，以便及时发现并防御潜在的入侵行为。为此可以引入动态内容保护，针对动态性的数据流量进行正确监督，同时结合大数据时代中网络攻击所具有的分布式特点，构建对应的网络架构，设计相应的分布式防御机制，以此保障网络安全。

参考文献：

[1]史子新.基于多层交叉熵的网络入侵数据自主防御系统设计[J].自动化与仪器仪表，2020（01）：97-100.

[2]柴项羽.基于大数据及人工智能技术的计算机网络安全防御系统设计[J].网络安全技术与应用，2020（09）：52-53.

[3]宋午阳，张尼.基于大数据及人工智能技术的网络安全防御系统设计策略[J].网络安全技术与应用，2022（07）：56-57.

[4]李凤鸣.基于大数据及人工智能技术的计算机网络安全防御系统[J].电子技术与软件工程，2022（17）：1-4.

[5]刘王宁.大数据及人工智能技术的计算机网络安全防御系统[J].网络安全技术与应用，2023（10）：67-69.