大数据驱动网络安全的机遇与挑战

（德国国家科学工程院）

网络安全是社会数字转型的基础。人工智能、物联网的发展，互联网的普及，带来了海量的数据。在网络安全领域，大数据可以帮助信息系统实现安全运行。大数据分析的目的是要发现隐藏的知识，理解和评估系统的网络安全状况。

大数据能够通过数据驱动预测网络安全的发展动向。在过去，一般的研究方法是先作出假设，之后再通过实验来判断这个假设的真伪。在未来，这种假设将由计算机作出，研究人员检查假设的真伪。计算机比人类更加善于分析和找寻大数据中的规律。人工智能、机器学习、深度学习等技术使IT研究得以进一步发展，帮助我们更加深入地理解这个新世界。这个新世界是由数据驱动的，通过汇聚和分析这些海量的数据，人们可以预测网络安全的发展趋势。

大数据可以有效监测事件的安全性。每个事件都会产生相应的数据，通过分析这些数据来决定事件是否安全。我们每天都需要处理20亿起事件，以及4TB的数据，它们都可能与安全相关联。因此，大数据分析需要大系统、大平台、大流水线为分析者服务。这里的安全数据源叫做事件日志，所有的系统、软件和应用的每一步行动都会产生事件数据，这些事件数据都需要分析。通过分析运行系统、网络、应用的数据，了解系统的运行状况，提取不安全的事件，并决定是否要对这些事件给予关注。

与此同时，网络安全大数据分析也面临挑战。以如何选择高质量的学习数据为例，这是一个极度变化的领域，比如机器可以区分猫和狗，但在网络安全数据中，有时某些数据看起来像猫，行动起来却像狗。得到一个可使用的模型很难，首先需要找到最相关的特征，即管理机器学习，管理机器学习的工作方式为行为分析和异常检测。图片分析——关联推定的方式对于管理机器学习有参考意义。此外，目前的数据处理能力无法应对海量的数据处理需求。最重要的是，大数据分析不仅需要诸如大内存、多核CPU、快速读取和高速的网络，高性能数据库、大数据工具、架构和框架也必不可少。