新兴技术和安全挑战预测报告

0 引言

ENISA与来自学术界和业界的外部专家合作完成了本次预测。从为数不多的专家开始，ENISA计划通过聘请欧洲委员会和机构以内及以外的更多专家来扩展这一评估。目前，最凸显的技术挑战为：

·物联网；

·自动系统；

·下一代虚拟基础设施（包括SDN和5G）；

·即将到来的社会挑战；

·虚拟和增强现实；

·生物纳米技术互联网；

·人工智能和机器人技术。

上述名单并不详尽，ENISA将继续与专家进行讨论，对其进行补充。对于上述新兴技术领域，本报告提出了相应的技术和网络安全挑战。

通过将新出现的安全挑战纳入考虑范围，ENISA使用了“新兴安全相关领域（emerging security related areas）”的方法，确定了最重要的几个网络安全领域。它们是：

·认证阐述（Elaboration on Certification）；

·网络空间行动协调；

·可信度提升；

·完整生命周期覆盖；

·未来密码学；

·未来识别技术；

·在网络安全中使用人工智能和机器学习；

·增加终端用户参与。

ENISA认为，这些网络安全领域将在未来几年对网络安全界提出挑战，ENISA希望利益相关方之间能够广泛讨论这些问题。

1 介绍

本文是记述即将到来的技术和相关安全挑战评估的初步文档。评估将通过与行业、学术界、公共部门等不同部门的安全专家进行交流来完成。

这个想法并不新鲜：在ENISA内部，对未来技术挑战的考虑是内部规划和知识管理过程的一部分。通过这一考虑，ENISA得以制定提案、开发渠道知识并设置工作优先级。在ENISA的项目领域，各种外部专家都会参与这一目标的实现，例如参与相应的活动（例如，项目中得出的结论、提供建议、支持研究、估计、调查等）。最后，ENISA建立了永久利益相关方小组（PSG，Permanent Stakeholder Group），以便将有关新发展的信息和想法纳入ENISA的计划过程。

然而，通过这种努力，预测未来的挑战变得更加广泛也更加集中：ENISA与利益相关者团体的代表进行了一场专门的对话，对新兴技术和安全挑战进行头脑风暴，将讨论/想法/经验以这篇报告的形式进行巩固。所覆盖技术领域的时间范围各不相同，涵盖了之前约1到5年的发展。这种方法的目的是通过收集不同关键利益相关者的想法，以相对较低的资源投资，建立一个初始的核心材料。在本报告的最初阶段，已经收集了在信息/网络安全领域内，技术利益相关者的想法。在对取得的成果进行评估后，将在技能和利益相关者数量方面进行更广泛地收集。

这一工作背后的过程有一个次要目标：通过与不同利益相关者的互动，ENISA可以了解这些利益相关者能够互补互利的利益和想法。从这一方面来说，ENISA将扮演调解人的角色，对可能会促成安全实践/产品/利益相关者之间操作的发展的想法，实现相互落地。与此同时，这些利益相关者活动的结果可能会与其他工作，包括ENISA的可交付成果相关联，并将向公众进行传播。

2 过程和内容

2.1 过程

为了继续进行这项工作，ENISA确定了下列过程：

·在ENISA内建立持续的信息收集机制。这主要是基于开源信息，涵盖了安全、技术和政策发展的各个领域。此外，这些信息还包含ENISA管理团队与关键利益相关者交流的成果；

·加入以前与利益相关者交流的可用材料（如前ENISA永久利益相关者集团，PSG）；

·在ENISA年度工作方案交付过程中，确定了安全领域和新兴技术领域的开放点、未来需求和差距。这些材料需要在ENISA内部和贡献利益相关者之间进行讨论；

·各个ENISA机构中，特别是在ENISA PSG中，正在进行指导和头脑风暴。这些信息将被用在预期版本的工作方案中，并在内部和外部项目/活动中实践；

·ENISA的相关主要联系人（例如：PSG专家、参与ENISA项目的其他专家、与ENISA合作的学术组织）都参加了关于新兴技术和安全问题的头脑风暴对话；

·所有这些信息都在内部进行了整合，并输入本报告。

2.2 内容

本文的内容主要针对一些具有共同特征的问题/主题/方面。这些共同特征如：相同的技术部门、相同的业务领域、相同的政策环境和范围等。鉴于不可能避免重叠，本报告中提出的不同主题可能同时在技术上和安全问题上有共同之处。

在下文中，我们记述了关于不同技术主题中的普遍看法，并在适当的时候，得出其对网络安全的可能影响。

如果提到的行动与现有的ENISA工作方案主题相关，我们将会指出。如果所提到的主题与参与头脑风暴的利益相关者的非机密活动有关，我们也会指出。要想开启跨利益相关者之间基于共同利益主题的交流，这些主题是很好的选择。

最后，为了完整性，我们列出了每个组织进行头脑风暴的主题。这一列表将记录所讨论的主题，其顺序并不代表任何优先级。

3 收集观点整合：新兴科技领域

本章包含了所有可能会带来网络安全挑战的新兴技术领域。这项评估基于的是过去一年所进行的讨论、报告和信息收集。我们认为，这些技术领域将在未来数年为网络安全界带来挑战。

3.1 物联网

3.1.1 技术挑战

由于物联网（IoT）影响人类生活、通过新产品引发数字转型的潜力，它被人们看作是一个新兴的技术领域。尽管这种技术已经存在了好几年而且并不新鲜，但专家们认为它的潜力远不止于此，并带来了许多技术上的挑战。

与物联网（IoT）相关的挑战在（安全）界内已经被了解。物联网在生活中扮演着重要的角色，因为它服务/管理着消费者环境的各个领域。因此，从市场的角度来看，物联网：

·是为消费者提供硬件、软件和服务的新环境；

·创造了大量可再利用的数据，帮助开发新产品；

·使向用户私人生活和私人领域的渗透，进而营销成为可能；

·使灵活地环境开发成为可能，同时允许客户绑定；

·使各种基础设施、数据和服务进一步融合。

这些事实清楚地说明了，为什么各市场、政府、国家安全以及恶意行为者都想获得关于物联网部署/使用的信息。

在物联网中解决安全问题是困难的： 由于成本问题，设备的廉价和大规模生产使得安全性随之降低。此外，由于物联网设备是通用的，很难预见未来应用领域，因此在制作过程中就要注意保护要求。尽管如此，当聚集为较大/群体中时，它们可能会成为复杂基础设施的一部分并处理大量的数据，这些数据可能具有很强的机密性、完整性和可用性需求。

另一个挑战是在互联设备中固有的计算能力。当恶意行为者控制了全部或部分IoT网络时，这种计算能力就可能会被滥用。未来僵尸网络已经展示了大量设备在用于精心策划的攻击时的危害强度。

有趣的是，在Gartner技术成熟度曲线（Hype Cycle）2016中，物联网被认为仍处于创新触发阶段（即早期阶段）。因此，在直到物联网市场成熟/生产之前，我们还有很长时间可以采取行动。

总而言之，物联网环境和设备的挑战将是保持低成本（即物联网采用的驱动力）、市场投放速度和安全性（即可信度的促进因素）之间的平衡。如果丢失了这种平衡，那么物联网应用程序就可能面临市场失败。

3.1.2 物联网安全挑战

物联网将为网络犯罪货币化活动提供机会。相当地，物联网将成为国家安全和间谍活动的焦点，不管是国家支持的活动还是企业支持的活动。此外，用户的行为数据将成为未来的营销工具。

因此，我们很容易就能够评估出这些信息的滥用区域和相应的威胁：

·物联网应用的数据和可用功能可能会在网络钓鱼、网络间谍、网络间谍、数据泄露、身份盗窃等网络威胁中被滥用；

·不安全的设备可以在僵尸网络、拒绝服务、垃圾邮件等各种攻击场景中被劫持和滥用；

·服务提供商拥有的不受保护的接口和流程可能会被滥用为侵入其系统的途径。此外，产品生命周期功能（例如更新）的缺失，使得消除漏洞变得不可能；

·可用功能、流程和数据可能被滥用，以获取非法利润；

·公司可能对用于监视竞争对手的数据、实践和可用功能感兴趣；

·单个家庭或群体的家用器具，可能会被活动人士、恐怖分子、网络战士等人滥用，从而对整个地区造成危害。

考虑到物联网应用（媒体消费、生活习惯、私人环境、电子健康、辅助生活等）的隐私性和存在性，对其的机密性、完整性和可用性需求将会很高。有必要开发产品来保护这种环境。

与其进行“微观”保护——保护物联网环境中的每个元素，关注架构组件的保护可能更为合适。现有/众所周知/有效的安全控制，只要适当地应用于物联网架构的正确级别，就可以提供良好的保护。当前的讨论表明，不管是在架构还是在服务方面，物联网要达到成熟还需要大量的努力。例如，未来僵尸网络常常被作为物联网滥用的典型例子，这一僵尸网络实际上滥用的是互联网路由器。尽管如此，这些组件从未被认为是物联网基础设施的一部分。

未来发展要点：

·物联网平台处于早期开发阶段;

·5G和虚拟化将增强设备对设备（M2M）的交互;

·物联网的整体保护将是很困难的。应用程序/部门为主的解决方案更可行；

·通过新的滥用场景，物联网将扩大攻击面；

·对于物联网场景，需要考虑现有的安全保护控制；

·尽管处理过的数据可能会不稳定且价值低，但为了保护隐私，数据保护仍然是必要的。

3.2 技术使用与社会挑战之间的相互作用

3.2.1 技术和社会挑战

虽然社会变革本身不属于技术领域，但它在技术采用中起着重要作用：首先，社会变革会影响新产品的创造。其次，它们在现有产品的使用上扮演着重要的角色。在两种情况下，社会挑战都会影响技术部署和安全/隐私问题。因此，在我们的头脑风暴会议中，社会变革被认为是一个为技术使用建立环境的领域。这是本章考虑社会变革的主要原因。

有关数字化的社会变革无疑是社会上的一种重要现象。理解这些变化有助于识别终端用户的行为和习惯——即建立各种使用场景。这反过来又为保护终端用户的要求提供了理由。

人们消费媒体的方式发生了明显的变化：传统电视观众的平均年龄正在增长，年轻一代逐渐远离电视。与此同时，视频点播的用户大多为年轻用户。同样地，科技在年轻一代的社会行为变化中已经并将持续扮演着重要的角色，尤其会影响他们的沟通、互动、媒体消费和社交习惯。

用户在社交领域的复杂行为，也可以通过消息传递服务、社交网络使用以及生活记录信息和量化生活的分享来评估。这些趋势中有许多与行使健全的有关隐私需要的人权有部分矛盾。例如，一些用户可以选择公开自己的信息，而政府将这些信息视为保密的个人数据。

此外，数字鸿沟的现代看法表明，在先进和弱势（社会）群体在技术使用上存在差异。这些差异反映在他们使用在线服务的方式上。

在未充分了解终端用户行为的情况下，无法在技术和技术平台的领域进行讨论和行动。这将导致包括网络安全在内的任何技术措施的失败。

3.2.2 社会变革带来的安全挑战

用户群体中的社会变革为网络安全带来的挑战是相当大的。这主要是由于了解终端用户的动机、习惯和心理的需要，终端用户是网络安全中最薄弱的环节。

评估显示，更好的终端用户安全意识，可以将当前由人类错误引发的安全事件减少超过50%。这表明了此类措施的重要性，尽管此类措施在所有年龄范畴的传播都远远超出了平均水平。安全界已经充分认识到了这一点：目前发起的重要意识宣传运动就考虑到了这一事实。

从用户的行为，网络安全界可以得出以下重要结论（陈述性列表，非详尽）：

·行为模式导致的弱点；

·使用场景造成的弱点；

·由于弱点而面临的威胁；

·滥用场景；

·重要的用户资产的评估/识别；

·详细阐述可由非专家管理的安全控制；

·意识提高和培训，包括根据目标群体的年龄进行区分；

·社会需求、教育方法和用户行为模式的平衡/编配；

·为实现这一平衡（包括监管、用户责任等）制定可能的行动方案。

未来发展要点：

·需要更好的研究和理解用户行为；

·在网络安全方面，用户习惯必须考虑在内；

·通过实施基本的安全控制可以显著降低风险。

3.3 下一代IT基础设施

3.3.1 技术挑战

在许多IT领域，下一代IT基础设施都在创建中。这种演变的主要特征是虚拟化部署增加、网状环境/应用程序、多租户功能、定制和管理功能等。这些系统正在考虑提供端到端服务，从而允许远程管理操作，而不需要维护任何本地基础设施。

这些趋势带来了重大的技术、操作和经济挑战。例如，基于这些趋势，许多端到端服务都需要被重新定义和启用。

尽管从用户的角度来看，这一趋势是积极的，但这一趋势将会使当前的市场平衡发生巨大的变化：大厂商将会影响或取代那些为终端客户提供透明服务的竞争对手。然而，通过市场竞争，这一趋势可能会导致市场力量集中于少数几个巨头。这样的寡头垄断可能会影响终端用户所获得的服务，减少终端用户需求、成本和安全性方面的灵活性。

新一代IT基础设施实现了多层架构，这一架构可以中和单个硬件和低级功能依赖的特性。虽然这些系统的配置和管理是在应用程序级别进行的，但是对异构子系统（硬件和软件）的内在依赖带来了技术、操作和安全方面的挑战。

3.3.2 下一代IT的安全挑战

多层、虚拟化的架构具有将子系统的特性抽象出来的优点。多个系统可以在一个通用的硬软件平台上独立定义，然后通过管理程序进行管理。下一代系统为运营商和终端用户提供了更加全面和一致的信息。然而，这种功能的实现，需要支持将各种逻辑和系统层中的用户行为，转换到特定底层组件的系统中。

这种转换和执行具有安全风险，特别是考虑到底层（硬件）系统较短的创新周期。值得一提的是，在这次讨论中最受欢迎的下一代基础设施是软件定义网络和5G。

这些风险可能与子系统的弱点、配置中的错误、版本控制、不兼容性、安全漏洞等有关。而且，这些风险一旦变成现实，其影响可能很大，因为它可能影响到使用系统的多个租户的操作。

某服务的大量用户/租户的是攻击者将这些平台作为目标的动机：只要攻入此类服务，就可以获得大量的数据。显然，此类泄露的利用选择可能是相当广泛的。一般来说，下一代IT基础设施将会带来许多安全挑战，如：

·大量的异构组件需要多种弱点/漏洞解决方式；

·多个逻辑与物理层使弱点/漏洞滥用更快速；

·多种服务和大量用户提供多样货币化机会；

·平台上实施的技术、过程和业务流程多样，制造多种攻击场景；

·多方参与管理/行政角色多样（特别是内部人员滥用）导致滥用用例多样；

·安全措施的跨层实施无效，导致保护漏洞；

·通过滥用多层架构绕过现有安全控制的方法过多。

未来发展要点：

·传统上，安全滥用发生在系统层之间。下一代IT包含了大量的层和组件，因此会增加滥用用例；

·就像云基础设施一样，对下一代IT的攻击可能会获得大量的信息，因此将成为一个很有吸引力的目标；

·虚拟基础设施中涉及组件的缺陷，可能会影响数据的机密性和完整性；

·了解新虚拟基础设施的相互作用和架构需求的新方法；依此建立安全保障。

3.4 虚拟和增强现实/游戏化

一般来说，在要将某一过程与其物理规则相分离时，就会使用虚拟现实和游戏化技术。该技术可以模拟灾难性事件而不实际体验它们。模拟在培训中非常普遍，当学员想要获得职业技能时，在现实生活中练习可能会承担很大的风险。在医学、航空航天、水下、军事等领域都有相应的例子。只要保持网络和物理空间的分离，虚拟现实和游戏化与网络安全的相关性就很低。当虚拟和物理开始连接时，这将会改变。尽管如此，虚拟现实和游戏化与隐私有着重要的关联。

3.4.1 技术挑战

虚拟和增强现实（VAR）这一技术领域在走向生产阶段的过程中已经有了显著的进步。根据虚拟和增强技术使用的部门/领域，它可能对人类活动产生相当的干扰性和/或至关重要的作用，特别是应用在医药、军事、航空、航天等领域时。

虚拟和增强现实以游戏的方式应用于游戏化领域，既有严肃的游戏也有有趣的游戏。因此，它正被广泛的用户群应用于各种领域。目前，这项技术面临的挑战与显示和通过传感器捕获用户反馈有关。

作为高度交互的组件的集合，虚拟和增强现实承担了复杂系统面临的架构稳健性的挑战，以及连接组件可靠性的挑战。

3.4.2 安全挑战

虚拟和增强现实面临的安全挑战，与复杂的、高度互联的多组件环境面临的挑战相似。此外，VAR将提供用户习惯数据收集的额外领域。这些信息可能具有私密性，并且，根据VAR使用的领域，其滥用可以影响人类的生活。

与其他新兴技术领域一样，VAR通过以下方式为网络安全带来挑战：

·VAR信息滥用的安全和隐私影响；

·此类系统的信息处理和功能提供，对其机密性、完整性和可用性要求的作用；

·使用、操作、维护的弱点（如成瘾、混淆等）；

·内部人员滥用场景；

·由于组件的集成较弱受到的威胁。未来发展要点：

·需要了解该技术领域的安全要求；

·VAR将提供新的攻击面和弱点；

·VAR滥用影响/冲击仍有待评估。

3.5 自动系统（如车辆）

3.5.1 技术挑战

自动系统是目前在自动车辆领域逐步实施的新兴技术之一。尽管有过一些成功的实验展示[1]，对产品开发也提供了积极的预测，仍常常有自动系统失败的新闻。

出于显而易见的原因，测试无疑是实现自动系统产品部署最重要的、但却很费力的任务。[2]科学家们发现了许多与测试相关的挑战，特别是：

·自动系统环境复杂性的掌握；

·复杂软硬件的管理，包括与大量的情景参数并最终与其他复杂系统进行整合和交互；

·考虑到异构组件生命周期的不同，对所有这些组件维护的掌握。

此外，一些额外的技术挑战还与容错、对功能和韧性的信任有关：

·鉴于配置错误和设备故障是系统故障的常见诱因，因此有必要增强容错、故障避免和故障排除。这种特性在自动系统中是不可避免的，特别是在与人类生活相关的自动系统中；

·建立对系统功能和自动系统运行的信任；

·即使是在失败的情况下，自动系统也需要能够调整它们的功能特性以适应新形势，并能够为了其所处的整个生态系统退回到安全状态。

3.5.2 安全挑战

自动系统领域的安全挑战来自于对韧性、信任和完整性的需求。值得一提的是，在自动系统中，我们需要更好的理解安全与保障之间的相互作用：由于自动系统中典型的工程遗留问题，许多（信任）需求是基于安全的。在阐述这类系统的保障问题时，人们不仅需要了解为确保安全的保障控制的使用，也需要详细说明保障故障对安全的影响。更具体地说：

（1）自动系统的韧性是其经受不同类型故障，而不进入可能造成人身伤害、生命损失或财产严重损害或损失的状态的能力。这里说的财产可以是由自动系统控制的财产，或者直接/间接属于自动系统环境的财产。为了实现这一目标，需要维护连续性机制、失败和冗余机制。此外，还需要安全机制对运行时环境的所有阶段，从开发到运行阶段进行保护。

（2）对自动系统最具挑战性的要求之一就是可信。这种可信，关系到系统各组成部分之间的可信功能的建立，使它们不能被伪造/恶意改变。此外，为了保证与自动系统与外部其他组件/系统交互的真实性，需要建立可信关系。这对自动驾驶汽车尤其重要，因为它们可能严重依赖于与外界交换的信息（例如GPS和交通信息）。最后，需要建立对自动系统自身各个关键功能的安全性的信任（例如，所处理信息的不可否认性）。所有可信功能都可以通过使用仅基于计算的安全功能（例如区块链、身份验证、数据签名、证书等）来实现。

（3）除了韧性带来的可用性需求（见上文），对完整性的保持是此类系统所需要的另一个基本功能。除了现有功能和所处理信息在流动和休息时的不可改变性之外，这些系统还需要保持对所执行活动的不可否认性。这将是必要的，因为这样的系统可能会影响人类的生活（例如通过事故）。

（4）可信在自动系统中尤其重要：这种系统的复杂性，以及失败或恶意行为的严重影响（即生命损失），引发了相关组件之间的可信问题。考虑到这些系统之间可能的特别互连（即通过M2M），很明显需要为交互系统开发信任模型。

未来发展要点：

·自动系统需要基于某种信任模型与其他组件进行交互；

·由于自动系统在交通和医疗方面的潜在应用，其韧性将会达到新的高度；

·自动系统最终将需要在安全机制中采用新型方法，特别是在其与不太可靠的设备进行交互时，如最终属于物联网环境的传感器等。

3.6 生物纳米物联网（IoBNT）

3.6.1 技术挑战

在物联网问世之后[3]，科学家们详细阐述了将联网设备与微型化和生物过程相结合的可能性。人们设想，技术将提供“控制、再利用、修改和重组细胞结构和功能的工具，并有望使工程师实际上将生物细胞作为可编程的基底”。在这种背景下，普遍认为要实现将生物纳米物质作为生物嵌入式计算设备是主要的促成因素。

如果与DNA研究的发展，与生物计算[4]、电子健康和医学的进步相结合，IoBNT为技术突破开辟了许多途径，使网络成为重要的人类生物过程的一部分并发挥控制作用。

这样的发展将会给技术带来巨大的挑战，显著挑战包括伦理、社会、法律经济和政治等方面的挑战。尽管这些发展的影响目前难以评估，但技术专家需要意识到，应对这些挑战需要做大量的工作。

3.6.2 安全挑战

IoBNT覆盖的安全问题将给安全和网络安全带来巨大的挑战：保护水平要尽可能高，因为要保护的资产是生命和健康的基石。此外，对功能和所有相关组件之间通信的可信将会非常重要。最后，对识别、问责、不可否认性和完整性的要求，将决定IoBNT的开发和部署。

预计未来发展要点：

·IoBNT将为信息安全/网络安全带来巨大挑战。这是因为这一领域涉及的资产具有跨学科性质；

·对这些技术进行的初步风险评估，对于理解这项技术的影响至关重要；

·由于应用领域的性质和所涉及组件的性质及相互作用，有必要扩展现有的安全技术来获得所需的保护。

3.7 人工智能和机器人

3.7.1 技术挑战

计算机科学人工智能中的人工智能（AI），是指计算机系统/服务/感知环境的应用程序，以及使用从环境中获得的可能不完整的数据，将完成某一任务的成功率最大化。人工智能的技术和方法，包括从简单的决策算法，到模式识别和数据挖掘，以及深度学习和其他强化学习技术。人工智能的有趣用例包括机器人、自动驾驶、无人机、医疗诊断、个人助理等。

（1）复杂和广阔的范围：机器人和人工智能建立在丰富的信息之上，信息使得智能决策成为可能。人工智能和机器人共同促进智能、自适应、环境感知服务和应用的部署。因此，很明显，保障人工智能安全的复杂性在于它涉及到许多行业和领域，安全控制需要进行自适应，并能够在这些协调设置中运行。这种安全控制很新且需要进一步发展。

（2）财务成本： 人工智能在几个关键领域的广泛渗透，意味着与替换组件/人所需要的投入相比，网络安全相关的潜在巨大金钱投入。

（3）无所不在：尽管人工智能确实是能带来社会和技术范式转变的技术之一，它可能被作为人们赖以生存的东西，却没有怎么认识到相关的风险。与大多数创新一样，在其采用阶段，只考虑人工智能的好处而不考虑它的缺点更为普遍。

（4）大型供应链：每一个人工智能解决方案都涉及大量的利益相关者，例如软件开发人员、硬件制造商、网络提供商、软件提供商、大数据/机器学习解决方案的服务提供商、数据交换协议、数学家等等。

（5）算法完整性：人工智能通常是一个黑盒子，无法对其进行算法验证，而算法的动态和不断演化性则会阻碍鉴定。算法与其训练和测试数据的紧密联系进一步加剧了这一现状，因为数据的修改可能会导致完全不同的算法行为。因此，对上述算法进行验证，确保算法不偏倚且安全可靠，具有重要意义。

3.7.2 安全挑战

人工智能技术会帮助进行智能和自动决策，因此是部署物联网和工业4.0场景的先决条件。在这种情况下，对安全的首要需求自然就延伸到了人工智能。通过分析有关人工智能和机器人的现有材料，ENISA列出了一系列网络安全挑战。这一网络安全风险和挑战列表并不详尽，仅作为陈述性列表使用：

（1）可信：考虑到人工智能对自动决策的支持通常不考虑人工输入的特殊性，可信的概念因此就显得至关重要。机器人系统需要基于信任模型与其他的组件进行交互。这种信任应如何建立在此类基于AI的系统中、如何在信任链中传播、如何利用信任来提升用户意识，以及如何使用信任来引发人们对安全问题的关注，这是人工智能领域的公开挑战之一。

（2）非常大的攻击面：与机器人和人工智能相关的威胁和风险是多种多样的，并且会迅速发展。由于对公民的健康、安全和隐私（用户可能不清楚数据的收集和处理）的巨大影响，人工智能的相关威胁范围非常广泛。

（3）复杂的范围：由于人工智能及其在机器人上的应用，不应该被看作是独立的算法和解决方案的集合，而更像是一个丰富的、多样化的、广泛的生态系统，且涉及软件、硬件、数据、设备、通信、接口和人员等方面，安全问题变得更加严峻。

（4）不确定性：由于此类系统缺乏确定性，自动机器人系统的本质就是依赖于一定程度的不确定性。安全控制需要考虑这方面并提供适当的解决方案。

（5）透明度：决策的透明度意味着人工智能需要会行动的原因和决策的逻辑流程进行证明。监管机构和用户都应该知道做出某个决定的原因，以在必要使增加信任和调整责任。对机器人技术的接受和采用就依赖于这种透明度。

（6）广泛的部署：除了人工智能的商业应用（例如可穿戴设备的智能通知），最近出现了关键基础设施（CI）通过在传统基础设施上使用AI，向智能基础设施即工业4.0（例如制造业中的机器人）转移的趋势。我们需要考虑使用动态安全控制，从而满足上文所述系统操作的不同环境需求。

（7）安全与保障流程集成：这是一个非常具有挑战性的任务，因为它可能涉及所有利益相关者可能相抵的观点和要求。安全挑战本身在议程中就极其重要。由于人工智能的决策和机器人的行动可能对物理世界产生严重和实际的影响，对安全的保障应该得到提升。

（8）对个人数据和隐私的影响：人工智能可能会导致有关用户行为的大量信息，向少数组织/公司的集中。要保证这种集中对隐私条例和信息安全措施的合规将是一项挑战。此外，人工智能对收集和处理数据的需求可能会影响消费者的行为，因为消费者的个人数据和隐私可能会被泄露给非法方。在这方面，同意提供的方式、应用在人工智能上的运行方式、一种算法到另一种算法的中继方式等等，都需要进一步被分析。

预计未来发展要点：

·有必要了解人工智能和机器人技术的构建模块以及模块之间相互作用。基于此（技术）信息，安全专家将能够确定模块的风险暴露位置；

·必须对与人工智能和机器人技术相关的威胁和弱点进行评估。鉴于此类技术的广泛使用，这项评估需要同时包括技术和非技术性问题；

·需要通过政策解决所发现的社会和技术问题：需要确定各种利益相关者的作用；政府的必要指导水平；与各种现有法规的衔接等；

·一定要在产品和服务生命周期的所有阶段确保安全，特别是在设计、开发阶段（测试，因API再利用）以及使用和维护（安全补丁，特别是使用第三方安全功能/API）阶段。

4 收集观点整合：新兴安全相关领域

4.1 认证

通过移动计算、智能设备和物联网，安全保护与许多家庭的设备和商品都息息相关。我们越发需要用某种标志证明安全功能的存在和效率，这种标志类似于用于电器的认证标志。

然而，现有的认证计划都过于“沉重”（即昂贵、严格、狭窄和静态）。这些特性与IoT设备的特性不兼容，IoT设备的生命周期短、廉价并且可以快速改变其操作方式。在许多情况下，获得安全功能认证的努力，可能会大大削减产品营销所带来的经济效益。这实际上不利于安全认证。

随着时间的推移，为了克服前文所提到的不足，人们已经想出了各种安全认证方法。

其中一个想法是通过模拟的网络威胁，对设备进行暴露模拟。这将测试出各种安全产品的韧性/防护等级。这种方法虽然不正式，但可能是检查商业产品安全级别的一种实用且经济的方法。欧盟委员会通过公开募集的方式，在研究领域（H2020）采用了一种类似的方法。

其他现有的想法包括用于供应商和/或组件（硬件和软件）的可信模型。在这种情况下，评估人员需要根据所使用的体系结构和暴露场景的信息，来评估安全功能的有效性。后一种方法与上一段所述的方法类似。软件责任可能会影响到创新的、短生命周期的组件/技术的发展。

ENISA在产品安全认证领域进行了一系列活动[5]，并支持欧盟委员会和成员国建立框架，用于制定全欧洲可用的认证标准。作为本预测的另一项内容，利益相关者和ENISA计划进一步完善轻便设备认证计划，使其适用于在面向消费者的环境和应用程序（例如，物联网、电子健康、联网家庭等）中部署的零售硬软件组件。

值得一提的是，欧洲委员会在《欧洲议会和欧洲理事会对ENISA的未来规定》（Regulation of the European Parliament and of the Council on the future of ENISA）的提案中，包含了一份可能认证的可能内容草案。该草案需与欧盟成员国和利益相关方进行商议。

认证要点：

·现有的认证方案无法适用类似于物联网中的轻便设备；

·需要用新的方法来制定网络安全功能检查的替代方法；

·ENISA支持欧盟委员会巩固现有的方法。

4.2 一个虚拟地带，多个参与者

网络空间是一个虚拟地带，在这里各种犯罪/违法/攻击行为都有可能发生。当被告知此类事件/行为的存在时，拥有受到威胁的IT组件的各种专业人员，将采取某种行动保护他们的资产。同样，国家安全、执法和军事力量也可能介入处理网络事件的影响。

就像在真正的空间/领土中一样，一起严重的安全事件将会同时引起国家安全、执法并最终引起军事部队的注意。从这一领域吸取的经验教训说明，在事件发生领域部署部队，需要经过谨慎的协调。否则，通过救援力量造成的伤害可能比事件本身造成的伤害更大。

网络空间的虚拟性和溯源的困难性，使得协调行动组织变得更加困难也更加关键。再加上协调各种力量行动的监管框架还没有到位这一事实，这一问题很明显是非常紧迫的，特别是在跨国界、泛欧洲方面。[6]

相关群体已经理解了这一问题。网络危机管理合作被认为是一项需要向前推进的重要事项，不管是在欧盟委员会还是在ENISA层面[7]。根据欧盟委员会对ENISA的未来提出的草案，我们预计在今后一段时间内，这一领域将会有相当多的发展。

行动协调要点：

·就像其他生活领域一样（如危机、灾难性事件等），协调各种参与者的活动，包括防御、执法、救援等是必要的；

·网络危机合作是一个需要解决的重要领域。

4.3 可信度

可信度，一种使某一实体在与其他实体互动时显得可信的特性的集合。在各交互方之中变得可信的需求，并不是某种新的安全问题。过去10年，电子商务中出现了这种需求。人们已经开发了各种模型，某些基于的是强大的身份验证（例如基于PKI），其他基于的是声誉模型。[8]

虽然这些模型实现了它们的目的（例如在电子商务平台和交易中），但它们不一定适用于第4节中提到的各种新兴技术领域。我们预计，各种新的信任模型将被开发出来，特别是通过无线协议以特别的方式建立通信的组件。为了实现适当的数据保护/数据隐私从而获得必要的用户信任，这些模型是必要的。

基于身份验证的系统必须解决的一个挑战是可扩展性：考虑到设备/服务和交互的数量之大，身份验证过程的性能（包括涉及凭证的处理）可能是部署的一个限制因素。

考虑到组件的多供应商和互操作的特别性，我们预计现有的信任基础设施（例如基于PKI、加密等的基础设施）将需要加强它们的互操作性，以便与可信组件相互识别。这种需求将使信任基础设施提供商采用新的业务模式。此外，在相关领域的全球大玩家，可能将必要的功能和基础设施作为其“全包”服务组合的一部分。可以预料的是，信任和可信度将共同促进认证领域的发展。

可信度要点：

·未来将开发新的信任模型，以适应特殊组件交互的需要；

·现有的和新的信任基础设施，将需要满足必要的互操作性和性能需求；

·信任模型对于接受服务提议非常重要，因此可以无缝整合进服务组合中。

4.4 安全对整个生命周期的覆盖

考虑到当前和未来的基础设施、系统、应用程序和服务的复杂性，安全对所有类型IT产品整个生命周期的覆盖是必不可少的。这包括IT产品的各个阶段，包括设计、开发、测试、采购、操作、管理和逐步淘汰的安全。IT产品责任是未来需要注意的一个问题。[9]通过用户端的适当配置和组件维护，安全对生命周期的覆盖是实现IT产品责任的条件之一。在产品整个生命周期中都需要保持这种服务水平，这一生命周期通常最高为几十年。

使安全覆盖整个生命周期还有一个更重要的原因，即实施某种全面安全管理，或将相关组件集成到现有安全管理系统中的可能性。

将组件集成到整体安全管理系统中的能力非常重要：在上述新兴技术领域中，安全管理的可用性，是实现可接受的安全性和保护级别的推动因素。此外可以假定的是，大多数专业使用的IT基础设施都将成为安全管理系统的一部分。

在这里要说的最后一点是，不管是在组件集成到现有安全管理平台的能力中，还是安全管理平台适应不断变化的威胁环境的能力中，都需要灵活性。

生命周期安全要点：

·在产品开发生命周期中包含安全，是对各类基础设施进行必要安全改进的先决条件；

·在产品开发生命周期中包含安全，增加了对适应变化的威胁环境的敏捷性；

·在产品开发生命周期中包含安全，是将IT组件集成到整体安全管理方案中的唯一方法。

4.5 加密领域即将出现的问题

目前，想要隐私的人（如加密）和想通过监听来获得保障的人之间正在进行竞争。2016年，有证据表明，隐私与国家安全之间斗争的不确定前所未有。各国为了确保国家安全，倾向于自行实施网络安全和监听。[10]

尽管如此，因为有着不同的加密和隐私规定，诞生了新的加密“地域立法（legislation geographies）”。在这些地区移动的公民可能会察觉其合规状况的变化。这种情况类似于老一辈人在美国法律限制强加密时所经历的。[11]考虑到约一半的互联网流量是加密的[12]，国家安全将其视为从数据通信中获取情报的一个越来越大的障碍。

与此同时，国家和行业致力于审查功能以及大规模的通信流/带宽的控制。政治方面的发展也显示出了反全球化的趋势。这可能会大部分互联网的出现控制中心。此类实体可以影响参与这一通信的所有国家和个人。这种分化的发展所造成的紧张关系，势必会影响到未来的网络安全界。

在竞争方面，整合欧盟现有的密码学能力将是有意义的。欧洲在关键管理、硬件加密、识别方法、加密和数据保护等领域的竞争优势是欧盟能力的核心。任何相关资源、技能和知识都应在参与和支持框架内加以巩固和使用（例如，欧盟方案、成员国支持的发展计划等）。

特别的，欧洲在医疗器械认证标准和监管方面的进步，可能会被用来为这类设备制定严格的欧洲安全要求，并为在这个市场上的欧洲供应商增加竞争优势。

最后，密码学应用的新模型正在被开发，这些模型旨在使物联网环境下/应用程序之间的组件交互更加安全。这一趋势很强并与商业流程在IoT基础设施上的实施相关，例如通过数字货币进行电子支付。我们预计，加密技术将是保证IoT和其他技术领域中，此类交互安全的关键技术。

总结这一节，应该提到技术进步的重要性：加密方案和协议安全，例如量子计算机，以及其他可能的数学突破将是非常关键的。无论是对于防守方还是进攻方。此类发展使有效的密码成为不可或缺的组成部分。

安全加密要点：

·在国家层面，加密被视为合法监听的障碍。民族国家将设法克服这些障碍；

·供应商/供应商对较弱的数据保护感兴趣，这将使他们用统一的安全标准在国际上拥有更好的地位，统一的安全标准还将简化产品开发/集成工作；

·欧盟应利用这一领域现有的加密技术和服务发展谋求领导全球市场；

·加密功能的新使用模式正在开发中。这将增强在软硬件产品中包含加密功能的需求。

4.6 识别

就像现在一样，在未来，识别将成为网络空间中各种互联技术、个人、组件和所有其他可识别物体的必要功能。识别是信任的必要先决条件且不可否认，即在两个或多个可识别的主体之间行为发生的无法辩驳的证据。

目前，大多数形式的识别涵盖的是人类主体，且主要用于身份验证。此外，相当一些识别/身份验证方法已经可以适用非人类主体。在这两种情况下，身份都是网络罪犯最理想的事物之一。出于显而易见的原因，个人可识别信息（PII）是泄露最多的一种数据。

最近的研究表明，当前，前沿且广泛应用的生物特征认证方法的实施有一些缺陷。这种认证机制是否会应用于电子健康或金融应用程序中呢？显然不会；因此有必要（提前）改进识别/身份验证方法，以适应新兴技术，避免关键IT系统中出现严重事故。

在网络空间中，需要认证的另外两个同样重要的方面是匿名性和溯源。尽管两者是相反的，匿名和行为的不可否认性却都是需要识别机制支持的两种功能/性质。它们为整个识别领域带来了额外的复杂性。

最后，由于用户会留下丰富数字足迹（例如对所有数字痕迹的概括），我们需要重新考虑身份的一般概念，因为它已经远远超过了现今功能、产品和服务所包含的典型身份。此外，非用户组件（如自动系统）的身份将变得越来越重要，因为它们将承担攸关人类生命的重要功能。

识别要点：

·需要对识别和信任之间的相互作用进行研究；

·要考虑匿名性、身份和不可否认性概念的共同点，将其放在现代IT基础设施中，并同时考虑到隐私和安全需求；

·身份的概念需要在更广泛的基础上考虑，因为多种用户数据一起可以形成档案，并匹配到网络上某唯一用户上。

4.7 将人工智能（AI）和机器学习（ML）作为网络安全工具

AI/ML和物联网似乎是一个有趣的组合，发展也越来越快：AI和ML可以被用于半自动或自动地监督物联网环境中的简单任务。[13]这可以通过利用由交互组件/传感器产生的可用知识/数据（大量）来实现。考虑到互联网永远不会忘记这一点，这将是一个巨大的优势。这些信息可用于纠正组件交互，从而提高安全性和韧性。

就像许多应用领域一样，ML和AI在网络安全领域都很有趣。它们可以通过识别组件在操作或通信模式中的异常来检测攻击。相似的，ML和AI可以用于发现网络威胁情报收集所需的相互关系，从而通过大量的数据建立背景。在大数据和国家安全领域已经有过类似的应用。

在安全方面，ML和AI的使用也可以支持对基础设施和安全管理政策应用领域的自动监督。在这方面，ML和AI将有助于修正政策执行和辅助监督，这些在很大程度上是由人类执行的。这样，ML和AI可以降低成本，提高安全操作的有效性。

AI和ML安全要点：

·AI和ML是网络安全领域的重要工具。可用于威胁情报（TI）领域的背景发现；

·第二个非常有希望的领域是使用ML和AI识别攻击模式（即基于TI），并协助安全管理/政策实施监督；

·AI和ML将成为攻击的目标。它们可能成为操纵和攻击的新途径。

4.8 让终端用户更多的参与进来

毫无疑问，网络安全知识需要转移给终端用户。事件分析数据显示，超过50%的事件是由普通/基本的用户错误引起的。这就说明从成本/效益比来看，用户意识可能成为最有效的安全控制。

网络安全的意识行动确实存在，教育工作也正在进行中。虽然许多倡议都包括终端用户培训，在这方面仍然存在大量的改进空间。一些例子包括：安全与教育、决策者信息意识的提高、使用户更好的参与到自有设备/应用安全的管理中、传递安全信息时使用目标群体导向。这一领域清单的广度/深度是很大的。我们认为，终端用户安全是一个重要的领域，却未能随着社会的数字化而发展。

最后，众所周知，网络安全技能存在严重不足。这一需求将在未来进一步加强。来自军事领域的新型组织完成了大白帽网络玩家的版图。然而，问题在于如何填补网络安全和网络威胁技能的空白。网络战争的扩大是否会影响到其他、商业领域？这一问题在今天很难回答，因为在网络犯罪、网络战争、网络间谍、供应商、研究者和其他商业组织中，确实存在广泛的灰色地带。

毫无疑问，安全界必须让人们更多的了解他们，决策者也需要提升能力，更好地教育受过各种教育的人士。

终端用户要点：

·教育和网络安全认识需要包括各种水平和技能；

·专业教育需要尝试解决市场上的技能短缺问题；

·产品需要注意隐藏的复杂性，并支持用户管理安全参数。

[1]Detroit is Stomping Silicon Valley in The Selfdriving Car Race.[EB/OL].(2017-04-03).https:// www.wired.com/2017/04/detroit-stompingsilicon-valley-self-driving-car-race/.

[2]Testing of Autonomous Systems - Challenges and Current State-of-the-Art[EB/OL].(2016-07-20).https://www.researchgate.net/publication/305622163_Testing_of_ Autonomous_Systems_-_Challenges_and_ Current_State-of-the-Art, accessed April 2017.

[3]The Internet of Things Goes Nano[EB/OL].(2016-07-23).https://www.scientificamerican.com/ article/the-internet-of-things-goes-nano/.

[4]Scientists Hacked a Cell’s DNA and Made a Biocomputer Out of It[EB/OL].(2017-04-12).https://singularityhub.com/2017/04/12/ scientists-hacked-a-cells-dna-and-made-abiocomputer-out-of-it/.

[5]ICT Security Certification for Industry [EB/OL].(2017-04-30).https://www.enisa.europa.eu/ events/ict-security-certification-for-industry/ security-certification-of-ict-productsineurope, accessed April 2017.

[6]Estonia to conduct the first cyber defence exercise for defence ministers [EB/OL].(2017-07-26).https://www.eu2017.ee/news/press-releases/ estonia-conduct-first-cyber-defenceexercise-defence-ministers.

[7]Strategies for incident response and cyber crisis cooperation [EB/OL].(2016-08-25).https:// www.enisa.europa.eu/publications/strategiesfor-incident-response-and-cyber-crisiscooperation.

[8]The Value of Reputation on Ebay: A Controlled Experiment[EB/OL].(2017-04-25).http:// courses.cs.washington.edu/courses/cse522/05au/ reputation-ebay.pdf.

[9]Software Companies: New Liability Under the Commercial Agents Regulations 1993[EB/ OL].(2017-04-27).https://devant.co.uk/ software-companies-new-liability-under-thecommercial-agents-regulations-1993/.

[10]'Extreme Surveillance' Becomes UK Law with Barely a Whimper[EB/OL].(2017-06-27).https://www.theguardian.com/world/2016/ nov/19/extreme-surveillance-becomes-uklaw-with-barely-a-whimper.

[11]Export of Cryptography from the United States[EB/OL].(2017-06-30).https:// en.wikipedia.org/wiki/Export_of_cryptography_ from_the_United_States.

[12]Half The WEB is Now Encrypted, That Makes Everyone Safer [EB/OL].(2017-01-30).https:// www.wired.com/2017/01/half-web-nowencrypted-makes-everyone-safer/.

[13]Ericsson’s Big Black Box Full of AI Goodness Intrigues at MWC 2017[EB/OL].(2017-02-28).http://telecoms.com/480122/ericssons-bigblack-box-full-of-ai-goodness-intrigues-atmwc-2017/.