下一代信号情报侦察体系架构:大数据概念的应用

杨小牛，杨志邦，赖兰剑

(1.通信信息控制和安全技术重点实验室，浙江嘉兴 314033；2.中国电子科技集团公司第36 研究所，浙江嘉兴 314033)

0 引 言

宇宙大爆炸创造了我们所居住的这个世界，而数据大爆炸正在创造一个全新的数字宇宙。我们目前处于数据大爆炸的起始阶段:在2006 年，个人用户才刚刚迈进TB 时代，全球新产生了约180 EB(1 EB =10 亿GB)的数据;而在2011 年，这个数字达到了1800 EB(1 ZB=1000 EB)。根据知名市场研究机构IDC 的预测，到2020 年这个数字将增至35.2 ZB［1］。从B(Byte)、KB、MB、GB、TB，到PB、EB、ZB、YB……数据的边界不断扩大，“大数据”时代，正在到来。

随着美国联邦政府公布开发“大数据”研发项目，以最大限度地科学有效利用规模飞速增长的数字化数据［2］，以及2012 美国总统选举中奥巴马团队对于大数据的成功应用，大数据更是引起各国政府、工商界和学术界的广泛关注。

对于大数据，现在比较流行的是用四个“V”来概括其不同层面的含义:

· Volume，容量巨大，数据已从TB 级别跃升至PB 等更高级别，所需收集、存储、分发的数据规模远超传统数据管理技术的能力;

· Variety，数据类型纷繁，包括结构化数据、半结构化数据和非结构化数据，无规律可循;

· Value，价值密度低，但隐含的价值巨大，在海量数据中，你所关心的有用数据很少，需要从海量数据中提取出解决特定问题或满足特定任务目标的信息;

· Velocity，处理速度快，在很多场合需要实时分析和处理。

爆炸性增长的数据为企业带来了新的机遇和挑战:一方面，数据的不断更新扩张给数据存储、管理和分析利用带来了挑战，同时，也对传统领域的创新发展带来了新的机遇。“大数据”已经深入到信息、安全、医疗、服务等众多行业，并产生了重大效益［3］。

大数据在近年来已取得了大量技术成果，把相关技术成果创新应用在情报侦察领域［4，5］，并由此形成新的信号情报侦察体系架构，解决情报侦察在“大数据”时代面临的诸多问题，是值得深入研究的前沿课题。

1 信号情报侦察已经迈入大数据时代

随着电子技术的进步和侦察要求的提高，现代信号情报侦察也呈现出类似于“大数据”的4 个“V”。

(1)随着全谱信息感知需求的不断增长，信息感知的频段不断加宽，从长波(几十赫兹)到短波，从超短波到微波，一直到毫米波、太赫兹(T 赫兹);同时，各种宽带雷达、宽带通信体制的出现，对瞬时处理带宽的要求也不断提高，导致AD 速率不断增长，由此信号情报侦察所获取的数据量正在迅速增长。保守估计，在单通道1 GHz 带宽下，采样率取保守值2.5 GHz，以双字节保存一个样点，则每秒的数据量为5 GB 以上，1 小时产生的数据量为18 TB，一天的数据量即为432 TB/天。如果要实现全谱感知，那样采集的数据量将成倍地增加，构成海量的信号情报侦察数据(Volume)。

(2)侦察信号越来越复杂，调制方式种类繁多。按发射信号的用途可分为通信信号、雷达信号、无线电引信信号、制导信号、导航信号等;按信号的频段可分为长波信号、中波信号、短波信号、超短波信号、微波信号、红外信号、激光信号等;按照电磁波传播方式可分为表面波信号、地波信号、天波信号、对流层散射信号等;众多复杂的信号加大了情报侦察和分析的难度(Variety)。

(3)在采集的海量数据当中，包含大量的噪声或干扰，以及己方、友方的各种信号，需要在密集的信号中找出很少的有用信息(Value)。

(4)信号情报侦察实时性高，许多场合需要实时解析情报内容，从而要求很高的处理速度(Velocity)。

从以上分析可以看出，现代信号情报侦察已经迈入了大数据时代。然后，目前的信号情报侦察采用的是传统体系架构，每个站点的功能相对固化，站点之间的相互关系也较为固定。这种体系架构已经难以应对信号情报侦察系统所呈现出的4 个“V”特征，面临着许多问题:

(1)每个站点的功能相对固定，站点之间信息难以实现共享，而单个站点的功能存在局限性，从而无法实现全概率截获;

(2)不能多系统层面对数据进行采集和存储，数据之间的关联性不强，无法分析通信过程，也不能对信号进行对比分析和关联性分析;

(3)由于传统结构缺乏对大数据的分析和存储方法，难以从海量数据中准确抽取所需信号，会造成小信号遗漏等问题;

传统信号情报侦察体系架构在实用性、灵活性、可扩展性方面都面临着考验，已无法适应现代信号情报侦察的需求。对于已经迈入了大数据时代的信号情报侦察，需要设计新的体系架构，对资源进行有效整合，实现资源的灵活管理和调度，以满足现代信号情报侦察的要求。

目前，大数据的研究已经全球范围内全面开展，并取得了重大效益。在情报技术快速发展的今天，应用大数据的概念来构建下一代信号情报侦察体系架构，借鉴大数据的技术来解决信号情报侦察目前所面临的问题，将是信号情报侦察新的发展方向。

2 大数据时代的侦察体系架构

在大数据的背景下，信号情报侦察体系架构将发生变化。以下主要从单站结构和系统框架两个方面，提出大数据背景下的新型信号情报侦察体系架构。

2.1 新的单站结构

在传统的情报侦察体系架构中，每个单站相对独立，被认为是一个传感资源，对外主要输出采集到的信号，不提供其他服务。在大数据时代下的信号情报侦察将更强调系统级的合作，各个单站将作为一个分布式节点，需要在系统的统一调度下进行相应采集、处理和存储等操作。这时，单站对外不仅表现为传感资源，它还表现为系统中的一个计算资源和数据资源，表现出新的资源结构如图1 所示。

图1 新的单站资源结构

由图1 可知，新的单站对外提供三种资源，分别是传感资源、计算资源和数据资源。这时单站作为系统中的一个资源节点，在系统的统一管理下工作。

需要指出的是，在传统的单站中也具有计算和存储的功能，只是这些功能只局限在单站内部，不能对外提供。其实这也有利于新的单站的建立，只需在传统的单站上对软件进行修改就可以向新的架构转变，从而在很大程度上降低了硬件的升级工作。

在单站资源结构变化的同时，其功能也将发生变化。在传统的信号情报侦察功能基础上，增加了适应大数据的处理功能。新的单站结构如图2 所示。

由图2 可知，新的单站通过搜索服务与上层管理中心进行交互，并实现对单站内资源的调度。搜索服务可以根据上层发送过来的搜索指令，通过搜索响应和配制模块，调用不同的控制程序来执行相应的功能。具体的控制程序包括传统的侦察操作和控制，用于执行现有单站的信号情报侦察功能;有新型侦察控制，如爬虫软件、索引构建软件等，用于信息的分析和整理，将搜索的信息按照规范的格式进行存储及索引;有可重构控制，对采集前端及处理后端进行功能重构，以实现在线切换单站的情报采集、搜索功能。

图2 新的单站结构

单站还具有知识库，包括先验知识和系统训练所得知识，这些知识包含不同信号之间的关系、信号的重要级别等，用以指导建立情报的索引及更好地进行搜索服务。

通过信息的搜索响应和资源配置，单站通过搜索服务以情报索引方式进行结果返回，完成单站对搜索指令的响应。

2.2 可重构系统框架

在新的单站结构基础上，大数据时代下的信号情报侦察系统框架，如图3 所示。

图3 新的侦察系统框架

新的情报侦察系统框架通过智能侦察搜索引擎对外进行交互，智能侦察搜索引擎是整个架构的核心，负责资源的统一管理和智能调度。

在智能搜索引擎之下，包含资源发现、分析与挖掘、大数据存储等大数据所需要的基本功能。与其他应用领域不同的是，信号情报侦察领域的搜索不仅能够完成传统的被动搜索，还能够通过资源重组和流程重组进行单站功能的可重构，从而能够根据特定需要进行系统级的主动搜索。

为了便于资源管理，在系统资源与搜索报务之间用一个资源抽象层实现对各种资源的管理，系统通过资源抽象层实现资源的统一调度和分配，屏蔽各个单站资源的具体操作。上层只需关心系统需要何种资源，而不需要感知该资源具体分配在哪个单站上，以及资源以何种方式传送给上层。

在资源抽象层下面就是对资源进行具体侦察的各个单站。其对于资源抽象层所表现出来的是各种资源，包括侦察资源、数据资源和计算资源，由上层负责对其进行统一调度和管理。

在整个系统框架中，智能侦察搜索引擎完成用户请求及任务分配。通过单站上的“信息爬虫”，获取资源列表;通过分布式数据的分析和挖掘，实现对搜索请求的响应。同时，智能侦察搜索引擎还可以根据搜索请求，进行侦察系统的在线重构，通过资源重组和流程重组，实现对情报有针对性地智能、主动搜索。

在新的侦察体系架构下，系统的保障能力更强，能够响应各种实时和非实时、常规和非常规的侦察需求;系统的“鲁棒性”更好，对系统的硬件、软件错误有很强的容忍度;同时资源利用率更高，可以有效整合各部分的资源进行高效侦察。

2.3 新型信号情报侦察特点

大数据时代下的信号情报侦察系统面向特定目标、特定目的，能够充分利用各部分资源，实现情报信息的大侦察。与传统的信号情报侦察系统相比，具有以下特点。

(1)智能搜索引擎:该搜索引擎将下层的侦察实现进行封装，上层的用户输入无需关注底层的具体实现，由智能搜索引擎根据用户的输入，去搜索或调度适当的资源，并将搜索结果快速返回，这种搜索模式在强化系统侦察功能的前提下简单了用户的操作;

(2)大侦察功能:根据用户的输入和训练出的专家知识库，从系统层面对不同来源的数据进行广泛搜索，视野开阔，可以分析整个通信的过程，并进行对比分析和关联性分析，发现新的目标组网和目标关联;

(3)实时重构:系统能够针对目标进行侦察系统和流程重构，形成一个虚拟的“侦察系统”，通过对不同资源的充分调度，完成实时、针对性地搜索;

(4)事后追溯功能:在某些事件发生之后，可以利用相关情报信息，将事件相关的数据记录进行针对性分析和搜索，实现对事件的追溯;

(5)高效搜索能力:基于新的体系架构设计的信号情报侦察系统，具有海量数据存储和处理能力，从而可以实现全概率截获，并且对于小信号的侦察能力更强，防止小信号的遗漏;

(6)系统自学习能力:通过先验知识或用户的多次搜索结果的分析，调整不同信号之间的关联度，实现搜索的自学习，从而快速从海量数据中寻找信号及与其关联的通信网。

3 系统构建的关键问题

要构建新型侦察系统，需要解决一系列的关键问题，其中包括:与现有侦察体系的衍接，侦察信号的表示、处理和传输，侦察体系的系统级可重构设计技术等方面，以下对其分别进行分析和探讨。

3.1 与现有侦察系统的衍接

下一代侦察系统只有处理好与现有侦察系统的无缝连接，才能保证系统的快速构建，提高现有设备的利用效率。

通过分析新的单站结构可以发现，新的单站是基于现有的装备技术和能力，结合大数据、云计算等新的计算模式，增加适当的存储和计算设备构建而成。在现有侦察系统转变到下一代系统，可以从以下两方面着手。

(1)在单站上需要安装新型侦察控制软件，按照搜索服务的要求搜集相关信息，对信息进行索引，并传给上层数据处理中心。

单站在原有任务的基础上，需要完成数据的采集、整理和重组织，并对样本进行分类，形成不同阶段的样本(原始样本、初步处理后的样本、初步处理结果)及不同特征的样本，并建立它们之间的关系。

(2)单站需要按照上级中心的要求对特定样本进行针对性搜索或功能重构，并将搜索的信号迁移到目标位置。

在单站的基础上，要构建上层数据处理中心，它可能需要专用服务器，在存储能力、计算能力和服务能力方面有较高的要求，能够满足一定强度的搜索请求和信息收集能力，根据需要可能还需建立更大的上层中心，实现大中心、分中心、侦察装备的分级结构，数据采用分布式的存储方式［6］。

在这种中心架构基础上，各个单站采集的数据可以实现共享和存储，以实现随时、随地利用全系统资源的效果，并且可以充分挖掘数据中蕴含的新价值。

3.2 引入大数据的基础:侦察信号的表示、处理和传输

在信号情报侦察中使用大数据架构，则首先需要具备大数据处理的基本条件，包括侦察信号的表示、处理及传输技术。

(1)信号的表示。为保证从海量数据中能够快速提取有用信号，信号的表示方法则显得尤为重要。由于信号包括多种属性，从波形结构来看有幅度、频率、带宽、调制等信息;信号与信号之间有相应的时序结构，包括通信双方的应答、通连关系等;信号之间还存在组织关系，包括组网结构、通信协议关系等。如何将信号的不同属性进行规范化的表示，建立相应的索引，对数据进行有效存储，满足不同搜索需求，是需要解决的首要问题。

(2)信号的处理也是需要解决的一个重要课题。在下一代侦察体系架构下，面对海量的信号，如何设计有效的信息挖掘和处理算法，实现对信号的精确分析和提取，对于侦察性能的提升十分重要。同时，对于处理好的信号，需要进行格式化的存储和管理，能够对各种信号查询做出快速反应，保证对数据的高效访问和获取，这是大数据时代下的信号情报侦察需要解决的基本问题［7］。

(3)下一代信号情报侦察更注重系统级的协作，这就需要在不同的站点之间进行信息的快速交互，给信号的传输带宽带来的新的挑战，是下一代体系结构面临的重要问题。

只有解决了以上问题，情报侦察架构才具备构建的基石。在此基础上，新的信号情报侦察和处理的重心将向“计算”倾斜，将侦察的问题转变为计算问题，可以借鉴大数据的研究成果，应用于下一代信号情报侦察领域。

3.3 基于大数据的侦察系统可重构技术

现有的较好的侦察系统，尤其是采用软件无线电的无线侦察系统，在装备的设计和使用方面，都比较强调单装、单系统的功能发挥，其设计结构基本上是以“算法”为核心的。侦察的流程也局限在功能搜索，围绕某个特定的目的在单系统中进行搜索。在该系统框架下，可重构技术也只停留在“功能层面”，缺乏系统级的统筹规划。

在大数据时代下的新的信号情报侦察体系结构中，信号情报侦察的核心由“算法”向“系统”转变。这里的“系统”不再是算法所瞄准的单一的功能，而是为了某个目的、某个特定目标重构出来的一个“虚拟系统”，系统的组成、节点类型、数量、地理位置分布和工作流程，是通过“重构”，以“按需服务”的模式临时组合地一起。在新的体系架构中，侦察系统的可重构设计技术是其中的关键。

新的信号情报侦察体系结构中的可重构技术是一种全局的可重构功能，它是在当前搜索资源不足或侦察针对性不强的情况下进行在线重构。要实现系统级可重构，则首先需要获取当前系统的资源信息，包括位置和功能等信息，然后进行资源的合理配置和调度，以完成对搜索的请求。这中间存在资源发现和管理、资源调度、资源响应时间等系列问题，是下一代信号情报侦察体系架构下需要解决的关键技术。

采用这种以系统为核心的可重构技术，可以实现对信号情报侦察系统中的“传感资源”、“计算资源”和“数据资源”的最佳利用。

4 现有技术借鉴

构建大数据时代下的信号情报侦察系统，需要解决一系列的关键问题。其中有些问题，可以从现在大数据的成熟应用中借鉴。以下列举一些可以借鉴的技术。

4.1 Google 云计算技术

Google 云计算平台主要由文件存储、并行数据处理、分布式锁和结构化数据表四部分组成，其构成如图4 所示。

图4 Google 云计算平台

由图4 可知，Google 云计算平台的文件存储采用GFS(Google Distributed File System)［8］，并行数据处理技术采用MapReduce［9］，分布式锁采用Chubby［10］，结构化数据表采用的是BigTable［11］，这些共同构成计算平台，为上层的云计算应用服务。分别对其进行简单介绍。

GFS 的文件系统由一个的主服务器和多个块服务器组成，并可以多个客户端的访问，数据存储在块服务器，并且在主服务器上保存其索引。客户端通过查询主服务器，获取所需文件的索引，然后从块服务器上获取所需要的文件。GFS 的结构及查询过程如图5 所示。

图5 GFS 文件系统

MapReduce 是Jeffery Dean 设计的一个新的并行处理模型，将并行化、容错、数据分布、负载均衡的等繁琐的实现细节进行封装，用户只需编写简单的计算代码，而并不必关心算法的并行处理过程［12］。

Chubby 是Google 为解决分布式一致性问题而设计的提供粗粒度锁服务的文件系统，其他分布式系统可以使用它对共享资源的访问进行同步。

BigTable 基于GFS 和Chubby 的分布式存储系统，对数据进行结构化存储和管理，从而快速地从海量信息中寻找需要的数据。

Google 现有的平台技术是大数据的成功应用经验，可以作为系统构建时的借鉴和参考。

4.2 大数据分析技术

大数据分析(BDA，big data analytics)是将先进的分析技术用于大数据集。从功能角度来讲，BDA实现了从大数据到情报的转换，而这种转换本身与大数据的“4V”特性分不开。转换过程必须采用各种BDA 平台、工具，如，阿帕奇Hadoop。Hadoop 技术与平台使得大数据分析人员可以对原始数据进行分析，并得到支持决策所需的情报［13］。

BDA 主要关注两方面内容:大数据本身及分析技术本身;如何将二者有机融合，以实现从大数据中提取有价值的情报并用以辅助决策之目的。可用于BDA 的分析技术包括了预测分析、数据挖掘、统计分析、复杂结构化查询语言(SQL)等，以及那些可以支持大数据分析的数据可视化、人工智能、事实聚类、文本法分析、自然语言处理、数据库等相关技术。可以看出，大多数BDA 技术其实均可归入“发现分析”或“发掘分析”技术的范畴，而发现、发掘情报也是BDA 的主要目标之一［14］。

2011 年，相关机构进行了“大数据分析工具、技术与趋势”调查。该调查列出了几乎所有与大数据分析相关的工具与技术，其中包括如下几类:新兴的，如云计算、MapReduce、复杂事件处理(CEP);不是新兴但适用于大数据分析的，如数据可视化、预测分析;已有且比较成熟的，如统计分析、手工编码的SQL。BDA 技术与工具在情报领域内的应用将会非常广泛，可用于情报获取、融合、分发与共享(即，构建情报网络)等诸多情报处理环节［15］。

著名的非SQL(noSQL)数据库开发公司Objectivity 所开发的Objectivity/DB、InfiniteGraph(IG)等大数据分析工具是典型的可用于情报领域的工具［16］。Objectivity/DB 大数据分析工具在美空军网络中心协同目标瞄准(NCCT)项目中得到应用，通过对海量、多源、多类型数据(如，文本、图片、视频、话音等)进行相关，将其转换为用户所需的各类专用情报［如，通信情报(COMINT)、信号情报(ELINT)、雷达情报(RADINT)、遥测情报(TELINT)等］。

随着网络中心战(NCW)不断深入人心，各类电子信息系统之间几乎都已经或正在朝着网络化运作方向发展，例如，网络化通信系统、组网雷达系统、一体化组网探测系统等均属此类。因此，在进行情报分析的过程中仅仅分析来自单个节点(即:点)的情报以不足以支撑决策，而还必须对各单元之间的关系(即:线和面)进行分析。

关系分析也是BDA 在情报领域中的主要应用之一。同样，Objectivity 公司在该领域也颇有建树，其InfiniteGraph(IG)分布式图数据库的主要功能之一就是进行关系分析，并最终生成支持决策所需的综合情报［17］。

IG 主要通过结合一系列数据库技术和图论技术来实现对相关情报的关系分析。它利用图的顶点和边来分别表示要素(包括事件/地点、人员/组织、行为)和要素之间的关系，并实现“连点为线”(基于某种规则实现点到线的映射)，最终通过对点、线的分析来产生预期分析成果。这种处理方法与传统数据库有着很大不同:传统数据库按照要素而非按照节点(顶点)、关系(边)来存储、处理数据。

BDA 相关理论、技术、工具已经有了初步发展，可借鉴其相关技术以促进新一代信号情报侦察技术的发展［18］。

5 结 语

信号情报的发展给传统侦察体系带来了挑战，应用大数据的概念构建下一代信号情报侦察系统成为了一种新的解决思路。本文对大数据时代下的信号情报侦察系统进行了初步设想，并给出了关键问题和相关参考技术。在大数据日益深入的今天，借鉴大数据的方法将能够更好地解决信号情报侦察所面临的4 个“V”，并促进信号情报侦察的发展。

［1］Big data in 2020［EB/OL］.［2012－12－24］. www. emc.com，2012.

［2］ Big data research and development initiative［EB/OL］.［2012－10－02］. www.whitehouse.gov，2012.

［3］PHILIP RUSSOM.Big Data Analytics［Z］.Tdwi.org.2011.

［4］TERRY COSTLOW.Big Data Pose Big Challenge for Military Intelligence［Z］. Defensesystems.com，2012.

［5］ 王珊，王会举，覃雄派，等. 架构大数据:挑战、现状与展望.计算机学报［J］.2011，34(10):1741－1752.

［6］王意洁，孙伟东，周松，等. 云计算环境下的分布存储关键技术［J］.软件学报，2012，23(4):962－986.

［7］吴广君，王树鹏，陈明，等. 海量结构化数据存储检索系统［J］.计算机研究与发展，2012，49(z1):1－5

［8］JEFFREY DEAN.Designs，Lessons and Advice from Building Large Distributed System［EB/OL］.［2012－12－05］.http://www.cs.cornell.edu/projects/ladis2009/talks/deankeynote－ladis2009.pdf.

［9］ JEFFREY DEAN，SANJAY GHEMAWAT. Paper about MapReduce［EB/OL］.［2012－12－16］.http://labs.google.com/paper/mapreduce.html

［10］MIKE BURROWS. The Chubby Lock Service for Looselycoupled Distributed Systems［EB/OL］.［2012－11－23］.http://labs.google.com/paper/chubby.html.

［11］FAY CHANGE，JEFFREY DEAN，SANJAY GHEMAWAT，et al. Bigtable:A Distribute Storage System for Structured Data［EB/OL］.［2012－12－21］.http://labs.google.com/paper/bigtable.html.

［12］覃雄派，王会举，杜小勇，等. 大数据分析——RDBMS与MapReduce 的竞争与共生［J］. 软件学报，2012，23(1):32－45.

［13］RICH GUTH.Deriving Intelligence from Big Data in Hadoop:A Big Data Analytics Primer［Z］.Karmasphere.com.2012.

［14］JOHN WALTERS.Big Data Technology in Defense Applications－Leveraging Graph Analytics［Z］. 2012.

［15］OBJECTIVITY WHITE PAPER Achieving Real－Time Multi－INT Data Fusion:Using Objectivity/DB to Correlate Multiple Data Sources［R］.http://www.objectivity.com. 2006.

［16］OBJECTIVITY WHITE PAPER.Using An Object Database In Intelligent Network Applications［R］. http://www. objectivity.com. 2006.

［17］OBJECTIVITY WHITE PAPER. InfiniteGraph:The Distributed Graph Database.［R/OL］.http://www.objectivity.com. 2012.

［18］Grow with Tomorrow's Intelligence…Today［Z］. scalablesystems.com. 2012.