面向大数据的情报系统初探张

林超，李阳阳，廖 勇，孔瑞远，武文曦

(中国电子科学研究院，北京 100041)



综 述

面向大数据的情报系统初探张

林超，李阳阳，廖 勇，孔瑞远，武文曦

(中国电子科学研究院，北京 100041)

大数据时代的到来，必将引发军事信息系统的重大变革，以数据为中心的情报系统将成为信息化战争的制胜关键。本文从大数据对现代战争的影响出发，首先定义了情报系统的基本功能和作用。在功能需求的基础上，结合大数据相关的新技术，分析了情报系统面临的新问题，设计了以大数据为中心的情报系统框架和工作过程。根据情报系统和大数据技术的现状，展望了大数据时代情报系统的发展趋势。

大数据；情报系统；系统架构

0 引 言

随着传感器技术、物联网技术和移动终端技术的发展，数据与信息在各个方面都呈爆发式增长，数据类别(Variety)多样化、数据容积(Volume)海量化、数据价值(Value)增值化驱使各种社会服务开始对海量数据进行分析和挖掘。同时，云计算技术、并行处理技术和分布式架构技术为数据处理速度(Velocity)迅捷化提供了技术基础和支撑。基于以上特征，大数据概念正在推动生活、工作和思维的大变革。《大数据时代》一书指出[1]，在大数据时代，信息技术变革的重点应该从技术转向信息本身，放眼于全体数据,接受不精确的非结构化数据，关注数据的关联性。

现代战争已经发展成为陆、海、空、天、电磁、网络等多空间、全方位的立体化战争，以使用信息化武器为标志，形成了数字化部队和以网络为中心的作战体系。在这种作战体系下，制信息权成为决定战争胜负的关键，情报系统作为争夺制信息权的核心，已成为现代战争的灵魂。情报是对利用侦察与监视手段或其他方法收集来的数据和信息，进行处理、综合、分析、评价和解释而得到的信息产品[2]。由情报的定义可以看出，数据和信息是情报的主体。大数据时代数据和信息环境的变化，要求情报服务的构建以数据为中心，结合新的大数据相关技术，为军事行动和作战指挥提供更加科学、精确、及时、到位的决策依据。

1 情报系统功能

情报系统是为实现情报搜集、加工、存储、检索和传递的系统。在大数据时代，庞大而复杂的数据考验着情报系统的技术体系结构和数据处理能力；另一方面，信息化作战的突发性和速决性对情报系统的实时、分布式分发能力提出了新的要求。为适应大数据和信息化作战的要求，我们将情报系统的功能分为核心层、业务层和支撑层三层(见图1)。核心层进行情报计划和准备，对业务层进行指导；业务层将情报活动分为情报搜集、情报处理、情报分发等三大部分；支撑层是对情报活动三个阶段的具体化。

图1 情报系统功能

1.1 核心层

情报系统的核心层功能就是从战略、战役、战术层面为军事行动的指挥决策提供详细的情报数据以及综合性的和快速反应的情报能力。无论是战时还是平时，只有依赖准确、及时的情报，才能做出正确、迅速的指挥和决策。在战略层面，情报系统需要查明有关国家、地区、集团的战略方针、企图、方向、部署、武装力量数量、作战指导思想、战略措施、战争潜力等情况；在战术和战役层面，情报系统需要提供敌方企图、行动方向、战斗编成、兵力部署、主要装备、工事、障碍、作战能力、作战特点、指挥官、指挥机构、通信枢纽以及作战地区的地理、水文、气象、社会等情况[2]。

1.2 业务层

收集、处理、发布是各种信息处理系统的基本流程，情报系统作为典型的以信息和数据为中心的系统，对应的需要支持情报搜集、情报分析与生产和情报分发等三项基本功能。情报搜集是基础，通过各种情报源获得最初的情报数据，这些数据有的可以作为直接的情报产品，有的则需要经过进一步处理；情报分析是灵魂，负责对情报搜集得到的信息和数据进行处理，结构化情报数据，从其中挖掘出潜在的有用信息；情报分发是表现，分发过程的及时性和针对性直接影响情报对指挥决策的辅助效果。

1.3 支撑层

情报系统的支撑层功能主要包括：

a)侦察监视。这是获取情报的手段，通过有时限的侦察和连续性的监视可以获得7种主要的情报类型：图形情报、信号情报、测量和特征情报、人工情报、公开来源情报、技术情报和反情报。

b)信息挖掘。这是链接情报搜集和情报处理的重要功能，信息处理技术历经了人工分析阶段、自动化管理阶段、智能化综合处理阶段等三个阶段，已经形成了各种手段综合利用的现代化信息挖掘技术。

c)态势生成。态势生成时随着可视化技术发展起来的情报的图形化表达，可以分为平时和战时两种类型，平时态势主要包括战略部署、武器装备情况、军事重点分布等，战时态势则进一步包括战场态势涉及的兵力部署、敌方动向、地理数据和气象电磁信息等。

d)威胁预警。通过实力估计、预测敌方意图、威胁识别、进攻和防御分析等多方面的评估，情报系统需要实现及时、准确的威胁预警功能。

e)战场支援。通过情报系统的综合运转，在目标引导、部队部署、毁伤评估等方面为战场提供支援。

f)效果评估。为推动情报系统的发展和优化的推动，需要在情报活动的各个阶段对其进行评估，检验情报工作的效果，确保用户的情报需求得到充分满足。

2 基于大数据的情报系统架构

美国情报基础理论历经了从情报周期(Intelligence Cycle)到情报流程(Intelligence Process)的转变，从最初的情报环路到强调情报活动之间的有机联系，最终在2000年版的《联合作战情报支援条令》将情报流程定义为计划与指导、搜集、处理与加工、分析与生产、分发与整合、评估与反馈[3]。实际构建情报系统的过程中，计划与评估需要相互关联；同时，大数据时代带来的海量信息对数据采集和存储提出了新的要求；此外，由于情报的各个阶段活动趋向于分布式和网状化，需要情报系统提供安全保障服务。综合以上考虑，情报系统的体系架构设计如图2所示。

图2 面向大数据的情报系统架构

2.1 情报计划与评估

情报计划的过程主要是根据战略和作战态势的实时变化情况，在分析情报需求的基础上，综合考虑可用的侦察资源、情报系统能力、情报技术现状等各个方面，指定情报系统在何时、何地针对何种对象进行情报活动，确定情报服务指标和要求，并根据各种军事、社会环境的变化修订相应的情报计划。情报计划子系统需要提供需求汇集、情况收集、分析判断、计划制定、计划推演、计划分发以及计划调整等服务[4]。

情报评估是根据所收集的情况信息，评估和评价情报活动是否完成了情报计划指定的情报指标和要求，以确保情报需求获得满足。情报计划与情报评估相互印证，以情报需求为中心，是情报系统的关键，贯穿并影响情报活动的各个方面，连续不间断的进行。

大数据时代对情报计划和评估系统的影响首先是思维上的转变，情报计划的确定要考虑海量数据的相互关联和情报数据的实时变化，从而更注重预测性和时效性；其次，计划和评估过程要争取实现信息化、智能化、服务化，以应对人力与大数据之间的巨大差距。

2.2 情报搜集

各种情报搜集设施是情报系统的根本，没有情报搜集，情报活动就无从谈起。大数据对情报搜集的影响体现在情报来源越来越多样，情报数据越来越复杂。当前的军事情报系统从陆海空天电网一体化作战出发，建立了陆基侦察、海基侦察、空基侦察、天基侦察、电磁侦察、网络侦查、人力侦察和公开来源等军事情报源，其中，公开来源的情报信息往往被低估甚至忽视。大数据兴起的新时期，公开信息情报的政治和军事优势得天独厚并且成本低廉，能够在在全球范围内，针对所有秘密情报视野之外的海量数据开展情报搜集工作[5]。2012年，奥巴马政府提出，对数据的占有和控制权将成为继陆权、海权、空权等传统权利之外的另一项国家核心资产。丰富情报系统的情报搜集手段，是争夺和扩大数据占有和控制权的重要表现。

2.3 数据预处理

数据预处理子系统将来自各种战场传感器、人力侦察和公开来源的情报信息安全、可靠、快速地传送至情报处理系统，主要进行接入汇集、数据预处理等工作。数据预处理过程包括数据清理、数据集成、数据转换等。

数据清理主要包括数据格式标准化、异常数据识别、错误纠正、重复数据清除等。由于各情报源所处环境不同，尤其是战时，受敌方干扰或者恶劣环境影响，很容易出现错误或者不规范的情报信息，数据清理过程需要对多源传感器数据进行净化与筛选处理，减少噪声影响，识别异常信息，并利用情报还原技术及时从其中获得有用信息。在情报数据清理的过程中，应根据情报计划进行必要的对照检查，防止对重要情报的遗漏，对未达到要求的情报内容要及时进行补充收集。

数据集成是将多个情报源中获得的数据结合起来并统一存储，是构建关联型数据库的重要手段。通过构建目标情报信息模型、态势预测模型，分别采用数据级、特征级、决策级的数据集中关联实现多源情报信息的综合集成，可以获得面向情报对象的全方面、一体化的情报资源。

数据转换是通过规范化和平滑聚集，将数据信息和数据结构转换为适合情报处理的数据。由于各情报源输出的数据形式、对环境的描述和说明等都不一样，为了综合处理这些不同来源的信息，需要将其转换成相同的形式和描述。例如，将监视目标的位置信息的连续变化转变为动向情报的节点式间断变化，将各个绝对坐标转变为参考同一参照物的相对坐标等都属于情报转换的重要手段，可以为后续的情报分析提供便利。

大数据时代的数据预处理与传统的预处理区别在于，大数据时代的预处理考虑数据的可扩展性，可以接受传统数据时代所忽略的非结构化数据，并能从所谓的“数据废气”中挖掘潜在价值。传统的数据预处理还包括数据归约，主要用来得到数据集的归约表示，大大精简数据量以缩短挖掘分析的时间。但是随着大数据计算和大数据分析技术的发展，对全量数据的处理时间大大缩短，盲目的数据归约反而会导致信息的丢失，得不偿失。

2.4 情报数据存储

面向大数据的情报系统需要对多源异构的海量数据提供高容错、可扩展、主动交互的数据存储服务，对情报信息数据的存储管理包括巨量数据存储结构、全媒体多格式数据的快速容差处理、高增量数据的快速分类处理、信息可靠性初级评估、组合与迁移、数据备份、容灾与安全等。

情报数据可以分为结构化数据、非结构化数据和半结构化数据。结构化的数据是情报源和情报预处理系统根据事先明确的要求，以规范好的格式和顺序给出的数据。例如以经、纬度确定目标的位置信息,用年、月、日、秒确定情报事件的时间点等。非结构化的情报则指那些被动接收、无法事先规定格式的数据，文本数据、视频数据、音频数据都属于这个范畴。半结构化数据则是两者的结合，以公开情报最重要的来源网络日志为例，它既具有符合WeB传输规范的结构化文本格式，它的内容文本却是非结构化的。情报存储子系统应该构建关联型的数据库集群，既支持结构化数据存储，又支持非结构化和半结构化的数据存储。此外，虽然非关系型(NoSQL)数据库是目前大数据系统的大势所趋，具有存储速度快、可扩展性高等特点，但是传统的关系型数据库由于严格格式化并且设计成熟，是有针对性的情报系统必不可少的存储方式。新一代的情报数据存储应该综合关系型数据库和非关系型(NoSQL)数据库，为情报融合和情报关联预测提供支撑。

情报系统中数据的存储方式与处理速度密切相关，面向大数据的情报系统不仅对存储的性能和容量提出了新的要求，还需具备快速的数据检索与分析能力来随时提取有价值的信息和数据。因此，各数据库集群应采用分布式存储，以提高系统可靠性和可扩展性，为分布式的情报分析模式提供基础。分布式存储系统利用网络中物理上独立的存储设备来分担存储负荷，通过映射关系实现逻辑上统一的存储空间。与此同时，由多台计算机并行管理与使用形成强大处理能力的分布式文件系统也必不可少。当前，开源分布式处理平台Hadoop[6]是广泛使用的一种云计算支撑架构，它的HDFS分布式文件系统将计算节点和存储节点合二为一，提供了低成本、高效率的大型计算机集群模型；同时，Hadoop的HBase分布式数据库和MapReduce处理框架分别提供了非结构化数据存储能力和大数据快速分析能力，可作为新一代情报系统的平台参考。

需要指出的是，由于分布式存储的基本特征使用户失去了对数据的绝对控制权，使得分布式存储产生了特有的安全隐患。因此，情报系统需要综合考虑安全性与海量数据存储性能的得与失，从访问安全性、存储安全性和数据备份安全性等方面出发，添加适合情报系统的特定解决方案，设计并采用同时满足性能要求和安全要求的专用分布式存储系统。例如，分别针对公开来源情报和军事侦察情报，分别采用公有云、私有云以及混合云等不同形式的存储方式，满足不同的安全级别要求。

2.5 情报分析

大数据的核心意义并不在于数据量之大，而在于通过对海量数据进行整合和分析，发现新知识，创造新价值。美国国防部对情报分析的定义为“通过对全源数据进行综合、评估、分析和解读，将处理过的信息转换为情报以满足已知或预期的用户需求的过程”[3]。强调“全源数据”，与大数据的发展趋势不谋而合。因此，对搜集的数据进行信息挖掘、数据分析和信息融合，是情报系统的重中之重。

信息挖掘是对已预处理的数据进行关联、分类、聚类、偏差分析等，从中发现有价值的知识和模式。情报系统中，主要通过信息分类、信息整编、信息索引、信息标注、信息关联、模式识别以及推理判断等技术，以聚类统计分析和规则假设推理的方法来揭示隐藏的、未知的或验证已知的模式与规律，挖掘出有价值的情报。海量处理对象的需求和情报系统的实时性要求使面向大数据的信息挖掘要依托云计算技术和大数据分析技术[7]进行分布式并行处理，配合情报搜集和存储阶段的云存储模式，提供符合要求的情报挖掘服务。

通过信息挖掘得到的知识和模式还不能直接作为决策的知识，需要进一步分析才能真正转化为有用的情报。新阶段的情报分析应该实现可视化分析、智能化分析和预测性分析。可视化分析是面向大数据分析专家和情报用户的，能够直观地呈现大数据特点，让数据自己说明结果。智能化分析使情报系统能够自动从数据中发现有用信息，大幅提高了将情报优势转化为决策优势的过程的时效性和准确性，是大数据时代必备的要求。预测性分析是大数据技术的核心应用，是根据已知情报信息对将来和未知的情报信息的大数据分析过程。此外，随着网络空间攻防战的日益激烈，分析监视数据并提供实时警告也是情报分析的重要任务。

信息融合是对来自多源的数据和多维度信息进行检测、互联、相关、估计和综合等多层次多方面的处理，以获得准确的状态和身份认证，完整而及时的战场态势和威胁评估[8]。信息融合利用了不同信息间的互补性和多元信息的冗余性，既可以产生较低层次上的状态和身份评估，也可以获得较高层次上的战术态势评估与威胁评估。以美国陆军的全源信息分析系统(ASAS)为例[2]，现代情报分析系统采用计算机、视频显示终端盒保密无线电通信设备组成混合系统，把数据搜集和存储阶段生成的信息进行互相补充、验证、比较和分析，从中得到综合性的情报和近实时的战场态势图。此外，针对情报分析的结果，应形成对情报产品的分类管理，按照情报的类别确定保障范围和条件，为后续的情报分发过程提供支撑。

基于大数据的情报分析系统基于分布式海量数据存储与计算环境和丰富的数据分析和挖掘方法，提供智能化、可视化及预测性的分析服务，融合多源情报，通过网络提供情报分析服务。情报分析服务的网络服务特性，实现了情报生产者和情报用户的交流和互动，让处于不同位置、隶属于不同部门的情报用户和专家参与分析，通过“个性化”定制的情报分析，使情报产品更加具有针对性和灵活性。

2.6 情报分发

情报系统在形成各类情报产品之后，还需建立高效、快捷以及安全的情报分发机制[9]。面向大数据的情报分发应实现按需分发，主要功能和阶段包括用户需求订阅、情报分发处理、分发路径优选与通信保障、情报分发监控、情报共享等。

用户需求订阅功能需要按照用户的情报保障级别，限定其订阅范围和类型，经审核后按照用户需求生成情报订阅指令，然后提交给分发控制系统。

情报分发处理阶段根据情报订阅指令，对情报产品库中的产品进行信息过滤、裁剪以及模糊处理，确定对应的分发策略。

分发路径优选与通信保障则是为了保障情报分发的时效性和可靠性，自动选取传输链路和最优路由，并通过接收确认、断链重传等可靠性传输机制传播情报。

情报分发监控则是对情报分发过程的实时监控能力，一方面要避免情报被窃取或者错误分发，另一方面要避免在通信中断或情报系统失效的情况下出现用户死等现象。在以上情况发生时，示警并激活应急机制，实现准确和不间断的情报保障。

情报共享是实现情报协调的基础，既包括垂直性的上级向多个下级机关的情报通告，也包括平行性的情报传阅。通过分布式系统实现的情报共享机制，有利于提高一体化联合战争大环境下的协同作战能力。

2.7 情报服务

情报服务是情报系统呈现在用户面前的直观形态，直接关系到情报系统的保障能力和应用能力，它的核心目标是能够实现“网络中心、即插即用、按需共享、动态重组”的情报信息共享能力，主要包括情报信息管理、情报服务应用、信息服务传输和情报服务交互等功能。情报信息管理是通过建设情报信息平台的方式，对情报信息资源进行整编和索引，实现情报产品的统一入库和管理；情报服务应用是以情报信息为中心，针对不同的情报业务需求，设计自动化的情报应用和部署，增强情报信息面向战役战术应用的支撑能力；信息服务传输是在情报分发层通信链路的基础上，从逻辑层面进一步优化情报信息传输的流程，减少传输过程的信息冗余，提升情报信息传输能力；情报服务交互是在用户终端方面，通过Web服务接入、可视化、人机交互等技术实现对各类情报资源的访问和共享。

2.8 安全服务

军事情报网络的安全性至关重要，安全服务应贯穿情报系统的始终。情报系统的各个阶段应提供身份认证、访问授权、分级管理、密码管理、容灾备份、数据校验等安全功能，来保障数据传输和访问安全以及数据存储安全。数据传输和访问方面，当用户在登陆情报系统的云服务器时，需要验证用户的信任等级，不同的用户级别拥有不同的用户使用权限，这些靠身份认证、访问授权、分级管理和密码管理等机制实现。数据存储安全方面，为防止重大事故和复杂的战争环境导致数据无法恢复，分布式存储的各个数据中心应定期进行情报数据的备份，并提供短时间的数据恢复能力。此外，由于情报数据在云中集中存储，任何用户获取或者上传的情报必须经过云的安全框架认证，这样可以有效确保数据的完整可靠安全。

3 大数据时代情报系统的展望

面向大数据的情报系统以区域性情报中心及高速互联网为基础设施，以互联网服务体系为架构，以大数据存储、云计算、信息挖掘、交互式可视化分析、并行处理等关键技术为支撑，通过情报服务平台和多样化移动智能终端及移动互联网为用户提供情报搜集、情报处理和情报分发服务。

3.1 大数据存储推动情报搜集深入化

随着大数据技术的兴起，本来无用的数据也可能成为新的情报触发点，情报搜集的重点已经开始向追求数据的全面性和海量化转变。侦察监视传感器的种类和数量将越来越多，传感器网络进一步互联、互通、互操作，导致情报监视范围更广，情报数据更多样。情报搜集工作将深入社会的各个方面，公开来源情报的价值、地位和影响将彻底转变。

3.2 大数据分析支撑情报处理智能化

海量的大数据存储要求情报分析从人工分析转向以自动关联为中心的智能化分析，可视化分析和预测性分析都依赖于对情报信息的智能化处理。在海湾战争和伊拉克战争中，先进的智能化情报处理技术已经发挥了关键性作用。在大数据技术蓬勃发展的将来，人力与数据量的鸿沟将使智能化情报处理的优越性进一步彰显，在信息处理能力、准确性、可靠性、稳定性以及处理时间等方面发挥巨大信息优势。未来的信息化战争，很可能是在智能化情报处理系统方面的对决。

3.3 大数据服务开启情报分发网状化

大数据时代，基于情报产品的分布式存储和情报分析的并行处理，情报分发网络有望从以一个或多个国家情报中心和区域情报中心的星形结构转向网状化结构。各情报分发节点既可以和上下级节点通信，又可以和平级节点通信，分发路径增多，情报协作更加灵活，但需加强情报安全保障。

[1] Victor Mayer-Schonberger，Kenneth Cukier.大数据时代：生活、工作与思维的大变革.盛杨燕，周涛译，浙江人民出版社，2014.

[2] 雷厉 等编.侦察与监视：作战空间的千里眼和顺风耳.国防工业出版社，2008年.

[3] 张晓军 等著.美国军事情报理论研究.军事科学出版社，2007.

[4] 卜卿，王妍妍，黄山良.面向服务的情报侦察计划系统架构.中国指挥控制大会论文集，2013：658-662.

[5] 张允壮，刘戟锋.大数据时代信息安全的机遇与挑战:以公开信息情报为例.国防科技，2013,34(2)：6-9.

[6] 陈吉荣，乐嘉锦.基于Hadoop生态系统的大数据解决方案综述.计算机工程与科学，2013,35(100):25-35.

[7] 张春磊，杨小牛.大数据分析(BDA)及其在情报领域的应用.中国电子科学研究院学报，2013,8(1)：18-22.

[8] 许辉辉，许荣荣. 云计算在军事情报融合中的应用研究. 西安文理学院学报：自然科学版，2014,17(1)：97-100.

[9] 张坚.联合情报保障体系情报信息分发控制系统.指挥信息系统与技术，2013,4(2)：33-36.

An Empirical Exploration of Intelligence System Based Big Data

ZHANG Lin-chao， LI Yang-yang, LIAO Yong, KONG Rui-yuan, WU Wen-xi

(China Academy of Electronic and Information Technology, Beijing 100041, China)

The big data revolution will certainly cause the evolution of the military information system, it can be foreseen that the intelligence system, which concentrate on data, will become the crucial factor to win the information-based warfare. Considering the influence of the big data revolution on the contemporary warfare, this paper defines the basic functions of the intelligence system. Based on the defined functions and the new technology related with big data, the new challenges of intelligence system are analyzed and a new architecture of the intelligence system is designed. Besides, the development trends of the intelligence system caused by the big data revolution are predicted.

Big data; Intelligence system; System Architecture

10.3969/j.issn.1673-5692.2016.06.008

2016-07-05

2016-09-08

：A

1673-5692(2016)06-603-07

张林超(1987—)，男，河南人，工程师，博士，主要研究方向为系统工程、网络协议、信息安全；

E-mail:hune213@163.com

李阳阳(1987—)，男，江苏人，工程师。博士，主要研究方向为云计算和数据中心网络；

廖 勇(1980—)，男，湖南人，博士，资深数据科学家。主要研究方向为网络信息系统、网络大数据挖掘、网络测量；

孔瑞远(1987—)，男，河南人，工程师，博士，主要研究方向为系统工程、体系结构；

武文曦(1988—)，男，湖南人，工程师，主要研究方向为系统工程、大数据分析。