美国情报界数据管理的流程、架构及其启示——基于情报数据战略演进视角

侯 睿 李继萌

(山东警察学院警务信息系 济南 250200)

0 引 言

数智化背景下,数据的数量、速度和种类呈现爆炸式增长。如何最快地收集、访问、利用数据,从而获得决策和情报优势,成为美国情报界当前工作重点任务。美国国家情报总监艾薇儿·海恩斯(Avril Haines)明确指出,情报界(IC)需要一个共同的战略,以确保所有收集的数据能够被安全、快速地利用与共享。2023年7月18日,美国国家情报总监办公室(ODNI)发布《情报界数据战略2023—2025》,核心目的是通过数据驱动情报优化,保证国家的战略竞争优势[1]。最初的情报界数据战略发布于2017年,六年来,美国情报界首次更新战略内容。

目前学术界有关美国情报界数据管理、数据战略相关的研究,主要涉及数据处理方法[2]、新兴技术数据分析应用[3]、数据隐私保护[4]、情报数据共享[5]等微观层面。在情报数据类型方面,重点关注地理空间数据[6]、反恐数据[7]、电话元数据[8]等数据类型的获取、处理过程。在宏观层面上,现有研究主要涉及美国政府数据治理战略角度。杨楠[9]针对美国数据法规、数据治理理念、数据伦理等问题进行探讨;胡媛等[10]从美国政府数据治理研究框架、概念阐释、行动计划等方面展开分析。目前虽有学者针对美国数据战略展开研究,但缺乏专门针对美国情报界数据战略的系统剖析。

因此,本研究通过梳理美国发布的两份情报界数据战略文件《情报界数据战略2023—2025》《情报界信息环境(IC IE)数据战略(2017—2021)》,结合美国国家情报总监办公室2022年9月解密公开的《情报界数据参考体系结构(DRA)战略要素文档》,深入剖析美国情报界数据管理体系架构、流程模型,以及数据管理生命周期,进而针对美国情报界数据战略核心内容演进动因、特点、方向进行研究,以期为我国情报数据处理、共享等工作提供有效建议。

1 美国情报界数据管理生命周期

情报界数据管理生命周期是数据战略和数据管理的基础。情报界数据管理词典(DML)将数据生命周期定义为:“数据从产生到灭失的价值链的概念化,通常包括计划与任务、获取与评估、处理与转换、发现与访问、分析与利用,以及保存与处置等阶段”[11]。情报界数据管理生命周期,以及适用的法律、政策和法规遵从性规则,指导和约束情报界数据管理流程和活动。依据情报界数据管理生命周期,管理数据的策略和互联过程,支持数据管理功能[11]。

美国情报界数据管理生命周期呈现环形循环流程(见图1)。数据政策与治理的具体实施规程由职责、角色、功能和实践组成,以此为依据共同管理跨情报部门的数据和信息资产,确保作为关键资产管理的数据与组织的使命、业务绩效目标一致[11]。美国情报界数据管理生命周期分为6个不同环节,具体内容如下:

图1 美国情报界数据管理生命周期[11]

a.“计划与任务”环节,是指获取数据前的活动,包括确定数据需求、收集目标的优先次序,评估成本、存储和计算需求,选择收集方法,记录与数据权限、许可、使用和共享规则有关的决策。b.“获取与评估”环节,是指与数据的采购、收集和生成相关的活动,包括审查来源、验证数据、评估数据质量、识别过滤和个人身份信息(PII)最小化,以及记录有关数据敏感性、处理、使用、保护和处置要求的数据影响评估等内容。c.“过程与转换”环节,是指通过数据调节等方式,促进数据适用以及跨系统的数据互操作性。此环节涉及数据管理的各个方面,以描述数据、增强可发现性。d.“发现与访问”环节,包括确保数据可由任何授权用户发现、使用,并采取访问控制和保护策略,以及传播可在情报界外部访问的数据。e.“分析与利用”环节,是指出于任务目的使用数据有关的活动,通过特定的工具确保数据的可用性、数据缺口识别性能,通过数据处理和使用限制来持续保护数据,以及数据价值的确定。数据价值是通过目标查询、分析模型和自动分析功能派生出来的。这一环节也是情报传播测定和间谍情报技术的基础。f.“保存与处置”环节,是指与最终数据处理相关的活动,包括根据国家档案批准的记录控制时间表、法律封存要求、参考资料以及法律指南进行保存、清除或删减[11]。

2 美国情报界数据管理体系架构

在美国情报界数据管理生命周期的基础上,从管理核心、组织架构、工作流程视角,针对美国情报界数据管理体系架构进行深入研究。

2.1 管理核心:美国情报界首席数据官、首席信息官

美国情报界首席数据官(IC CDO)是情报界数据管理体系架构的核心管理人员,为数据驱动型机构提供高级监督和战略愿景[12],隶属于美国国家情报总监办公室。自2017年第一份情报数据战略文件发布以来,历任情报界首席数据官在推动数据驱动情报、加强数据管理方面均做出了贡献(见表1)。现任美国情报界首席数据官Lori Wade在接受媒体采访时明确表示,美国情报界(IC)的首要任务之一是大规模、快速地实现数据互操作性[13],实现数字化和数据转型。

表1 美国情报界历任首席数据官(2017年至今)

另外,情报界首席信息官(IC CIO)在推进情报现代化工作以及数据驱动情报战略方面也发挥着重要作用。现任美国情报界首席信息官Adele Merritt,致力于改造情报界信息技术企业,努力确保情报界信息技术系统的安全性,并加强内部信息技术合作[16]。为响应数据管理任务、业务和技术需求,美国情报界首席数据官(IC CDO)与首席信息官(IC CIO)、数据主题专家、利益相关者组成虚拟团队开展数据管理协作。

2.2 组织架构:情报界数据参考体系结构(DRA)

数据参考体系结构(DRA)实现了“在多结构情报信息环境中制定战略数据框架并使其制度化”[17],详细说明了数据管理组织架构,并提供数据生命周期的所有阶段的支持。该体系结构主要内容包括:过渡到以数据为中心的企业;将数据与特定的应用程序和环境解耦;为不同的预期用途重新设计解决方案;促进更安全的数据共享等。数据参考体系结构(DRA)与《情报界信息环境(IC IE)数据战略(2017—2021)》的第一个战略目标的核心内容一致,即“建立一个共同的参考数据架构,以兼容的格式提供详细的架构信息,使解决方案能够以一致、高质量和可支持的方式反复设计和部署”[17]。

数据参考体系结构(DRA)为促进数据共享、加强保障和情报集成、满足情报需求提供指导,具体包括:a.数据参考体系结构鼓励一种情报文化转变,推动全面使用数据,以实现更高质量的情报;b.为平衡情报界各组成部门、情报合作伙伴的需求与情报界整体性的需求提供指导;c.促进情报界数据环境的数据中心性,并与情报合作伙伴一起支持情报共享、集成和安全的数据交换;d.促进数据的可用性、可重复使用性、可靠性、保真度和可管理性;第五,将隐私数据要求构建到参考体系结构中,促进将隐私数据实践整合到组织的使命、业务活动、流程和服务中[11]。

数据参考体系结构(DRA)治理周期通常包括向情报界联合架构工作组、情报界下一代技术集成委员会、情报界首席信息官委员会和情报界首席数据官委员会发布简报。另外,美国国家情报总监办公室、情报界首席信息官、架构与集成工作组有权决定是否需要进行情报界联合架构工作组的审查。经批准后,数据参考体系结构由情报界首席数据官和首席信息官联合签署。

2.3 工作流程:参考体系结构框架(RAF)流程模型

参考体系结构框架(RAF)作为数据参考体系结构(DRA)的流程模型,由国家情报总监办公室、情报界首席信息官、架构与整合组协同组织领导管理和指导,呈现为倒金字塔型结构。参考体系结构框架(RAF)按照四层组织结构从上到下依次实行,定义内容逐渐由“抽象”过渡到“具体”。

参考体系结构框架(RAF)第一层定义“为什么”,包括参考体系结构中抽象、长期、首要性的内容,涉及战略目的、原则、立场、模式和词汇等。第二层,定义“是什么”。设计模式是一种通用的、重复使用的一体化解决方案,可应用于处理在给定场景中常出现的统一通信等问题,同时支持有重点的分发和使用。第三层,定义“如何做”。针对特定服务领域的主题专家制定“实现模式”,作为每个机构的信息技术和政策约束的依据,从而进一步拓展“设计模式”。第四层,定义“条件和时间”。情报机构制定具体的实施计划,包括符合特定实施模式的“条件和时间”细节,为每个机构提供实现互操作性的现实方法[11]。提高数据的互操作性,是未来一个时期的情报界数据战略发展重点[1]。

3 美国情报界数据战略核心内容演进剖析

美国情报界分别于2017年、2023年发布两份情报数据战略《情报界信息环境(IC IE)数据战略(2017—2021)》《情报界数据战略2023—2025》,在指导思想、数据处理、人才队伍等方面均呈现出明显的演进趋势及特征。首先,从战略演进动因开始,数据环境、国际战略形势的不断变化,推动着美国情报数据战略转型。情报数据战略指导思想从“以系统为中心”向“以数据为中心”转变,由此引发工作模式革新,即创建端对端数据管理计划,进一步推动情报数据处理自动化。最后,在人才队伍培养方面,由“任务驱动型”向“数据驱动型”转化,实现数据驱动情报。

3.1 战略演进动因:数据环境变化,适应国际战略竞争形势

为了应对当今地缘政治环境的快速发展和日益增长的敌对力量威胁,包括情报界在内的美国政府及其军事部门正在做出转型转变,更加重视数据。人工智能、机器学习和自动化等先进技术可以帮助联邦机构利用数据作为重心,但围绕数据安全和访问的障碍,以及要处理的大量数据,正在阻碍政府的创新速度[18]。数据环境及国际战略竞争形势的变化,是推动美国情报界数据战略演进的深层动因。

在当今的“大数据”环境中,情报界正在获取、收集、创建和处理比以往更多的数据。同时,技术的快速进步也导致了数据的数量、速度和种类的爆炸式增长,情报界亟需找到创新的方法来开发和建立数据相关性,并确保信息的准确性。两版美国情报界数据战略均将快速处理数据作为战略重点,《情报界信息环境(IC IE)数据战略(2017—2021)》将数据战略的“使命”定义为“使情报数据能够以任务所需的速度被发现、访问和使用”[17];《情报界数据战略2023—2025》将数据战略的“使命”定义为“支持安全地发现、访问和使用情报数据,快速、大规模地实现使命价值和洞察力”[1]。

3.2 指导思想演进:“以系统为中心”向“以数据为中心”转变

美国情报界数据战略鼓励“以数据为中心”的管理原则,提升数据互操作性、快速响应情报需求。《情报界信息环境(IC IE)数据战略(2017—2021)》将“倡导一种文化,鼓励和奖励以数据为中心的行为”[17]作为一项战略目标。《情报界数据战略2023—2025》中明确指出,以数据为中心的架构将为模型、实体、本体、信息交换和元数据标准提供明确指导[1],使情报界从所有数据中最大限度地获取情报价值,呈现出“以系统为中心”向“以数据为中心”转变的趋势。过去“以系统为中心”的指导思想,具体是指通过构建信息技术(IT)体系架构,推动机器业务流程自动化。但同时存在诸多弊端,“以系统为中心”的架构难以应对爆炸式增长的数据数量、种类与速度,以及越来越复杂的安全威胁形势。

“以数据为中心”的架构可确保信息技术(IT)体系架构的主要功能可以安全、及时地发现、分析、生产和传播数据,从而提高情报生命周期的有效性。由“以系统为中心”转变为“以数据为中心”,利用人工智能等计算机技术辅助数据发现、分析工作,保证数据互操作性、数据可解释性、数据完整性,进一步明确数据质量衡量标准,促进各部门之间的合作。另外,人工智能、机器学习和自动化等技术在情报界数据管理过程的广泛采用,将获取新的情报数据集所需的时间从数周缩短到数天、数小时或数分钟,有助于推动以数据为中心的管理,为任务用户提供更快的高质量数据访问,解决和响应情报需求[1]。

3.3 数据处理演进:推动情报数据处理自动化,创建端对端数据管理计划

根据《情报界信息环境(IC IE)数据战略(2017—2021)》,为实现情报数据处理业务的自动化,情报机构着重从以下方面采取措施:a.商定并同步核心数据管理标准,保护数据的有效功能;b.采用通用的数据风险缓解框架,在整个数据生命周期中识别风险并帮助管理风险领域;c.创建可扩展的共享数据服务并为其提供资源,以满足情报界对数据多样性、速度和容量的需求;d.利用新兴技术,最大限度地提高情报数据处理效率,缩短数据处理时间;e.将情报数据集中分类编目到数据库中,编制反映数据共享、法律、安全、使用策略的标签;f.开发和倡导安全、可扩展、低延迟的跨域数据服务,以便在所有结构中近乎实时地传输批量数据和服务请求[17]。

另外,《情报界数据战略2023—2025》明确提出,情报机构必须共同努力,创建端对端数据管理计划,以持续推进情报数据处理自动化,减少从收集到可操作洞察的安全数据流的时间[1]。端对端数据管理计划将建立所需的互操作性标准、数据处理指令、标签和条件反射、属性和机器可读标签等,并保护数据隐私与安全。通过将数据专业人员与信息技术隐私和安全团队聚集在一起,制定周全的数据生命周期计划,确保数据以安全和及时的方式流向需要的部门和人员。在端对端数据生命周期管理的基础上,专注于数据管理和高级分析,缩短从数据采集到任务研判的时间,提高从数据中获取情报价值的能力。

3.4 人才队伍演进:由“任务驱动型”向“数据驱动型”转化

美国情报人才队伍以往采用的工作方式以“任务驱动型”为主,将“任务需求”作为首要目标,以“任务需求”驱动数据收集、处理、分析等工作。例如,情报机构指令501(ICD 501)中提到,情报界工作人员有“责任发现和请求”[19]有助于其指定任务的数据。根据美国发布的两份情报数据战略,情报人才队伍演进明显呈现出向“数据驱动型”转化的趋势。《情报界数据战略2023—2025》中提出,将“情报界人才队伍转变为数据驱动型”[1]作为战略重点领域之一。精通数据的人才队伍更了解收集、产生的数据,以及如何将数据应用于情报工作的各个方面。美国情报界首席数据官Lori Wade明确提出,情报界数据从业人员应当具备识别和实现数据价值的能力,能够以任务所需的速度安全地发现、访问和利用数据[1]。通过培养数据驱动型人才,提高各级员工识别、发现和共享数据的能力,以实现情报任务价值。

另外,《情报界信息环境(IC IE)数据战略(2017—2021)》明确提出,充分实现数据驱动的文化,需要情报界高级领导层持续致力于推动必要的转型,以实现数据生命周期的共同责任[17]。《情报界数据战略2023—2025》中,将“数据驱动的情报优化,定位为决策和运营优势”[1]作为战略愿景。为实现数据驱动情报活动的精细化,自2023年开始,情报界首席数据官(IC CDO)和情报界首席数据官委员会(IC CDOC)将联合制定情报数据战略年度行动计划,制定指标并跟踪执行结果[1]。

4 结论及启示

美国情报界参照数据管理生命周期的环节,指导和约束情报界数据管理流程和活动,建立包括数据参考体系结构(DRA)和参考体系结构框架(RAF)的体系架构。2017年、2023年两版情报数据战略以及数据管理核心内容呈现出明显的演进特征,包括数据环境变化,适应国际战略竞争形势;指导思想从“以系统为中心”向“以数据为中心”转变;推动情报数据处理自动化,创建端对端数据管理计划;人才队伍由“任务驱动型”向“数据驱动型”转化等。基于情报数据管理的流程、架构,以及情报数据战略演进特征,从情报数字化转型、数据整合创新、跨部门数据访问、人才队伍培养、数据隐私安全等五个方面,为我国相关领域的发展提出对策与建议。

4.1 加速情报数字化转型,建立以数据为中心的体系结构

如何达到保持决策和情报优势所需的数据管理速度和规模,是当前情报机构面临的主要挑战。应对这一挑战,需要采用以数据为中心的集成方式,重点关注从收集、获取、传输、整理、利用、传播、处理情报数据的整体数据流生命周期,进而加速情报界数字化转型。以美国为例,2017年美国第一份情报数据战略明确指出,致力于将数据作为情报资产进行管理[17]。由于面临部署数据、数据分析及人工智能赋能等核心数据挑战,直到2023年第二份情报数据战略发布,还未能完全实现将数据视为战略性、行动性的资产,目前仍在努力推进过程中。美国《情报界数据战略2023—2025》中指出,“我们所做的一切都始于数据”[1]。现任美国情报界首席数据官Lori Wade在接受媒体采访时表示,“如果数据是情报界(IC)资产,那么我们需要一个计划来规划和解决数据集成和任务洞察力的交叉点”[13]。

对我国而言,通过建立以数据为中心的体系结构,有助于安全及时地发现、分析、生产和传递数据,增强数据生命周期的有效性。数据源的多样性为数据管理以及汇总数据的过程带来挑战。一方面,情报机构需要明确目标、评估标准、过程和成功因素,指导公共数据类型、属性和相互关系的定义,作为处理情报数据的基础。另一方面,在现有数据服务的基础上,依托人工智能、大数据、云计算、区块链等新兴技术,添加新的数据功能,使任务用户能够更快地获取高质量数据。情报机构能够借助新兴技术提升数据互操作性和分析效能,满足和响应情报需求、加速数字化转型,以适应国际战略竞争形势的发展。

4.2 持续推动数据创新,提高数据的多样性、可用性

近年来,美国情报界十分重视数据创新,采取多项举措提高数据的多样性、可用性。《情报界数据战略2023—2025》中,明确将“推进所有伙伴关系,以实现持续的数字和数据创新”[1]作为战略重点领域之一。基于不断变化、扩大的国家安全威胁,对情报机构而言,持续推动数据整合与创新,提高数据的多样性、可用性,比以往任何时候都更加重要。美国情报机构定义的“数据创新”,主要是指数据合作方式创新、数据流程及工具创新、数据管理创新等方面。首先,情报机构应当了解数据和数字环境如何演变,整合公共和私营部门的数据,开发新的合作、签约和许可方法,有效应对未来的数据和分析问题。其次,利用创新的数据流程和工具,特别是人工智能、区块链等新兴技术,更有效地管理、使用、存储和保护数据。另外,加强与私营部门和学术界的合作,为未来的数据创建和管理建立新的模式,并在持续教育和培训的基础上逐步调整[1]。

我国通过借鉴美国情报界的数据创新有益经验,有助于提高数据的多样性、可用性,进一步提升情报机构的决策和业务优势,以应对未来的国家安全挑战。一方面,通过与数据提供者、消费者建立新的关系和反馈回路,提高情报机构准确理解和衡量任务用户需求的能力。另一方面,通过政府部门与学术界、工业界之间的战略合作伙伴关系,加快创新方法和技术的开发,打破阻碍数据中心化的文化和结构障碍。在适当的情况下,情报界应当为支持和执行情报任务的人员确定并减轻数据访问的技术、操作和政策障碍。

4.3 推动跨部门使用数据,挖掘情报数据资产价值

自第一份情报界数据战略发布以来,一方面,美国情报界致力于将数据作为情报资产进行管理,发挥情报数据价值;另一方面,通过推动跨部门使用数据,提升数据互操作性,进一步挖掘情报数据资产价值。2022年6月,中央情报局(CIA)数字创新局人工智能和数据分析主任Marie Falkowski在第二届年度数据创新论坛上表示,“在中央情报局,我们将数据视为最重要的任务资产之一”[20]。当前中央情报局正在将目光投向数据管理、数据质量和其他数据创新因素,以实现有意义的算法,确保情报的完整性,加速关键情报任务的处理流程。另外,美国情报界通过推动跨部门使用数据,消除当前对情报各部门应用程序、系统和数据库的依赖来“释放数据”,从而允许其通过自动化方式进行编目、自我描述和发现。2023年美国国家情报战略(NIS)中明确提到,“情报界必须跨越组织边界,与其他政府机构(包括联邦和地方)合作,更好地整合研究、专业知识和数据,并建立建模和预测这些跨国挑战潜在连锁效应的能力”[21]。此外,2017年美国第一份情报数据战略中提出,创建可扩展的共享数据服务并为其提供资源,以满足情报界对多样性、速度、容量和准确性的需求。情报界首席数据官和情报界信息共享和保护执行人员协同工作[17],以确定信息共享的障碍,并制定解决方案,以保护数据,同时加强情报集成。

对我国情报机构而言,将数据作为情报资产,有助于实现数据驱动情报。通过理解、分析、推理、评估、沟通,做出数据决策,并将其应用于情报工作的各个方面。同时,借鉴美国情报界跨部门使用数据的有益经验,挖掘情报数据资产价值。一方面,通过建立并指导跨多个安全结构的安全数据访问,为整合、聚合、编译或融合的数据和信息的权限、分类和使用提供指导;设计可互操作的、全面的数据标记方法,发展核心数据管理功能,提升数据互操作性[17]。另一方面,通过与整个政府的合作伙伴开展合作,协调与数据相关的举措,包括政策、标准、指导方针和技术规范等,情报机构能够最大限度地实现情报任务的数据整合。基于数据作为情报资产的原则,情报机构必须克服阻碍数据整合的文化和结构障碍,将数据管理视为整个数据生命周期的共同责任,并应用一致的数据管理方式来减少数据访问障碍[17]。

4.4 培养精通数据技能的人才队伍,提高数据敏锐性

近年来,美国情报界十分重视培养数据技能人才队伍。其中,“数据技能”具体包括两个方面的含义:一是指数据敏锐度等数据素养,二是指数据处理能力。《情报界信息环境(IC IE)数据战略(2017—2021)》中明确提出,“建立与数据相关的角色和责任,以支持完整的数据生命周期”[17],“加强与数据相关的教育、培训”[17]。2023年美国第二份情报数据战略中提出,“将数据敏锐性嵌入情报机构发展计划,提高情报界工作人员和领导层的数据相关技能”[1]。在不断变化的数字和数据环境中,人工智能、大数据、云计算等新兴技术推动情报界不断提高处理任务的能力。在此背景下,精通数据的人才队伍非常重要。此外,情报工作人员应当与数据收集方与用户方建立联系,了解他们面临的挑战,将自身角色和职责整合到情报工作流程中。

对于我国情报机构工作人员而言,除了批判性思维、表达能力、协调能力、领导力、专业技术等技能[22]以外,还应当具备以下方面的素质与能力:a.数据意识。数据敏锐性作为数据素养的一部分,也应当纳入情报分析师职业胜任力的范畴。重视数据敏锐性,将创造一种情报文化,即数据作为所有任务的基础。通过提高有效使用数据的能力,最大限度地发挥数据价值。b.数据处理技术、方式以及能力。随着互联网、大数据、云计算、人工智能、区块链等技术加速创新,情报人员应当在现有数据服务的基础上,添加新的服务和功能,提高数据处理技术与能力,确保数据易于被新兴技术应用。

4.5 保护数据隐私安全,兼顾数据开放与共享原则

根据法律和政策要求,保护数据隐私和安全,实施与数据生命周期相关的活动。大数据时代,美国情报界根据FISA 702条进行涉外情报监控,引发公民对隐私数据泄露的担忧。近年来,数据隐私安全持续成为情报界关注重点。2017年、2023年两版情报数据战略中,均提到“公民自由和隐私”“数据隐私性”等内容,足以证明美国情报界对保护数据隐私安全的重视。为保障数据隐私安全,在法律政策方面,美国通过颁布《隐私权法》《开放政府数据法案》《S.583-数据隐私法》等法案[23],试图构建政府开放数据隐私保护的法律体系。

对我国而言,新组建的国家数据局负责统筹数据资源整合共享和开发利用[24],标志着数字中国建设进入新阶段。利用区块链等技术建立情报共享平台和机制,打破“数据孤岛”,释放数据价值。另外,在推动数据开放与共享的同时,保护数据隐私和安全。《数据安全法》《个人信息保护法》《网络安全法》三法联动,共同搭建数据隐私保护体系。此外,情报机构需要重点关注人工智能等新兴技术在情报数据管理中的技术安全风险,避免出现数据泄露和过分挖掘等问题,防止对个人隐私安全构成威胁。