商容轩 张斌 马海群 张涛
摘 要:[目的/意义]开源情报作为一种新兴事物已经得到了各国研究人员的广泛重视,梳理其研究现状、热点以及研究趋势,既能够对过去的研究进行很好的总结,同时也能够为后续研究提供借鉴和参考,促进开源情报产业化发展。[方法/过程]采用文献计量学方法,获取国外开源情报相关研究的文献,之后对文献数据进行预处理,采用可视化分析展现其研究现状、研究热点,并对未来的趋势进行预判。[结果/结论]近年来,对于开源情报的研究呈现出快速增长的态势,同时也显现出了交叉领域的特征,开源情报领域呈现出越来越明显的技术依赖性,可以推动技术的进步进而促进开源情报研究的持续发展,提升对开源情报进行开发以及分析的准确性。
关键词:开源情报;可视化分析;文献计量;知识图谱;研究趋势
DOI:10.3969/j.issn.1008-0821.2022.01.001
〔中图分类号〕G250.2 〔文献标识码〕A 〔文章编号〕1008-0821(2022)01-0005-09
Abstract:[Purpose/Significance]As a new thing,open source intelligence has been widely valued by researchers all over the world.Combing its research status,hot spots and research trends can not only make a good summary of the past research,but also provide reference for the follow-up research and promote the development of open source intelligence industrialization.[Method/Process]In the study,bibliometrics was used to obtain the documents of foreign open source information for related research,then the document data was preprocessed,and various visual analysis methods were used to show its research status and research hotspot,and the future trend was the predicted.[Result/Conclusion]In recent years,the research on open source intelligence has shown a trend of rapid growth,but also shows the characteristics of cross fields.The open source intelligence field shows more and more obvious technology dependence,which can promote the progress of technology,and then promote the sustainable development of open source intelligence research,and improve the accuracy of open source intelligence development and analysis.
Key words:open source intelligence;visual analysis;bibliometrics;knowledge map;research trends
信息化技術日新月异的发展使得情报思维和情报的获取方式产生了根本性的变革。虽然“秘密情报”有其独一无二的可靠性以及稳定性,但是“开源情报”的门槛低、信息广,在情报工作和情报工作制度中发挥着不可替代的重要作用[1]。正如英国冲突研究所研究员安妮·阿迪斯所言:“没有公开来源的情报,密级情报分析无法做得更好”[2]。开源情报的观念肇始于20世纪30年代,当时的英国工业情报中心通过对德国海关进出口统计数据的分析,认为德国当时正进行战争准备[3]。而1941年美国成立“外国广播监测处”[4],则可以作为分析、搜集开源情报的起点,到如今开源情报已经走过了将近80年的路程。在这80年的时间里,国内外不少专家学者、情报界的分析人士以及来自政府或者军方的情报官员都从各自的立场出发,对开源情报进行了相关的研究或者是阐释。但是进行适当的总结性回顾能够更好地为未来开源情报的研究、发展和利用奠定基础。因此,需要从文献计量的角度出发,分析国外对于开源情报研究的现状,了解其研究热点并对相关趋势进行总结和分析,促进国内更好地以产业化的手段对开源情报进行利用。
1 研究目的与研究方法
1.1 研究目的
通过相关文献计量的方法,对国外以开源情报为主题的文献进行分析,并采用可视化分析的方法对其中的指标分析结果进行展示,了解国外在开源情报领域的研究热点有哪些、研究现状如何以及研究趋势的演变,对国内开源情报的研究起到借鉴作用,更好地促进开源情报的产业化发展以及开发利用,为实际决策提供参考。
1.2 研究方法
为实现本文的研究目的,结合研究的实际情况,主要采用文献计量学的方法和可视化分析的方法[5]。文献计量即通过分析符合要求文献的发表时间、作者、关键词、机构等一些外在的统计指标,并借助数理统计的知识来揭示某一领域或某一学科在一定时间段内的热点演变、研究现状等内容。但是单纯通过文献计量展示出来的内容或者结论可读性较差,因此借助可视化分析的手段,包括Citespace、Vosviewer等工具,以图的形式可以更好地将结论直观、形象地展示出来。
2 数据获取与数据分析
2.1 数据获取
为充分、准确地获得本次研究所需要的数据,在Web of Science数据库中进行检索,该数据库是全球最大、覆盖学科最广的综合性学术信息资源数据库。根据本文的研究目的,只要是涉及开源情报或者是包含开源情报相关思想的文献都可以纳入本次的研究范畴。为此,采用主题检索的方式。具体检索条件为:主题=Open Source Intelligence,数据库选择“Web of Science核心合集数据库”,时间段截至2020年,检索时间为2020年10月30日,同时对检索出来的文献进行人工筛选以提高检索的精度和准确度。共计得到符合要求的文献601篇,将这601篇文献的题录信息导出,导出内容为“全记录与引用的参考文献”,导出格式为“纯文本”。
2.2 数据分析
1)时间与发文量的分析
对601篇文献的发表时间进行梳理,可得统计结果如图1所示。
虽然在20世纪90年代到21世纪初已经形成开源情报的概念,但是如图1所示,国外对开源情报的系统性研究开始于2007年,当年发表论文5篇,之后呈现出逐步上升的态势,2020年截至检索日期已经发表文献130篇,平均每年约40篇左右,如果以平均值作为分界线,在2007—2014年对于开源情报的研究处在刚开始起步的发展期,而到了2015—2020年则属于稳步上升期,所发表文献的综合占全部601篇的80%左右,可以说绝大部分开源情报的研究成果产出自近5年左右的时间。从2012年开始,美国发布“大数据研发计划”[6],旨在从海量的开源数据中及时掌握需要的情报信息并获取关键性的知识;同时2015年各大技术厂商也在纷纷推动开源技术的进步。从政策和技术两个方面推动了开源情报稳步上升期的到来。
2)研究热点分析
使用VOSviewer可视化分析软件,将上文中保存好题录信息的文本文档导入,通过抽取Title以及Abstract中的名词性短语作为研究热点。之所以采用VOSviewer来进行研究热点之间的聚类,主要是由于其色彩搭配较之Citespace更加丰富,且呈现出研究热点之间联系的紧密程度高于Citespace。每篇文章的标题以及摘要部分是文章整体的浓缩,通过抽取、识别其中的名词性信息,能够比单纯通过关键词提取到的研究热点更加全面、准确。识别出的结果如图2所示。
开源情报(OSINT)的诞生、发展与社会大环境的发展有着密不可分的联系。例如新冠疫情从暴发到全球蔓延,不同学者从自身的学术背景出发,都对在突发公共卫生事件中,如何有效地利用OSINT来应对进行了探索并取得了一系列的有益成果。不论是传统医学,亦或是现代医学,或者是将各种高技术手段应用在抗击疫情的战斗中,国外的同行都对OSINT給予持续的关注并付出了相当大的努力。由图2可以看出,国外开源情报的研究热点大致分为3类,采用3种不同颜色进行表示。每一个圆圈代表一个研究内容,圆圈越大说明该研究内容在开源情报的领域中越受到关注和重视。
第一类即图2中红色节点显示的词语,共计包含99项。和其他节点联系较为密切且圆圈较大的主要有medicine、health、history、experience、effect、mechanism、group、function以及improvement等,主要涉及开源情报在不同领域内的应用,如医疗、健康、机械、教育等方面。Harris E S J等[7]学者认为,将开源情报的思想与民族医药学领域的日常实践结合起来,构建开源基础的多语言数据库,能够为药物的提取与分级、药物质量检测、不同民族医学之间的相互交流以及高质量药物的筛选提供帮助。此次新冠疫情传统医药能够发挥重要作用也证明了其研究领域与方法的正确性。Quick D等[8]提出了一种基于实体识别以及开放源代码信息的框架,并将开源情报的内容应用在数字取证领域,通过测试数据显示将开源情报作为数字证据能够增加实体情报分析时的价值,从而扩大开源情报的应用范畴;也有学者[9]指出,开源情报在机械工程领域更加具有应用的潜力,为验证其提出的想法,通过对5家该领域内的跨国公司进行采访,指出在日常的公司内部讨论业务的时候将开源情报的思想融合进来,能够极大地激发公司内部的创新动力,除此之外,开源情报的使用还能够改善公司内部同外部公关部门之间的关系,更好地帮助公司在处理危机时占据有利位置;Brando A等[10]探究了开源情报在提取临床指标以及与医疗保健知识相关联方面的可行性,并通过实例验证了所提方法是可以实现的。
第二类即图2中绿色节点显示的词语,共计包含64项。和其他节点联系较为密切且圆圈较大的词语主要有intelligence、open source intelligence、data source、big data以及case study等,主要涉及对开源情报自身的研究。Gabriela T[11]指出,开源情报在重视技术所发挥的作用的同时,不应忽视人的影响作用,将技术因素和人为因素结合起来,确保情报内容准确、情报质量可靠是开源情报持续发挥作用的根本;Koops B J等[12]学者认为,开源情报需要借鉴技术、法律以及道德的内容来充实自身,从而更好地让开源情报的内容和成果在合法的前提下,被越来越多的客户所接受,进而扩大开源情报的应用范畴;Eldridge C等[13]学者提出开源情报应该在大数据背景下发挥自身的作用,将大数据的内涵和技术分析的特点融合进自身的理论基础中来,并充分发挥分析人员的主观能动性,做到大数据、技术、分析人员三者有机结合,共同促进开源情报的发展;除了上述一般性因素需要考虑之外。
第三类即图2中蓝色节点显示的词语,共计包含51项。其中包含的主要技术性词语有algorithm、code、deep learning、library、machine learning、network、open source software等。Ganino G等[14]认为,在爬取网络上的开源情报时需要将本体的概念融合进来,并提出“通用文本工程体系结构”的概念,同时结合深度学习和机器学习对于开源情报数据格式提出的要求,实例验证了所提方法的准确性;Bernard R等[15]学者还认为,开源情报相关理论需要补充危机管控方面的因素,并指出突发事件发生时带来的管辖权以及情报所有权问题也同样需要重视。
从研究热点来看,国外针对开源情报的研究与社会环境的变化息息相关,一方面是因为开源情报所具备的“开源”属性使得其自身与社会环境变化具有千丝万缕的联系,如新冠疫情暴发则大多数学者[7,11-14]倾向于从搜集医疗情报,进而从自身的视角出发开展相关研究;另一方面是情报自身所具有的“耳目、尖兵、参谋”的特点使得相关机构、学者[8-10]需要从开源情报的视角出发来获得相关决策支持。
3)研究前沿分析
韩双淼等[16]认为,研究前沿即领域内存在的一组潜在的研究问题和动态概念,可以起到明确研究方向的作用。因此,导入本次研究的题录信息到Citespace软件中,可以得到开源情报领域关键词共现网络时区图,如图3所示。
图3中每1个节点代表1个关键词,每1条淡粉色和白色的色带代表1年,两个关键词之间的共现次数越是频繁,则两个节点之间的连线越是密切,节点的大小与关键词在领域中的重要性高低呈现出正相关的关系。
在2007—2014年,开源情报的研究逐渐兴起,即图2中的发展期,并且图3中较为重要的词语大部分是在这一时间段内开始出现,如artificial intelligence、model、algorithm、open source intelligence、network、framework、open source等。这一时期各种概念、算法、模型、工具以及指标等的出现为下一阶段研究成果的快速涌现奠定了基础。同时,以人工智能、物联网以及5G为核心的数字爆炸时代的到来,数字化浪潮正在席卷全球,快速获取数据的能力,精准定位分析的能力,并且高效便捷地利用各种开源情报的能力就显得尤为重要。国外各个领域的同行也敏锐地捕捉到了这一点并进行了广泛且深入的研究。Glassman M等[17]认为,开源情报的发展和研究是人类解决21世纪难题的重要途径,通过对OSINT的研究,超越了传统的对于文化智能边界的框架,并且可以摆脱掉后续合作的束缚,提高后续进行人工智能领域合作的精确度,进一步激发人类从信息中挖掘潜在有意义情报的潜力;而Koops B J等[18]则从OSINT来源广泛的特点出发,认为如果不加限制地对OSINT进行开发和利用,可能会带来潜在的隐私泄露的风险,并且据此提出了一个隐私策略分析的框架,之后通过实例进行验证,指出收集和使用限制、数据的质量是对隐私数据泄露的两个关键因素,在开发和使用OSINT平台或者工具的过程中需要用户根据自己的实际需要来进行具体的选择。Kim Y等[19]学者探究将开源情报的思想应用在学生教育中的情况,为此专门设计了若干分析指标,包括信息区分度和信息反应力等,并对367名大学生进行了实例验证,结果发现在日常教育领域纳入开源情报的思想能够有效提升学生的信息获取、信息区分能力,同时学生的自我效能也得到了有效的提高,并对今后可能产生的其他影响进行了讨论;Hayes D R等[20]学者从开源情报的思想出发,通过分析电力系统的软件、硬件和负责关键位置运维保障的日常工作人员可能遇到或者产生的工作纰漏以及安全隐患,提出了相应的建议和解决措施。而在2015—2020年的稳步上升期之中,由于前期研究基础的奠定以及信息化环境的快速改变,涌现出大数据、大数据分析、厚数据、数据故事化以及机器学习等概念,使得这一时期的主要关键词有data science、privacy、deep neutral network、data mining、big data analysis等,数据类型的多种多样、各种自媒体终端的快速普及等为开源情报提供了广泛的情报来源,同时也为情报研究与分析带来了挑战。Burtsev M等[21]从取自维基百科的短文本片段和个性化语句出发,结合深度神经学习网络、数据挖掘以及大数据分析等工具,对将近5 000条人机之间的对话信息进行了分析,为不同環境下的开源情报分析提供了借鉴,也深化拓展了不同情报分析算法、工具的应用场景。
从研究前沿来看,针对开源情报的研究除了如何获取搜集和分析之外,保护情报自身不被外泄也是开源情报学者[17-18]重点关注的方向。而且由于国外的形势日趋复杂,同时面临的威胁也与21世纪之前有很大的差别。因此,关注社会变化和各种突发事件以及如何从海量的、类型复杂的以及快速产生的大量情报分析资料中快速针对不同客户提取不同类型的信息就显得尤为重要,这也是国外学者[19-21]所致力于研究的主要方向。
4)国家(地区)分析
在Citespace 5.7 R2中,将分析节点选择为Country,可以得到不同国家(地区)之间所产出成果数量的多少以及彼此之间的合作关系,节点圆圈的大小与该节点代表国家(地区)的产出成果成正比,节点之间连线的疏密程度与两个国家(地区)之间合作的紧密程度成正比,而节点圆圈包含的颜色越浅,那么该节点代表国家(地区)涉及开源情报领域的时间越近,主要节点如图4所示。
从图4中可以看出,美国、英国、西班牙等国家(地区)的节点较大,产出成果较多,且研究持续时间较长,基本在整个时间跨度内都存在。据Citespace统计,美国出现了148次,英国出现60次,中国出现55次,西班牙出现46次。按照出现次数的降序排列,前20位的国家(地区)的文章均是出现在2014年之前,说明发展期已经为后续的进步打下了坚实的基础。美国情报界早在2006年就颁发了《国家开源情报计划》,并成为指导美国开源情报工作的现行规范,随后美国国防部、空军、陆军等机构和组织纷纷颁布了自己的开源情报指导意见来促使开源情报更好地在自身领域发挥作用[14];以英国为代表的欧洲国家也对OSINT的研究与应用非常重视,如英国广播公司监听部即为一个开源情报机构,政府部门、国防部以及其他情报机构对其提供相应的经费支持;西班牙则主要关注医疗和健康领域的开源情报,特别在媒体报道、私营卫生机构的报告以及用户的订阅信息中获取需要的信息。从我国的节点颜色上来看,虽然从后半段时间才开始涉足开源情报的研究,但是仍然在整个体系之中起到了相当重要的作用,同其他几个关键节点之间的联系也是较为密切的。特别是总体国家安全观提出以来,将非传统威胁也纳入研究范畴中,为OSINT的研究以及应用提供了平台,逐渐成为国家安全工作的重要组成部分,并间接促进了情报之间的融合。
5)文献共被引分析
在Citespace中选择节点为共被引(Reference),导入前期处理过的数据,可以得到国外开源情报研究的文献共被引情况,部分主要文献如表1所示。
从表1可知,共被引次数排名前10位的文献大部分发表在近5年,其中LeCun Y在2015年发表在Nature期刊上的文献共被引次数最多,达到19次,同时也被WOS数据库标记为高被引论文。该文章指出,可以采用深度学习的方式进行抽象级别的数据表示,通过使用反向传播算法来获取数据内部的参数[27],并可以在语音识别、图像识别以及其他诸多领域获得应用。同时提出将深层卷积网络与递归网络相结合,可以对文本语料和语音语料进行更加深入的挖掘。除此之外,其他论文大部分发表在Med Image Anal、International Journal of Information Management、Communications of the Acm等在国际上享有较高声誉的期刊,既能够推动开源情报领域研究的发展,同时也能够为开源情报的研究提供可借鉴的方法和工具。
6)研究趋势分析
结合图1所示的发文数目可以看出,在2014年之后文章的发表数量呈现出快速增长的态势,因此在Citespace中按照2007—2014年、2015—2020年分别统计关键词之间的共现情况,所得可视化图谱如图5(a)和图5(b)所示。
从图5(a)可以看出,在发展期各个关键词之间的联系不是非常紧密,关键词数目虽然多,但是分布较为零散,说明在这个阶段(2007—2014年)研究热点与重点不是非常突出,呈现多方位的探索式研究;而到了稳步上升期,即图5(b)所示,关键词的大小明显有所区分,说明在OSINT领域已经开始出现了研究重点与研究热点,同时关键词之间连线颜色较前一阶段的更深,说明研究的持续性较好,能够继续支撑OSINT领域研究的进一步发展。
从两个阶段关键词词频的对比来看,部分结果如表2所示。在不同阶段关键词存在着较大的差异。在起步发展期,关键词词频最大为11,相关研究进展较慢,对于开源情报的研究还仅限于从浅层次进行分析,尚未触及开源情报的核心本质。而到了稳步上升期,关键词词频最大达到了83,相较于前一阶段有了极大的发展,如artificial intelligence的词频由11变成83,且open source intelligence的词频也由前一阶段的2上升到18,说明经过8年的发展已经慢慢对开源情报的核心内容有了一定的探索以及研究,同时big data(大数据)、deep learning(深度学习)、machine learning(机器学习)、algorithm(算法)以及neural network(神经网络)等概念也出现在开源情报的研究范畴之中,并占据了较高的词频[22]。说明开源情报的研究对技术的依赖程度越来越大,信息技术以及网络技术的快速发展使得互联网成为开源情报真正快速发展的主要载体,通过快速且庞杂的数据传输,促进不同类型、不同大小甚至不同种类的数据真正以“扁平化”的方式传递信息,从而更好地在海量的数据之中发现真正有价值的情报内容。由此可以得出,在开源情报领域的研究趋势主要是:面对如今数据大爆发的现状,深化大数据的开发和应用,加强人工智能相关领域以及相关技术的开发,将技术的优势、分析人员的主观能动性与数据的复杂性结合起来,充分挖掘数据的内在价值,进一步满足用户的情报需求,从系统化以及产品化思维角度出发,提供给用户最需要的情报产品,真正发挥情报“耳目、尖兵、参谋”的作用。
從研究趋势来看,越来越多的学者[17-18]注意到将“技术”作为分析开源情报的手段能够取得比以往人工分析更好的效果,不仅效率高,而且最大可能地降低了分析人员的主观偏见性,提升了分析产品的客观性。同时,不同学者[19-22]从不同角度出发,已经开始将一种或者几种分析方法结合起来使用,既能够有效地弥补单一方法的自身缺陷,同时也使得分析结论更加全面、翔实、可靠。
3 结 论
本文利用WOS数据库,从文献计量学的角度对国外研究中涉及开源情报的文献进行分析,归纳总结其研究现状、研究热点,并对其可能产生的研究趋势进行分析,所得结论如下:
第一,目前针对开源情报的研究现状呈现出稳步上升的态势。不论是从文献的发表数量还是从关键词之间联系的紧密程度来看,越来越多的专家、学者以及相关研究机构从各自不同的学科背景出发,对开源情报进行了不同程度的探索,并积累了相当数量的研究成果,特别是不同国家(地区)相继颁布了一系列的政策、法规等也从外部环境上对开源情报的研究起到了客观的推动作用。虽然我国对于开源情报的研究较之于国外起步较晚,但是研究潜力巨大,同国外部分国家(地区)保持着较为紧密的联系,发挥越来越主要的作用。
第二,从研究热点来看,使用人工智能、机器学习、深度学习以及模型等工具快速、有效、准确、客观地发现用户需要的信息是该领域的主要研究热点。既能够促进开源情报在医疗、健康、教育等领域发挥关键的支撑作用,同时也使得开源情报自身的研究理论、研究工具以及研究方法等得到进一步的丰富,从而实现开源情报自身发展与开源情报更好发挥作用的良性循环。
第三,从研究趋势来看,开源情报的相关研究对于技术方面越来越依赖。不论是从刚起步的框架、模型、文本挖掘、数据库、算法等到稳步发展期的神经网络模型、机器学习模型或者是深度学习模型,还是相关的较为抽象的理论,正在逐步构建起具有开源情报自身特色的技术方法理论体系;而且开源情报的研究越来越注重与现实中的信息化环境相关联。从外部环境中汲取、发现所需要研究的问题,才能促使开源情报所获得的结论能够更好地促进社会信息化的发展,而信息化环境的发展反之会对开源情报提出新的要求,促进其自身的研究发展上升到一个新的水平。
参考文献
[1]陈超.更新观念,科学把握新时代科技情报事业发展规律——“十四五”我国科技情报事业发展战略断想之二[J].竞争情报,2020,16(5):1.
[2]马增军,耿卫,汪川.美国开源情报制度分析及发展趋势[J].创新科技,2017,(9):78-81.
[3]杨建英,余至诚.开源情报在中国国家安全情报中的地位和作用分析[J].情报杂志,2019,38(10):21-26,145.
[4]赵小康.公开源情报——在情报学和情报工作中引入Intelligence的思考[J].情报理论与实践,2009,32(12):23-27.
[5]张涛,马海群.国际数据政策文献研究现状、前沿热点与演化趋势分析(1989—2018年)[J].情报科学,2020,38(9):149-156.
[6]张恒.基于开源情报的情报处理系统模型构建[J].情报杂志,2014,33(3):54-57.
[7]Harris E S J,Erickson S D,Tolopko A N,et al.Traditional Medicine Collection Tracking System(TM-CTS):A Database for Ethnobotanically Driven Drug-discovery Programs[J].Journal of Ethnopharmacology,2011,135(2):590-593.
[8]Quick D,Choo K K R.Digital Forensic Intelligence:Data Subsets and Open Source Intelligence(DFINT Plus OSINT):A Timely and Cohesive Mix[J].Future Generation Computer Systems-the International Journal of Escience,2018,78:558-567.
[9]Mortara L,Ford S J,Jaeger M.Idea Competitions Under Scrutiny:Acquisition,Intelligence or Public Relations Mechanism?[J].Technological Forecasting and Social Change,2013,80(8):1563-1578.
[10]Brando A,Pereira E,Esteves M.A Benchmarking Analysis of Open-Source Business Intelligence Tools in Healthcare Environments[J].Information,2016,7(4):57-73.
[11]Gabriela T.The Role of New Technologies in Transforming Open-source Intelligence[J].Romanian Journal of Information Technology and Automatic Control-Revista Romana De Informatica Si Automatica,2018,(3):41-46.
[12]Koops B J,Hoepman J H,Leenes R.Open-source Intelligence and Privacy By Design[J].Computer Law & Security Review,2013,29(6):676-688.
[13]Eldridge C,Hobbs C,Moran M.Fusing Algorithms and Analysts:Open-source Intelligence in the Age of‘Big Data’[J].Intelligence and National Security,2017,33(3):391-406.
[14]Ganino G,Lembo D,Mecella M,et al.Ontology Population for Open:Source Intelligence:A GATE-Based Solution[J].Software Practice and Experience,2018,48(12):2302-2330.
[15]Bernard R,Bowsher G,Milner C,et al.Intelligence and Global Health:Assessing the Role of Open Source and Social Media Intelligence Analysis in Infectious Disease Outbreaks[J].Journal of Public Health-Heidelberg,2018,(5):509-514.
[16]韓双淼,谢静,肖晓飞.国际高等工程教育研究方法与主题的演进[J].高等工程教育研究,2020,(6):148-155.
[17]Glassman M,Kang M J.Intelligence in the Internet Age:The Emergence and Evolution of Open Source Intelligence(OSINT)[J].Computers in Human Behavior,2012,28( 2):673-682.
[18]Koops B J,Hoepman J H,Leenes R.Open-source Intelligence and Privacy By Design[J].Computer Law & Security Review the International Journal of Technology Law & Practice,2013,29(6):676-688.
[19]Kim Y,Glassman M,Bartholomew M,et al.Creating an Educational Context for Open Source Intelligence:The Development of Internet Self-efficacy Through a Blogcentric Course[J].Computers & Education,2013,69:332-342.
[20]Hayes D R,Cappa F.Open-source Intelligence for Risk Assessment[J].Business Horizons,2018,61(5):689-697.
[21]Burtsev M,Logacheva V.Conversational Intelligence Challenge:Accelerating Research with Crowd Science and Open Source[J].Ai Magazine,2020,41(3):18-27.
[22]Eldridge C,Hobbs C,Moran M.Fusing Algorithms and Analysts:Open-source Intelligence in the Age of‘Big Data’[J].Intelligence and National Security,2017,33(3):391-406.
(责任编辑:孙国雷)