陈洪雁,张大伟,杨欢,齐宏为
(北京跟踪与通信技术研究所,北京100094)
近年来,中国航天蓬勃发展,面对日益发达的航天军事物联网、航天大数据,各类数字化信息资源不断涌现和普及,快速获取、深入挖掘和有效利用数字化、网络化信息,正在成为促进国防知识服务能力跃升的强有力手段。航天军事涉及的知识层面繁多、知识结构分散、知识获取成本高、知识共享困难,目前的军事管理平台缺乏智慧知识大数据服务支撑。基于数字信息的知识获取、知识加工、知识抽取及图谱化知识服务,已成为军事知识服务能力的重要内容,成为国防创新的新型能力基础。
航天军事涉及的知识领域包括军事理论、军事科技、航天科技、战争战役实例及未来战争构想等等,其内容交错复杂,不可能将全部相关知识都记入人脑,也不可能依靠人类的计算和推理能力进行快速判断。深度机器学习模型能够对航天军事领域庞大的知识进行抽取与表示,知识推理能够对航天军事知识进行快速推理,知识问答能够准确地获取航天军事知识。本文面向航天军事应用,消除地域、时间、机构及业务系统之间的边界,结合以深度机器学习模型、知识推理、智能问答、智能决策为核心的人工智能技术,构建现代军事领域信息智能化的航天军事专家智能知识服务系统,作为军事领域内创新发展能力的关键组成部分,可以实现对航天军事数据的智能统筹分析与知识推理,可以为业务人员提供全面的航天专家知识和决策数据支撑。
基于深度机器学习模型的军事专家系统对各个领域的巨大战略作用,目前国内外都对深度机器学习模型展开了如火如荼的研究。在科技领域,科技部牵头的科技知识组织体系建设项目是针对科研的科技深度机器学习模型,深度机器学习模型建设和应用示范取得了丰硕成果。在国防领域的深度机器学习模型建设也悄然兴起,但处于起步阶段,规模比较小,仅限于满足本部门或本单位使用。构建深度机器学习模型的核心就是抽取三元组,三元组的抽取是深度机器学习模型构建的关键性问题。目前主流的抽取方式是基于规则与深度学习的方式,基于规则的抽取准确率低,严重依赖工作人员定义大量规则。
随着人工智能的飞速发展,自动问答已经成为倍受关注且发展前景广泛的研究方向。以深度问答技术为核心的IBM Watson自动问答机器人在美国智力竞赛节目Jeopardy中战胜人类选手,引起了业内的巨大轰动。由军委装备发展部、中国电子科技集团有限公司与军委装备发展部中国电科联合基金资助举办的中国电科X+AI系列全国第二届“军事智能·机器阅读”挑战赛,致力于颠覆以往情报整编工作以人工分析提炼为主的模式,逐步实现由机器替代繁琐、重复性情报整编业务流程。已有自动问答技术大致可以分为三类:检索式问答、社区问答、知识库问答,由于没有三元组式结构化的知识支撑,这三种方式都面临着准确率低与答非所问的问题,而且面临着逻辑推理与知识推理的难点。
本文通过研究航天军事领域三元组知识抽取,融合认知计算、知识表示与推理、信息检索与抽取、自然语言处理与语义Web、数据挖掘与机器学习等方向的交叉研究,构建航天军事深度机器学习模型,组织、管理和理解航天军事领域海量信息。通过研究航天知识服务智能问答与推理技术,不仅能为航天军事领域提供分析、推理、发现、洞察能力,同时可实现航天知识动态、高效、直观数据呈现效果。
通过研究航天军事专家系统建设中的关键技术:深度机器学习模型构建、知识推理、智能问答与决策支持技术,基于构建业务模型和决策支持模型库,通过多源、多类型数据融合构建航天军事专家系统模型架构,进行数据分析、推理和关联,固化航天军事专家系统业务应用功能,通过多渠道为业务用户提供即时、高效决策支持服务,实现航天军事专家智能知识服务系统的建设。
2.1.1 大数据采集与智能融合
航天军事数据种类繁多、类型不统一、存储方式不同,比如互联网上的咨询信息、档案馆中的产品资料,不同业务系统中存储的产品资料、历史会议资料、设备工艺或理论文献资源等。如果要全面统一应用,则需要规划设计航天军事知识库,进行数据采集、数据清洗、数据对齐和集中存储。建立统一数据处理方法和标准,统一存储在数据仓库内,提供统一应用。
2.1.2 三元组知识抽取与存储
航天军事数据中实体与关系有着多种类型,包括一个主实体对应多个关系与多个客实体,多个主实体对应一个关系与一个客实体,一个主实体与关系对应多个客实体以及主实体与客实体重合类型。对数据中的知识进行表示,需要从数据中抽取出三元组知识,使用图数据库进行存储,用于后续进行知识融合,构建深度机器学习模型。
2.1.3 业务模型智能梳理与管理
航天军事领域涉及的数据模型非常复杂,比如:组织架构模型、理论知识模型、设备产品模型、业务流程模型或从业人员信息模型等,目前都分布在不同业务系统或人脑中,甚至都有些事物尚未模型化(例如:项目论证模型等)。研究并梳理决策支持应用的关系模型、层次模型、网络模型、规则模型,建立决策支持知识库,按深度机器学习模型架构建立决策支持关联关系,根据决策支持任务和特点确定决策支持知识粒度、维度与网状关系结构,形成动态网络深度机器学习模型,为决策支持知识展示提供底层数据整合。
2.1.4 知识推理与智能问答
航天军事领域涉及的数据模型类型繁多、结构复杂,需要研究并梳理业务模型类型,按模型的类型构建深度机器学习模型关系。比如:理论方法深度机器学习模型、产品设备深度机器学习模型、空间结构深度机器学习模型、应急响应深度机器学习模型等。业务模型知识库支持新关系发现和新模型智能建议,支持动态数据加载,可从指定的知识存储介质上直接抽取知识,呈现航天军事数据的表现状态。
2.1.5 决策支持模型智能化
研究并梳理决策支持应用的关系模型、层次模型、网络模型、规则模型,建立决策支持知识库,按深度机器学习模型架构建立决策支持关联关系,根据决策支持任务和特点确定决策支持知识粒度、维度与网状关系结构,形成动态网络深度机器学习模型,为决策支持知识展示提供底层数据整合,为航天军事人员决策提供理论、数据上的专家支撑。
航天军事专家智能知识服务系统的架构主要包含基础层、数据层、平台层、应用层、用户层,支撑环境由数据采集同步、网络传输、系统软硬件组成,并且由基于业务、技术、管理等方面的标准规范体系、安全保障体系和运维管理体系作为整体架构上的支撑和保障。该系统的总体架构如图1所示。
图1 系统的总体架构图
通过对航天军事领域三元组知识的抽取、深度机器学习模型建设、知识推理、智能问答、决策支持的深刻研究,将其应用于航天军事专家系统建设,实现三库、三渠道、一体系的统一应用服务。
1)一体系是指航天军事专家系统知识服务体系。
2)三渠道是指可视化数据展示、智能应答数据展示和APP数据展示。
3)三库是指多源多类型基础知识库、业务模型知识库和决策支持模型知识库。
上述三大指标可以考核系统的多源数据处理能力,数据模型算法和处理能力及数据应用展示能力。实现航天军事专家系统的快速、便捷、精准的知识服务应用。
构建深度机器学习模型的核心就是抽取三元组。三元组是对各种实体或概念及其关系的表示,表示形式为主实体(s)-关系(p)-客实体(o)。基于深度学习的抽取三元组方式有两种方案:一种是先抽取实体,然后构建实体对,最后对实体对进行关系抽取。然而这种方式无法抽取一个实体对对应多种关系的三元组;另一种是将整个三元组抽取作为整体的序列标注,但这种设计不能很好地处理同时有多个主实体(s)、多个客实体(o)的情况,并且需要“就近原则”,而无一例外地,这些方法都不能解决主实体(s)、客实体(o)有重叠的情况。因此,为了解决航天军事领域实体与关系一对多的情况,本文设计了基于深度学习的三元组抽取方式,可以覆盖三元组抽取的所有类型。三元组知识抽取模型的设计图如图2所示。
图2 三元组知识抽取模型示意图
1)膨胀门卷积神经网络
在卷积处理上,这里的卷积不再使用传统的卷积而是设计了一种膨胀卷积,用来增加感受野。当输入输出维度一样时,膨胀门卷积神经网络可以加上残差与注意力。它体现了信息的选择性多通道传输。通过门机制使得卷积能够像循环神经网络(LSTM)有了记忆与忘记功能。最后的模型共使用了12层神经网络,在实验过程中,这种新型的卷积相对传统卷积准确率有了极大提升。
2)基于概率图的抽取
在抽取方式上,即先抽取主实体,然后基于主实体抽取客实体并进行关系分类。此抽取方案极大地提升了三元组抽取效率,解决了深度机器学习模型构建的关键性问题,为深度机器学习模型构建奠定了坚实的基础。
经过实验验证,这种三元组知识抽取模型可以很好地抽取航天军事领域实体对应多种关系的知识,极大地提升了航天军事深度机器学习模型构建效率。
知识推理与智能问答技术是通过系统智能化数据分析和推理,规划设计业务场景,设置业务主题,应用自然语言理解技术实现航天军事专家系统智能服务。针对航天军事领域知识体系庞大复杂,研究设计了适用于航天军事领域的知识推理与智能问答模型。
1)智能机器学习
采用机器自主学习、未知问题自动聚类、知识库维护方便和针对问题精准化引导四步来实现智能机器学习。机器学习模型使用膨胀门卷积神经网络,并且加上了残差与注意力。模型共使用了五层DGCNN,问句处理思路是先对问句基于DGCNN进行编码,学习出句子的语义表达。再对句子进行分类,识别出问句的所属类别,对问句总体进行整体划分,提升问句与答案的准确匹配。然后对问句进行命名实体识别,识别出问句包含的具体实体,输入深度机器学习模型进行知识推理。机器学习算法设计如图3所示。
图3 机器学习算法设计示意图
2)智能分析
推理、分析、挖掘服务数据价值,驱动业务决策,基于用户的业务问题及查询请求书深度挖掘,基于认知计算,从业务数据中获得更深层的洞察。情感分类:从文本、语音中识别用户情感,真正读懂人心。敏感分析:超越关键字匹配,从语义实时分析敏感数据。会话分类:自动为服务会话、专家业务及决策分析等数据打标签归类,为业务人员提供精炼内容,快速把握重点的知识服务。
航天军事专家智能知识服务系统是航天军事领域内业务知识诊断、推理和知识发现的业务辅助决策系统,目标是为航天军事领域的知识进行统筹分析与推理,为工作人员提供即时、高效的航天专家知识与决策支持服务。航天军事专家系统的知识抽取与知识推理及智能问答是必要需求,深度机器学习模型技术的应用则是最佳选择,这三大指标可以全面提升系统的多源数据处理能力,数据模型算法和处理能力及数据应用展示能力,实现航天军事专家系统的快速、便捷、精准的知识服务应用。
此外,由于航天军事专家智能知识服务系统的知识是成体系的,由架构层级指引,业务人员可以通过本系统进行知识补充,为业务人员提供知识学习、知识共享、知识发现、联合作战等决策支撑服务。