知识与数据联合驱动建模技术综述

田晟兆，胡迎茜，谷 成，陈端兵,4*

(1.电子科技大学大数据研究中心 成都 611731；2.中国航天科工集团公司第二研究院 北京 海淀区 100854；3.航天科工防御技术研究试验中心 北京 海淀区 100854；4.成都数之联科技股份有限公司 成都 610041)

近年来，深度学习在计算机视觉感知[1]、语音识别[2]、文本理解[3]等领域取得巨大成功，引起了研究者的极大关注。然而，当前大部分深度学习方法需要海量的标注样本才能学习到泛化性较好的智能识别模型，单纯依靠数据驱动的建模方式使得基于深度学习的目标识别面临新的挑战。一方面，仅采用数据驱动方式难以解决标注样本较少的问题。对于很多实际问题，要么是很难采集到大量样本，要么是标注样本的成本极高，仅依靠少量标注数据，使用数据驱动建模很难得到可靠的模型；另一方面，模型的不稳定性和难解释性一直是深度学习理论面临的难点问题，伴随海量标注数据的大量噪声导致深度学习不稳定，深度学习模型提取的特征很难直观地理解和解释。这些问题和挑战限制了深度学习解决更复杂、更抽象问题的可能性。

导致这些问题和局限的根本原因在于当前人工智能方法与人类智能存在较大差异，人类自身学习识别并不需要大量的标注样本，而是通过已有知识、经验，对照少量样例归纳总结并进行分析与判断，实现目标的稳定识别。缩小人工智能与人类智能的鸿沟，仍然是现代人工智能面临的巨大挑战。

将外部可理解的语义空间知识引入识别建模过程，采用知识与数据联合驱动的方式进行智能模型构建是解决上述问题的一条重要途径。一方面知识与数据联合驱动建模，需要统一先验知识和数据信息的表征形式，实现相互补充，一定程度上解耦深度学习模型训练对海量数据的强依赖性，缓解小样本问题；另一方面，相比于数据，知识的稳定性和可靠性更高，基于知识与数据联合驱动模型更符合真实的人类思维与思考习惯，有利于提高识别算法的稳定性、可靠性与鲁棒性，能够进一步提高识别效果，为后续更上层的智能化应用（推理、决策等）提供基础感知模型。知识与数据联合驱动的识别建模能够突破当前基于深度学习的目标识别建模的瓶颈，解决深度学习在小样本、模型可解释性问题上的局限性。

如何摆脱深度学习模型对海量标注样本的依赖，突破人工智能在小样本问题上的瓶颈，提高模型可解释性，正逐渐成为重要的研究方向。本文首先以外部知识在智能识别模型构建中的引入方式为区分准则，提出一种模型构建方法的分类标准；然后对每类构建方法在解决小样本、模型可解释性问题方面的探索进行了综述总结；最后，提出了一种知识与数据联合驱动建模方式，并基于此提出了需要进一步研究的问题与未来的研究方向。

1 建模方法分类

外部认知经验与知识一直是智能识别建模的重要要素。根据外部认知经验与知识在智能识别模型构建过程中的引入方式，可以将模型构建方法分为3 类：基于显式知识的建模方法、基于隐式知识的建模方法以及基于融合知识的建模方法。

基于显式知识的建模方法直接对显式的目标特征知识进行建模。早期的专家系统就属于这类方式。本质上是将外部认知经验与知识总结建模为形式化的逻辑规则，然后将这些规则集成嵌入系统运行流程中，如图1 所示。

图1 基于显式知识的建模

基于隐式知识的建模方法是现阶段较常用的建模方式，其特点在于外部的认知经验与知识通过样本数据的标签信息引入建模过程中。这类方式不直接对认知经验知识进行建模，需要在模型训练过程中通过有监督方式归纳学习目标特征，完成识别建模。典型的基于隐式知识的建模方式如图2 所示。

图2 基于隐式知识的建模

基于融合知识的建模方法同时结合了上述两种建模方式，近年来得到广泛研究的知识图谱相关技术就是采用这种建模方法，如图3 所示。外部认知经验与知识通过显式和隐式两种方式引入模型。如知识图谱构建过程中的本体模型就是典型的显式知识引入方式，直接对目标知识进行建模；隐式知识引入通过样本标签体现，用于知识提取、消歧、融合等构建过程。这类方式通常先从数据中挖掘提取知识，构建形成知识库，然后基于知识库构建各类识别应用模型。

图3 基于融合知识的建模

2 基于显式知识的建模方法

直接对经验和认知知识进行建模可以追溯到20 世纪[4-7]。当时，符号主义主导着人工智能的发展，1955 年文献[8]提出了基于知识与经验的推理模型，然后逐渐演化为专家系统[9-10]。

这类模型无需标注训练样本，通过追踪模型运行逻辑，模型输出结果就能得到较好的解释，较低的数值计算复杂度使得模型具有良好的稳定性。

然而，早期的专家系统将经验知识建模为规则或逻辑程序，虽然便于计算机处理，但这类方式往往只能建模较为简单的知识，表达复杂知识与逻辑的能力有限，很难刻画复杂和不确定的知识。此外，由于缺乏自动化的知识获取和表征方法，导致专家系统效率很低，可移植性和鲁棒性差，逐渐被基于数据驱动的人工智能模型替代。

3 基于隐式知识的建模方法

基于隐式知识的建模方法应用较为广泛，传统的机器学习方法（支持向量机、决策树、随机森林等）与深度学习方法（卷积神经网络、循环神经网络、生成对抗网络等）都属于这种建模方法。不同的是传统的机器学习方法是寻求建立人工设计的特征与数据标签之间的映射关系，而深度学习方法采用一种端到端的方式直接对数据本身进行建模，通过深度神经网络自动学习提取特征并建立深度特征与数据标签之间的映射关系。

近年来，为了能够在监督信息有限的情况下基于隐式知识进行建模，弥合人工智能与人类智能之间的鸿沟，针对小样本学习（few-shot learning, FSL）的研究应运而生。

传统的机器学习方法在面对小样本问题时，通常采用特征工程相关方法进行处理，如对有限的样本进行采样，扩充数据集或对特征进行增强，使得样本特征分布更趋近于真实的特征分布。这类处理方法虽然一定程度上缓解了小样本问题，但由于方法对特征选择和提取的依赖性，导致传统机器学习方法在处理复杂、高维的数据时具有一定的局限性。因此，在处理图像、音视频等数据方面逐渐被深度学习模型所替代。而在深度学习方面，对小样本深度学习相关的研究已经比较深入，也取得了一系列极有价值的研究成果。

当前的小样本深度学习可以视为一种先验知识与数据的联合，即寻求在海量基类数据上学习提炼先验知识（元学习），然后在只有少量样本的测试类上应用。但是，从度量学习训练模式不难发现，现有的小样本深度学习方法所使用的先验知识通常来自与测试类别类似或同质且具有海量标注数据的基类，本质上并没有解耦模型对海量样本的强依赖性，只是转移了海量数据的需求方向（从目标类转移到基类，从目标知识的学习转移到先验知识的学习）。此外，元学习得到的类语义空间无法与真实语义符号空间关联，导致模型可解释性不高，难以有效实现知识的持续积累和更新扩展。目前，小样本学习方法主要分为数据增强和度量学习（元学习）两类。

3.1 数据增强

数据增强是利用先验知识扩充数据集。早期的FSL 从相似的类中学习几何变换进行数据扩展[11]，后续不少工作从特征和属性的合成及迁移角度间接对数据进行扩展[12-18]，其中，文献[15]基于自编码网络结构，采用无监督预训练的方式增强模型对数据特征的感知能力，利用少量标注样本实现了较好的识别效果。此外，还有不少工作[19-23]建立生成模型实现样本的生成扩展。近几年，基于数据的分布[24-26]以及模型注意力分布[27]等统计信息的方法也引起了研究人员的关注并取得了较好的效果，如文献[27]针对小样本场景下的知识蒸馏提出了一种基于教师模型响应的数据增强方法，有效地提升了小样本知识蒸馏效果。

此外，文献[28-30]将数据增强融合到弱监督对比学习框架中，如图4 所示，在无标注数据上使用不同的数据增强方法产生多个数据视图，然后通过对比数据视图使得模型学习到目标特征，完成表征模型的预训练，然后利用下游识别任务对应的少量标注样本，进行有监督微调训练，以降低模型对海量标注样本的依赖性。

图4 基于数据增强的弱监督对比学习框架

3.2 度量学习

度量学习是一种元学习方法，其目标是学习一种相似性度量，通常采用跨任务的N-way K-shot训练范式。在训练过程中，从基类数据集中随机抽取N个类别，每个类别随机选择K个样本作为支持集，再从这N个类的剩余样本中随机抽取部分样本作为查询集。这种学习方式如图5 所示。

图5 度量学习框架

度量学习的目的就是使模型学会识别查询集。典型的度量学习工作包括：孪生神经网络[31]、三元组排序网络[32]、原型网络[33-34]、基于注意力自适应模块[35]、组合特征聚合模块[36]、主特征网络[37]、匹配网络[38-41]、关系网络[42]及其改进网络[43-44]以及协方差度量网络[45-46]等。此外，文献[47-51]对特征间的关系进行建模以实现度量学习。其中，文献[51]提出了基于多尺度的标签传播网络，利用多尺度生成器生成多个尺度的图像特征，并集成关系度量模块获得多个不同尺度特征下的样本相似性得分。除了度量学习外，还有部分工作采用基于记忆的元学习方法将小样本学习任务表示为序列学习任务[52-55]。最近，文献[56]基于集成学习思想，提出了一种集成度量学习方法，综合考虑图像级和局部特征级子度量以及标签传播度量，最后将多个子度量融合作为最终度量输出。

3.3 基于隐式知识构建模型的可解释性

基于隐式知识的建模将所有的处理都放在向量空间进行计算。这类模型将数据标签嵌入映射到一个标签向量空间（如one-hot 编码），学习特征向量空间与标签向量空间之间的映射关系。当前基于数据挖掘的知识驱动相关方法大多采用这一类模式。这种模式具有较好的数学特性，能充分利用算力开展大规模运算。

对于传统机器学习方法，由于人工设计的特征本身具有较为明确的含义，因此，模型的可解释性较好。如支持向量机中模型的决策结果来自于支持向量与目标向量的距离，决策树中模型的决策结果来自于节点的条件判断。

然而深度学习方法却具有可解释性不高、依赖海量数据以及鲁棒性不强等局限性。因此，如何使得深度学习模型突破这些瓶颈，逐渐成为深度学习模型研究的重点。事实上，美国国防部高级研究计划局（DARPA）在2016 年发布了“可解释的人工智能”（explainable artificial intelligence, XAI）项目[57-59]，其目标就是建立一套新的机器学习技术，生成可解释的模型，结合有效的解释技术，使得最终用户能够理解、一定程度的信任并有效地管理未来的人工智能系统。2018 年，DARPA 启动“下一代人工智能”（AI Next）项目，用于构建能够进行类似人类交流和逻辑推理的人工智能工具。我国在2020 年度国家自然科学基金指南引导类原创探索——面向复杂对象的人工智能理论基础研究项目中，计划通过信息科学与数学、物理学、化学等基础学科的深度交叉融合，从复杂性与多尺度视角探索人工智能基础理论与方法，突破现有人工智能可解释性瓶颈，推动动态、稳健与可信的智能模型与方法体系的构建。2022 年，国家自然科学基金委员会发布了“可解释、可通用的下一代人工智能方法重大研究计划”，旨在建立规则和学习的有效融合机制，打破现有深度学习“黑箱算法”的现状，建立一套适用于不同领域、不同场景（语音、图像、视频等）的通用方法体系。

近年来，相关方向也有不少研究工作[60-66]，其中，文献[62]利用有限状态机探索循环神经网络（RNN）的内在机制，将RNN 的内部流程表达为有物理意义的模型。文献[66]提出基于心智理论（theory of mind, ToM）的可解释性AI 模型，提高对深度学习模型输出的信心。

4 基于融合知识的建模方法

基于融合知识的建模方法首先从数据中挖掘提取知识，构建形成知识库，然后应用于各类场景。当前得到广泛研究的知识图谱就是采用这类技术路线，大致包含4 个方向：知识建模、知识提取、知识表征以及知识应用。

当前，基于融合知识的建模已经有不少研究工作，如何从数据中建模、提取知识并进行表征和应用已得到广泛关注。基于融合知识的建模方法本质上属于一种双空间模型，其中符号空间（语义空间）模拟认知知识，亚符号空间（向量空间）模拟感知状态。文献[67-72]提出的模型寻求学习特征向量空间和语义符号空间的对应关系，使两个空间能够直接相互映射以支撑应用。这类模式对样本的标注要求很高，需要尽可能精确到每一个语义符号，模型才有可能学习得到映射关系。

此外，当前大多数知识的提取和表征方法都还是依赖于海量的标注数据，仅在知识应用层考虑了小样本，整体来看，并没有从根本上解决深度学习模型对海量样本的依赖问题。此外，由于知识图谱最早是由语义任务推动发展的，因此大部分知识图谱的设计能够很好地描述事物间的逻辑关系，但在属性特征表达方面偏弱，很难支撑图像、语音等相关的任务。

4.1 知识建模

知识建模的核心是本体构建，其目的是为了确定知识图谱能描述的知识。本体被广泛认可的定义为“共享概念模型的明确形式化规范说明”[73]。本体构建的主要方法有：IDEF5 法、骨架法、TOVE法、METHONLOGY 法、KACTUS 法、七步法和SENSUS 法等。此外，文献[74]结合隐式狄利克雷分布和关联规则算法，提出了一种半自动的领域本体构建方法。文献[75]在知识建模方面开展了深入的探索，研究了关联图谱的定义、架构以及构建的关键技术，并深度分析了关联图谱分析与研究所面临的若干挑战问题。并围绕装备目标及其关联标准知识，研究了装备-标准知识图谱建模[76]、标准化管控建模[77]以及装备标准关联图谱可视化应用[78]，在此基础上，针对装备目标及其标准构建了异构信息关联图谱[79]，并在此基础上定义了通用化、系列化和模块化等评价指标[80]。

4.2 知识提取

知识提取的目的是从非结构化的文本和其他结构化或半结构化的数据源中发现和识别实体和关系。知识提取的主要任务包括实体识别与对齐、关系提取以及知识图谱补全。实体识别一直都是研究的热点问题[81-83]，特别是近几年，预训练语言模型已应用于实体识别并取得了很好的识别效果和性能[84-85]。关系提取方面，不少工作者采用图卷积神经网络及其变体建模实现关系提取任务[86-89]。此外，相关的小样本与元学习问题也有相应的研究[90-93]。早期的信息抽取没有考虑到实体抽取和关系抽取两个任务之间的相关性，近年来，不少研究将两个任务进行联合建模[94-97]，如文献[97]提出了一个基于跨度和图模块的混合模型KSBERT，引入领域字典、依存关系结构等外部句法、语义知识，针对特定领域的实体和关系联合抽取实现了较好的效果。知识图谱补全方面，近年来，也有不少的研究工作注意到了小样本问题，并提出了相应的解决方案[98-103]。

4.3 知识表征

知识表征学习，也称为知识图谱嵌入[104]，是使用低维向量表示实体和关系信息的过程。当前的知识表征方法根据嵌入的核心思想可分为几何表征模型和神经网络表征模型。几何表征模型将关系解释为语义空间中的几何变换，典型方法如基于莫比乌斯变换的嵌入方法[105]、KDCoE 模型[106]、ATTH模型[107]、DensE 模型[108]、BiQUE 模型[109]、ChronoR模型[110]以及对偶四元数知识图嵌入方法[111]。神经网络表征模型方面，也取得了大量优秀的研究成果[112-120]，其中，文献[119]提出了一种时序图信息的嵌入方法，然后基于图神经网络，提出了一种结合图的邻接矩阵与卷积神经网络的关键节点挖掘算法[120]，可以有效地将图中节点的邻域信息嵌入到矩阵中。

4.4 知识应用

知识应用方面，数据和知识联合驱动的方法在越来越多的领域得到了应用[121-136]，这种结合已逐步成为理论指导数据科学的新模式。

文献[121]引入图搜索神经网络（graph search neural network, GSNN）有效地将大量知识图合并到视觉分类任务中，并使用这些结构化先验知识提高图像分类性能。文献[123]使用一个视觉语义嵌入模型，从知识库和文本中挖掘语义嵌入，并进一步训练一个端到端CNN 框架，从而将图像特征线性映射到丰富的语义嵌入空间。文献[124]使用包含外部知识的显式知识模块和隐式知识模块实现知识的学习，融合知识整合模块与目标检测网络，利用全局推理提高目标检测性能。文献[125]在给定一个已学习的知识图谱下，将每个节点（即视觉类别）的语义嵌入作为输入，经过一系列图卷积，预测每个类别的视觉分类器。文献[127]使用GCN训练知识图谱，并将其用于小样本甚至零样本的动作识别任务。文献[128]利用一幅图像中所有对象对之间的视觉上下文关系和几何关系（关系信息由关系知识图谱定义），捕获有用的信息来推断不可见类别，并使用条件随机场将该方法集成到传统的零样本学习方法中。文献[129]以结构化的知识图谱形式表示语义关联，并将该图谱集成到深度神经网络中，通过知识图谱迁移网络（knowledge graph transfer network, KGTN）实现小样本学习。文献[132]提出了知识传输网络（knowledge transfer network,KTN）体系结构，提出的框架将视觉特征学习、知识推断和分类器学习结合到一起。文献[133]提出了一种稠密图传播（dense graph propagation, DGP）模块，利用知识图谱提供的类别语义描述及关系信息扩展原有的图像分类器，使之能够适应新类别。文献[135]提出了一种图的小样本学习算法，融合了从辅助图中学习的先验知识，同时在图之间传输节点级和图级结构。文献[136]通过语义嵌入，由语义之间的差距生成用于属性传播网络的语义知识图谱，随后使用注意力机制进行图像分类。

5 知识和数据联合驱动建模

早期的基于显式知识的建模方法、当前广泛使用的基于隐式知识的建模方法，以及现阶段基于融合知识的建模方法都存在各自的局限性。因此，文献[137]提出发展“第三代人工智能”，即融合知识驱动和数据驱动的人工智能模型，利用知识、数据、算法和算力4 个要素，建立新的可解释和鲁棒的人工智能理论与方法。

新一代的知识和数据联合驱动建模方式本质上属于融合知识建模方式，但不再寻求语义符号空间和特征向量空间的相互映射，而是将其分别映射到同一个连续的高维空间并进行融合，即将特征向量空间以及语言符号空间融合映射到同一个连续的类语义空间中，在此空间中完成语义符号和特征向量的关联融合。一种知识和数据的联合驱动建模方式如图6 所示。

图6 一种知识和数据的联合驱动建模方式

认知经验知识和数据分别通过弱监督或无监督的方式进行表征学习，学习到的表征模型能够将知识或数据映射到各自的向量空间，然后通过表征融合模型，将两个空间进行融合嵌入，最后基于融合表征进行建模。

相比于显式知识建模方法，知识将不再建模为具体的规则语句，而是建模为图谱等形式。相比于规则化的语句，图谱更容易映射、转换为连续数值进行计算，且能够表达更为复杂的逻辑关系，并进行一定程度的推理。此外，本文提出的建模方式解耦了认知经验知识的建模和数据表征的建模，根据实际情况可选择联合驱动建模，也可以选择单一途径（只有经验知识或只有数据）进行建模，一定程度上兼容了基于显式知识的建模方法和基于隐式知识的建模方法，同时也克服了显式知识建模方法和隐式知识建模方法的局限性。

采用知识和数据联合驱动建模的工作还鲜有报道，其有效性还有待进行更多的实践验证。此外，如何根据模型的输出，有效追溯到认知知识，使得模型输出和中间特征可解释，也还有待进一步研究与探索。

6 结 束 语

当前，无论是小样本深度学习还是基于数据挖掘的知识驱动技术都已经引起了学术界的广泛关注。这个方向的兴起，既来源于学术界对人工智能接近人类智能的追求，又受到工业界对廉价机器学习的需求推动。在此背景下，本文提出了一种模型构建方法的分类标准；然后对每类构建方法在解决小样本、模型可解释性问题方面的探索进行了综述总结；最后，设想了一种知识与数据联合驱动建模方式。

目前，对知识与数据联合驱动的识别技术研究已取得许多极具价值的成果，尽管如此，以下几方面还需进一步研究。

1）现有的小样本深度学习方法先验知识的来源途径有限，本质上仍然依赖与目标类相似或同质的海量样本，仅转移了海量数据的需求方向。

2）元学习得到的类语义空间无法与真实语义符号空间关联，导致模型可解释性不高，难以有效实现知识的持续积累和更新扩展。

3）当前基于数据挖掘的知识驱动方法都还依赖于海量的标注数据，仅在知识的应用层考虑了小样本的情况，如何在小样本或零样本情况下生成知识还有待进一步研究。

4）虽然在知识图谱领域，利用自然语言文本提取实体、关系与属性构建知识库已有大量研究，但是这类知识库往往是为了解决语义搜索和语义理解相关应用而构建的，而面向目标识别应用的知识库还没有得到很好的研究。

5）在知识与数据联合驱动模型中，知识的质量如何度量，知识的质量与数据的质量如何影响模型，以及二者产生的交互效应，还缺乏定性和定量的研究。