结合知识图谱与深度神经网络的烟丝松散回潮质量预测方法

王 宵， 徐成现

(昆明理工大学 机电工程学院， 云南 昆明 650500)

松散回潮是制丝工艺中的关键工序，该工序的目的是为了增大烟叶物料的湿度，使叶片较为疏松地分开，以满足下一道工序一级加料的工艺要求。因此，对松散回潮的质量进行预测显得十分重要。目前，对松散回潮的质量预测主要通过数据进行驱动，刘穗军等[1]对松散回潮中的加工参数及质量指标进行了统计分析，并建立了针对松散回潮出料含水率的精准控制模型，以实际案例验证了模型有效性；李秀芳[2]为提高松散回潮在加工过程中的控制能力，对烟片含水率和回风温度进行优化，提高了松散回潮质量的精细控制能力；唐军等[3]采用贝叶斯网络分析方法建立了松散回潮工艺参数和质量指标之间的复杂模型，提升了该工序质量预测精度。但上述方法并没有考虑制丝工艺中的规范类文件、技术标准以及工人经验等知识，而知识图谱可以将这些多源异构的知识加以利用。目前知识图谱主要应用于资源服务、医疗和生物等领域。刘桥等[4]583对知识图谱构建所用到的技术、知识图谱的定义和架构等进行阐述，指出其在多领域应用的可行性；张善文等[5]172将知识图谱与双向长短时记忆网络进行融合对小麦条锈病进行了预测，为小麦条锈病的预警和综合防治提供了科学的依据。知识图谱能够很好地对客观世界的实体和关系进行统一的描述和管理，在形成知识图数据库的前提下，课题组将人工智能下的深度神经网络预测算法与其相结合，在充分利用多源异构数据的同时，搭配神经网络算法强大的训练、预测和自学习能力，最终提高了松散回潮质量预测效果。研究为松散回潮质量预测提供了参考。

1 松散回潮知识图谱构建

在构建松散回潮知识图谱[6]的过程中，三元组是基本单元[4]584，可以表示为“实体-关系-实体”的形式。松散回潮知识图谱是根据该工序的实体、实体之间的相互关系加以链接形成的网状结构，其可以直观表示为“松散回潮头实体-实体关系-松散回潮尾实体”。松散回潮头实体主要由工艺流量、循环风门开度、排潮风门开度、出料中水的质量分数和出料温度等构成；实体关系存在于不同类型的头实体或尾实体之间，主要包含加工参数、质量指标、贮存时间等；松散回潮尾实体则包括相关的标准化数据，如模组1A线3 000 kg/h的工艺流量，模组1B线的出料中水的质量分数指标在(17.0±1.5)%以及相关的注意事项等。该知识图谱的构建过程主要由以下操作完成：首先对松散回潮的工序、标准化、加工参数和质量指标等多源异构化的数据知识进行抽取和表达；其次通过知识融合的方式对不同实体进行消歧、链接和消解，使抽取出的数据具有更强的层次性和逻辑性；然后利用头尾实体之间的关系进行节点和边的知识合并和加工以形成有效的组织和管理；最后对合并后的知识进行质量评估和知识更新，最终形成完整的松散回潮知识图谱。图1所示为制丝线上松散回潮知识图谱的构建流程，图2所示为构建松散回潮知识图谱过程中的部分实体案例，其中横线上数据表示不同参数对质量指标的影响权重，即质量指标影响因子。

图1 松散回潮知识图谱构建流程Figure 1 Knowledge graph construction process of loosening and conditioning

图2 部分实体案例Figure 2 Partial entity case

为了更好地利用和发挥松散回潮知识图谱中多源异构数据知识的价值，课题组采用动态矩阵映射的方式嵌入模型，并以此学习其中不同实体和关系的特征向量，从而形成定性的知识到定量的结构数据的转化。该知识图谱驱动的向量化过程可以通过以下方式进行描述：首先将松散回潮知识图谱中的实体和实体之间的关系以映射的方式嵌入到空间，同时给空间中的每个实体定义对应的向量；其次，通过词向量转换工具Word2vec将知识图谱三元组中高维的空间向量转换成低维向量；知识图谱三元组中的头实体、关系以及尾实体可以用h,r,h′进行表示，通过不断调整头实体h和关系r以使其不断接近尾部实体h′。在此基础上引入2个相关的投影矩阵Φr,1h和Φr,2h′将头实体和尾实体映射到关系所在的空间中形成关联。最后，将Φr,1h和Φr,2h′进行向量积的拆分形成距离函数以评价词向量训练过程：

dr(h,h′)=‖Φr,1h+r-Φr,2h′‖。

(1)

基于松散回潮知识图谱驱动的动态矩阵映射词向量知识嵌入过程如图3所示[5]174。针对该图谱中的结构化、半结构化和非结构化的多源异构数据，通过知识抽取、实体链接、知识融合和加工合并等操作形成统一的易管理的知识图数据库，在词向量工具的处理下，知识图数据以映射和扁平化的方式转换到低维空间，形成了可表达、可训练的结构化向量数据，服务于深度神经网络的训练。

图3 动态矩阵映射知识嵌入过程Figure 3 Dynamic matrix mapping knowledge embedding process

2 深度神经网络模型

深度神经网络能够很好地对数据之间非线性的特征关系进行提取[7-8]，同时在训练时收敛速度较快。双门控循环单元和注意力机制( bidirectional gated recurrent unit-attention, BIGRU-Attention)[9-11]深度神经网络模型作为深度神经网络的核心层，将某一时刻的状态与前后时刻的状态都进行关联，可以充分考虑语义之间的上下文关系，也更有利于松散回潮知识图数据的深层次和关键层次类特征提取。课题组研究的深度神经网络模型结构如图4所示。该模型主要由词向量嵌入层、BIGRU-Attention核心层以及输出层所构成。词向量嵌入层主要是由word2vec转换后的低维向量作为数据源，在BIGRU层的操作下完成具体的计算，最终经softmax(指数归一化函数)层输出松散回潮质量预测的相关结果。

图4 深度神经网络模型结构Figure 4 Deep neural network model structure

2.1 BIGRU-Attention层

BIGRU层的主要目的是对词嵌入层的向量进行更深层次的特征提取，BIGRU的单元结构如图5所示。

图5 BIGRU单元结构Figure 5 BIGRU cell structure

根据其结构，可以理解为前向GRU和反向GRU同时对向量进行处理，可表示为：

bijk=BIGRU(eijk)。

(2)

式中：eijk表示第i时刻第j个句子中的第k个词的词向量，bijk表示经过BIGRU编码完成的对应词向量。

其次，BIGRU层为突出知识数据中更关键的信息，引入Attention层，通过对词向量进行权重的计算，以分配不同影响参数的权重。Attention层主要是对编码后的bijk向量进行处理，其公式如下：

cijk=tanh (wwbijk+fw);

(3)

(4)

(5)

式中：bijk为BIGRU编码处理后的向量，tanh为激活函数，ww表示权重分配过程中的相应系数，fw表示偏置系数，gw表示Attention机制在初始化过程中的随机初始矩阵，qijk表示经BIGRU-Attention处理后得到的包含权重分配的向量数据。

2.2 softmax输出层

输出层的输入数据为上一层中输出的向量数据，即qijk，通过下式进行处理：

yj=softmax(B1qijk+b1)。

(6)

其中B1代表输出层上待训练的参数矩阵，b1为偏置参数，yj代表最终预测的松散回潮质量相关标签。

3 案例验证

课题组从某烟厂制丝工艺的标准文件中抽取相关的工艺标准、生产规范技术要求等实体数据，结合生产线上松散回潮的相关加工参数和质量指标等几万条数据作为数据的基础，用于指定工序松散回潮的质量预测。

3.1 试验环境搭建

课题组利用PC端的硬件基础，在Windows10系统和GTX850的基础上，搭配TensorFlow1.14版本，结合代码可视化工具pycharm，以keras作为深度神经网络算法的融合引擎，在GPU的高效运行下实现实验的验证，其具体参数设置如表1所示。

表1 实验参数设置

3.2 模型评价指标

为更好地对松散回潮质量预测做出更好的评价，课题组采用预测精度a进行评价[5]175，则有

(7)

式中：Tp与Fp分别为模型预测为正确的正确样本数和错误样本数，a为模型预测的正确样本数和总样本数之比。

3.3 结果分析

课题组将双门控循环单元和注意力机制结合知识图谱(bidirectional gated recurrent unit-attention-knowledge graph，BIGRU-Attetion-KG)的深度神经网络预测方法与其他未结合知识图谱的4种方法进行对比。4种方法分别是利用CNN，LSTM，BP和BIGRU-Attention神经网络进行松散回潮质量的预测。所得出的实验结果如表2所示。

表2 不同方法预测结果对比

从表2可以看出，课题组所提出的结合知识图谱和深度神经网络的方法在精度、训练时间和预测时间上较其他方法都有较大的提升。主要是因为知识图谱充分利用了制丝工艺标准中松散回潮工序的相关技术规范、注意事项等非结构化的知识，而其他方法却只能借助生产线上采集的结构化数据。除此之外，BIGRU-Attention的引入，能够使不同时刻的数据更有效地联系并能充分利用关键信息的价值，而其他方法在数据利用方面往往显得较为单一，缺少层次性。因此，课题组所提出的BIGRU-Attetion-KG的方法克服了相关的噪声问题，改善了预测的效果。

为更有力地说明知识图谱引入的价值，课题组对BIGRU-Attention和BIGRU-Attention-KG进行单独的分析，2种方法随着迭代次数的准确率变化如图6所示。可以看出，结合知识图谱后，模型的预测精度具有显著的提升，当迭代次数不断增加时，预测精度a也逐渐趋于不变。统观全局，未结合知识图谱的BIGRU-Attention预测精度最终为85.93%，而BIGRU-Attention-KG的在迭代150多次后一直保持在90.00%以上，充分说明提出方法的可行性和有效性。

图6 BIGRU-Attetion-KG与BIGRU-Attetion准确率对比Figure 6 Accuracy comparison of BIGRU-Attetion-KG and BIGRU-Attetion

4 结语

针对制丝工艺中松散回潮质量预测难度大、相关参数设置不稳定等难题，课题组提出了一种知识图谱和深度神经网络相结合的预测方法。首先从制丝工艺标准文件中抽取出与松散回潮相关的实体信息构建出知识图谱，进行统一的资源信息管理；其次利用词向量处理工具将知识图谱转换成可表示可操作的低维特征向量；然后，融合深度神经网络对输入的低维向量进行分析和预测。本研究实现了定性知识转化为定量分析再到定性输出的流程，经由案例验证了研究模型的可靠性，为松散回潮质量预测提供了新的思路。