(北京化工大学信息科学与技术学院,北京 100029)
人机监控界面是工控系统的重要组成部分,其性能对于整个过程监控系统的高效工作起着至关重要的作用。而目前的工控人机监控界面普遍存在交互性能不足、缺乏智能性、灵活性差等问题[1]。同时工业生产过程日趋复杂,数据信息量庞大,导致操作员的监控负担变得越来越重。因此,对于智能、高效的人机交互监控系统的需求显得十分迫切。
Agent技术为人机交互[2-6]与工业监控[7-9]领域提供了一个新的发展方向。利用Agent对外界环境的自适应、运用自身知识自主处理问题和自学习的能力[10-11],提出了一种基于Agent技术的工业监控智能人机交互系统。该系统的特点是可学习监控人员的历史经验并预测其操作意图,为监控操作提供相应的指导建议,提高系统监控效率。
在对传统工业组态监控系统的人机交互界面的研究基础上,提出一种基于Agent的工业监控智能人机交互系统,其结构如图1所示。
图1 基于Agent的工业监控人机交互系统结构
系统主要分为上、下两层。监控人员和人机交互Agent共同构成系统的上层,人机交互Agent可以作为操作员的智能代理,监控人员的任何操作和命令下达都是通过人机交互Agent实施的,同时监控人员通过人机交互Agent获取现场的状态反馈和各种异常信息。各种监控功能集合构成系统的下层,这里将工业过程监控功能分为分析、流程、控制、趋势、报警和报表6大类。其中,分析是对传统工业监控系统扩展后的一项功能,包括:①被控变量的偏差信息分析,用于评价控制器的控制性能情况;②监测变量与报警限的偏差信息,用于分析系统可能会出现的报警情况;③监测变量的均值和方差信息,用于评价生产过程的平稳程度。
人机交互Agent设计为一类慎思型结构[12],具有较高的学习和推理能力。其中,知识库包含了Agent自身知识、功能目标、用户列表,以及用于推理所需的规则知识等。人机交互Agent通过感知操作人员的动作执行过程,提取出交互动作序列,进行动作行为学习,从而实现对监控人员操作意图的预测,最后将预测结果整合为操作指导建议。
人机交互Agent的决策推理采用基于经验知识的交互学习和动作预测方法,通过挖掘用户历史经验,即提取用户的历史操作动作序列,构建人机交互动作序列库,并结合当前环境(包括系统状态和用户当前操作),预测出用户未来的操作意图,从而为用户进行下一步动作提供相应的操作建议。通过对用户操作模式的学习和预测,一方面,充分发挥计算机的自身优势,减少操作员的认知和记忆负担,防止操作员因监控疲劳而产生的监控不及时或操作失误;另一方面,动作预测为操作员提供最为可能的几种操作建议,可帮助操作员快速而准确地处理各种异常情况,以做出更为准确合理的动作决策。相比于只完全依靠操作员自身对所有可能的情况进行选择,减少了决策所需时间并降低了用户的操作负担,从而有效提高了工控人机交互系统的监控效率。
由于工业监控过程的复杂性,用户的操作经验不再是低粒度的原子操作(如鼠标的单击、双击、按键等),而是针对某种情况所采取的某个或某些高层次的交互动作,如反应罐的液位过高,调整对应出口(或进口)阀门,调节控制器PID参数等。因此,系统的交互动作可定义为一个六元组:
Action=
其中,actionID为该交互动作的标志,具有唯一性;actionName为交互动作的名称,不同的动作标志可能具有相同的动作名称;object为该动作的作用对象;position为动作发生的位置;time为该动作发生的时间;effect为动作执行的效果评价,且effect∈[0, 1],该值越接近1,表明用户对该动作产生的效用越满意,反之,用户满意度低。
定义A={a1,a2,…,ai,…,an}为一组用户交互动作的有限集合,其中,ai为用户的操作动作;St={st1,st2,…,sti,…,stm}为一组系统状态的有限集合;Sij={(Sti,Aj)|Sti⊆St,Aj⊆A,i,j∈N+}为用户交互动作序列,其中Sti为整个系统状态St的序列子集,Aj为所有交互动作A的序列子集;k=len(Aj)为动作序列Aj的长度。
鉴于工业监控过程的复杂性和不确定性,即使处于同样的状态下,同一操作人员所采取的动作也可能不完全一样,这也是工业监控人机系统与其他人机交互系统的一个重要不同处。为了表明这种可能性,引入一个动作频率函数num(st,a),表示在状态st下动作a发生的次数。因此,动作a发生的概率可表示为:
(1)
基于经验知识的交互学习与动作预测首先需要构建交互动作序列库,然后才能进行相应的动作预测。
① 交互动作序列库构建
交互动作序列库的构建是对监控人员的历史操作经验进行学习的过程,可通过登陆系统的用户名来区分不同的监控员,分别拥有各自不同的交互动作序列库。一个监控人员的交互动作序列库也可以供其他监控人员使用,因此对于不熟练的监控员,可以充分利用具有丰富经验的监控人员的动作序列库,从而有效地帮助其做出更合理的监控操作。
为增强交互动作学习和预测的可靠性,在构建交互动作序列库的过程中,特别增加了预交互动作和预交互动作序列两个辅助概念。将第一次出现的用户动作作为预交互动作,所构成的集合为预交互动作集合,同理其组成的交互动作序列为预交互动作序列。假定操作员当前正在执行的动作为a,交互动作集合为A,预交互动作集合为B,交互动作序列为S,预交互动作序列为S′,同时限制交互动作序列的最大长度为N,以降低交互学习过程的复杂度。如果a为一个新操作行为,即a既不属于A,也不属于B,则将a加入预交互动作集合B,并产生一个以a为结束项的预交互动作序列;如果a∈B,则以a为结束项,将连续的若干动作序列与预交互动作序列相比较,将其中以a为结束项的相同动作序列加入到交互动作序列库中,并将a加入到交互动作集合A中;若a∈A,则在交互动作序列库中搜索与其局部匹配的动作序列S,如果存在这样的序列,则更新该动作序列中a的执行频率;否则,表明可能存在一个新的交互动作序列Snew。
交互动作序列库构建的算法流程如图2所示。
图2 交互动作序列构建的算法流程图
② 交互动作预测
交互动作序列库构建完成之后,则可根据当前系统状态和操作对用户下一步的操作动作进行预测。这里,采用综合最大动作序列匹配长度和最大动作执行概率的方法对用户的操作意图进行预测。当动作序列匹配长度L越大(L≤N,N为动作序列长度的上限值),其对应的动作发生概率也更大。因此,定义动作序列匹配长度概率为:
(2)
式中:d表示选取前d个最大序列匹配长度作为候选预测动作范围,该参数可根据具体情况进行设定,一般选取d=3~5;L为序列匹配长度值,且L≤N。
交互动作预测原理如下。首先,在当前系统状态st下,以当前用户动作a为结束项,逐步向后递增动作序列长度L,并与交互动作序列库中的动作序列进行比较匹配,得到前d个最大匹配长度中的所有预测动作候选集合C。然后计算每个候选预测动作的执行概率Pn和对应的序列匹配长度概率PL。最后通过式(3)计算每个预测动作的综合发生概率R:
R=αPL+(1-α)Pn
(3)
式中:α(0≤α≤1)为评价两个概率指标的权重因子,是对所预测动作的执行频率和序列匹配长度的一种折中处理。若取α=1,表示只考虑最大动作序列匹配长度;若取α=0,则只考虑最大的动作发生频率。
交互动作预测算法的具体流程图如图3所示。这里是从最大序列长度N开始逐步递减匹配序列长度L,直到搜索到d个满足要求的匹配序列为止。这不仅便于算法的计算机编程实现,并且大大减少了搜索时间。
图3 交互动作预测的算法流程图
系统运行过程中,如果所预测的动作发生概率R过小,不仅达不到有效的预测效果,反而会妨碍操作人员与系统之间的正常交互,影响人机交互体验。因此,在预测过程中增加了一个动作预测概率阈值Rt,只有当R≥Rt时,此次预测过程才是有效的,否则预测结果无效。
伴随着操作人员与系统之间的不断交互学习,系统最终预测的动作发生概率R是逐渐增大的。因此,概率阈值Rt就需要根据系统实际使用情况进行合理设定,才能获得最佳的动作预测效果。
③ 预测过程的Petri网模型
为了对人机交互Agent的动作预测过程进行描述和分析,可以采用Petri网对其进行建模。Petri网中的库所表示人机交互Agent的预测结果,变迁代表了所预测结果的发生概率,库所中Token代表了用户实际所执行的操作动作。预测过程Petri网模型如图4所示。
图4 预测过程Petri网模型
图4(a)所示为一个典型预测过程的Petri网模型实例,ST表示当前系统状态,在动作P1之后存在两个变迁T2和T3,表示预测动作P2和P3的发生概率R都比较大,因此就分别有预测动作P4和P5,最终两种情况下的预测动作都为P6。通过Petri网能够形象地描述人机交互Agent的动作预测过程,同时还能发现针对同一种情况的不同处理过程,为用户提供更多可选操作方案。
图4(b)为Petri网模型的覆盖树,基于覆盖树分析法[13],可做出如下分析:①树中所有节点都没出现ω,Petri网是有界的,并且所有节点仅包含0或1,因此Petri网是安全的;②所有变迁都在树中出现,因此不存在死变迁,存在一个死标志m6,这也是Petri网运行结束的标志;③根据覆盖树性质,该Petri网是活的。
为了对所提出的智能人机交互监控方法进行分析验证,对工业二甲基甲酰胺(dimethylformamide,DMF)回收过程进行研究。DMF回收的废液浓缩工艺流程如图5所示。
图5 DMF废液浓缩工艺流程图
由图5可看出,系统主要包括一级浓缩塔T101和二级浓缩塔T102两大部分,附带2个再沸器和2个冷凝器。监控变量包括2个浓缩塔的液位、压力、温度、出入流量等,以及2个冷凝器的液位。
当LI101高限报警发生后,人机交互Agent动作预测过程的Petri网模型如图6所示。表1为Petri网模型中库所代表的含义。通过对动作预测Petri网进行覆盖树分析可知,人机交互Agent的动作预测过程是安全的,且预测过程中不存在死变迁,直到最终库所P13,预测过程结束,等待进行下一事件过程的预测开始。
图6 动作预测Petri网模型
表1 Petri网中库所的含义
由上述分析实例可知,该人机交互监控系统不仅可以利用专家经验知识,还能较好地学习跟踪监控人员的历史操作经验,并在遇到相同情况下迅速做出动作预测,为监控人员提供及时有效的操作建议。对于新的或不熟练的操作人员,也可以充分利用已有的历史经验库,有效地辅助操作人员进行监控,提高过程监控效率,从而改善工业监控系统的人机交互体验。
针对传统工业监控系统中的人机交互过程存在的不足,提出并实现了一种基于Agent技术的工业监控智能人机交互系统结构。本文设计了位于监控人员和工控界面之间的智能代理——人机交互Agent,可对监控人员的历史操作经验进行在线挖掘和学习,并预测下一步最有可能发生的监控动作。工业监控实例说明该智能人机交互方法可较好地跟踪和学习监控人员的历史操作经验,并为监控操作提供有效的操作建议。今后的研究工作将进一步完善系统模型结构,提高人机交互动作预测的可靠性。
[1] 童启明.控制系统数字仿真与监控组态软件应用[M].北京:科学出版社,2006.
[2] 王滔,费敏锐,雷电.Multi-Agent技术在工业监控界面体系中的研究与应用[J].中南大学学报:自然科学版,2005,36(1):647-651.
[3] Yang H,Li P,Fu S,et al.Multi-agent modeling & realization for interface system of industrial monitor and control system under X3D[C]//Proceeding of the 2011 IEEE International Conference on Electric Information and Control Engineering,2011:5114-5117.
[4] Kawamura K,Nilas P,Muguruma K,et al.An agent-based architechture for an adaptive human-robot interface[C]//Proceeding of the 36th Annual Hawaii International Conference on System Sciences,2003:6-9.
[5] Kira A,Nichols D M,Apperley M.Human communication in customer-agent-computer interaction:face-to-face versus over telephone[J].Computers in Human Behavior,2009,25(1):8-20.
[6] Ezzedine H,Kolski C,Peninou A.Agent-oriented design of human-computer interface:application to supervision of an urban transport network[J].Engineering Applications of Artificial Intelligence,2005,18(3):255-270.
[7] Pirttiojat,Halme A,Pakonen A,et al.Multi-agent system enhanced supervision of process automation[C]//Distributed Intelligent Systems:Collective Intelligence and its Applications,2006:151-156.
[8] Nikrazm,Bahri P A.An agent-oriented approach to integrated process operations in chemical plants[C]//38th European Symposium of the Working Party on Computer Aided Process Engineering,2005:1585-1590.
[9] Gao Y,Shang Z G,Kokossis A.Agent-based intelligent system development for decision support in chemical process industry[J].Expert System with Applications,2009,36(8):11099-11107.
[10] Wooldridgem J,Jennings N R.Intelligent agent: theory and practice[J].Knowledge Engineering Reviewer,1995,10(2):115-152.
[11] Tweedalej,Ichalkaranje N,Sioutis C,et al.Innovations in multi-agent systems[J].Journal of Network and Computer Applications,2007,30(3):1089-1115.
[12] 杨鲲,翟永顺,刘大有.Agent:特性与分类[J].计算机科学,1999,26(9):30-34.
[13] 袁崇义.Petri网原理[M].北京:电子工业出版社,1998.