基于偏好排斥等级BDI主体的决策行为研究

郝一江，陈亚楠

(1.中国社会科学院 哲学研究所， 北京 100732；2.南京大学 哲学系， 江苏 南京 210023)

一、引言

“行为”是人工智能、系统工程、哲学、军事等诸多领域的核心概念。从人工智能的视角来看，行动就是Agent(主体或智能体)“通过感知信息控制执行过程的算法”[1]。主体(Agent)是做知识级分析而且是有意识的系统，它强调理性作用，“是描述人类智能、动物智能和机器智能的统一模型”[1]；为了利用函数和数值形式化地描述其行为，可以把主体定义为从感知序列到实体动作的映射[2]。例如：人、具有高级智能的动物、仿人机器人、足球机器人、飞机、航母、月球探测仪、无人机等等都可以看作是Agent。因此，如何对理性Agent的决策行为进行形式化描述，是人工智能中一个经久不衰的话题。

主体和多主体的行为建模涉及的领域非常广泛，它们在电子商务、动画设计、机械设计、系统分布与设计、仿人机器人、军事仿真、网络安全、软件工程、复杂系统、空中交通系统、电信网络、业务流程、空间飞行器和医疗服务的管理和控制等诸多领域有着广泛的应用[3]，是分布式人工智能、系统工程等诸多领域研究的热点问题，国内外相关研究成果丰硕。

Linder等[4]认为：行动改变心智；根据主体的知识和信念可以定义主体运用信念改变行动的能力，而且这些定义是基于这样的理念：即执行可行行动可以得到主体所期望的事件状态。影响Agent行为决策和行为推理的主要因素是：信念(Belief)、愿望(Desire)和意图(Intension)，因而Agent典型的行为模型就是BDI(Belief-Desire-Intension，简称BDI)逻辑框架。应用最为广泛的主体模型是Rao和Georgeff[5- 7]提出的以分支时间逻辑为基础的BDI逻辑系统，该系统可以根据主体的信念、愿望和意图对Agent的行为决策和推理进行形式描述[8]。

目前，BDI的主体模型已经在计算机中得以实现，并在实际生产生活中得到了广泛应用，如在多主体系统的机器学习[9]、计算机生成虚拟兵力[10]等多个领域获得了应用，故引起了人工智能等领域的专家的极大关注。在具体的应用系统中，信念用来表示环境状态，愿望用来表示主体动机，意图用来表示主体目的。基于意图的主体结构应用最为广泛。意图系统描述的实体行动可以通过归因于某些心智态度的方法来预测，这些心智态度包括知识、信念、愿望、意图、义务、承诺(commitment)(或前态度(pro-attitudes))，等等[11]。

在Rao与Georgeff的BDI结构[6]基础上设计和开发的主体在不确定和动态环境中具有较好的性能。为了描述不同的主体，一些学者对Rao和Georgeff提出的BDI逻辑[5]进行了改进和扩展，例如：等级(graded)BDI逻辑[12- 13]、带有规范性慎思的等级BDI逻辑[14]、知识情感等级BDI逻辑[15]。此外，还有学者研究了BDI逻辑在有穷状态世界上的模型检测[16]、基于BDI逻辑的多主体系统中的学习问题[9]，等等。

偏好是具有意图的主体的积极态度，是促使主体采取行动的动力，在满足给定的约束条件的同时，制定适当的规划，以满足最为偏好的目标。在Casali等提出的偏好等级BDI逻辑中[17]，把进行实际推理的等级意图主体定义为一个多背景系统，然后在相应逻辑背景语言中给出了主体的信念、愿望和意图等心智态度的形式化表示，对其进行了公理化，并给出了这些心智态度的交互框架。虽然Casali等能够对带有偏好的BDI主体行为进行建模，但是该逻辑的真值取值范围是[0,1]，只能够处理正向偏好，无法处理负向偏好。

在本文中，为了能够同时描述带有偏好和排斥的主体的决策行为，减少模态算子的个数，笔者对Casali等提出的偏好等级BDI逻辑进行改进，并把其真值隶属度从[0,1]扩展到[-1,1]。为此，需要把偏好分为正向偏好和负向偏好，并规定：能够促使主体采取行动的偏好就是正向偏好(即常规意义上的偏好，如：喜欢、爱好、偏向、偏好)，其偏好测度值是取(0,1]之间的正实数；而阻止主体采取行动的偏好就是负向偏好(即常规意义上的排斥、讨厌、厌恶、不喜欢)，其偏好测度值是取[-1,0)之间的负实数；并规定：如果主体没有偏好，那么偏好测度值是0。通过这样处理后，把排斥看作负向偏好，在对“带有偏好和排斥的BDI主体的决策行为”进行描述时，只需要在经典的BDI逻辑中引入偏好算子，而不必专门引入排斥算子，这样就能够使得我们建立的模型与“Casali等只能够处理偏好但不能处理排斥的等级BDI模型”一样简洁，但是表达力却增强了。

二、偏好排斥等级BDI逻辑

利用表示偏好的模态算子，对Xiaojun Zhang等[13]提出的等级BDI逻辑(简称g-BDI逻辑)进行改进，可以得到偏好排斥等级BDI逻辑(简称pg-BDI逻辑)，该逻辑可以表征带有偏好和排斥的BDI主体的决策行为。需要特别说明的是：g-BDI逻辑中，主体的信念测度、愿望测度和意图测度(即其真值隶属度)是0到1之间的所有实数(记作[0,1])；而在本文给出的pg-BDI逻辑中，主体的偏好、信念、愿望、意图的真值隶属度是-1到1之间的所有实数(记作[-1,1])。

(一)偏好排斥等级BDI逻辑的语言

pg-BDI逻辑建基于命题动态逻辑[18]和扩展的无穷值ukasiewicz逻辑[19]。命题动态逻辑可以对主体的行为进行表示和推理。无穷值ukasiewicz逻辑可以对概率测度进行推理；在该逻辑中，命题真值介于0到1之间的所有实数，即[0,1]；真值函数包括：x=1-x和x→y=min(1,1-x+y)。本文为了处理排斥这类负向偏好，把该逻辑的真值隶属度的取值范围扩展到-1到1之间的所有实数(即[-1,1])。并规定：促使主体采取行动的正向偏好所对应的真值隶属度∈(0,1]；阻止主体采取行动的负向偏好所对应的真值隶属度∈[-1,0)；如果主体没有偏好(即非正向偏好也非负向偏好)，那么所对应的真值隶属度为0。

本文给出的pg-BDI逻辑是一种多模态逻辑，是扩展的无穷值ukasiewicz逻辑与命题动态逻辑糅合而成，属于人工智能逻辑的一个分支逻辑。偏好排斥等级BDI逻辑的语言Lpg-BDI是：使用形式为[α]的行动模态词(其中α是一个行动)和4个模糊模态算子P(偏好算子)、B(信念算子)、D(愿望算子)、I(意图算子)，对经典命题语言L进行扩展而成的。

规定：Pφ、Bφ、Dφ和Iφ分别表示主体偏好、相信、愿望和意图命题φ。P([α]φ,p)表示在执行行动α后，主体偏好命题φ的真值隶属度(即偏好度)为p。B([α]φ,b)表示主体相信在执行行动α后，相信φ的真值隶属度(即信念度)为b；D(φ,d)表示主体愿望命题φ的真值隶属度(即愿望度)为d；I([α]φ,i)表示在执行行动α后，主体意图φ为真的真值隶属度(即意图度)为i。

在本文中：φ,ψ表示命题，α,β表示行动，行动集、原子行动集、命题集和原子命题集、分别用Π、Π0、Φ和Φ0表示。语言Lpg-BDI表达式只有两种：命题和行动。

(1) 语言Lpg-BDI的公式φ通过如下方式归纳得到：

即：Lpg-BDI-公式是由原子命题、经典算子(否定算子)、→(蕴涵算子)和[ ](程序必然算子)通过归纳的方式加以定义，其中[α]φ表示每次执行行动α后，命题φ成立。

(2) 语言Lpg-BDI的行动α由原子行动通过如下方式归纳得到：

α∷=α0|α; β|α∪β|α*|φ?|

即：Lpg-BDI-行动是由原子行动通过归纳的方式，由不确定性选择算子“∪”、行动复合算子“;”、测试算子“?”和迭代算子“*”加以定义。而迭代行动αn(其中n是自然数，而且n≥0)由α0=id和αn+1=α; αn通过归纳方式加以定义。

(3) 如果φ∈Lpg-BDI，那么φ,Γφ∈ΓC；

(4) 如果r∈Q∩[-1,1]，那么rc∈ΓC，其中Q表示有理数的集合；

(5) 如果Γφ,Γψ∈ΓC，那么Γφ∧Γψ∈ΓC且Γφ→Γψ∈ΓC。

例如：当Γ是偏好算子P且φ∈Lpg-BDI时，由(3)可知：φ,Pψ∈PC(PC表示偏好背景)；当Γ是偏好算子P且Pφ,Pψ∈PC时，根据(5)可知：Pφ→ Pψ∈PC且Pφ∧Pψ∈PC。其他模态算子的理解与此类似。规定：模态公式Γφ →Γψ对应真值是1，其意思是，Γφ的真值大于或等于Γψ的真值。rc→Γφ表示φ的真值隶属度至少为rc，简记为(Γφ,rc)。

(二)偏好排斥等级BDI逻辑的语义

不同的可能世界对应于主体不同的心智状态。利用克里普克模型可以给出pg-BDI逻辑的语义。为此，利用对偏好进行处理的结构和函数λ，对Xiaojun Zhang等[13]的等级BDI逻辑进行扩展。即，为pg-BDI逻辑定义如下克里普克结构：K=〈W,ν,ρ,τ,θ,{μw}w∈W,λ〉，其中：

(6) W是可能世界集合，且可能世界w,w′∈W≠∅。

(7) ρ:2W→[-1,1]表示W子集上的概率测度；对于φ∈Φ0，{w| ν(φ,w)=1}是可测度的。

(8) τ:Π0→ 2W×W是指由不同原子行动所对应的可能世界之间的转换函数。

(9) θ:W →[-1,1]是信念测度，|θ(w)| < |θ(w′)|表示w′比w更被主体相信。

(10) μw:W→[-1,1]是愿望测度，μw(w′)∈[-1,1]表示主体试图从w到w′的愿望强烈程度。

(11) λ:W →[-1,1]是偏好对主体决策行为的影响测度，|λ(w)| < |λ(w′)|是指w′比w对主体决策行为影响更大。

利用关于偏好的语义，对Xiaojun Zhang等[13]的等级BDI逻辑的语义进行扩展，并把其真值隶属度从[0,1]扩展为[-1,1]，就可以得到pg-BDI逻辑的语义：

(12) ν(Γφ,w)=ξ{w′∈W | ν(φ,w′)=1}，对每个φ来说，其中ξ ∈{ρ,θ,μw,λ}。

(13) 对于所有r∈Q∩[-1,1]，ν(rc,w)=r。

(14) ν(Γφ∧Γψ,w)=max(ν(Γφ)+ν(Γψ)-1,-1)。

(15) ν(Γφ →Γψ,w)=min(1-ν(Γφ)+ν(Γψ),1)。

(16) 对于所有可能世界w∈W，ν(Γ⊥,w)=0。

(三)偏好排斥等级BDI逻辑的公理和演绎规则

与Xiaojun Zhang[20]的情感等级BDI逻辑类似，pg-BDI逻辑的公理包括三部分：一是经典命题逻辑的所有公理，二是基于无穷值ukasiewicz逻辑的Γ-公理，三是基于命题动态逻辑的模态公式Γ-公理(其中Γ∈{P,B,D,I})。这些公理具体如下：

(17) 经典命题逻辑的所有公理。

基于卢卡斯维茨逻辑的Γ-公理如下：

(19) Γ(φ→ψ) →L(Γφ→Γψ)

基于命题动态逻辑的Γ-公理如下：

(22)[α]Γ(φ→ψ) → ([α]Γφ→[α]Γψ)

(23)[α]Γ(φ∧ψ)↔ [α]Γφ∧[α]Γψ

(24)[α∪β]Γφ↔[α]Γφ∨[β]Γφ

(25)[α; β]Γφ↔ [α][β]Γφ

(26)[Γψ?]Γφ ↔(Γψ→Γφ)

(27) Γφ[α][α*]Γφ↔[α*]Γφ

(28) Γφ[α*](Γφ→[α]Γφ)↔[α*]Γφ

偏好排斥等级BDI逻辑的演绎规则有：

(30) 分离规则1(MP1)：从φ和(φ→ψ)可以推出ψ。

(31) 分离规则2(MP)：从(φ,r1)和(φ→ψ,r2)可以推出(ψ,r1& r2)。

(32) 真值常元引入规则：从(φ,r1) 可以推出(rc→ φ,rc→ r1)。

(33) 概括规则1(GEN1)：从φ可以推出[α]φ。

(34) 概括规则2(GEN2)：从φ可以推出Γφ。

pg-BDI逻辑具有完全性与可靠性，可以通过嵌入(embedding)的方法加以证明。具体证明过程与张晓君[21]96-110的情感等级BDI逻辑的可靠性与完全性的证明类似，即，通过把pg-BDI逻辑嵌入到命题动态逻辑或无穷值ukasiewicz逻辑中加以证明。

三、偏好排斥等级BDI主体模型的不同背景关系

主体为了达成愿望，需要根据偏好、排斥、信念、愿望，以及执行行动而导致的可能世界之间的转换，来制定规划(即复合行动)，并根据最佳规划执行行动。愿望背景DC、信念背景BC、偏好背景PC与规划背景HC之间关系如下：

(35) 如果P:(P([α]φ,p)),B:(B([α]φ,b)),D:(Dφ,d)且H:action(α,Pre-,Costα)，那么H:plan(φ,action(α,Pre-,Costα),b)。

其中：α是初始行动，Pre-是执行α的前提条件；Costα∈[-1,1]是主体执行α时付出的代价；p、b分别表示执行α达成φ时的偏好度、信念度；d表示愿望度。并假定主体的当前世界状态满足执行α的前提条件，而且规划必将使得相关愿望成真。

意图度表示达成命题φ时，主体将付出的代价并且获得的利益，因此对每个能够达成命题φ的复合行动α而言，Iφ的意图度i可以由Bφ的信念度b、Pφ的偏好度p、Dφ的愿望度d，以及达成φ时所付出的代价Costα加以定义，即可以利用如下转换函数加以定义：

(36) 如果P:(P([α]φ,p)),B:(B([α]φ,b)),D:(Dφ,d)，)且H:action(α,Pre-,Costα)，那么H:plan(φ,action(α,Pre-,Costα),b)，则I:(Iφ,f(p,b,d,Costα))。

不同主体行为可以由不同的转换函数f(p,b,d,Costα)来建模，利用函数f(p,b,d,Costα)，就可以把主体的信念、愿望、偏好和排斥对决策行为的影响都转化成意图度，即，Iφ的意图度i承载了偏好度p、信念度b、愿望度d和代价Costα所携带的信息。

根据具体要考察的模型，对主体信念、愿望、偏好和排斥对意图度的影响程度赋予不同的权重，并根据实践反馈的信息制定其相应的调参规则，而且在实际应用中可以对权重进行修改完善。例如，对于本文要考察的工作单位决策行为主体而言，我们指派给p,b,d和Costα对意图度影响的权重分别为0.35、0.16、0.21、0.28。即意图度i用如下转换函数f(p,b,d,Costα)加以定义：

(37) i=f(p,b,d,Costα)= 0.35p+0.16b+0.21d+0.28Costα

在可供选择的工作单位中，假定理性主体选择意图度最强imax的工作单位。即，如果理性主体的愿望是达成φ，那么主体将选择意图度最强烈的imax所对应的工作单位，并制定相应规划，之后主体把这一规划传达给交流背景C。即：

(38) 如果I:(Iφ,imax)且H:bestplan(φ,action(α,Pre-,Costα),b)，则C:C(does(α))。

四、案例分析：偏好排斥等级BDI主体工作单位决策行为的形式刻画

考虑以下情景：小王大学毕业时面临工作单位的选择决策。假设小王是带有偏好和排斥的等级BDI主体。为此，我们指派给该决策主体这样3个愿望：一是工资高；二是待遇好(比如有住房、安家费、科研启动费等)；三是自己感兴趣。我们指派给该决策主体如下这样3个偏好：一是偏好有发展前途的公司；二是偏好发达的大城市；三是偏好交通便利的城市。我们指派给该决策主体如下这样3个排斥：一是排斥工作压力大的公司；二是排斥环境差的城市；三是排斥离父母家太远的公司。

为了决定所要选择的工作单位，主体将根据自己的信念、愿望、偏好和排斥，综合考虑工作单位所带来的利益(一是工资高；二是待遇好；三是自己感兴趣)，以及负面偏好和工作压力等所付出的代价。此实例中，不同决策行为就是选择不同的工作单位；假定小王有3个工作单位可供选择：

(39) Π0={公司A、公司B、公司C}。

在这种情况下，偏好背景PC、愿望背景DC和信念背景BC如下：

偏好背景(PC)：我们可以赋予该主体如下3个正向偏好：

(40) P([公司A]有发展前途,p1=0.80)

(41) P([公司B]有发展前途,p1=0.90)

(42) P([公司C]有发展前途,p1=0.33)

(43) P([公司A]发达城市,p2=0.79)

(44) P([公司B]发达城市,p2=0.63)

(45) P([公司C]发达城市,p2=0.90)

(46) P([公司A]交通便利,p3=0.92)

(47) P([公司B]交通便利,p3=0.82)

(48) P([公司C]交通便利,p3=0.85)

(49) P([公司A]压力大,p4=-0.66)

(50) P([公司B]压力大,p4=-0.95)

(51) P([公司C]压力大,p4=-0.41)

(52) P([公司A]环境差,p5=-0.93)

(53) P([公司B]环境差,p5=-0.80)

(54) P([公司C]环境差,p5=-0.45)

(55) P([公司A]离家远,p6=-0.20)

(56) P([公司B]离家远,p6=-0.30)

(57) P([公司C]离家远,p6=-0.95)

在该实例中，P([公司A]有发展前途,p1=0.80)的偏好度p1是指在执行行动α(即选择工作单位A)后，有发展前途的概率测度或真值隶属度是0.80，即选择公司A对意图的影响程度为0.80；由于此真值隶属度为正值，会促使主体选择该工作单位。其他偏好度与此类似。“有发展前途、发达城市、交通便利”这3个偏好都会促使主体选择所对应的工作单位，属于正向偏好，故所对应的真值隶属度∈[0,1]。

排斥可以看作是负向偏好。“压力大、环境差、离家远”这3个排斥都会阻止主体选择所对应的工作单位，属于负向偏好，故所对应的真值隶属度∈[-1,0]。真值隶属度的绝对值越大，对相应公司选择的影响就越强烈。例如，P([公司A]环境差,p5=-0.93)的负向偏好度或排斥度p5是指在执行行动α(即选择工作单位A)后，环境差的概率测度或真值隶属度是-0.93，即选择公司A对意图的影响程度为-0.93。由于此真值隶属度为负值，会阻止主体选择该工作单位。在这三个公司中，公司A所对应p5的绝对值最大，说明其环境最差。本文中的其他测度与此类似。

假定这3个偏好和3个排斥是随机独立的，为此，根据这3个偏好和3个排斥对小王意图影响的不同权重，可以为偏好背景PC指定如下推理规则：

(58)如果P([α]有发展前途，p1)且P([α]发达城市，p2) 且P([α]交通便利，p3)且P([α]压力大，p4)且P([α]环境差，p5)且P([α]离家远，p6)，那么P([α]有发展前途∧发达城市∧交通便利∧压力大∧环境差∧离家远(以下简记为：3个偏好∧3个排斥)，p= 0.31p1+0.18p2+ 0.16p3+ 0.12p4+0.10p5+0.13p6)。因此，把前面偏好背景中的p1-p6的值分别代入p中，可得：

(59) P([公司A]3个偏好∧3个排斥，p=0.339 2)

(60) P([公司B]3个偏好∧3个排斥，p=0.290 6)

(61) P([公司C]3个偏好∧3个排斥，p=0.182 6)

愿望背景(DC)：我们可以赋予该主体这样3个愿望：

(62) (D(工资高),d=0.90)

(63) (D(待遇好),d=0.82)

(64) (D(感兴趣),d=0.88)

(65) (D(工资高∧待遇好∧感兴趣),d=0.98)

由于此实例中的3个愿望都是正向愿望，其真值隶属度∈[0,1]。真值隶属度越大，表示其愿望越强烈。

信念背景(BC)：理性决策主体小王具有“执行相应行动后”哪些公式为真的知识。在该实例中，B([公司A]工资高，b1)的信念度b1是指在执行行动α(即选择工作单位A)后，相信工资高的概率或满意程度，属于正向信念，所对应的真值隶属度∈[0,1]。其他信念与此类似。我们不妨为这一决策主体赋予如下信念：

(66) B([公司A]工资高,b1=0.70)

(67) B([公司B]工资高,b1=0.95)

(68) B([公司C]工资高,b1=0.52)

(69) B([公司A]待遇好,b2=0.79)

(70) B([公司B]待遇好,b2=0.61)

(71) B([公司C]待遇好,b2=0.70)

(72) B([公司A]感兴趣,b3=0.87)

(73) B([公司B]感兴趣,b3=0.92)

(74) B([公司C]感兴趣,b3=0.61)

根据它们对小王意图影响的不同权重，可以为信念背景BC指定如下推理规则：

(75) 如果B([α]工资高，b1)且B([α]待遇好，b2)且B([α]感兴趣，b3)，那么B([α]工资高∧待遇好∧感兴趣，b=0.45b1+0.30b2+0.25b3)。因此：

(76) B([公司A]工资高∧待遇好∧感兴趣,b=0.769 5)

(77) B([公司B]工资高∧待遇好∧感兴趣,b=0.840 5)

(78) B([公司C]工资高∧待遇好∧感兴趣,b=0.596 5)

规划背景(HC)：由于付出的代价对采取行动(即选择某公司)的影响是阻止性的，故其真值隶属度∈[-1,0]。假设3个原子行动对应的代价如下：

(79) action(公司A,Costα=-0.77)

(80) action(公司B,Costα=-0.83)

(81) action(公司C,Costα=-0.36)

由于最强烈的愿望是工资高、待遇好而且感兴趣。此愿望所产生的规划如下：

(82) plan(工资高∧待遇好∧感兴趣，action(公司A,Costα=-0.77)，b=0.769 5)

(83) plan(工资高∧待遇好∧感兴趣，action(公司B,Costα=-0.83)，b=0.840 5)

(84) plan(工资高∧待遇好∧感兴趣，action(公司C,Costα=-0.36)，b=0.596 5)

现在，主体可以根据规划所对应的偏好和排斥来判断意图的强烈程度。根据(40) f(p,b,d,Costα)=0.35p+0.16b+0.21d+0.28Costα可知，d相对于转换函数f而言是单调递增的，故理性主体小王只考虑最强烈的愿望，即选择工资高、待遇好而且感兴趣的工作单位，该愿望的强烈程度d是0.98。因此这3个公司所对应意图的强烈程度如下：

(85) I([公司A]工资高∧待遇好∧感兴趣，i=0.35p+0.16b+0.21d+0.28Costα=0.232 04)

(86) I([公司B]工资高∧待遇好∧感兴趣，i=0.35p+0.16b+0.21d+0.28Costα=0.209 59)

(87) I([公司C]工资高∧待遇好∧感兴趣，i=0.35p+0.16b+0.21d+0.28Costα=0.264 35)

由此可见，意图度逐渐递减的公司排序如下：公司C、公司A、公司B，主体在兼顾其3个愿望、3个偏好和3个排斥的情况下，最终选择公司C的意图最为强烈，公司C为最佳公司，公司B最次。这里算出的意图度都不高，主要是由于信念度、愿望度和偏好度均小于1，各种权重也小于1，经过乘积运算后，其值更小；而且代价对意图度的影响是负值。

最后，主体采纳最佳规划，执行行动，即选择工作单位C，这一行动信息随后就传递给交流背景。

五、结论和未来的工作

下一步的工作可以考虑：(1)建立带有通用算子的等级BDI主体模型，考虑在等级BDI模型的基础上，引入“可以解释为(关键性)知识和情感(如高兴、悲伤、担心)等等的”通用算子；(2)把偏好排斥等级BDI主体模型扩展到多主体环境中，即描述该主体与其他主体的交互行为；(3)偏好排斥等级BDI主体系统的可计算性和计算复杂性问题；(4)深入开展偏好排斥等级BDI逻辑的应用研究，更好地为Agent理论的诸多应用领域服务。