一种面向机器的人工情感模拟框架研究

陈俊浩 ，姜大志 ，2

（1.汕头大学工学院计算机系，广东 汕头 515063 2.智能制造技术教育部重点实验室（汕头大学），广东 汕头 515063）

0 引言

人工智能是指利用计算机、机器人等设备搭建的系统所表现出的智能.随着深度学习技术、知识规则库表达技术、自然语言处理技术的发展，人工智能学者慢慢认识到客观上存在着人类认知的不确定性，于是开始对不确定性处理进行研究.至此，人工智能跨入了与哲学、心理学等学科相结合的综合型智能时代.

人工情感计算是人工智能领域一个重要研究方向，麻省理工学院的Picard教授于1995年首次提出情感计算的概念，并在两年后出版的《Affective Computing》[1]把情感计算定义为是一种与情感有关、源自于情感的或可能对情感附有影响的计算.

2008年，麻省理工学院研究团队设计出首个情感机器人“Nexi”，“Nexi”能理解人说出的语言，还能对不同人的不同语言做出相应的反应，通过转动身体，皱眉，闭上眼睛和打手势等行为表达情感.2017年，清华大学的研究团队提出情绪聊天机，第一次解决了大规模会话生成中的情感因素的工作[2].我国也对人工情感有深入的研究.脸部运动编码系统首次实现人脸识别；“MPEG-4V2视觉标准”使用一定数量的表情组合用于模拟日常人类的表情.

人工情感计算通过创建并更新记忆库，使用深度学习、建立情感转移模型等技术对记忆库和外在事件的分析从而综合得出机器情感并进行表达.在此领域中，格林大学完成了基于记忆的专家系统情感设计的机器解释[3].人工情感计算通过赋予机器表达、识别、理解、人的情感的能力以建立和谐的人机环境，使计算机智能化全方位地增强，它对计算机科学的发展具有十分深远的意义.如果说传统计算机只是反映了理性思维，也就是重现了人类的“脑”.那么，人工情感计算将为它增添了感性思维，也就是重现了人类的“心”.人工情感扩展并包容了情感智能，而情感智能则是人类智能思维中的一种高层次的智能.人工情感的应用前景非常广泛，可以为有情感、意识和智能的服务机器人的设计提供技术支持；可以促进搜索引擎的人性化；可以让人机交互系统变得更加和谐等.

然而，脑科学对于人脑记忆的海马、杏仁核等区域研究也没有完全研究透彻，因此人工情感模拟现在存有一些未曾解决的问题.现有人工情感模拟很少结合回忆进行分析，只是根据当前的经历来调整情绪，与人类的实际表现不符；另外，同一套人工情感计算模型的不同机器的不具有明显的差异化.

Bower[4]提出的情绪一致性理论有助于对人工情感的构建.本文主要以人工机器的情绪分析为研究对象，结合回忆库的建立和基于情绪一致性的情绪随机变化机制，提出了“基于回忆库的回忆机制和随机机制模型”，应用回忆机制和不确定性机制模型为情感的变化进行分析和拟合，以达到符合人类直觉和认知概念的情感感知机理，通过研究模型对输入事件的情绪改变来实现并进行通用性评估，来验证本文的理论模型的正确性.

本文的主要创新点如下：

创新点一：把情绪一致性的心理学理论应用到人工情感分析中.目前的人工情感分析问题，多为针对特定应用背景下情感模型转换，而很少对回忆进行分析.本文首先介绍情绪一致性的含义，然后建立一套基于情绪一致性的不确定性情绪影响机制，并以此在回忆库进行情绪仿真实验.实验的结果与现实中人类的情绪变化更为接近.

创新点二：提出了情绪放大镜的概念.目前的人工情感分析问题，多为针对输入事件的分析，没有结合自身的情绪对输入事件的分析方法进行调整.心理学已经证明了人处于极端情绪时情绪的改变比在心情平和的时候更激烈.基于此理论基础，本文提出了情绪放大镜的概念，并应用到不确定性情感模型中.

1 理论基础

情感的产生与变化的复杂导致人工情感模拟理论进步缓慢.在18世纪，为了解决这个难题，心理学、生理学、社会学等领域的研究者开始对情感的认知和原理进行研究，产生很多相关理论来描述情感产生的原因.1872年，Darwin首先提出了三原则理论[5].1884年Cannon提出James-Lange理论[6]；著名的Cannon-Bard理论[7]和Lazarus理论[8]也在随后几年被提出来.

心理学中，情感相关的词汇有很多，且具有不同的意义，例如emotion、affective、sentiment、affect、mood等，相似的中文翻译也有感情、情感、情绪、情节等.从严肃的心理学角度来说，情感、情绪、情节和感情是4种不同的概念[9-10]，但在计算机科学的角度里，这些词语意义相同，并被统一定义为“情感”.描述情感有两种方式，分别是离散情感状态和维度情感空间[9-10].

心理学的研究证明，扁桃核、丘脑下部和海马体等部位构成的边缘系统和情感记忆是有关系的.边缘系统和大脑皮层共同形成人脑的功能.半个世纪以来，脑科学、心理学、认知科学和智能化科学等领域在诱发情感的相关研究中已经有了一定的突破，人类对诱发情感理论的构建也越来越完整.

Bower[4]提出的情绪一致性记忆理论证明情绪对记忆，情绪行为和其他过程有直接影响.该理论说明，个体经历了一种情绪时更倾向于以一种与自身当前情绪相同的方式去解释这一段经历.也就是说，当前的积极情绪能够放大积极信息的印象和回忆，而当前的消极情绪能够放大消极信息的印象和回忆.1986年，Blaney[11]定义情绪一致性记忆为“与提取或编码时的情感状态具有相同的情感的促进作用”.21世纪初，庄锦英把情绪一致性记忆进一步简述为：人们陷入某种情绪时会更倾向于放大与该种情绪一致的信息[12].

李芳认为，情绪一致性记忆有3种理论模型，即情感渗透模型的认知模型，关联网络模型和适当的迁移处理理论.其中，与情感认知和加工相关的理论模型是情绪渗透模型.2012年，Eich和Forgas正式提出情绪渗透模型来解释情绪连贯效应的拟合模型，然后将其扩展到其他认知领域，如记忆，选择和学习.他们认为，情感会影响个体的学习、记忆、选择等，个体对结果的情感感知会与当前情绪相同的方向靠近，它的特点是个体感知时间时对当前情绪的额外加工会决定个体最后的情绪.图1是情绪一致性记忆的理论模型.

2 基于回忆库的人工情感模型

该模型建立回忆库，模型遭遇事件输入后，根据回忆库中的回忆事件和当前的情绪值进行回忆机制和不确定性机制的分析，最后得出机器遭遇事件后的情绪值，随后把该事件作为新的回忆输入到回忆库，如图2.

2.1 回忆机制

实现回忆机制，首先需要为机器建立回忆库，回忆库中存储的是机器经历过的所有事件，事件的存储方式不限，可以是图片，也可以是文字或视频.然后对每一个事件进行情绪值e的标记和权重w的标记.本模型使用的情绪值的取值范围是[-1，1]（e∈R）.e＝-1时，代表情绪极差；e＝1时，代表情绪极好.权重w代表的是该事件在记忆库中的重要程度，要求所有事件w的和为1.根据不同的回忆库建立方法，对回忆库进行匹配操作，匹配出回忆库里n个最可能被回忆起的事件（在本文中，n＝3）.由于回忆库建立的形式不限，这里无法得出统一的匹配算法.在结论一章本文的实验里，建立了以图像形式组织的回忆库，会给出图像的相似度匹配方法.

图2 基于回忆库的人工情感模型流程

根据公式1计算出回忆起每张图的概率：

其中，pi是有可能回忆出的事件的回忆概率（i＝1，2，3）；n是回忆库的回忆事件总数；a是回忆常数，值为xi定义为回忆的重要度，用来衡量该回忆库的事件，计算公式为：

wi是匹配出的第i个事件在整个回忆库所占的权重.算出p1，p2和p3后，分别对三个概率值进行标准化：

对pi的结果画出回忆轴，如图3所示.

图3 回忆轴

ran为0-1的随机数模拟，如图3所示，若ran落入（p0，p1）区域时，表明该模型使机器回忆起第一个匹配出的事件；若ran落入（p1，p2）区域时，表明该模型使机器回忆起第二个匹配出的事件；若ran落入（p2，p3）区域时，表明该模型使机器回忆起第三个匹配出的事件；若ran落入（p3，1）区域时，表明该模型在接受事件后没有产生任何的回忆.

根据随机值落入的区域对情绪值e进行调整，调整的方法如公式（4）所示：

图4为回忆机制的简化流程图.

图4 回忆机制的简化流程图

2.2 不确定性机制

右脑提供的想象力导致人类有时候能被完全与当前情景完全无关的事情或情绪影响——爬山的时候可能有人会想起恐怖分子的恐怖袭击；上课的时候可能有学生想着晚上该吃什么；也有可能是在吃饭的时候，受到了莫名的悲伤情绪影响.

不确定性影响并不是完全的随机，所有能影响人的随机因素其实都是存在于人的回忆库当中，有些化为潜意识[14]，不被人察觉，所以才会给人一种杂乱无章、完全随机的错觉.这种现象本文称之为不确定性影响.因此，不确定性影响的实质就是以回忆库中所有事件作为蓝本，若回忆库当中完全没有相关信息，就说明没有进入人的认知之中，这种情况下是不可能会受到影响的；而情绪的改变，一定是源于回忆库里的事件.基于此，本文提出了计算不确定性影响的模型.

根据情绪一致性原理，对回忆库中所有事件进行权重w的调整：情绪值为正时，受到正面影响的概率增加，受到负面影响的概率减少；反之，情绪值为负时，受到负面影响的概率增加，受到正面影响的概率减少，如公式5所示：

心理学进一步通过大量的实验证明，人在情绪越极端的时候，受到随机事件的影响的概率就会比情绪平和的时候更大，原因是人们情绪处于极端状态的时候右脑（与想象力有关）的影响力会大于左脑（与逻辑推理有关）的影响力.为了让机器也能表现出这样的特性，本文提出情绪放大镜的概念.

情绪放大镜的值受当前一刻的情绪值影响，计算公式为：

根据公式（7）和（8），判断是否受到随机情绪影响：

ψi是情绪受回忆库中的第i个事件影响的概率值（其中ψ0＝0），对ψi进行的标准化分析，并用结果画出随机影响轴：

图5 随机影响轴

如图5所示，ran为0-magnifying的随机数模拟.若ran落入（ψi-1，ψ）i区域，表明该模型在接受事件后受到了回忆库中第i个事件的影响；若ran落入（ψn，1）区域，表明该模型在接受事件后不受随机情绪/事件影响.

根据随机值落入的区域对情绪值e进行调整，调整的方法如公式（9）所示：

图6为不确定性机制的简化流程图.

图6 随机机制的简化流程图

3 仿真实验

3.1 著名的人工情感图像数据集

人工情感对于图像的研究需要有人工情感图像数据集作为支撑.它的质量直接决定了本模型的测试结果的准确度.计算机领域内存在很多人工情感图像数据库，但没有具体的建立标准，图像情感的分类也没有进行确切的规定.比较权威的图像情感数据集是 ArtPhoto[15]、Abstract[15]、GAPED[16]、IAPS[17]、Tweet[18]等.

本文基于图像的情感分析[19]，在Python 3.7.1平台使用Machajdik的Abstract数据集[20]进行实验.Abstract数据集内有280张图片，本实验选用前140张作为程序的回忆库，即n＝140，后140张图片作为可输入事件的备选，用于测试本文提出的两种机制模型.使用函数随机生成每张图片的权重w，使得140张图片的权值之和为1.由于本模型只涉及高兴、悲伤、平和的单维度情绪，因此只提取了Abstract数据集中的Amusement和Sad标注，对这两个属性进行标准化后得出本实验的情绪值标注emotion.

3.2 实验结果

本实验分为三组.第一组在初始情绪为积极、消极、平和的3种状态中输入情绪平和的图片，第二组和第三组在同样的状态下分别输入情绪积极的图片和情绪积极的图片.实验的对照组设置为把图片的emotion标注直接作为事件的情绪改变值.实验检验经历事件后机器的情感变化.

第一组的实验中，取五张情绪值分别为-0.2、-0.1、0、0.1、0.2的图片作为事件输入，每张分别输入60次于实现了本文模型的程序运行，以及对照组程序运行.设置事件输入前的情绪值eorigin分别为-0.5、0和0.5，实验结果如图7～12.

图7 对照组300张平和的事件输入eorigin＝－0.5

图9 对照组300张平和的事件输入eorigin＝0

图10 实验组300张平和的事件输入eorigin＝0

图11 对照组300张平和的事件输入eorigin＝0.5

图12 实验组300张平和的事件输入eorigin＝0.5

第一组实验表明，说明当机器的事件输入为既不消极也不积极的事件时，机器的情绪改变取决于它的初始情绪值：当机器的初始情绪消极时，变得更消极的概率增加（如图7和图8）；反之，机器的初始情绪积极时，变得更积极的概率增加（如图11和图12）.

第二组的实验中，取5张情绪值分别为0.9、0.8、0.7、0.6、0.5的图片作为事件输入，每张分别输入60次实现本文模型的程序运行以及对照组程序运行.设置事件输入前的情绪值eorigin分别为-0.5、0和0.5，实验结果如图13～18.

图13 对照组300张高兴的事件输入eorigin＝－0.5

图14 实验组300张高兴的事件输入eorigin＝－0.5

图15 对照组300张高兴的事件输入eorigin＝0

图16 实验组300张高兴的事件输入eorigin＝0

图17 对照组300张高兴的事件输入eorigin＝0.5

图18 实验组300张高兴的事件输入eorigin＝0.5

如图13和图14所示的模拟结果，当给定的输入都是较为积极的事件的时候，当初始情绪值为低时，仍然更容易受到消极影响，即机器在心情不好的时候，遇到使得心情好转的事情时，情绪值仍然偏低，与人类在悲伤时遇到高兴的事情也不容易走出悲伤的这一现象符合.图15和图16体现了情绪一致性原理：当情绪值高时以更积极的态度看待输入的事件.需要特别说明的是，图17所有时间输入后的情绪值都是1的原因是当eorigin＝0.5时，所有大于0.5的事件输入都使情绪值大于1，而本模型的e的取值范围是（-1，1），因此所有超过1的值都按值为1处理.图18的结果并没有违反了情绪一致性，因为本模型的情绪值e设置的最大值是1，所有的积极随机反应都无法表现在图像上，图上的13个凸点都是消极随机反应的结果，仅占3.6%.

第三组的实验中，取五张情绪值分别为-0.9、-0.8、-0.7、-0.6、-0.5的图片作为事件输入，每张分别输入60次实现本文模型的程序运行以及对照组程序运行.设置事件输入前的情绪值eorigin分别为-0.5、0和0.5，实验结果如图19～24.

图19 对照组300张悲伤的事件输入eorigin＝－0.5

图20 实验组300张悲伤的事件输入eorigin＝－0.5

图21 对照组300张悲伤的事件输入eorigin＝0

图22 实验组300张悲伤的事件输入eorigin＝0

图23 对照组300张悲伤的事件输入eorigin＝ 0.5

图24 实验组300张悲伤的事件输入eorigin＝0.5

第三组实验表明，当初始情绪值为低时再遇到消极的事件输入时，机器的情绪几乎没有好转的可能，这与人类的遇到使得心情更差的事情时，往往会表现得一蹶不振的这一表现更符合.图19和20、图21和图22的对比中也充分体现了情绪一致性原理：当情绪值低时更以消极的态度看待输入的事件.

3组实验都有事件的重复输入，机器能遵循本模型的条件下，有不同的情绪表现，解决了在同一套人工情感计算模型中，不同机器不具有明显的差异化的问题；本模型基于情绪一致性原理，建立回忆库，使得机器能根据自身经历的事件不同而对同一事件有不同表现，解决了现有人工情感模拟很少结合回忆进行分析，只是根据当前的经历来调整情绪的问题.

4 结论

现有人工情感模拟并不注重结合回忆进行分析，只是根据当前的经历来调整情绪；在同一套人工情感计算模型的不同机器中往往不具有明显的差异化.本文为了解决这两个问题，提出了不确定性影响、情绪放大镜等概念，采用回忆机制和不确定性机制模型，前者利用回忆事件的重要度计算出事件的回忆概率，后者利用情绪一致性的原理用情绪放大镜来进一步贴合人的心理模式，使得机器人在与环境交互过程中的情感表现更贴近人类.本模型属于一种假设性的尝试，使机器的拟人度稍微提升，但由于人类的情绪变化过程非常复杂，影响这个过程的因素十分繁杂，包含了大量的内部条件和交互过程中涉及的外部环境条件，很难全面地去考虑.因此本文仅考虑了少量较为明显、影响较大的因素，用于模型和仿真实验的实现.在后续研究中，根据情绪心理学理论进行情绪表现模型的深入研究，结合深度学习技术对机器的情感进行差异化的模拟是人工情感研究的主要内容之一；加深对环境的感知从而精确地获得外界信息的输入，为大数据的分析做更充足的准备，进一步模拟更精确的机器情感.