人格特质多客观技术测量的融合与模型构建

苗丹民，张 昀，刘旭峰，武圣君，方 鹏，曹 爽，隋佳汝

(1空军军医大学军事医学心理学系航空航天心理学教研室，陕西 西安 710032； 2西安交通大学电信学部信息与通信工程学院，陕西 西安 710049； 3解放军中部战区空军医院心理科，山西 大同 037000)

人格特质是军人心理选拔测验中最常见、最重要的内容。人格特质的探讨是意识活动皇冠上镶嵌的最璀璨的明珠，而对意识本质的研究于2005年和2020年两次排在Science上人类125个前沿科学问题的榜首[1-2]，是“世界上最复杂、最奇妙的现象”[3]。2014年，空军军医大学苗丹民研究团队与西安交通大学张昀研究团队首次提出意识-认知神经多质融合心理测量理论，并开展了一系列研究，探讨语言性人格测验在激活意识活动过程中认知神经反应的特征及模式，利用大数据与深度学习多模态数据融合分析，构建了多项情感、认知和态度预测模型，实现了对意识活动的客观测量，为军人心理选拔科学研究提供了有效手段[4]。本期专题集中刊登了该团队的8篇研究报告。

1 人格特质研究是意识探索的最佳途径

从古埃及哲学意识观到脑认知神经科学实验，人类对意识活动本质及其测量的探索从未间断。古代哲学家们首先回答了意识存在的地方和形式，如阿尔克迈翁的“大脑”(公元前510年)，柏拉图的“灵”(公元前429—公元前347年)，亚里士多德的“心”(公元前384—公元前322年)等著名论述。近代哲学家与生物学家们探讨了脑与意识的关系，如笛卡尔提出的意识二元论(17世纪)，弗朗茨·约瑟夫·加尔创建的颅相学(1796年)，保尔·布洛卡发现的语言左脑前额叶区(1861年)等。随着脑科学的深入发展，圣地亚哥·拉蒙-卡哈尔发现了离散细胞构成意识活动的神经系统(1873年)，凯斯·卢卡斯证实了神经元具有全或无的规律(1905年)，罗杰·斯佩里验证了大脑两半球认知加工的分工(1962年)等，这些都证实了大脑神经元是意识活动的沃土。

随着现代科学技术手段的发展，大脑神经电活动与网络关系成为意识测量的热点。GIULIO TONONI的意识信息整合理论[5]，比利时团队的大脑意识与无意识电磁刺激分析，YURI SAALMANN大脑的意识开关理论[6]，范德堡大学的意识网络理论[7]等，有力地推动了脑认知神经功能研究。DEHAENE[8]总结了近20年意识与认知神经科学研究的成果，通过丰富和富有创新性的脑成像实验，提出了意识“全脑神经工作空间学说”，并大胆地解释道这些可视化脑神经活动就是意识。但是，意识测量是一件非常困难的事，因为它太复杂、太主观。一个人的想法上一秒可能是这样，下一秒就会发生天翻地覆的变化，以至于迄今没有一个能让科学界公认的意识测量技术。我们并不怀疑DEHAENE对脑功能的客观测量，但无疑会质疑脑功能是否等于意识。

心理科学认为，意识是人所特有的一种对客观现实的高级心理反映形式[9]。探索人类心理活动有4个视角[4]：个体心理、心理过程与行为、意识与无意识、个体与社会心理。个体心理视角注重人类心理结构。当研究从一般规律转换到强调差异性和稳定性时，认识过程被称为智力，而情感过程、意志过程以及个性心理倾向性被称为人格。人格特质是最有特色、最典型的高级心理反映形式。

第三版《中国大百科全书》对人格的定义是：个体拥有的特质及行为倾向的统一体[9]。人格是个体在对人、对事、对己等方面的内部倾向性和心理特征，是性格、气质、需要、动机、兴趣、理想、价值观，甚至包括能力在内的整合，具有动力一致性和连续性，是个体在社会化过程中形成独特性的心理组织。人格理论认为：人格是个体行为的全部品质，具有整体性、稳定性、独特性和社会性等基本特征，可以预测一个人的行为倾向和适应模式。“人的心理现象是世界上最复杂、最奇妙的现象”指的就是人格[3]，而人格测量就成为意识活动最有效和最客观的认识途径。

2 自然语言人格测验是意识量化研究的基础

人类开始说话距今已有10万年，而文字历史不过3 000～5 000年。说话是通过听觉传递到大脑的，而文字是经行为、视觉系统传递的。文字的诞生，将听觉信号、图像符号、视频影像进行整合，构建了行为、视觉、听觉一体的传输系统，与思维融合产生了自然语言体系。因此，自然语言是人类意识活动的主要交流媒质。

人格测验以自然语言表达方式为依据，是心理测验的一种。心理测验是研究意识活动四大技术之一，是心理学研究独有的、客观的、标准的手段，已沿用一个多世纪。美国心理学会主席安妮·安娜斯塔西将心理测验定义为：对行为样本客观和标准化的测量[10]。

特别是在人格测量的形成中，行为样本的提取是关键，后者指从所要测量目标的总体行为中抽取有代表性的一组行为，因此代表性决定了人格测量的质量。该组行为是否能够代表某种心理品质，语言的自然属性扮演着极为重要的角色。

人格测量的目标是通过对行为样本的预测，揭示一个人的行为结果和规律，是对背后深层意识活动的探索，是对人类主观世界的量性分析。在所有行为样本的类型中，语言是最精准、最简便、最通俗、且异质性最少的刺激材料，具有操作便捷、节省时间、成本低廉、测试环境要求低、适宜大规模测试等优点。如著名的迈尔斯-布里格斯类型测验(Myers-Briggs Type Indicator，MBTI)每年施测700多万人，我国“士兵基本职业适应性测验”已经完成1 600余万人的测试[11]。

但是，语言性人格测验也有一些弱点，如动机不纯导致虚假作答、社会赞许性导致按“需”作答、主观回答导致对测验结果的质疑等。在科学盛行的时代，主观的被誉为是唯心的，唯心的被视为是唯心主义的。因此，心理测量常常被质疑过于主观，传统的人格测验技术也走入了瓶颈。然而，面对传统测验存在的问题，不应该简单地抛弃，而应积极地面对与解决。自心理学诞生以来，人类不断寻求解读意识的途径，从释梦、行为观察、计算机模拟，到各类生物学技术等，但始终没有获得重大的突破。我们可以假设，或许脑与意识是两种完全不同的物理现象。由此，基于现代科学的技术手段，将主观的刺激与客观的测量相结合，也许是对意识客观测量的最佳途径。

自然语言指人们日常交流使用的语言，通过文字/声音符号媒介，以及特定的词汇和语法结构等，以表达人类意识活动的内涵和逻辑[12]，其中文字符号更能直观地表现出自然语言的特征。语言性人格测量的预测效果则取决于测验条目的自然属性。

语言活动涉及一系列复杂的认知加工过程，不仅与感知觉、记忆、想象、思维等基本认知过程密切相关，而且与语言使用者的知识、情感、习惯、文化等复杂认知功能相联系[13]。HAGOORT[14]认为，长时记忆在语言加工中发挥着必不可少的作用。将当前的语言信息与存储在长时记忆中的语言信息进行整合，是实现言语理解的基础。自传体记忆是个人复杂生活事件的混合记忆，以长时记忆的方式编码储存，通过自我参照的形式对个体以往经历过的事件和感受进行记忆登记[15]。当自传体记忆测验中的行为样本与个体长时记忆中的自传体记忆关联越密切，就越容易激活(启动)意识活动。因此，这就要求在编制人格测验时，行为样本的提取应该最大限度地贴近具有某一人格特质人群自传体记忆特征，即在行为事件、个体感受、语言习惯、价值理念等方面与之贴近。

有研究证实，自然语言对意识的激活有其脑神经科学基础。研究发现，人类对自然语言的加工是多个脑区共同作用的结果，表现出动态的神经网络特点[16]。如：语义加工主要涉及左脑梭状回、颞中回、颞上沟、角回；而书面阅读语义理解主要依赖侧通路，由枕叶下部经颞枕交接区直接或间接到达颞上沟前部[17]。另有研究证明，当自然语言诱发自传体记忆时，就会激活左侧前额叶、内侧前额叶、腹内侧前额叶、杏仁核、海马系统、楔前叶以及视皮层区域[18]。

自然语言处理技术的出现，通过字符识别、语义对比、文本分类、观点提取、自动摘要等功能[19]，实现了自然语言理解和自然语言生成，为语料库文本数据自动生成符合自然语言规律的语言性行为样本奠定了计算机科学基础。2017 年Transformer 机器翻译模型[20]首次亮相，通过直接捕捉句子中所有单词间的关系，生成了新的单词表示方式，并由研究通过自然语言处理，生成新的句子。

3 认知神经技术是人格客观测量的标志

有文献显示，多项认知神经技术可以采集到此时意识活动的外在表征，包括眼动追踪、面部运动单元、微表情[21]、脑电特征识别[22]、植物神经反应[23]、肢体动作[24]等。以下重点介绍眼动追踪技术和面部运动单元分析技术。

3.1 眼动追踪技术

眼球运动是人类感知外部视觉刺激时发生的神经反射活动，反映了个体对信息认知加工的过程，如注意[25]、感知觉[26]、记忆[27]、表象[28]、言语[29]、问题解决[30]、思维与决策，以及情绪的变化[31]，可以看作是“意识通达”可视化的指标。眼动追踪的基本原理是“脑-眼假说”。该理论认为，人类信息70%来自于视觉，视觉是由大脑控制的，所以通过监测眼动的变化，就可以测量脑中正在发生什么，故人们在视觉上和心理上都在加工视线所指向的刺激[32]。

人类在阅读自然语言文本时，眼动轨迹提示了视觉注意的点、停留时间的长短、注意轨迹、情绪活动等特征，由此可以测算自然语言文字刺激下的自传体记忆是否被提取及提取过程。研究发现，眼动指标与意识认知之间存在对应的关系，如注视时长与视觉注意呈正比关系，主要反映人脑信息获取与处理的时间[33]，表明该材料对测试者的吸引程度。注视点个数反映了测试者阅读刺激材料时的意识加工深度[34]，即注视点个数越多，意识加工程度越深；视觉注意的程度由注视时长与注视次数共同反映，视觉注意程度越高，意识对信息加工的程度就越大[35]。回视指眼跳的方向落回到之前加工过内容的过程[36]，表明测试者的注意力被刺激材料吸引的程度以及对前后语义的整合。眼跳指眼动在注视之间的快速移动，通常反映注意力的变化；眼跳的准确性和潜伏期反映了认知控制能力的大小。瞳孔扩张受大脑蓝斑-去甲肾上腺素系统的调节，该系统控制生理唤醒和注意力；瞳孔的变化一般用来推测刺激材料认知负荷大小、记忆提取以及情绪唤醒程度[37-38]。自发眨眼频率与学习和目标导向行为的潜在加工有关。

通过对注视、眼跳、轨迹运动、瞳孔变化等指标的测量，可以测算出意识在信息筛选、输入、比较、逻辑推理的加工过程，形成对刺激信息态度倾向性的判断；通过对个体“注意到什么”“更关注什么”“情绪卷入程度”等分析，探讨意识加工的特点和规律，为自然语言刺激-客观生物指标识别提供重要手段。

3.2 面部运动单元分析技术

20世纪70年代，心理学家EKMAN等[39]构建了面部运动编码系统(facial action coding system，FACS)，将人脸面部运动分解成面部运动单元(action unit，AU)，并制定了可靠的辨定标准。FACS包括27个与特定肌肉群相关的AU以及描述头部和眼睛运动的14个混杂AU。FACS只对面部运动进行客观描述，不涉及情绪标签[40]。

由于FACS能够通过对面部运动的测量实现对意识活动的量化分析，在人格测量上的潜在价值逐步受到重视，研究人员由此开展了一系列临床应用研究[41-43]。EKMAN等[44]报告，采用AU可以预测抑郁症、精神分裂症等的发作与缓解。PRKACHIN等[45]报告，疼痛的主要面部特征包括眉毛降低(AU4)、眼眶收紧(AU6及AU7)、闭眼(AU43)、鼻子起皱(AU9)及上嘴唇提起(AU10)。

人工智能及机器视觉技术的发展，实现了对AU特征的自动识别与分析，为其在研究中的广泛应用提供了前景。GAVRILESCU等[46]建立的三层神经网络算法，对抑郁、焦虑、应激状态下个体观看情绪视频时的AU进行比较，分类识别率达85%以上。KALIOUBY等[47]应用机器学习算法，通过提取面部、头部及手势运动特征，对赞同、专注、反对、感兴趣、思考及不确定6种意识活动进行分类，准确率达77.4%；杨志伟[48]通过对抑郁障碍高危人群人格测验下的AU分析，与对照组比较，预测准确率达83.1%。

3.3 认知神经反应信息的分解

对自然语言性人格测验时采集的认知神经信号有效分解是影响测验预测性的关键技术。人类在接收外界信息刺激时，意识活动有一个自我确定到合理化调整的过程，被称作自洽。自洽受潜意识、稳定态度体系及对刺激信息自反馈的影响。潜意识和稳定态度体系组成了人格特征；对刺激信息的合理化自反馈受多种不确定性因素影响。以下公式表明了眼动、AU等认知神经指标(Yt)与人格特征(Xt)、自然语言刺激(Ht)和合理化自反馈(Ft)之间的关系：

Yt=Xt+Ht+Ft

其中Xt是常数，Ht和Ft是变量。如果固定Ft，当自然语言刺激信息与个体自传体记忆或原有态度体系一致时，Yt呈肯定性反应；当两者发生冲突时，Yt呈否定性反应。因此Ht质量越高，Yt效果就越好。但当Ht与合理化判断发生冲突时，意识会自动启动自反馈系统(Ft)，Yt会出现一个从Xt+Ht下的Yt到以Ft为主导的Yt的过程，这个过程就是自洽。而自然语言性人格测量的目的，就是通过信号识别技术分解Xt+Ht下的Yt与Ft下的Yt，以提高人格预测的准确性。

4 多客观技术融合分析是提升意识测量准确率的关键

20世纪上半叶CATTELL[49]奠定了现代数据融合计算的基础，随之多质数据的融合分析成为人工智能研究的热点。2018年LIU等[50]采用基于矩阵或多项式多模态张量融合神经网络算法，以及2019年HOU等[51]采用高阶多项式池化多通道多模态深度融合分析，实现了对文字、图像和语音的多模态特征融合分析，大大提高了数据识别的准确率。FARNADI等[52]采用堆叠多模态融合算法，将视频、音频、文字等多模态数据分类预测结果作为研究对象，用新分类器对这些预测结果进行再分类，实现多模态决策级的融合预测，结果显著提升了预测的精度。堆叠多模态融合算法接纳异质性数据及模型，因此更适合构建包括文本、眼动、视频等信息在内的多质融合分析模型。深度学习神经网络算法为意识活动多客观指标融合的大数据分析提供了平台，多模态异构数据的融合分析也已成为深度学习的典型问题。随着多模态数据融合与深度学习算法日益成熟，基于自然语言人格测量的多客观指标融合分析技术将取代传统人格测量，有效提升意识测量的准确率。

《意识研究》对意识的心灵哲学和认知神经科学近20年的研究成果进行了系统回顾，归纳出困扰意识研究的三大难题：非分析性、非还原性和私密性[53]。该书作者认为，将哲学分析方法与认知神经科学成果相结合，在解决三个难题的同时，构建一条具备二者优势的新型意识研究道路是完全可行的[53]。未来人格测验发展的出路在于：自然语言性人格测验对意识活动的启动，各认知神经技术有效采集启动效应，多客观指标数据的融合分析对意识倾向性做出判别。要实现这一目标，还需解决以下5个关键问题：①自然语言行为样本的自生成；②意识活动启动效应的验证；③表象、表征、概念与认知神经反应的量效关系；④认知神经反应的识别与分析；⑤基于深度学习神经网络多质融合模型的预测效果验证(图1)。令人振奋的是，随着人工智能算法的飞速发展，在自然语言行为样本自生成、认知神经反应识别分析和基于深度学习神经网络多质融合模型构建等方面已经有了重大突破。本课题组在意识活动启动效应验证，启动效应下表象、表征、概念与认知神经反应的特征和量化分析方面有了长足的进步，相信不久我们将在意识客观测量领域取得突破性研究成果。

图1 意识(人格)多质客观技术测验的融合研究途径