基于情绪调节的认知负荷的瞳孔数据处理

罗贺文?闻素霞

摘 要｜瞳孔大小是眼动研究中一个重要的参数指标。在认知研究领域，瞳孔大小的变化被认为是体现资源分配和认知负荷的敏感指标。鉴于我国使用瞳孔大小作为认知负荷测量指标的研究寥寥无几，更是鲜少有研究报告如何对瞳孔数据进行预处理，比如剔除、缺失数据的插补、过滤筛选等，使得对瞳孔数据的处理缺乏参考。本文旨在以情绪调节任务为例，把瞳孔大小作为认知负荷的测量指标，介绍使用Eyelink2000眼动仪采集的瞳孔数据的导出、预处理等，希望可以给相关研究者提供借鉴。

关键词｜认知负荷；瞳孔大小；瞳孔数据预处理

Copyright ? 2023 by author （s） and SciScan Publishing Limited

This article is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License. https：//creativecommons.org/licenses/by-nc/4.0/

瞳孔大小的变化会受到外界光线的影响，即瞳孔光反射（pupil light response，PLR）［1］。瞳孔在暗环境下扩张，在亮环境下缩小。但后来研究者们发现瞳孔大小还会受到个体心理活动的影响而变化。赫斯（Hess）等学者测量了注意、知觉、兴趣、情绪、动机、态度及其转变等心理活动发生时瞳孔的变化情况，认为瞳孔变化是一个新兴的反映人类心理的敏感指标［2-4］。后来，卡尼曼（Kahneman）等心理学家发现瞳孔还与语言加工、记忆、心理努力等高级认知活动有关，其研究结果表明，瞳孔大小的变化可以作为评估个体认知加工需求的可靠指标［5，6］。

随着眼动技术的发展，如今的眼动设备可以以非接触的方式采集数据，这使得眼动研究能够有效排除实验仪器对被试的干扰，瞳孔数据的获得也更加客观、简单、快速、可靠。但是目前使用瞳孔大小作为测量指标的研究相对较少，尤其是国内把瞳孔大小作为测量指标的相关研究更是寥寥无几，对瞳孔数据的处理缺乏参考。已知情绪调节作为一种认知信息加工过程，瞳孔扩张可以反映情绪调节过程中认知努力的付出。因此本研究将以情绪调节任务为例，把瞳孔大小作为认知负荷的测量指标，介绍使用Eyelink2000眼动仪采集的瞳孔数据的导出、预处理等。

1 认知负荷

最早开展认知负荷研究的学者是心理学家米勒（Miller）［7］，他以资源有限理论和图示理论为基础，从资源分配的角度考核认知负荷。而斯威勒（Sweller）是第一个将认知负荷作为一种理论进行研究的学者。1988年，斯威勒［8］提出了认知负荷就是在特定的任务时间内，施加于个体认知系统的心理活动总量。斯威勒等学者在认知负荷领域做出了开创性和持续性的贡献。

美国心理学家卡尼曼在1973年提出了资源有限理论，即心理资源是有限的，完成每一项任务都需要一定的认知资源。同时执行几项任务可以共用资源，但是人的心理资源的总量是有限的，因此存在资源分配的问题，分配遵循“此多彼少，总量不变”的原则。在一定范围内，刺激复杂度或加工任务复杂度与动用的资源数量成正比；而当刺激或任务所需要的资源超过了个体所能支配的资源总量，就会导致认知负荷过载，从而影响执行任务的效率和效果。

最早提出“图示”一词的是著名哲学家康德。心理学研究者们认为人的一生有很多需要学习和掌握的知识，人在进行知识的学习和积累的过程中并不是将这些信息杂乱无章地储存在大脑中，而是根据所学知识的主题对其进行关联，以建立知识的存储单元，这种单元就被称为图式。图式是人类对知识概括性的记忆，它更注重于关联众多事例中的相似点，所以它是一种经济的储存知识与信息的方式。比如，当个体学习新的知识后，图式可以依据知识的背景进行快速且正确的分类，这种方式是自动的，不需要过多的意识控制也不会对个体的认知资源产生消耗，所以图式是一种经济的储存知识与信息的方式［9，10］。

2 情绪调节与认知负荷

情緒调节作为人们情感生活中的一种重要调节机制，对个体社会生存、社会适应、认知发展，以及维持身心健康状态具有重要意义［11］。但是情绪调节作为一种自我控制过程，会消耗有限的认知资源［12，13］。且情绪强度越强、情绪调节策略越复杂，情绪调节的认知负荷越高［14］。

穆拉文、泰斯和鲍迈斯特（Muraven，Tice，and Baumeister，1998）做了一个有关情绪调节与认知消耗关系的研究［15］。他们让被试观看情绪诱发电影并否定其产生的情绪，同时控制自己的面部表情。结果显示，调节情绪的被试（相对于没有调节的对照组）在接下来的认知任务中坚持的时间更短。另一个相似的研究通过情绪调节后的猜字谜游戏来检验情绪调节对认知后果的影响，结果显示，进行情绪调节的被试比未调节的被试猜出了更少的字谜［12］。

3 瞳孔测量法

基于眼动仪的瞳孔测量（Pupillometry）是一种有效的眼动追踪方法，瞳孔测量逐渐被独立应用于心理学研究并揭示了很多心理活动（如：知觉、态度、记忆等），具有独特的优势。瞳孔测量具有以下优点：首先，眼动仪设备的价格较为便宜；其次，眼动数据可以以非接触的方式采集，具有非侵入性，对人体无害；再次，眼动仪能够为研究提供足够的时间空间分辨率，可以对瞳孔的微小变化加以监测；最后，该方法简便易行，对人群的适用范围广泛［16-18］。瞳孔大小（Pupil Size）是瞳孔测量中一个重要的参数指标，它的变化不受意识的控制，在一定程度上能够反映人的心理活动，有助于理解瞳孔与心理的关系［19］。目前在生理测量与认知负荷的研究成果中，瞳孔变化已被证实其与认知负荷显著相关，所以采用瞳孔数据量化认知负荷同时具有实用性和理论可行性。

4 认知负荷与瞳孔大小变化

在认知研究领域，瞳孔大小的变化被认为是体现资源分配和认知负荷的敏感指标［5］。相关研究结果表明［20，21］，人们在为了完成认知任务而付出努力时，往往伴随着任务诱发的瞳孔反应（TEPRs）。国外开展过不同难度的任务下，瞳孔变化的研究［3，22，23］。布拉德肖（Bradshaw，1968）報告了被试解答两种难度水平的心算除法问题时瞳孔变化的研究结果，发现瞳孔直径在解题过程中逐渐增大，直到解出为止，且解答难度水平高的问题时瞳孔扩张的峰值更大。隆德尔等人（Rondeel et al.，2015）使用了2-back任务（要求被试分辨当前呈现的刺激是否与n个试次中呈现的刺激相同，试次越多，任务难度越大），结果表明瞳孔扩张幅度的增加预示着被试付出了更多心理努力来降低报告错误率，进而提高自己在任务中的表现。这些研究表明在任务中，瞳孔大小随着任务难度的增加而增加。瞳孔大小的变化为测量信息加工过程中的认知负荷提供了一个量的指标［6］。

近期有研究者发现，情绪调节作为一种认知信息加工过程，瞳孔扩张可以反映情绪调节的需求，即瞳孔大小的变化可以反映情绪调节过程中认知努力的付出［24-28］。由此，通过瞳孔大小量化情绪调节过程中的认知负荷具有一定的理论支持。

5 瞳孔数据的采集、导出、预处理

鉴于我国使用瞳孔大小作为测量指标的相关研究较少，尤其是以瞳孔大小作为认知负荷指标的研究更是寥寥无几，更是鲜少有研究报告如何对瞳孔数据进行预处理的细节，比如剔除、对缺失数据的插补、筛选过滤等，使得对瞳孔数据的处理缺乏参考。情绪调节作为一种认知控制过程，在调节过程中伴随着认知努力的付出，因此本文整理了国外文献在情绪调节研究中收集的瞳孔数据的处理方法，对瞳孔数据的采集、导出、预处理等进行介绍。加拿大SR Research公司生产的Eyelink系列眼动仪为市面上最为精确的眼动仪设备，此眼动仪结合了高分辨率摄像技术和先进的图像处理算法，它的优点是能够非常快速地对瞳孔指标进行采样，然后生成瞳孔大小数据。如果把采样率设置为500 hz，则它在运行过程中，每两毫秒就可以完成一次数据的采集。除了速度快之外，它所采集的瞳孔指标非常的详尽，包括兴趣期内最小、最大、瞳孔大小平均值，还有每个采样点的瞳孔大小值，这些数据被用来检测心理学研究方面认知任务中瞳孔的变化再理想不过了。因此本文以Eyelink2000塔式眼动仪采集的瞳孔数据为例对瞳孔大小指标的处理进行介绍。

5.1 实验设计和材料

以经典的情绪调节任务为例。被试观看情绪图片，在情绪图片呈现时使用指定的情绪调节策略调节情绪，图片呈现时间为5 s。图片统一处理为1024×768像素，以灰色呈现，为控制亮度这一低级图像属性对瞳孔变化的影响，使用MATLAB的SHINE toolbox控件（MathWorks Inc.）对所有图片的平均亮度进行匹配。

5.2 眼动仪设置和数据采集

因瞳孔大小的变化速率较低，所以把采样率设置为Eyelink的最低采样率500 hz即可，记录被试的优势眼，瞳孔记录单位设置为直径（Diameter）或者面积（Area），记录瞳孔大小（像素）随时间的变化。因为实验材料为图片，所以对眼动追踪系统定标（Calibration）选择九点校准。被试与被试机显示屏的距离恒定为80 cm。

5.3 瞳孔数据的导出

Eyelink的配套分析软件DataViewer可以用于查看、过滤和处理眼动数据。把所有被试的数据批量导入Dataviewer后使用试次分组（Trial Grouping）筛除练习试次，然后设置兴趣期（Interest Period），因在实验编程时对图片刺激的开始呈现进行了打标记（Message），因此兴趣期开始的标志即为图片刺激开始呈现的message，兴趣期的结束标志设置为持续时间（Duration），为5000 ms。然后选择Sample Report对瞳孔数据进行导出，导出的变量包括：AVERAGE_PUPIL_SIZE（双眼瞳孔平均大小）、

Data_File（被试编号）、Trial_Label（试次编号）等。另外，Trial Report同样可以报告瞳孔数据，包括兴趣期内瞳孔最大值、最小值、平均值。可根据自己的实验需求进行选择。

5.4 瞳孔数据的预处理

对数据的预处理包括对数据的剔除、插补、筛选、过滤、基线处理、平滑，使用Matlab软件对原始瞳孔测量数据进行预处理：（1）剔除单次眨眼时间>100 ms的试次后，在Matlab中使用线性插值法对眨眼<100 ms的试次进行采样缺失点的插补，以确保数据的完整性；（2）单个试次的有效采样比例不低于50%，即剔除50%以上的测量值被插值代替的试次（即表明瞳孔大小测量异常）；（3）针对每个被试，剔除平均值在其瞳孔直径平均值四个标准差以外（±4SD）的试次；（4）由于瞳孔大小会受到低水平刺激（比如：明度）的影响［29］，因此瞳孔大小计算一般采用实验条件下的瞳孔直径减去基线所得的差值。基线的选取可参考有类似实验设计的相关文献。在这里我们把基线瞳孔大小定义为刺激呈现前300 ms窗口内的平均瞳孔大小。通过减去基线瞳孔大小对刺激呈现期的测量进行基线校准（校正后的瞳孔大小=瞳孔大小－基线）；（5）使用有限脉冲的滑动平均滤波器进行信号平滑处理。

6 总结

本文对瞳孔大小作为认知负荷的测量指标进行了介绍，并且以情绪调节任务为例，整理了相关文献在情绪调节研究中收集的瞳孔数据的处理方法。虽然目前使用瞳孔大小作为认知负荷测量指标的相关研究较少，但瞳孔大小已被证实是一个可靠的指标，如研究需观察被试对任务的努力、投入程度，或者是任务的复杂、困难程度，则可以选择该指标进行相应分析。

参考文献

［1］Loewenfeld I E．Mechanisms of reflex dilatation of the pupil［J］．Documenta Ophthalmologica，1958，12（1）：185-448．

［2］Hess E H，Polt J M．Pupil size as related to interest value of visual stimuli［J］．Science，1960，132（3423）：349-350．

［3］Hess E H，Polt J M．Pupil size in relation to mental activity during simple problem-solving［J］．Science，1964，143（3611）：1190-1192．

［4］Hess E H．Attitude and pupil size［J］．Scientific American，1965，212（4）：46-54．

［5］Beatty J．Task-evoked pupillary responses，processing load，and the structure of processing resources［J］．Psychological Bulletin，1982，91（2）：276-292．

［6］Kahneman D，Beatty J．Pupil diameter and load on memory［J］．Science，1996，154（5）：1583-1585．

［7］安其梅，吳红．认知负荷理论综述［J］．Advances in Psychology，2015，5（1）：50-55．

［8］Sweller J．Cognitive Load During Problem Solving：Effects on Learning［J］．Cognitive Science，1988，12（2）：257-285．

［9］Paas F，Renkl A，Sweller J．Cognitive load theory and instructional design：Recent developments［J］．Educational Psychologist，2003，38（1）：1-4．

［10］Kirschner P A．Cognitive load theory：implications of cognitive load theory on the design of learning［J］．Learning and Instruction，2002，12（1）：1-10．

［11］Gross J J，John O P．Individual differences in two emotion regulation processes：Implications for affect，relationships，and well-being［J］．Journal of Personality and Social Psychology，2003（85）：348-362．

［12］Baumeister R F，Bratslavsky E，Muraven M，et al．Ego depletion：Is the active self a limited resource？［J］．Journal of Personality and Social Psychology，1998，74（5）：1252-1265．

［13］Gailliot M T，Baumeister R F，DeWall C N，et al．Self-control relies on glucose as a limited energy source：will power is more than a metaphor［J］．J Pers Soc Psychol，2007，92（2）：325-336．

［14］Sheppes G，Gross J J．Is timing everything？ Temporal considerations in emotion regulation［J］．Personality and Social Psychology Review，2011，15（4）：319-331．

［15］Muraven M，Tice D M，Baumeister R F．Self-control as a limited resource：Regulatory depletion patterns［J］．Journal of Personality and Social Psychology，1998，74（3）：774-789．

［16］Bradley M M，Sapigao R G，Lang P J．Sympathetic ANS modulation of pupil diameter in emotional scene perception：Effects of hedonic content，brightness，and contrast［J］．Psychophysiology，2017，54（10）：1419-1435．

［17］De Vries L，Fouquaet I，Boets B，et al．Autism spectrum disorder and pupillometry：A systematic review and meta-analysis［J］．Neuroscience & Biobehavioral Reviews，2021（120）：479-508．

［18］Oliva M，Anikin A．Pupil dilation reflects the time course of emotion recognition in human vocalizations［J］．Sci Rep，2018，8（1）：4871．

［19］楊晓梦，王福兴，王燕青，等．瞳孔是心灵的窗口吗？——瞳孔在心理学研究中的应用及测量［J］．心理科学进展，2020，28（7）：1029-1041．

［20］van der Wel P，van Steenbergen H．Pupil dilation as an index of effort in cognitive control tasks：A review［J］．Psychonomic Bulletin & Review，2018，26（6）：2005-2015．

［21］李勇，阴国恩，陈燕丽．阅读中疲劳、心理负荷因素对瞳孔大小的调节作用［J］．心理与行为研，2004，2（3）：545-548．

［22］Bradshaw J L．Pupil size and problem solving［J］．Quarterly Journal of Experimental Psychology，1968（20）：116-122．

［23］Rondeel E W，van Steenbergen H，Holland R W，et al．A closer look at cognitive control：differences in resource allocation during updating，inhibition and switching as revealed by pupillometry［J］．Front Hum Neurosci，2015（9）：494．

［24］Johnstone T，van Reekum C M，Urry H L，et al．Failure to regulate：Counterproductive recruitment of topdown prefrontal-subcortical circuitry in major depression［J］．Journal of Neuroscience，2007（27）：8877-8884．

［25］Kinner V L，Kuchinke L，Dierolf A M，et al．What our eyes tell us about feelings：Tracking pupillary responses during emotion regulation processes［J］．Psychophysiology，2017，54（4）：508-518．

［26］Richey J A，Damiano C R，Sabatino A，et al．Neural mechanisms of emotion regulation in autism spectrum disorder［J］．Journal of Autism and Developmental Disorders，2015（45）：3409-3423．

［27］Urry H L，van Reekum C M，Johnstone T，et al．Amygdala and ventromedial prefrontal cortex are inversely coupled during regulation of negative affect and predict the diurnal pattern of cortisol secretion among older adults［J］．Journal of Neuroscience，2006（26）：4415-4425．

［28］van Reekum C M，Johnstone T，Urry H L，et al．Gaze fixations predict brain activation during the voluntary regulation of picture induced negative affect［J］．NeuroImage，2007，36（3）：1041-1055．

［29］Laeng B，Sulutvedt U．The eye pupil adjusts to imaginary light［J］．Psychological Science，2014，25（1）：188-197．

Preprocessing of Pupil Data of Cognitive Load during Emotional Regulation

Luo Hewen Wen Suxia

School of Psychology， Xinjiang Normal University， Urumqi

Abstract： Pupil size is an important parameter in eye movement research. In the field of cognitive research， pupil size is considered sensitive indicator reflecting cognitive resource allocation and cognitive load. Given that there are few studies in China that use pupil size as a measure of cognitive load， and there are even fewer papers reporting on how to preprocess pupil data collected， such as removing， interpolating， filtering， etc.， the preprocessing of pupil data lacks reference. This thesis aims to use pupil size as an indicator of cognitive load during emotional regulation， and to introduce the export and preprocessing of pupil data collected through the Eyelink2000 eye tracking system. It is hoped that this paper can provide reference for other researchers.

Key words： Cognitive load; Pupil siza; Pupil data preprocessing