用户微表情信息表征研究综述

刘洋 吴佩 万芷涵 石佳玉 朱立芳

摘要：[目的/意义] 分析国内外微表情识别领域研究现状与趋势，为图书馆与情报领域用户微表情信息表征的研究提供参考。[方法/过程]基于文献计量的研究方法揭示近10年微表情识别领域的研究动态，分析微表情识别和信息表征的融合趋势、技术基础与困难挑战。[结果/结论]微表情数据集、微表情识别技术是当前研究热点；技术方法、安全伦理和数据库数量是当今发展的主要挑战；信息传递、信息反馈是图书馆和情报领域未来可发展的新兴研究领域，元宇宙、隐私问题和技术驱动等领域是未来的微表情识别技术的应用趋势。

关键词：微表情识别    信息表征    信息传递   信息反馈    文献计量

分类号：C93

引用格式：刘洋， 吴佩， 万芷涵， 等. 用户微表情信息表征研究综述[J/OL]. 知识管理论坛， 2023， 8（3）： 215-227[引用日期]. http：//www.kmf.ac.cn/p/346/.

表情是人类表达自身情感信息的一种重要的非言语性行为[1]，通过观察表情可以感知对方在明显或不明显行为之下的内在情感与心理活动。微表情既是人脸表情的重要组成部分，也是用户潜在情绪类信息的重要展示途径。

在具体情景下，微表情表现为持续时间短、表情中断和对面部肌肉运动的抑制[2]，因此，其所表达的情绪信息难以用肉眼直接捕捉，且识别难度较大，准确率较低[3]，有较强的局限性。随着计算机视觉、人工智能、情感计算等新兴技术不断发展，微表情的自动化识别取代人工识别已成为现实[4]。微表情自动识别是通过应用有效的刺激源，识别用户在人机交互过程中表露出的微表情，抽取相关信息数据，进而了解用户是如何被动表达其真实感受和想法的一種技术，被视为未来情感人机交互技术的重要研究方向[5]。

信息表征（information representation）是指信息在加工和记载过程中的表达方式[6]，当人们处理外部信息（如输入、编码、转换、存储和提取等）时， 信息则以表征的形式在头脑中呈现[7]，在面部形成了表情。其中，细微、难以察觉的信息则需要通过用户的微表情来识别、分析。微表情识别技术涉及信息科学、计算机视觉、生物学、心理学等研究领域，为信息表征相关的情报领域研究带来新视角，注入了新的活力。微表情是人在外部环境刺激下不经意间的情感表露，微表情识别旨在用计算机处理技术捕捉到这一过程中的信息表达，所以从过程上看，微表情是人在特定环境下反映在面部表情上的信息表征行为。笔者将心理学与计算机科学学科综合下的微表情识别引入信息资源管理领域，探究学科融合视角下两者的交叉与共鸣。

微表情识别和信息表征的相辅相成关系尚未得到充分研究，致使微表情识别技术的应用发展仍受到限制。笔者对人工智能等微表情识别技术进行追踪，通过文献计量的研究方法分析海内外的研究现状和发展动态，对微表情识别环节中所涉及的表征信息进行系统性总结和规范化表述，把握微表情识别中获取信息、利用信息的方式，可以进一步完善现有的理论框架，进一步拓宽情报学、信息科学的研究范式。同时，深刻反思实现过程中的困难和挑战，结合现状提出优化建议，以期促进相关机构和部门科学规划与统筹发展我国微表情识别领域研究及应用，强化微表情识别与人机交互的信息化建设，为信息资源管理等领域利用微表情识别技术提供多种应用场景 [8-9]。

1  用户微表情信息表征的研究现状和发展趋势

1.1  用户微表情信息表征的研究现状

笔者选取 Web of Science 核心合集、知网、谷歌学术等作为研究文献来源。文献类型为“Article or Review paper or Proceedings paper or Early access”，时间跨度为2012—2021年，语种为“English”，主题词根据“微表情识别”的概念和分类进行扩展，最终检索式为 TS=（“micro expression recognition” or “subtle expression recognition” or “micro-expression recognition” or “involuntary facial expression” or “subtle facial recognition” or “microexpression recognition” or “lying expression recognition” or “quick expression recognition” or “micro expression analysis” or “micro-expression analysis” or “micro expression detection” or “micro-expression detection”），检索去重后共获得260篇相关文献，以此作为本研究的总样本文献。

根据对样本文献的分析，由研究论文年出版数量（见图1）可知，近10年有关微表情识别的研究文献数量持续增长，并于近几年受到学者的持续关注；从作者发文量（见图2）可知，国内学者的相关研究占据重要地位，发文数量最多，但微表情识别领域整体发文数量相对平衡；从作者的合作网络密度（见图3）可知，两个学者之间的总共引次数达到20及以上的超过50%，低于5的仅有10%，合作密度较大，存在长期的相互交流，主要以3—4人合作团队为主，但各团队之间不同学科的合作交流发展仍需进一步推动；从研究机构发文量可知，上述样本文献隶属于36个不同国家/地区的研究机构，前15名的研究机构中有13所来自中国、1所来自芬兰、1所来自马来西亚，其中，奥卢大学、中国科学院排名前2位，发文数量都占据总文献的15%；从研究机构的合作网络密度（见图4）可知，研究机构之间的合作比较密切，微表情识别的发展迫切需要研究机构之间的合作交流；从出版社发文量可知，样本文献来自于28个出版社，其中，发文数量前5位的分别是IEEE、Springer Nature、Elsevier、MDPI和Assoc Computing Machinery，它们构成了微表情识别领域研究文献的核心来源，且IEEE地位显著（占样本文献的41.2%）。从研究方法可知，2012—2014年微表情识别领域以传统统计方法为主，2015—2018年以机器学习方法为主，2018年至今以深度学习为主。

1.2  用户微表情信息表征的发展趋势

1.2.1  高频关键词分析

根据总样本文献中出现的高频关键词，并进一步提炼核心网络得到高频关键词密度网络（见图5）。从“expression”“short duration”“computer vision”等关键词可以看出，微表情识别与人机交互之间存在一定的关联，而用户的信息表征产生于人机交互过程之中，故微表情识别和信息表征之间可能存在一定的关联。从“optical flow”“convolution neural network”“lop top”和“network”等关键词可以看出，微表情识别技术的发展和创新备受关注，且标准系统化的信息表征产生于明确的微表情识别之中。技术的发展不断提升微表情的识别精度，有利于微表情识别和信息表征的关联融合。“onset””“apex frame”“micro expression database”和“feature extraction”等关键词表明，以往学者比较关注微表情的识别机制，从数据集到微表情信息数据的处理，再到微表情特征识别、检测等，而信息表征正好以不同形式出现在这一过程中，因此对微表情识别之后得到的信息数据进行处理、统一表示等可以进一步提高微表情的识别精度，显著降低微表情识别的波动性，可以更好地提高其关联信息表征的正确率。

1.2.2  关键词共现聚类分析

对关键词进行聚类分析可以更好地把控微表情识别研究领域的热点主题集群。借助工具 VOSviewer 对得到的样本文献进行聚类分析，得到的主题词贡献网络见图6。图中节点越大，关键词词频越大。由图6中信息可知，微表情识别的研究热度主要集中在面部表情、微表情、情绪的识别；光流法、LBP-TOP（local binary pattern histograms from three orthogonal planes）、CNN（convolutional neural network）等技术的实现和发展；迁移学习、域适应等新领域研究；特征提取、分类、情感等微表情数据的收集和分析。

2  用户微表情信息表征的技术发展

微表情识别技术的起步阶段，依靠的是人工微表情识别方法[10]。但微表情持续时间短，出现频率低，未经训练的个体识别能力不佳[11]，故人工方法在工作效率和精确程度上都难以满足研究者对用户信息表征的探究[12]。随着技术的发展，研究者更倾向于利用计算机技术在人机交互的过程中实现微表情的自动识别，从而进一步提高识别、分析用户信息表征的效率。微表情的自动识别技术在用户信息表征研究领域的发展，可以从微表情数据集、现有的数据处理方式、基于传统方法的识别技术和基于深度学习的识别技术4个角度展开分析。

2.1  微表情数据集

微表情数据集为科学的、定量的微表情识别奠定了基础。但微表情区别于普通的面部表情，具有持续时间短、动作强度低、在无意识状态下产生等特点，较难提取。因此，如果要对用户信息表征的分析和预测达到最好的效果，微表情数据集的采集和选取十分重要。对于现存的公开微表情数据集，其主要区别在于帧率、诱导方式和标注方式[13]。目前已知的微表情数据集有：芬兰奥卢大学的SMIC（spontaneous microexpression corpus）[14]和SMIC 2数据集[15]，中国科学院的CASME（Chinese Academy of Science micro-expression）[16]、CASME Ⅱ[17]、CAS（ME）2[18]和CASME Ⅲ[19]数据集，英国曼彻斯特大学的SAMM（spontaneous micro-expression）数据集和SAMM long数据集[20]，中国山东大学联合清华大学、復旦大学团队的MMEW（micro-and-macro expression warehouse）数据集[21]，美国南佛罗里达大学的USF-HD数据集[22]和日本筑波大学的Polikovskys数据集[23]。其中，SMIC 2数据集包含3个子集HS、VIS和NIR。上述数据集实验采集参数的总结和对比如表1所示：

2.2  现有的数据处理方式

在提取人类微表情的特征之前，通常需要对微表情视频片段进行数据预处理，以降低输入复杂度，进一步提高后续有关用户信息表征的工作效率。常见的数据处理方式有数据元处理、数据统一表示等。

（1）数据元处理。人脸检测是微表情自动识别的第一步，过滤视频中出现人脸的干扰帧，提取出有用的人脸视频帧[24-25]，即数据元。接下来便对识别出的数据元进行处理，包括裁剪人脸、人脸矫正。裁剪人脸[26]以特定的位置来控制和放大人脸的特征点；人脸矫正负责标准化所提取到的人脸数据，解决角度不同、尺度不一致等问题，从而提高实际任务中的识别率。

（2）数据统一表示。用户的微表情所折射出的信息依赖计算机对识别结果的处理。但目前现存的微表情数据样本少，且微表情评判标准制定困难，难以满足算法检测学习的需求，因此现阶段的研究更趋向于使用数据统一表示以提高模型检测、判断的效率和容错率。常见的数据统一表示方式有裁剪、缩放、旋转和翻转等。采取不同的算法对数据进行处理，可以获取更为精准的标准化数据，进而有利于特征因子的提取，达到提高检测效率的目的[27]。

微表情识别研究是从提取到的实验者的面部微表情中分析出可能相对应的信息行为，作为研究资料在后续的数据分析工作中使用。如果选取的处理方法不当，就很可能触犯实验者的个人隐私[28]。一旦研究的数据库对外公开，由于信息主体隐私保护意识薄弱、信息获取要求配合度低以及相关立法滞后、由知情同意信息缺乏以及信息自主失效引发的隐私伦理问题不仅会侵犯实验者的隐私与伦理[29]，更会造成其对实验缺乏信任。因此，微表情的数据处理方式需要兼顾效率与安全，以达到促进信息表征研究的可持续发展目的[30]。

2.3  基于传统方法的识别技术

微表情识别的早期工作，大多是基于传统机器学习的方法，研究人员一般通过设计特征提取算子，提取微表情片段中的相应特征，并对特征进行分类识别[31]。基于传统方法的微表情识别可以分为基于纹理特征的方法和基于几何变换特征的方法，具体如表2所示：

2.4  基于深度学习的识别技术

采用传统的机器学习方法对高相似性和密集性的微表情图片进行特征识别，存在训练难度大、准确性较低、数据集数量较小、容易导致过拟合等问题，无法满足日益精确的效率需求。2018年，研究者将深度学习（deep learning， DL）引入微表情识别[39]，深度学习作为机器学习的一个新研究方向，在语音和图像识别等方面都已经取得了卓越进展[40]，可以有效解决微表情识别在种类、数量、速度上存在的问题，且处理方式更加简洁，还能更精准地识别特征信息，进一步提升微表情信息表征能力，现已超越传统方法成为主流。基于深度学习方法的微表情识别可以分为基于关联学习的方法、基于区域学习的方法和基于迁移学习的方法，如表3所示：

3  微表情识别与信息表征研究面临的挑战

从已取得的成就来看，微表情识别技术发展趋于成熟，基于深度学习的微表情识别方法已超越传统的机器学习方法，可以更精准地预测和分析用户试图掩饰或隐藏的真实情绪和内在表征信息，成为技术创新的中心课题[47]。信息表征的分析和预测已取得较好的成效[48]，面部表情的识别更加精准，数据元的处理方式更加多样化，并且已在高效课堂教学[49]、社会治理[50-51]领域得到较好的实际运用，但同时也不可避免地会存在一些困难与挑战。

3.1  技术方法优化

微表情具有明显不同于宏观表情的特征，如持续时间短、变化微弱等，这也大大增加了微表情识别的难度[52]。同时，通过识别微表情分析出的信息表征，其数据并非客观直接的无损原版。由于感情的细微性，其表现出的信息往往存在欺骗性，也显得更加模糊[53]。更具鉴别性的特征能够更准确地描述人脸表情，由于受到环境和情感表情的复杂挑战，大多数表情识别系统与技术难以捕捉微表情特征，无法达到很高的识别率[54]。目前技术更新迭代速度较快，实时集成表情识别技术（real-time emotion facial expression recognition， REFER）、人脸表情识别网络（facial-expression recognition network， FERNet）[55]和卷积神经网络（CNN）理论模型[56]等技术不断涌现。在过去发展的基础上促进了微表情识别准确性及信息表征分析的关联性，但仍存在模型波动较大、信息传递失真等技术问题，需要进一步研究。

3.2  人种存在差异及数据量问题

微表情识别与信息表征之间联系的建立需要大量的数据支撑，而较大规模地采集面部表情的难度较大，大规模面部微表情数据库的共建、共享发展不足[57]。在非受控环境下采集的网络数据，如FERPlus和RAF-DB等数据库，经过多人众包标注可靠性有所增加，但是标注数量也仅在3万左右[58]。另一方面，由于遺传、地域、文化的不同，不同人种、不同民族在表达情感时面部表情具有一定差异性。例如，仅从蒙古族、维吾尔族、壮族、藏族人脸表情图像的研究来看，面部主要特征部件的变动数据因不同民族而存在显著差异[59]。而针对特定人群研发特定微表情数据库的工作耗时费力，应用面又较为狭小，不适合作为长时期的发展方向。这就需要以共建共享为指导思想进行新技术开发[60]，解决微表情识别与信息表征研究的发展困境。

4  用户微表情信息表征未来研究方向

笔者在文献调研过程中全面分析了微表情识别及信息表征相关研究，结合调研内容，得出以下几个未来发展和潜在研究方向。

4.1   从信息表征到信息传递

微表情往往在人撒谎时出现，表达了人试图压抑与隐藏的真正情感[61]，换言之，撒谎等信息行为其实是微表情的主要来源，微表情的自觉或不自觉的目的就是“掩盖”某种信息行为。两者有着密不可分的相互联系，这种联系一定程度上体现在微表情与信息行为的传递过程，宏表情识别测验、短暂表情识别测验（brief affect recognition test， BART）、微表情识别测验（Japanese and Caucasian brief affect recognition test， JACBART）这3种针对抑郁症患者展开的测验即能体现出两者的现实应用性。

微表情通过神经生理条件传递信息行为。当某种情绪被触发，皮层下大脑会发送一种无意识的反射式的信号给面部神经，当这种信号足够强大时，真实表情将会泄露很短的时间，然后自主控制恢复，这就形成了微表情[62]。用户微表情信息表征的传递持续不断地进行，在此期间又传递出更多的信息[63]，产生新的信息行为，并循环往复地映射到新一轮的微表情之中。这种信息传递的循环符合信息的无限性，同时也证明了信息行为与微表情之间强大的传递关系。

4.2  从信息传递到信息反馈

从用户行为的本质出发，无论是从直观或是从技术的角度，都是通过分析某种反馈进行识别。起初，实验者利用CASME自发式微表情数据集技术，带着“他是否在撒谎？”的疑问，观看时录制人脸视频。当他们发现某些关键帧的微表情变换并做出判断时，其实就是得到了信息表征传达的反馈[64]。挑眉可能代表讶异，微笑可能代表喜悦，这是人们从直观上很容易得到有关信息行为的反馈结果[65]，然而这种轻微的区别是存在阈值的，信息行为的回馈会因阈值上呈现或阈值下呈现产生明显的区别[66]。

基于“微表情”的安检模式，从安检工作的实际出发，通过对面部微表情的捕捉和分析，并进行适时反馈，对于识别和研判可疑人员、风险预警、处置决策等方面具有重要的实用意义[67]。“微表情”识别的安检模式以微表情理论研究为基础， 并与心理学及大数据、人工智能、信息通信相结合。安检人员对受检人员适时引导刺激， 及时观察、分析其“微表情”的变化；同时，智能系统模块将视频中截取的人脸图像进行黑名单数据检索和“微表情”识别， 实现对可疑人员的甄别与预警。美国交通运输安全部已经把基于微表情分析的行为观测技术应用到机场的安检[68]。而微表情识别技术一旦应用到教育、医疗、社会治理等诸多领域，微表情采集中以帧为单位收集的图像视频信息及各类微表情数据集都有被传播和泄露的潜在风险[69]，参与者的个人隐私将可能受到侵犯[70]。因此，如何在保障数据安全的同时，在个人隐私保护和面部信息的搜集、存储、运用、传递之间达到平衡，是未来需要探究的方向之一。

5  结语

用户产生微表情的过程也是信息表征的过程。在前期分析和文献计量的基础上，笔者从现状、趋势、技术和挑战四大方面对微表情识别中的信息表征研究进行了系统分析，有利于把握微表情识别中的信息规律，对微表情识别中的信息管理和人机交互建设具有重要的理论意义和实践意义。与此同时，该研究领域不可避免地存在技术开发、信息保护和人种差异等一系列问题，对微表情识别领域下的信息行为研究提出了新的挑战，值得研究者持续深耕。在图书馆与情报领域，微表情识别过程中的信息传递、信息反馈是未来可发展的新兴研究领域，微表情识别领域的应用趋势可以在元宇宙、隐私问题和技术驱动等领域持续发展。

参考文献：

吴奇， 申寻兵， 傅小兰.微表情研究及其应用[J]. 心理科学进展， 2010， 18（9）： 1359-1368.

Ekman P， Friesen W V. Detecting deception from the body or face[J]. Journal of personality and social psychology， 1974， 29（3）： 288-298.

HOUSE C， MEYER R. Preprocessing and descriptor features for facial micro-expression recognition [EB/OL]. [2022-07-30]. https：//web.stanford.edu/classlee368/Project_Spring_1415/Reports/House_Meyer.pdf.

陈子健， 朱晓亮.基于面部表情的学习者情绪自动识别研究——适切性、现状、现存问题和提升路径[J]. 远程教育杂志， 2019， 37（4）： 64-72.

Zeng Z h， Pantic M， Roisman G I， et al. A survey of affect recognition methods： audio， visual， and spontaneous expression[J]. IEEE trans on pattern analysis and machine intelligence， 2009， 31（1）： 39-58.

ZHANG J， DONALD A N. Representations in distributed cognitive tasks[J]. Cognitive science， 1994， 18（1）： 87-122.

阳长征.危机事件中网络信息表征对用户持续分享意愿影响研究[J]. 图书情报工作， 2019， 63（21）： 105-116.

石程旭.监狱民警应用微表情分析的思考[J]. 法制博览， 2022（5）： 27-29.

崔小洛.基于微表情追蹤的课堂教学效果即时反馈系统设计[J]. 无线互联科技， 2022， 19（4）： 52-54.

李婧婷， 东子朝， 刘烨， 等.基于人类注意机制的微表情检测方法[J]. 心理科学进展， 2022， 30（10）： 2143-2153.

Frank M G， Herbasz M， Sinuk K， et al. I see how you feel： training laypeople and professionals to recognize fleeting emotion[C]// The annual meeting of the International Communication Association. New York： International Communication Association， 2009： 1-35.

Pfister T， Li X， Zhao G， et al. Recognising spontaneous facial micro-expressions[C]//2011 international conference on computer vision. Piscataway： IEEE， 2011： 1449-1456.

徐峰， 张军平.人脸微表情识别综述[J]. 自动化学报， 2017， 43（3）： 333-348.

Pfister T， Li X B， Zhao G Y， et al. Recognising spontaneous facial micro-expressions[C]//Proceedings of the 2011 IEEE international conference on computer vision. Piscataway： IEEE， 2011：1449-1456.

Li X B， Pfister T， Huang X H， et al. Aspontaneous micro-expression database： inducement， collection and baseline[C]//Proceedings of the 10th IEEE international conference and workshops on automatic face and gesture recognition. Piscataway： IEEE， 2013：1-6.

Yan w J， Wu Q， Liu Y J， et al. CASME database： a dataset of spontaneous micro-expressions collected from neutralized faces[C]//Proceedings of the 10th IEEE international conference and workshops on automatic face and gesture recognition. Piscataway： IEEE， 2013：1-7.

Yan W J， Li X， Wang S J， et al. CASME II： an improved spontaneous micro-expression database and the baseline evaluation[J]. Plos one， 2014， 9（1）： e86041.

Qu F， Wang S J， Yan W J， et al. CAS （ME）^2： a database for spontaneous macro-expression and micro-expression spotting and recognition[J]. IEEE transactions on affective computing， 2017， 9（4）： 424-436.

Li J， Dong Z， Lu S， et al. CAS （ME）3： a third generation facial spontaneous micro-expression database with depth information and high ecological validity[J]. IEEE transactions on pattern analysis and machine intelligence， 2022， 45（3）： 2782-2800.

Yap C H， Kendrick C， Yap M H. SAMM long videos： a spontaneous facial micro-and macro-expressions dataset[C]//2020 15th IEEE international conference on automatic face and gesture recognition. Piscataway： IEEE， 2020： 771-776.

Ben X， Ren Y， Zhang J， et al. Video-based facial micro-expression analysis： a survey of datasets， features and algorithms[J]. IEEE transactions on pattern analysis and machine intelligence， 2021， 44（9）： 5826-5846.

Pfister T， Li X， Zhao G， et al. Recognising spontaneous facial micro-expressions[C]//2011 international conference on computer vision. Piscataway： IEEE， 2011： 1449-1456.

Polikovsky S， Kameda Y， Ohta Y. Facial micro-expression detection in hi-speed video based on facial action coding system （FACS）[J]. IEICE transactions on information and systems， 2013， 96（1）： 81-92.

Rowley H A， Baluja S， Kanade T. Neural network-based face detection[J] IEEE transactions on pattern analysis and machine intelligence， 1998， 20（1）： 23-38.

Schapire E， Singer Y. Improved boosting algorithms using confidence-rated predictions[J]. Machine learning， 1999， 37（3）： 297-336.

COOTES T F， TAYLOR C J， EDWARDS G J. Active appearance models[C]//European conference on computer vision. Berlin： Springer， 1998：484-498.

Wadhwa N， Rubinstein M， Durand F， et al. Phase-based video motion processing[J]. ACM transactions on graphics， 2013， 32（4）： 1-10.

姚海燕， 李健， 邓小昭.网络用户信息行为研究中的隐私问题探讨[J]. 情报探索， 2010（7）： 14-16.

周霞， 王萍， 王美月， 等.政府开放數据用户认知影响因素研究——先验图式调节效应[J]. 情报科学， 2022， 40（9）： 159-166.

蒋福明， 曾慧平.人脸识别技术应用中的隐私伦理问题及其消解路径[J]. 山西高等学校社会科学学报， 2020， 32（9）： 19-24.

李思宁. 基于深度学习的面部微表情识别方法研究[D]. 徐州： 中国矿业大学， 2020.

Ojala T， Pietikainen M， Maenpaa T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE transactions on pattern analysis machine intelligence， 2002， 24（7）： 971-987.

Zhao G， Pietikainen M. Dynamic texture recognition using local binary patterns with an application to facial expressions[J]. IEEE transactions on pattern analysis and machine intelligence， 2007， 29（6）： 915-928.

Dalal N， Triggs B. Histograms of oriented gradients for human detection[C]//IEEE computer society conference on computer vision & pattern recognition. Piscataway： IEEE， 2005： 886-893.

Lucas B D， Kanade T. An iterative image registration technique with an application to stereo vision[C]//Proceedings of the 7th international joint conference on artificial intelligence. San Francisco： Morgan Kaufmann Publishers， 1997， 2： 674-679.

Chaudhry R， Ravichandran A， Hager G， et al. Histograms of oriented optical flow and binet-cauchy kernels on nonlinear dynamical systems for the recognition of human actions[C]//Proceedings of 2009 IEEE conference on computer vision and pattern recognition. Miami： IEEE， 2009： 1932-1939.

Liu Y J， Zhang J K， Yan W J， et al. A main directional mean optical flow feature for spontaneous micro-expression recognition[J]. IEEE transactions on affective computing， 2015， 7（4）： 299-310.

Lu Z， Luo Z， Zheng H， et al. A delaunay-based temporal coding model for micro-expression recognition [C]//Asian conference on computer vision. Singapore： Springer， 2014： 698-711.

Takalkar M A， Xu M. Image based facial micro-expression recognition using deep learning on small datasets[C]//2017 international conference on digital image computing： techniques and applications. Piscataway： IEEE， 2017： 1-7.

钱付兰， 李建红， 赵姝， 等.基于深度混合模型评分推荐[J]. 南京航空航天大学学报， 2019， 51（5）： 592-598.

刘德志， 梁正友， 孙宇. 结合空间注意力机制与光流特征的微表情识别方法 [J]. 计算机辅助设计与图形学学报， 2021， 33（10）： 1541-1552.

Khor H Q， See J， Phan R， et al. Enriched long-term recurrent convolutional network for facial micro-expression recognition [C]// IEEE international conference on automatic face & gesture recognition. Piscataway： IEEE， 2018： 667-674.

YAO L， XIAO X， CAO R， et al. Three stream 3D CNN with SE block for micro-expression recognition[C]//2020 International conference on computer engineering and application. Piscataway： IEEE， 2020：439-443

李星燃， 張立言， 姚树婧.结合特征融合和注意力机制的微表情识别方法[J]. 计算机科学， 2022， 49（2）： 4-11.

LIU Y Y， DAI W， FANG F， et al. Dynamic multi- channel metric network for joint pose-aware and identity-invariant facial expression recognition[J]. Information sciences， 2021（578）： 195-213.

孔慧芳， 钱世超， 闫嘉鹏.基于不均衡数据与迁移学习的面部微表情识别[J]. 合肥工业大学学报（自然科学版）， 2020， 43（7）： 895-900.

刘洋， 马莉莉， 张雯， 等.基于跨模态深度学习的旅游评论反讽识别[J]. 数据分析与知识发现， 2022， 6（12）： 23-31.

阳长征.危机事件中网络信息表征对用户持续分享意愿影响研究[J]. 图书情报工作， 2019， 63（21）： 105-116.

韩丽， 李洋， 周子佳， 等.课堂环境中基于面部表情的教学效果分析[J]. 现代远程教育研究， 2017（4）： 97-103， 112.

夏乾馨， 付强.应用微表情识别技术实现公安预警模式的探讨[J]. 中国防伪报道， 2021（2）： 82-85.

康桐瑞.论微表情分析在我国侦查讯问中的应用[J]. 上海公安学院学报， 2019， 29（4）： 28-33.

Kang J， CHEN X Y， LIU Q Y， et al. Research on a micro-expression recognition technology based on multimodal fusion[J/OL]. Complexity， 2021[2023-03-02]. https：//www.hindawi.com/journals/complexity/2021/5221950/.

Buhari A M， Ooi C P， Baskaran V M， et al. Invisible emotion magnification algorithm （IEMA） for real-time micro-expression recognition with graph-based features[J]. Multimedia tools and applications， 2022， 81（7）： 9151-9176.

Liu J， Wang H， Feng Y. An end-to-end deep model with discriminative facial features for facial expression recognition[J]. IEEE access， 2021， 9： 12158-12166.

El Zarif N， Montazeri L， Leduc-Primeau F， et al. Mobile-optimized facial expression recognition techniques[J]. IEEE access， 2021， 9： 101172-101185.

Zhang G， Lv G， Binsawad M， et al. Dynamic nonlinear expression recognition technology using neural network and attention mechanism[J]. Fractals， 2022， 30（2）： 2240097.

陈子健， 朱晓亮.基于面部表情的学习者情绪自动识别研究——适切性、现状、现存问题和提升路径[J]. 远程教育杂志， 2019， 37（4）： 64-72.

彭小江， 乔宇.面部表情分析进展和挑战[J]. 中国图象图形学报， 2020， 25（11）： 2337-2348.

马艳准. 多民族面部表情理解分析技术研究[D]. 沈阳： 东北大学， 2012.

张旭东， 刘洋.组态视角下元宇宙图书馆用户接受意愿影响因素研究[J]. 图书馆理论与实践， 2023（3）： 73-85.

于明， 钟元想， 王岩.人脸微表情分析方法综述[J]. 计算机工程， 2023， 49（2）： 1-14.

殷明， 张剑心， 史爱芹， 等.微表情的特征、识别、训练和影响因素[J]. 心理科学进展， 2016， 24（11）： 1723-1736.

樊振佳， 宋正剛， 刘鸿彬， 等.贫困地区返乡创业人员信息获取不平等表征及其根源分析[J]. 情报科学， 2019， 37（10）： 81-86， 113.

刘汝涵， 徐丹.视频放大和深度学习在微表情识别任务上的应用[J]. 计算机辅助设计与图形学学报， 2019， 31（9）： 1535-1541.

姜婷婷， 吴茜， 徐亚苹， 等.眼动追踪技术在国外信息行为研究中的应用[J]. 情报学报， 2020， 39（2）： 217-230.

吴冉， 任衍具.微表情的启动效应研究[J]. 应用心理学， 2011， 17（3）： 241-248.

刘缘， 庾永波.在安检中加强“微表情”识别的思考——基于入藏公路安检的考察[J]. 四川警察学院学报， 2019， 31（1）： 61-68.

Shen X， Wu Q， Fu X. Effects of the duration of expressions on the recognition of micro expressions[J]. Journal of Zhejiang University science B， 2012， 13（3）： 221-230.

刘洋， 马莉莉， 张雯， 等.基于跨模态深度学习的旅游评论反讽识别[J]. 数据分析与知识发现， 2022， 6（12）： 23-31.

谭春辉， 陈晓琪， 梁远亮， 等.隐私泄露事件中社交媒体围观者情感分析[J]. 情报科学， 2023， 41（3）： 8-18.

作者贡献说明：

刘  洋：进行研究设计，开展实验，撰写论文；

吴  佩：开展实验，撰写论文；

万芷涵：开展实验，撰写论文；

石佳玉：开展实验，撰写论文；

朱立芳：進行研究设计，修改论文。

A Review of Information Representation of Users Micro-Expressions

Liu Yang1  Wu Pei1  Wan Zhihan1  Shi Jiayu1  Zhu Lifang2

1School of Information Management， Wuhan University， Wuhan 430072

2School of Humanities and Communication， Guangdong University of Finance and Economics， Guangzhou 510320

Abstract： [Purpose/Significance] To analyze the current status and trends of research in the field of micro-expression recognition at home and abroad， and to provide a reference for the research on micro-expression information representation of users in the field of library and intelligence. [Method/Process] The bibliometric-based research method revealed the research dynamics in the field of micro-expression recognition in the last decade， and analyzed the convergence trends， technical basis and difficult challenges of micro-expression recognition and information representation. [Result/Conclusion] Micro-expression datasets and micro-expression recognition technologies are current research hotspots; technical approaches， security ethics and database volume are major challenges for todays development; information transmission and information feedback are emerging research areas that can be developed in libraries and intelligence in the future， and areas such as meta-universe， privacy issues and technology-driven are future trends in the application of micro-expression recognition technologies.

Keywords： micro-expression recognition    information representation    information transmission    information feedback    bibliometrics