基于眼动记录与分析技术的测谎研究*

孟春宁 孙盛智,2 冯明奎 陈萱华

(1.公安海警学院电子技术系，宁波,315801; 2.装备学院，北京,101416)



基于眼动记录与分析技术的测谎研究*

孟春宁1孙盛智1,2冯明奎1陈萱华1

(1.公安海警学院电子技术系，宁波,315801; 2.装备学院，北京,101416)

为进一步提高测谎的准确度，加快促成测谎结论成为刑事诉讼中的证据，提出一种低成本的将眼睛变化线索用于测谎的方案。首先设计了一种低成本的眼动记录系统记录眼动信号，提出分段加权Hough变换算法跟踪虹膜，利用梯度积分投影函数检测眨眼，采用差分图像估计眼睛张开程度。然后建立了眼动轨迹、眨眼频率及眼睛张开程度等眼动特征与说谎的关系模型。实验取得的眼动特征检测精度证明采用低成本眼动记录系统基本可以满足测谎需求，测谎实验结果证明了本文方法用于测谎或辅助测谎的可行性。

人眼检测；眼动；眼睛跟踪；测谎

引 言

测谎一般指运用心理学、生理学和医学等科学原理以及光电、机械、计算机以及模式识别等技术研制成的测谎仪器，测量被试者的生理变化来甄别其是否说谎。当前，测谎技术已经广泛应用于各国刑事司法领域，在案件侦查和审判中发挥着重要的作用[1]。

心理及生理学研究表明，人类在说谎时会产生一系列的生理反应，这些反应变化主要表现在：(1)呼吸系统的变化，如呼吸速率加快，甚至呼吸抑制和屏息；(2)循环系统的变化，如脉搏加快。血压升高，体温微升；(3)皮肤系统的变化，如前额、手心出汗增多，导致皮肤电阻发生变化；(4)视觉系统的变化，如眼睛瞳孔放大，眨眼次数增多，眼动模式变化等；(5)语言系统的变化，如声音颤抖、说话结巴等；(6)其他器官变化：口干舌燥，面红耳赤，手指颤抖和脸部肌肉抽搐等[2]。传统测谎仪器测试指标主要包括血压、心电、皮肤电阻和呼吸4个方面，依靠皮肤电传感器、呼吸传感器、脉搏和血压传感器等部件实现。大量调查研究结果表明现有的测谎技术的准确率已经高于85%，例如，耶鲁大学法学院的华尔兹教授给出的统计数字表明测谎检查的准确率一般在90%左右。然而也有研究者指出单纯依靠传统测谎仪的准确率仅能达到60%左右，所以仍然有很多人怀疑测谎仪的准确性，导致测谎技术仍不能被中国公认为刑事诉讼的证据[3]。因此，进一步从技术上提高测谎准确率是加快测谎结论成为证据的重要手段之一。

传统的呼吸、脉搏及血压传感器技术已经比较成熟，探测精度也基本满足测谎要求，因此，充分利用传统测谎仪不能探测的一些生理反应，增加更多的测试指标，才是提高测谎准确率的有效途径。本文从当前认可度较高的说谎生理反应出发，着重研究传统测谎仪未涉及的视觉系统变化指标。要获取视觉系统变化信息，需要跟踪眼动，记录眼动信息。当前取得广泛应用的眼动记录方法主要包括电学记录法和光学记录法，以眼电图描记法为代表的电学记录法的精度可达2°左右[4]，但其装配复杂，对眼睛的侵入性极高；现有的主流光学记录法依靠红外摄像技术及图像处理技术[5]，精度已经可以达到1°以内，且侵入性较小，但成套的眼动记录系统价格昂贵，难以普及使用。本文设计了一种低成本、低浸入式的眼动记录系统捕获眼睛变化信息，利用相关图像处理及模式识别技术提取眼动特征，并建立了眼动与说谎的关系模型。实验证明本文提出的方案可以用于提升传统测谎仪的准确率。由于增加视觉系统指标所需设备成本较低，且眼动识别精度可满足需求，因此适合作为当前测谎仪的升级方案。

1 眼动记录技术

眼动记录技术最基本的目标即记录眼睛的运动轨迹，然后力求在此基础上估计各时刻的眼睛状态。目前眼动记录技术已广泛应用于认知心理学[6]、医学诊断[7]、市场营销[8]、人机交互[9]以及辅助驾驶[10]等诸多领域，记录眼动的仪器也成为心理学、医学研究机构及大型企业必不可少的工具。

利用肉眼直接观察测试者的眼睛来记录眼动的技术早在19世纪便已出现。由于观察法难以定量描述眼动轨迹，借助其他设备辅助记录眼动信息的方法逐渐被采纳，如早期利用杠杆、角膜吸附环状物等装置的机械辅助记录法以及现在仍在使用的电学记录法等。机械辅助记录法对眼睛伤害极大，精度较低，已经基本被淘汰。以眼电图描记法为代表的电学记录法的精度已经可以满足很多应用需要，但是其侵入性仍然较高，况且极易受测试者生理差异影响、装配调整非常复杂。近年来，利用数字摄像机记录眼动过程、使用图像处理技术分析视频数据的光学记录法以其高精度、低侵入性的优势迅速占领了眼动研究领域的市场。这种方法通常需要主动红外光源照明，用响应红外波段的摄像机记录眼动视频，检测视频序列中角膜反射光斑的位置以及瞳孔中心位置作为分析眼动的关键特征，现有眼动记录系统大多采用这种原理。德国SMI、瑞典Tobii以及加拿大SR等公司研制的商用眼动仪都已达到0.5°的精度，但高质量摄像机与镜头以及较小的市场需求导致其造价均在几十万人民币，昂贵的价格限制了眼动技术的普及[11]。

本文设计了一种穿戴式眼动记录系统，整个系统硬件主要由两个普通CMOS摄像机和一个耳麦式支架构成，下文称为耳麦式眼动记录仪。注视摄像机固定在耳麦式支架的前臂上，可从眼睛的斜下方拍摄单眼视频；场景摄像机固定在从支架的上方引出的硬质吊臂上，用于拍摄眼睛看到的视场，注视相机用于拍摄左眼视频图像，场景摄像机可用于系统校准、头动检测以及判断注视点等，整个系统造价几百元人民币，大大降低了硬件成本[12]。

2 说谎与眼动的关系

心理学与生理学研究及实验成果明确指出的眼动与说谎的关系有：(1)说谎时瞳孔会收缩；(2)如果眼睛先向上、再向左转动，说明大脑在回忆真实经历的事情；如果眼睛先向上、再向右转动，说明说话人在虚构一个画面，即说谎；如果眼睛不动，不能说明其没有说谎[13]。(3)说谎时眨眼频率较平时低，而说谎刚结束时眨眼频率会大幅升高[14]。(4)如果一个人在回答是或不是的问题上撒谎的话，通常他们会先暂时闭上眼睛，然后才会作答。(5)被错误指责时，感觉越冤屈眼睛眯缝越严实。上述规则中前3条的认可度较高，通用性也较好。判断第1条规则需要清晰的瞳孔图像，但本文所用自然光照明下的采集系统难以获取瞳孔图像；第2条需要虹膜中心运动轨迹，第3条需要眨眼检测。后两条规则通用性较差且认可度不高，可作为辅助判断标准。

3 眼动特征获取

3.1 眨眼检测

首先采用尺度不变梯度积分投影算法[15](Scale-invariant gradient integral projection function，SGIPF)检测眼睛睁开时垂直方向上的位置P1，并记录眼睛位置处的投影函数值M1(5帧均值)；然后依次检测下一帧图像中眼睛位置Pi及对应的投影函数值Mi，如果 |P1-Pi| > th1 或者 |M1-Mi|>th2，则认为此帧为眨眼图像，其中th1和th2取尽量提高对眨眼样本召回率的阈值[16]。如果满足上述两式的连续帧数在4～12之间，则认为是一个眨眼过程，小于4认为是眯眼或上下扫视，大于12认为是短暂闭眼。在跟踪过程中，眨眼图像中虹膜不可见的帧中虹膜位置默认为眨眼前的位置。

实验采集了6个不同人的39段视频，每段视频的初始帧为眼睛睁开状态，采用上述方法对此39段视频的眨眼检测正确率可达99.9%，高检测率主要依赖穿戴式系统采集的眼动视频不受头动影响、眼睛在图像中位置固定的优势。统计结果显示不同人的眨眼频率差异较大，平均每分钟眨眼4～33次，每次眨眼过程持续120～350 ms，因此依据眨眼频率的测谎推断将分别统计不同人的基准眨眼频率。

3.2 上下眼睑位置检测

通过上下眼睑位置检测推断眼睛的张开程度，从眨眼开始帧到结束帧中取3帧图像与眨眼后的3帧图像依次两两差分，将3幅差分图像归一化后叠加，然后将叠加后的图像二值化，取连通区域的上下边缘作为眼睛的最大张开距离Dmax。此后每相邻两帧图像作差分，以差分后二值化的最大联通区域的高度作为眼睛张开距离的变化。以此种方法对1 000帧图像中眼睛张开距离的测试误差平均为3.6个像素，该方法速度较快精度并不高，由于需要此特征的第5条规则的可靠性也相对较差，因此作为辅助判断标准对结果影响较小。

3.3 虹膜跟踪

首先利用SGIPF算法结合EM算法分割出人眼窗口[16]，其中梯度算子长度取29，然后在所获人眼窗口中采用分段加权环形Hough变换算法提取每帧图像中的虹膜轮廓及中心。圆形Hough变换定义为

(1)

式中(xi,yi)为采用Canny算子所获边缘图像中的边缘点，(xc,yc)为圆心坐标，r为圆半径，并且

(2)

(3)

如果参数为(xc,yc,r)确定的圆经过边缘点(xi,yi)，则这个点使得h(xi,yi,xc,yc,r)有多少个边缘点满足h=1，此圆就获得多少投票值。获得投票最大的圆被检测为虹膜边缘。

本文设计的眼动记录系统在自然光照明条件下工作，所获取的人眼图像中无法分辨出瞳孔，只能定位虹膜中心作为人眼中心。然而虹膜极易受到眼睑及睫毛遮挡，通常不会呈现出理想的圆形，因此采用经典的Hough变换检测虹膜的正确率较低。通过分析研究大量自然光照明下的虹膜图像，总结出其主要特点如下：(1)虹膜的上下边缘部分最易受眼睑和睫毛遮挡；(2)虹膜左右两侧邻接白色巩膜，两侧边缘梯度方向相反；(3)眼球转动及边缘检测误差会导致二维图像中的虹膜并非正圆。 为充分利用这些先验信息，本文构造了一种分段加权环形Hough变换，定义为

(4)

其中

(5)

式中R为将落在半径为r-1到r+1之间的圆环里的点都记入Hough变换投票，权重w为分段函数

(6)

式中每个边缘点(xi,yi)在不同的参数(xc,yc,r)下有不同的权值，权值大小由该点的梯度方向和该点在参数(xc,yc,r)对应的圆中的空间位置决定[17]。

图1 不同误差标准下两种算法的检测正确率对比图Fig.1 Comparison of detection accuracy under different error

每帧图像中的虹膜轮廓及中心采用上述方法检测，并实现虹膜跟踪。以人工标定位置作为约定真值，对2 000帧测试图像中虹膜中心及半径的检测平均误差见表1所示，检测精度完全可以满足眼动轨迹特征分析需要。分段加权Hough变换与经典Hough变换检测结果的比较如图1所示，从图中可看出，在判断检测正确的标准低于4个像素的误差时，两种方法表现相差无几；当以误差大于5为标准时，得益于对非正圆边缘良好的容忍度，分段加权Hough变换算法表现出较大的优势；当以误差大于10为标准时，分段加权Hough变换检测正确率已经接近百分之百，而Hough变换仍然低于90%，查看这部分误差大的图像发现，多数是由于眼睑遮挡严重造成Hough投票值最低对应的圆并非真正的虹膜，这也证明分段加权Hough变换能够很好地克服眼睑及睫毛遮挡问题。

表1 虹膜检测平均误差

4 基于眼动记录与分析技术的测谎模型

依据说谎与眼动的关系，结合本系统所能获取的眼动特征构建基于眼动的测谎模型。由于前3条规则较为可靠通用，而第1条规则所需眼动特征无法检测，最后选择第2,3条规则作为主要判断依据，第5条规则作为辅助判断依据。具体测谎流程如下。

(1)穿戴眼动记录仪。

(2)受试者正视前方2 min，从非眨眼状态开始记录眼动信息，计算检测出的虹膜平均半径R，计算虹膜中心水平坐标的平均值M，统计眨眼频率，求出个体基准眨眼频率W0。

(3)询问问题，同时统计受试者回答问题期间除眨眼过程外，眼睛张开距离的平均变化D(像素)。

(4)提取受试者回答问题期间的眼动特征，记录每帧图像中的虹膜中心水平坐标C，计算眨眼频率W1，记录回答问题期间的总帧数n。

(5)受试者回答问题完毕后，统计1min内的眨眼频率W2。

(6)计算PL值

(7)

式中：等式右边第1，2项对应第3条规则，第3项对应第2条规则，第4项对应第5条规则。测谎实验以PL值的大小作为是否说谎的依据，PL值越大说明说谎的可能性越大。

表2 测谎实验结果

测试者头戴眼动记录仪参与测谎实验，面对提问者，距离3 m，提问者身后是白色墙壁，以减少对测试者的视觉影响。选择的测试者不从事图像处理或眼动心理学方面的研究，不告知前述5条规则。为最大限度模仿真实场景，约定如果受试者被识破说谎将受到一定惩罚。实验依次记录了4名受试者参与测试的眼动数据，事先准备了8个问题，现场提问时，由受试者自己决定每个问题是否撒谎。受试者事先并不知道问题内容，但约定每名受试者照实回答其中4个问题，对另外4个问题撒谎。实验共获取到32组数据，包括16次说谎及16次照实回答问题时的眼动数据，分别计算每名受试者说谎时的平均PL值及不说谎时的平均PL值，结果只有第2名受试者说谎时的平均PL值小于不说谎时的平均PL值，实验结果见表2所示，以PL值大小测谎的正确率为75%。分析第2名受试者的眼动数据发现，其撒谎时的眼动数据并不符合第2条规则。实验结果在一定程度上证明了本文方法及所用生理学规则的有效性。

5 结束语

本文提出一种将基于计算机视觉的眼动记录与分析技术用于测谎研究的方案。采用低成本眼动记录系统及相关图像处理技术实现眼动跟踪，具有低成本、低侵入性的优势。为进一步提高测谎准确度，本文充分利用说谎伴随的视觉系统生理变化建立测谎模型，对眼动特征与说谎的关系做了初步的定量分析，实验结果证明了以PL值为主要分析标准的可行性。这种方法弥补了传统测谎仪忽视视觉系统变化的缺陷，如果作为辅助判断标准，对提高测谎精度有积极的帮助。眼动特征检测结果与测谎实验表明，本文提出的基于低成本眼动记录与分析技术的测谎模型用于测谎或辅助测谎技术是有效可行的。这种测谎模型为今后测谎仪的改进提供了一种全新的思路。但是从测谎实验识别错误样本结果分析可看出，心理及生理学研究得出的撒谎眼动特征并不具有完全的普适性，进一步寻找更通用的撒谎眼动特征是提高基于视觉系统指标测谎准确度的必要途径。在下一步研究工作中，应将寻找更多的测试者，采集大量实验数据用于评价撒谎眼动特征的通用性并优化测谎模型各项权重的取值。

[1] 何家弘. 测谎结论与证据的 “有限采用规则”[J]. 中国法学, 2005, 2(13): 140-151.

He Jiahong. Lie-detector conclusion and limited adoption principle of evidences[J]. China Legal Science, 2005, 2(13): 140-151.

[2] 陈卫东, 简乐伟. 测谎结论的证据问题研究[J]. 证据科学, 2010, 18(1):5-16.

Chen Weidong, Jian Yuewei. A study on evidentiary issues of polygraph examination[J]. Evidence Science, 2010, 18(1):5-16.

[3] 郑红丽, 丁同春. 测谎技术的新进展[J]. 中国人民公安大学学报: 自然科学版, 2007, 13(1): 44-49.

Zheng Hongli, Ding Tongchun. New progress of polygraph technology[J]. Journal of Chinese People's Public Security University: Science and Technology, 2007, 13(1): 44-49.

[4] Malcolm B, Michael M, Eberhard Z, et al. ISCEV standard for clinical electro-oculography (EOG)[J]. Documenta Ophthalmologica Advances in Ophthalmology, 2006, 113(3):205-212.

[5] Witzner H D, Qiang J. In the eye of the beholder: A survey of models for eyes and gaze[J]. Pattern Analysis & Machine Intelligence IEEE Transactions on, 2010, 32(3):478-500.

[6] Morris A P. Neuroscience: Tiny eye movements link vision and attention[J]. Current Biology, 2015, 25(17): R769-R771.

[7] Molitor R J, Ko P C, Ally B A. Eye movements in Alzheimer's disease[J]. Journal of Alzheimer's disease: JAD, 2015, 44(1): 1-12.

[8] Snyder E, Hurley R A, Tonkin C E, et al. An eye-tracking methodology for testing consumer preference of display trays in a simulated retail environment[J]. Journal of Applied Packaging Research, 2015, 7(1): 1-6.

[9] Salunkhe P, Patil A R. A review on device controlled using eye movement[J]. International Journal of Emerging Trends in Science and Technology, 2015, 2(1)): 1773-1778.

[10]王先梅, 迟健男, 王志良. 基于 2 阶段区域匹配的驾驶员眼睛细定位算法[J]. 数据采集与处理, 2010, 25(5): 590-594.

Wang Xianmei, Chi Jiannan, Wang Zhiliang. Precise eye location based on two-stage region matching for driver fatigue detection[J]. Journal of Data Acquisition and Processing, 2010, 25(5): 590-594.

[11]常胜江, 孟春宁, 韩建民,等. 人眼检测技术研究进展[J]. 数据采集与处理, 2015, 30(6):1131-1146.

Chang Shengjiang, Meng Chunning, Han Jianmin, et al. Survey of eye detection[J]. Journal of Data Acquisition and Processing, 2015, 30(6):1131-1146.

[12]孟春宁, 白晋军, 张太宁,等. 基于低成本眼动记录系统的视线估计研究[J]. 光电子·激光, 2013, 24(8):1600-1605.

Meng Chunning, Bai Jinjun, Zhang Taining, et al. Research on eye gaze estimation based on low-cost eye movement recorder[J]. Journal of Optoelectronics Laser, 2013, 24(8):1600-1605.

[13]Lieberman D J. Never be lied to again: How to get the truth in 5 minutes or less in any conversation or situation[M]. London: Macmillan, 1999:2-8.

[14]Leal S, Vrij A. Blinking during and after lying[J]. Journal of Nonverbal Behavior, 2008, 32(4): 187-194.

[15]Meng C N, Zhang T N, Zhang P, et al. Fast and precise iris localization for low-resolution facial images[J]. Optical Engineering, 2012, 51(7): 077008-1-077008-10.

[16]孟春宁, 白晋军, 张太宁, 等. 单摄像机下基于眼动分析的行为识别[J]. 物理学报, 2013, 62(17): 174203-174203.

Meng Chunning, Bai Jinjun, Zhang Taining, et al. Eye movement analysis for activity recognition based on one web camera[J].Acta Physica Sinica, 2013, 62(17): 174203-174203.

[17]孟春宁, 白晋军, 张太宁, 等. 基于梯度积分投影和最大期望算法的人眼定位[J]. 光电子·激光, 2012, 23(10): 1971-1976.

Meng Chunning, Bai Jinjun, Zhang Taining, et al. Eye localization based on gradient integral projection and expectation-maximization algorithm[J]. Journal of Optoelectronics. Laser, 2012, 23(10): 1971-1976.

孟春宁(1985-)，男，博士、讲师，研究方向：图像处理、模式识别和信息安全,E-mail:mengchunning123@163.com。

陈萱华(1969-)，女，教授，研究方向：网络信息系统。

孙盛智(1985-)，男，博士研究生，研究方向：信息处理。

冯明奎(1964-)，男，教授，研究方向：海警舰艇指挥。

Lie Detection Based on Eye-Movement Tracking and Analysis

Meng Chunning1, Sun Shengzhi1,2, Feng Mingkui1, Chen Xuanhua1

(1. Department of Electronic Technology, China Maritime Police Academy, Ningbo, 315801, China; 2. Academy of Equipment, Beijing, 101416, China)

To improve the accuracy of lie detection and make the lie detection conclusion as the approved evidence in criminal proceedings, a low-cost scheme which uses eye movement as a cue for lie detection is proposed. First, a low-cost eye movement recording system is used to record eye movement signals, a segmented weighting-annular hough transform is applied to track the iris, a gradient integral projection algorithm is used to detect blink, and the width of eye opening is estimated by the difference image. Then, a relational model associated the eye movement features and the lying is built. The results of the eye movement feature detection show that the low-cost eye movement recording system is suitable for lie detection, and the results of lie detection show that the proposed model is effective for lie detection or assistant lie detection.

eye detection; eye movement; eye tracking; lie detection

国家自然科学基金(61401105)资助项目；教育部重点课题(DIA150308)资助项目；浙江省高等教育教学改革项目(JG2015207)资助项目。

2015-11-27；

2016-01-20

TP391.4; D918.2

A