基于视觉行为的网上用户识别

薛 佳，栗 觅，马理旺，吕胜富，钟 宁,4

(1.北京工业大学 电子信息与控制工程学院 国际WIC研究院，北京 100124； 2.脑信息智慧服务北京市国际合作基地，北京 100124； 3.磁共振成像脑信息学北京市重点实验室，北京 100053； 4.日本前桥工科大学 生命信息系，日本 前桥 371-0816)

基于视觉行为的网上用户识别

薛 佳1,2,3，栗 觅1,2,3，马理旺1,2,3，吕胜富1,2,3，钟 宁1,2,3,4

(1.北京工业大学 电子信息与控制工程学院 国际WIC研究院，北京 100124； 2.脑信息智慧服务北京市国际合作基地，北京 100124； 3.磁共振成像脑信息学北京市重点实验室，北京 100053； 4.日本前桥工科大学 生命信息系，日本 前桥 371-0816)

为了解决网上用户的识别问题，研究了基于眼动的隐马尔可夫模型(HMM)的用户识别方法。使用眼动装置获取用户网上行为的眼动数据，并提取显著性眼动特征。使用隐马尔可夫模型分别对不同类型用户建立用户模型，并将用户数据输入模型。利用最大概率原则输出用户类型，并使用优化算法-遗传算法(GA)对HMM进行参数优化，提高了识别准确率。实验结果表明，通过该方法识别网上用户类型是可行的。该研究进一步表明，根据用户的网上行为特点，优化网页结构，能够满足不同用户的个性化需求，还可以对用户的个体行为进行独立挖掘，提高人机交互水平。

眼动数据；用户识别；隐马尔可夫模型；遗传算法；人机交互

0 引 言

目前计算机只能通过键盘、鼠标、触摸屏等被动接收用户的信息请求，而用户却能够快速从计算机界面和音频等得到大量的信息，由此就会造成一种人机交互带宽不平衡的问题。为了解决该问题，需要计算机能够模拟人类通过感官主动接收外界信息，识别和了解周围环境的感知能力，这就需要模式识别技术的支持。模式识别技术应用广泛，例如面孔识别[1-2]、指纹识别[3]、语音识别[4-5]、动作识别[6-7]等。

网页是重要的人机交互界面，视觉是用户获取网页信息的主要方式，眼动追踪技术能够直接从人的内部认知加工角度更加直观、细致地记录和观察用户的视觉行为，这就为网页研究提供了一种新方法。近年来，利用眼动追踪技术在网页上的研究也有很多[8-10]，但是这些研究主要集中在同一用户对网页上不同类型信息的研究，而以网页为界面对同一类型信息不同用户识别的相关研究则很少。文中提出以网页为界面基于眼动追踪技术的不同网上用户的识别方法。

网络的普及使网络用户大幅增加，网络用户不是对个人身份的界定，而是由其行为方式组成的客观人群。目前对网络用户没有统一的划分原则，用户分类都是从一个维度或者两个维度对用户进行划分。比如从使用频率和在线时间这两个维度，把用户分为初级用户、普通用户和高级用户，所使用的数据是网站评论的语言学特征数据、用户Web日志信息，数据量大，数据采集复杂。文中使用眼动技术记录用户网络行为，眼动数据获取方便，易于处理和分析，获得的眼动特征是多个维度的，有助于提高识别率。文中对网络用户的划分原则是年龄，不同年龄层网上用户浏览网页时的眼动模式存在差异[11]。将网上用户类型分为老年用户和青年用户，使用眼动追踪技术分别获得两种用户类型浏览行为的眼动信息，分析老年用户和青年用户的视觉差异，提取具有显著性的眼动特征，使用隐马尔可夫模型分别对不同用户建立用户模型。

隐马尔可夫模型是一种统计模型，易于建立，不需要大规模样本集，适应性好，目前已经成为语音识别、手写体识别、文本信息抽取、步态识别等领域内的重要工具。韩玉昌通过研究被试观察不同形状和颜色图形时研究运动的顺序性问题，证明眼睛运动具有时间序列和空间序列的特性[12]，而隐马尔可夫模型能够描述这种时间性和空间性，隐马尔可夫模型已经应用到眼动研究中[13-15]，这些研究表明隐马尔可夫模型可以描述眼动观察序列。

对网络用户进行分类是对用户网络行为信息进行数据挖掘，有助于研究网络用户行为的特征。网络用户具有不同的兴趣爱好和行为习惯，因此其相应的网络行为也必然带有各自的特征，对这些特征进行处理和分析，可以实现用户模式分析、用户识别的需要，并且能够有效帮助网站设计者改进网站结构，降低复杂度，优化网页设计，提高人机交互水平。

1 方 法

1.1 被 试

能够熟练使用电脑上网的老年人26名(51～79岁，年龄56.0±8.0)，青年人26名(19～28岁，年龄23.0±1.8)，右利手，矫正视力正常，没有参加过类似实验。实验所用网页的信息及信息布局均按照真实网页进行设计，共10个实验网页。实验使用设备是Tobii T120眼动仪，眼动信号的采样频率为120 Hz，在17 in分辨率为1 024×768的彩色液晶显示器上全屏幕显示。被试与显示屏幕的距离约为60 cm。实验过程中只需被试在规定时间内按照自己的兴趣、习惯去浏览网页。眼动仪将全程记录被试浏览网页时眼动的注视位置及其他眼动信息。

1.2 数据收集与分析

对青年人和老年人的眼动数据进行收集和分析，并进行不同类型用户的眼动模式分析。总共获得老年人浏览轨迹260条，青年人浏览轨迹260条。浏览轨迹中包含眼动信息，包括注视时间、注视次数、瞳孔直径、眼跳距离。由于每种特征的分布不同，会导致数据范围较大的特征主导分类结果，影响分类结果，因此采用数据归一化，将各个数据特征转化到一个共同的值域范围。文中主要使用Z-score归一化函数，可以避免较小的样本被大数值的样本淹没，消除个体差异，有效提高分类正确率。

2 眼动数据的分类

2.1 特征提取和选择

由实验采集的眼动数据可以获得多种眼动特征，常用的有注视时间、注视次数、瞳孔直径、眼跳距离等。注视时间能够反映用户从注视目标上提取可用信息花费的时间，同时也能反映用户对注视目标的感兴趣程度以及提取有效信息的难易程度。注视次数能够反映人眼睛注视某一区域的频次，在一定程度上体现用户的注视目标和感兴趣区域，通过分析用户对某一区域的注视次数，可以得到用户的注视目标和感兴趣区域，有助于进行用户意图方面的研究。注视频率为用户单位时间内注视的次数。瞳孔直径的变化能够客观地反映人的心理活动，与人们进行信息加工时的心理努力程度有着密切关系。不同用户的网上视觉行为获取与加工信息时付出的心理努力不同，瞳孔直径大小也就不同。眼跳距离能够反映不同用户获得信息量的多少。不同用户网上视觉行为的眼跳距离能够反映用户获得信息量的多少。

对以上眼动特征进行统计分析，比较其差异性。图1给出了统计分析结果。

注视频率瞳孔直径眼跳距离青年人356．03±170．190．75±0．740．03±0．92老年人376．92±98．79-0．87±0．52-0．08±0．8方差F(1，518)=2．93F(1，518)=827．80F(1，518)=2．384分析P=0．088P<0．000P=0．123

表1 不同用户眼动特征的统计分析结果

2.2 分类结果

隐马尔可夫模型对眼动特征进行分类，识别老年用户和青年用户。基于各个特征的分类结果比较如图2所示。

图2 基于不同分类方法的用户分类正确率

比较两种分类方法，HMM比SVM的分类效果较好，组合特征的分类相比单个特征的分类更具优势。对特征进行组合分类，由图2(b)可以看出，HMM组合特征的分类正确率高于单个特征的分类正确率，且比SVM的分类效果好,达到96.88%。

2.3 参数优化后隐马尔可夫模型的特征分类

隐马尔可夫模型易受初始参数的影响,因此使用优化算法-遗传算法(GA)对HMM的初始参数进行优化，使初始参数能够达到全局最优。由于隐马尔可夫模型的训练算法Baum-Welch的初始参数是随机得到的，当初始参数随机选择较好时，输出概率值就能达到最大，最终得到的模型参数也比较接近全局最优，但是参数随机性太强，不能确定最优参数。随机选择五组参数，然后使用前向后向算法计算它们的输出概率值P(O|λ)，结果见表1。

表1 随机训练HMM参数

由表1可以看出，前三组随机参数与后两组参数获得的平均P(O|λ)相差较大，这就说明随机参数存在很大的随机性，不利于模型的训练。遗传算法是一种模拟自然进化过程搜索最优解的方法，Kwong等将遗传算法成功应用到基于HMM的说话人识别系统中，得到了优于传统Baum-Welch算法的训练模型参数[16]，因此使用遗传算法对隐马尔可夫模型参数进行优化，优化结果如表2所示。

表2 训练HMM的GA参数

从表2可以看出，随着种群的增大，种群中最好个体的P(O|λ)也在增大，说明了当M值较大时，遗传算法搜索范围增大，求得最优个体的机会也随之增加。尤其当种群M增加到200，交叉率pc=0.8，变异率pm=0.1时，P(O|λ)达到1.893 6，种群平均P(O|λ)达到1.249 946，说明了GA的大范围寻优特性。

基于HMM和GA-HMM的分类结果比较如表3所示。

表3 基于HMM和GA-HMM的分类结果比较 %

由表3可以看出，使用遗传算法优化的HMM对青年人和老年人的识别率都有所提高，对青年人的识别率由92.65%提高到98.75%，对老年人的识别率由94.65%提高到97.5%。遗传算法对HMM有很好的优化效果，提高了识别率。

3 结束语

文中研究结果表明，老年用户和青年用户在浏览网页时具有不同的视觉模式，老年用户浏览网页时需要付出更多努力，瞳孔直径明显比青年用户大。基于视觉模式的差异，计算机能够通过眼动信号识别用户类型，提供更加智能化的人机交互应用。采用眼动技术以网页为界面对网上用户进行研究，所采集的眼动数据能够用于用户分类，且分类效果较理想，另外也可以进一步挖掘用户网页兴趣、浏览习惯等信息。文中对网上用户的识别现在处在初级阶段，只是对用户大致年龄层的一个划分，下一步工作需要缩小年龄层区间，对用户类型达到更加精确的识别。

[1] 刘小军,王东峰,张丽飞,等.一种基于奇异值分解和隐马尔可夫模型的人脸识别方法[J].计算机学报,2003,26(3):340-344.

[2] 李耀东,崔 霞,肖柏华,等.自动人脸识别技术综述[J].计算机科学,2002,29(12):1-11.

[3] 田 捷,陈新建,张阳阳,等.指纹识别技术的新进展[J].自然科学进展,2006,16(4):400-408.

[4] 田 斌,田红心,刘丹亭,等.用于语音识别拒识的隐马尔可夫模型状态及状态驻留相关的声学置信量度[J].计算机研究与发展,1999,36(11):1398-1401.

[5] 战普明,王作英,陆大金.语音识别隐马尔可夫模型的改进[J].电子学报,1994,22(1):9-15.

[6] 胡 琼,秦 磊,黄庆明.基于视觉的人体动作识别综述[J].计算机学报,2013,36(12):2512-2524.

[7] 李瑞峰,王亮亮,王 珂.人体动作行为识别研究综述[J].模式识别与人工智能，2014,27(1):35-48.

[8]SilvaJDV.Improvementofamethodologyforwebsitekeyobjectidentificationthroughtheapplicationofeye-trackingtechnologies[C]//Proceedingsofthe2012IEEE/WIC/ACMinternationaljointconferencesonwebintelligenceandintelligentagenttechnology-volume03.[s.l.]:IEEEComputerSociety,2012:59-63.

[9]Al-WabilA,ZaphirisP,WilsonS.Examiningvisualattentionofdyslexicsonwebnavigationstructureswitheyetracking[C]//Internationalconferenceoninnovationsininformationtechnology.[s.l.]:IEEE,2008:717-721.

[10]LiQ,SunL,DuanJ.Webpageviewingbehaviorofusers:aneye-trackingstudy[C]//Internationalconferenceonservicessystemsandservicesmanagement.[s.l.]:IEEE,2005:244-249.

[11]SuXY,LiM,LuSF,etal.Aneyetrackingstudyonvisualsearchandbrowsestrategiesofelderlypeopleonwebpages[J].AppliedMechanicsandMaterials,2014,556:6154-6158.

[12] 韩玉昌.观察不同形状和颜色时眼运动的顺序性[J].心理科学,1997(1):40-43.

[13]ElhelwM,NicolaouM,ChungA,etal.Agaze-basedstudyforinvestigatingtheperceptionofvisualrealisminsimulatedscenes[J].ACMTransactionsonAppliedPerception,2008,5(1):421-434.

[14]SalvucciDD,AndersonJR.Automatedeye-movementprotocolanalysis[J].Human-ComputerInteraction,2001,16(1):39-86.

[15]AzizF,ArofH,MokhtarN,etal.HMMbasedautomatedwheelchairnavigationusingEOGtracesinEEG[J].JournalofNeuralEngineering,2014,11(5):056018.

[17]KwongS,ChauCW,ManKF,etal.OptimisationofHMMtopologyanditsmodelparametersbygeneticalgorithms[J].PatternRecognition,2001,34(2):509-522.

Online User Identification Based on Visual Behaviors

XUE Jia1,2,3，LI Mi1,2,3，MA Li-wang1,2,3，LYU Sheng-fu1,2,3，ZHONG Ning1,2,3,4

(1.International WIC Institute,College of Electronic Information and Control Engineering, Beijing University of Technology,Beijing 100124,China; 2.Beijing International Collaboration Base on Brain Informatics and Wisdom Services,Beijing 100124,China; 3.Beijing Key Laboratory of MRI and Brain Informatics,Beijing 100053,China; 4.Department of Life Science and Informatics,Maebashi Institute of Technology, Maebashi 371-0816,Japan)

To solve the problem of Web user identification,the method using Hidden Markov Model (HMM) is explored dealing with the data of eye movement.The eye movement data of users’ online behavior are acquired and the significant features of eye movement are extracted.Then The models of different types of users are established using HMM,inputting the data of users into model.The maximum probability principle is applied to output the user type and the Genetic Algorithm (GA) is used to optimize the parameter of HMM,improving the accuracy of identification.The experimental results indicate that the Web users can be recognized effectively by the HMM method.In addition,according to the accurate user identification based on characteristics of user’s online behavior,the structure of web pages can be optimized to meet the need of different users.It also can make the user’s individual behavior independently and improve the level of human-computer interaction.

eye movement data;user identification;HMM;GA;human-computer interaction

2015-10-14

2016-03-16

时间：2017-01-10

国家“973”重点基础研究发展计划项目(2014CB744600)；国家自然科学基金青年科学基金项目(61602017)；北京市自然科学基金青年项目(4164080)；北京市优秀人才培养资助(2014000020124G039)；科技部国际科技合作与交流专项(2013DFA32180)

薛 佳(1990-)，女，硕士研究生，研究方向为人工智能、模式识别等；栗 觅，讲师，博士后，通讯作者，研究方向为人工智能、模式识别、脑与认知等；吕胜富，教授，研究生导师，研究方向为智能科学、认知神经科学、模式识别等；钟 宁，教授，研究生导师，研究方向为网络智能与脑信息学等。

http://www.cnki.net/kcms/detail/61.1450.TP.20170110.1010.032.html

TP391.9

A

1673-629X(2017)02-0011-04

10.3969/j.issn.1673-629X.2017.02.003