吕钊,吴小培,张超,卫兵
(1. 安徽大学信息保障技术协同创新中心,安徽 合肥 230601;2. 安徽大学计算机科学与技术学院,安徽 合肥 230601)
基于EOG的安全辅助驾驶系统算法设计与实现
吕钊1,2,吴小培1,2,张超1,2,卫兵1,2
(1. 安徽大学信息保障技术协同创新中心,安徽 合肥 230601;2. 安徽大学计算机科学与技术学院,安徽 合肥 230601)
为保证驾驶安全,提高车辆控制系统的智能化水平,实现“手不离盘”操作,设计并实现了一种基于眼电图(EOG)的安全辅助驾驶系统。该系统利用安装在驾驶员眼睛周围的生物电极采集其在观测抬头显示器(HUD,head up display)上提示符时所产生的扫视信号,生成多种车载设备控制命令;对原始多导联EOG信号进行端点检测后,使用了独立分量分析(ICA, independent component analysis)方法进行空域滤波后提取眼动信号特征参数,并结合支持向量机实现了上、左与右扫视动作的识别。实验室环境下对所提算法进行了测试,15位受试者在疲劳与非疲劳状态下的在线平均正确率达到了98.43%与96.0%。实验结果表明,基于ICA多类扫视信号识别算法的安全辅助驾驶系统在眼动信号分析中呈现出了良好的分类性能。
眼电图;扫视信号;独立分量分析;空域滤波;支持向量机
安全辅助驾驶系统(SDAS, safe driver assistant system)是利用安装在车辆上的传感器,即时收集车辆内外的环境参数,进行静、动态物体的辨识、侦测与追踪处理,在最短的时间内提示驾驶者可能发生的危险,并协助采取相应的规避措施,以有效降低事故发生频率,减轻事故伤害,提高驾驶安全性[1]。现阶段,SDAS的发展逐渐呈现出了多样化、实用化趋势,一些新的安全辅助驾驶系统相继问世并取得了广泛应用,如紧急制动辅助 (EBA, emergency brake assist)系统、车身电子稳定 (ESP, electronic stability program)系统、上坡辅助控制 (HAC, hill-start assist control)系统及转弯制动控制 (CBC, curve brake control)系统等[2]。
上述SDAS作为一种被动的安全驾驶辅助方式,主要依靠摄像头、雷达、激光、超声波、重力—加速度及陀螺仪等传感器,通过监测车辆的光、热、压力、速度、倾斜角度及其他状态信息,在车辆遇到紧急情况时(如行人检测、自动紧急制动、前方防撞预警等)及时预警,并对车辆做出相应的处理措施[3]。驾驶的核心在于“人”,即驾驶者本身,建立一种基于驾驶者自身生理状态信息的安全驾驶辅助系统,变被动预警为主动控制,对于进一步提升驾驶安全性、增强车辆系统的智能化水平将会起到十分重要的作用。基于这一思路,本文设计了一种结合抬头显示系统(HUD, head up display)与眼动识别(EMR, eye movement recognition)技术的安全辅助驾驶系统,驾驶者通过观察 HUD上相应的提示符生成不同的眼动信号,通过 EMR技术实现对不同眼动信号的识别并生成多个车载设备的控制命令,如打开收音机、调节音量、接听/挂掉电话等,真正实现驾驶员在开车时“手不离盘”,以提高驾驶安全性能,增强驾驶乐趣。
在HUD&EMT-SDAS系统中,EMR算法设计是系统实现的关键步骤。通常,对眼动信息的捕获是通过视频分析的方法获得,然而,基于视频的EMR系统,尤其是可穿戴式EMR系统价格昂贵、体积较大且笨重,同时在系统功耗与结果的实时分析上也不尽如人意[4,5]。所幸的是,眼电图(EOG,electro-oculogram)作为一种低成本的眼动信号测量技术,相比较传统视频手段,不仅测量更为精确,同时其采集设备也具有重量轻、便于长时间记录、更易实现可穿戴式设计等优点[6]。使用EOG替代传统的视频方法进行眼动信息的捕获并在此基础上所设计的SDAS将更具实用性。基于此,本文将重点研究驾驶情景下基于EOG的在线EMR算法,主要包括:1)EOG信号的采集;2)信号的预处理与端点检测;3)基于独立分量分析(ICA, independent component analysis)的眼动信号空域滤波及识别算法。希望通过本文的研究,能够为SDAS的发展提供一个新的研究点,促进更自然的人—车交互技术发展,为车联网的高级阶段——无人驾驶技术的发展打下更坚实的基础。
所谓眼电信号是指人由于眼睛的运动而引发的眼睛角膜与视网膜之间的电势差引起的[7,8]。该电势由视网膜色素上皮和光感受器细胞发起,其正极位于光感受器端,负极位于视网膜色素上皮端,所产生的电流从视网膜端流向了角膜端,从而形成一个角膜为正极,视网膜为负极的电势,本文称这种电势为眼电信号。当人眼球运动时,眼电信号的幅值会随着眼球的运动而不断发生变化,本文将这种变化的电势绘制到时间轴上则可以构成一条曲线,这条曲线就称之为眼电图。图1显示了向上扫视时在眼睛正下方3 cm处所采集到的EOG信号波形。
图1 向上扫视时所对应的EOG信号波形
通常,一段连续的 EOG信号主要包括以下 3种基本眼动类型。
1) 扫视(saccade):当受试者观看一个视觉场景时,其眼球不会始终固定于一点,而是通过在其感兴趣的区域内不断地移动以构建一个“认知地图”,图1中“向上转动”与“回扫”2个阶段为扫视的开始与即将结束阶段。
2) 凝视(fixation):相对于扫视来说,凝视是一种相对稳定状态,即在视觉场景中,受试者的目光始终注视于某一特定位置。
3) 眨眼(blink):眨眼是一种自然的眼部运动,通常眨眼的频率大约为每分钟12~19次。
在上述3种类型中,扫视由于具有出现频率较高、幅度相对较大且包含信息最为丰富的等特点,因此,本文将之应用到SDAS系统的设计中。
EMR技术是基于EOG的安全辅助驾驶系统的核心,对于扫视信号的识别,研究者们做出了大量的研究。其中,Clement[9]提出利用原始EOG信号的可视角度进行眼动信号的端点检测与识别;Aungsakun和Soltani等[10,11]利用眼球转动时所对应的 EOG信号变化较快的特点提取眼动信号的特征参数;另外,Vidal和 Bulling[12,13]也都提到了使用眼动信号的统计和时域特征进行识别的思路。上述EMR技术虽然取得了一定的成功,然而,这类算法主要关注的是单个导联眼动信号的分析,其分析过程仅考虑了单导联信号的变化而忽视了导联间的关联信息,因此难以保证扫视信号的识别正确率。为了解决这一问题,提高识别正确率,本文提出了一种基于ICA空域滤波的EOG扫视信号识别算法,该算法通过建立3个对应于不同扫视方向(上、左与右)的 ICA空域滤波器,然后使用该空域滤波器对原始多导联 EOG信号进行线性投影,将投影结果作为眼动信号的特征参数,并使用支持向量机(SVM)[14]作为分类器对扫视信号进行识别。算法基本流程如图2所示。
系统共使用了9个生物电极,其中,电极V1(第5导联)与V2(第6导联)分别安放于受试者左侧(或右侧)眼球上、下3 cm处,用以采集垂直眼动信号;电极H1(第2导联)与H2(第1导联)分别安放于受试者左眼左侧3 cm与右眼右侧3 cm处,用以采集水平眼动信号;电极A1(第3导联)与A2(第4导联)安放于前额位置,以获取更丰富的眼动信息;参考电极C1和C2分别放置于左右两侧乳凸处,接地电极G位于头顶中心位置。
训练与测试中所有受试者均是视力正常或矫正后正常。HUD显示内容(在前挡上的投影)中心点(O)位于受试者正前方约1 m处,对应于上(U)、左(L)与右(R)方向的3个观测点分别位于HUD上、左、右侧中心位置。
3.2.1 分帧加窗
为了保证帧与帧之间平滑性,首先对原始多导联 EOG信号进行分帧处理。假定s( n)为原始多导联EOG信号,w( n)为窗函数,那么加窗后EOG信号可表示为
为了保证较高的频率分辨率,本文使用了汉明窗,其定义如下[15]
其中,N表示窗长。这里需要说明的是,为了便于结果分析,算法中帧移,本文采用了逐点移动的方法实现。
3.2.2 噪声抑制
由于所采集到的原始EOG信号包含了其他生物电干扰、工频干扰、受试者身体轻微移动或仪器设备本身所带来的干扰信号[8,13],因此,为了扫视信号的识别准确率,使用了截止频率从0.01~10 Hz的8阶带通滤波器对原始多导 EOG信号进行预处理,以降低噪声干扰。
图2 扫视信号识别算法基本流程
为实现对扫视信号的实时检测,即在线分析,本文对预处理后的多导 EOG信号进行了端点检测(SAD, saccade activity detection),其目的是从包含扫视信号的连续 EOG中确定出扫视信号的起始点与终止点,以删除不含扫视信号的背景噪声和非扫视信号,从而降低特征提取的计算量与处理时间,有效提高识别正确率。根据扫视信号的特点,算法使用了峭度与能量相结合的方法实现SAD,其基本流程如图3所示。
图3 SAD基本流程
其中,峭度与能量初值门限的设置主要依靠经验来获取。另外,从图3中可以看出,SAD算法主要针对的是单一通道的 EOG数据,而系统所采集的数据包含了6个导联,因此,在进行不同扫视背景任务下如何有效选择检测通道以提高检测正确率是 SAD算法中一个关键问题。由于眼动具有较强的时序性,不同眼部动作在时间轴上的可区分性为本文提供了一种解决方案。图4给出了上、下、左与右4路扫视时的EOG信号波形及其能量。从图4中可以看出,进行不同扫视时,与之关联最为密切的那个导联的信号能量最强,如:左扫视时,H2导联能量相比较其他5个导联明显较大,同样,上扫视时,V1导联能量最大。基于上述现象,本文通过自动计算每个导联的能量并选取最大值所在的导联作为SAD检测通道,以提高SAD算法性能。
图4 不同扫视任务下EOG信号及其能量波形
在进一步的研究中发现,使用本文所提SAD算法不仅可以对扫视信号进行有效检出,同时对眨眼信号的检测也获取了较高的检出率。然而,眨眼信号作为扫视检测时的一种干扰信号,必然会影响到扫视信号的识别正确率,而眨眼作为正常的生理反应又不可避免,因此,在进行扫视信号识别前需要有效抑制眨眼信号。观察发现,眨眼信号相比较扫视信号存在以下不同:1)眨眼信号持续时间较短,一般眨眼一次大约需要0.3~0.5 s,而扫视一次需要1 s以上;2)SAD后有效数据段内信号平均能量往往小于扫视信号。因此,算法在原有基础上增加了信号持续时间与平均能量2个指标对端点检测后的结果进行判别,以尽可能地剔除眨眼,降低其对系统的干扰。
为实现对多导扫视信号的有效识别,本文提出了基于 ICA的空域滤波多类扫视信号的特征提取方法。在 HUD&EMT-SDAS系统中,若x(t)=[x( t),… ,x ( t) ]T为多导联原始EOG观测信号,则该
1
n信号可以看成是由多个相互独立的隐含“源”s( t) =[s( t) ,… ,s( t )]T线性瞬时混合而成,即
1
n
其中,A表示混合矩阵。与式(3)混合模型对应的是分解模型
ICA的最终目的就是寻找一个分离矩阵W,使输出信号sˆ(t)中的各分量尽可能地相互独立并逼近真实的“源”信号s(t)[16]。
需要说明的是,本文所使用的ICA分离算法代码为实验室自编代码,信息极大准则(Infomax, information maximization)原理和自然梯度法[17]为本文ICA算法中独立性度量准则和优化算法。分离矩阵的学习算法为
其中,I为单位矩阵,E[⋅]为均值运算,K表示概率模型切换矩阵,其对角线上元素的取值来自于对sˆ(t)峭度符号的动态估计,通常为 1 或-1, sˆ(t)为所估计的源信号。对sˆ(t)进行方差归一化处理后,根据式(3)对混合矩阵A与分离矩阵W系数进行调整,具体为
其中,std(⋅)为标准差运算,diag(⋅)表示将运算转化为对角矩阵。
基于上述分析,基于ICA空域滤波的眼动信号训练/识别步骤描述如下。
1) 训练阶段
步骤 1 对已有 EOG数据库中所有数据预处理后进行SAD操作,手工标注SAD结果(上扫视、左扫视、右扫视及单次眨眼),在此基础上,建立训练数据库。
步骤 2 从上述数据库中任意选择一组单次眼动数据 xi,i = 1,… , N(6×n数据矩阵,n表示数据长度,N表示该数据库中训练样本的数量)进行 ICA分析,可得6×6的混合矩阵A和分离矩阵 WT。
步骤 3 根据独立成分在采集电极的映射模式(混合矩阵A的列向量),选择眼动相关成分和对应的ICA滤波器(分离矩阵 WT的列向量),可得 ICA滤波器组{Wli、Wri、Wui},分别用于检测左、右及上扫视EOG成分。
步骤4 使用ICA滤波器组{Wli、Wri、Wui}对该数据库中所有 EOG数据 xj, j=1,…,N进行线性投影,以提取3类眼动相关成分,即
其中,slj、srj、suj分别表示该单次EOG数据(xj)空域滤波后的结果。
步骤 5 将上述滤波后信号作为眼动信号的特征参数,结合步骤1中所标注的眼动数据标签,训练SVM模型,使用该模型对训练数据库中所有标注好的数据进行 10×5的交叉测试后记录识别正确率;重复步骤1~步骤4,完成对训练数据库中全部样本的 ICA滤波器设计与测试,计算并记录每个ICA滤波器在该组数据上的识别正确率;选择识别率最高值所对应的那一组ICA滤波器{Wl、Wr、Wu}作为最终结果。
2) 识别阶段
步骤 1 将在线所采集到的 EOG数据预处理后进行SAD操作。
步骤2 对步骤1所得到的结果使用滤波器组{Wl、Wr、Wu}按照式(7)方法进行空域滤波。
步骤3 将滤波结果送入SVM模型进行识别,以实时获取受试者当前扫视类型。
控制命令主要通过上、左与右3类扫视动作组合而成,结合对驾驶人开车时最常用动作的统计与分析,设计了以下4种控制命令。
1) 接听电话:向左扫视并在观测点保持约 2 s后返回。
2) 挂掉电话:向右扫视并在观测点保持约 2 s后返回。
3) 打开收音机:向上扫视并在观测点保持约2 s后返回。
4) 调整音量:在检测到打开收音机动作后,向左扫视后立即返回音量减小5 dB;反之,向右扫视后立即返回音量增加5 dB。
可以看出,在设计接听电话的扫视动作时,本文安排加入了在观测点处的 2 s凝视状态,而在音量调整时则没有停留。这一做法的目的是为了增强2种扫视的可区分度,提高接听/挂掉电话这2个动作的识别准确率,减少因干扰或其他生理信号导致的误操作。为了区分接听/挂掉电话与音量调整相同方向的扫视动作,系统再次利用了 SAD的结果,即对端点检测后的有效 EOG数据长度进行统计,当其持续时间为2 s左右时,该动作判断为接听/挂掉电话操作,反之,为音量调整操作。
眼动信号采集设备为实验室自主研发的EOG采集设备,系统采样率为250 Hz。实验共采集了15名受试者(9男6女,11名双眼视力正常,4名近视,近视度数平均180,所有受试者年龄平均为29.3岁,方差8.6) 分多次所采集的上、左及右数据,SAD 后每个动作(对应的数据标签分别为1、2、3)各得到180个眼动数据,累计8 100个单次眼动数据。
实验中,峭度与能量初始经验门限分别设置为5.5与9.7,窗长设为150个样本点,逐点滑动。图5(a)显示了一段连续右扫视EOG信号波形,其中,实竖线与虚竖线分别表示手工标注的信号起始点与终止点,图5(b)为该段信号的峭度波形,图5(c)为能量波形,图5(d)为SAD算法的检测结果,与图5(a)类似,实竖线与虚竖线分别表示SAD检测到的起始点与终止点。可以看出,本文所提SAD算法的检测结果十分接近于图5(a)中手工标注的端点位置。
为进一步验证 SAD算法的有效性,定义如下性能指标。
1) 点正确率(Pc-point, probability of correct point detection):SAD法检测出的正确端点数与手工标注的正确端点数的比率。
2) 点虚警率(Pf-point, probability of false point detection):SAD法检测出的错误端点数与手工标注的错误端点数的比率。
对所有受试者所采集的 EOG数据进行端点检测,实验结果如图6所示。
对图6的实验结果进行统计后可以得到,所有受试者的平均Pc-point和Pf-point值分别是96.17%和5.43%,实验结果说明本文所提SAD算法能够对眼动数据的起始点与终止点进行有效检测。
图5 一段连续EOG进行SAD后的结果
图6 端点检测结果
按照3.4节所述训练步骤,对15位受试者分别进行最优滤波器设计。其中,在ICA分析时迭代次数设置为10,学习率为0.02,SVM模型采用了线性核函数,惩罚因子设定为 1,训练数据为训练样本集及相应的手工标定的分类标签。为了统计分类正确率,本文将识别结果与测试样本集的标签进行比较,相同则认为分类正确,不同则分类错误。随机抽取一位受试者所得到的最优空域滤波器{Wl,Wr, Wu},其对应的混合矩阵A和分离矩阵W系数如图7所示。
从图7中可以看出,当该位受试者进行左扫视时,眼球运动对第1导联(H2位置)影响最大,因此其对应位置的混合矩阵系数最大;同理,右扫视时,第2导联(H1位置)系数最大;上扫视时,第5导联(V1位置)系数最大。这一结果说明所求得的空域滤波器可以使本文所要识别的3类眼动信号区别达到最大化。
在此基础上,本文分别对每位受试者按照 3.4节所述识别步骤进行眼动在线检测,由于在实时检测过程中无法获取眼动数据标签,因此,为了统计识别正确率,本文使用视频方法对全部受试者眼部动作进行记录,在实验结束后,人工识别、比对算法的识别结果与视频中所记录眼动情况是否一致,以获取识别正确率。这里需要说明的是,为了保证统计结果的可靠性,本文专门开发了一款同步软件,用以实现视频的起始记录时间与眼动信号的开始采集时间精确同步。实验针对受试者的精神状态,进行了以下2种实验。
4.2.1 受试者在精力充沛的状态下
在此实验条件下,受试者精力充沛,无疲倦感,反应迅速。表1给出了15名受试者分别进行15次实验(每次实验时间约为20 min)的统计结果。
表1 受试者在精力充沛状态下在线检测眼动信号识别结果
图7 最优ICA空域滤波器中的A和W系数
从表1中可以看出,不同受试者识别结果存在差异,这是由于每位受试者对实验环境和实验设备的熟悉程度不同,对扫视时眼球的运动速度与凝视时间的控制存在个体差异。受试者1与受试者7的整体识别率偏低,这与SAD检测结果基本一致。通过对其时域波形的分析发现,这2位受试者在实验过程中,经常会无意识地进行身体晃动而导致电极位置发生轻微移动,从而带来了额外的噪声干扰(如图 8所示),而这些干扰将会导致SAD检测正确率的下降,从而会使端点检测后所得到的有效 EOG片段可能并非是受试者扫视时所产生的信号,这种检测错误最终导致算法无法识别或误识,因此其整体识别率相比较其他受试者有所降低。另外,编号为3、12、14与15的4名受试者在实验时通过佩戴眼镜进行视力矫正,其中,3号受试者的识别正确率为98.06%,低于平均识别正确率,其可能的原因为:该受试者近视度数较高(500度)而导致无法准确看到HUD上的观测点。而另外3位受试者近视度数较低,矫正后视力正常,因此其识别正确率与平均识别正确率基本持平,这一结果说明本文所提算法对于矫正后视力正常的受试者是适用的。总的来说,对所有受试者正确率统计后发现,在线情况下所提眼动检测算法的总体平均识别率达到了98.43%,能够满足安全驾驶辅助系统的设计需求。
图8 眼动信号受身体运动影响示意
4.2.2 受试者在轻度疲劳状态下
实验从上述15位受试者中挑选出6位有午休习惯的受试者,为保证实验效果,本文适当压缩了受试者实验前一天的晚间睡眠时间,且实验当天不进行午休,实验安排在下午两点进行。实验条件与4.2.1节实验相同,实验结果如表2所示。
表2 受试者在轻度疲劳状态下的在线检测眼动信号识别结果
在该实验条件下的平均识别正确率为96.0%,相比较精力充沛状态下的实验结果下降了2.43%。通过时域波形的对比分析发现,相比较精力充沛状态,受试者在疲劳时其扫视信号波形发生了以下4点变化:1)由于信息加工速度变慢,使扫视的平均速度相应增加,这种增加使扫视阶段EOG信号的斜率减小;2)在扫视过程中会出现注意力不集中现象,这种现象导致眼球在扫视过程中运动方向会发生不确定变化,从而使扫视阶段EOG信号会产生一定幅度的波动;3)由于对时间的敏感度变差,使对观测点的凝视时间产生了较大的随意性,即使对同一受试者也会出现有时在观测点停留时间较长,而有时则较短的情况,这就使凝视阶段EOG信号的宽度存在了较明显的随机性;4)在上扫视的回扫过程中,由于疲劳,少数受试者会出现短时闭眼打瞌睡的情况,这种情况使向下扫视时波形发生畸变,从而影响识别正确率。通过上述分析可以看出,受试者在疲劳状态下所采集到的眼动数据与训练数据产生了一定程度的失配,这种失配将会导致识别正确率的下降,尤其是在上扫视的回扫过程中这种情况更为突出,因此,从表2中可以看出,上扫视的平均识别正确率低于另外2种扫视。
为促进智能驾驶技术的发展,提高驾驶安全性能,本文设计了一种基于眼电图的安全辅助驾驶系统,该系统通过驾驶员观察HUD上的提示符生成不同扫视信号,并据此生成不同的控制命令,系统的核心在于不同类型扫视信号的识别。为此,提出了一种基于ICA的眼动信号空域滤波算法,该算法通过对端点检测后单个扫视信号的ICA分析,根据独立分量在采集电极的映射模式,建立了相应的ICA滤波器。在实验室环境下进行了在线测试,疲劳与非疲劳状态总体识别正确率分别达到了98.43%与96.0%,实验结果有效验证了所提算法的有效性。
为提升系统实用化水平,下一步的研究工作将从以下3个方面展开。1) 进一步提升SAD算法的顽健性。在实验中发现,当检测信号的信噪比较低时,所得到的检测结果往往会出现错误,这种错误将会导致后端无法识别,因此本文考虑在进行SAD时能否加入如谱熵等检测指标以提高低信噪比环境下的正确率。2) 提高算法运行效率。算法中滑动窗是采用逐帧滑动的方式,这种做法的目的是为了更好地观察、分析算法的运行结果,而其弊端是运算量增大。初步的研究发现,增加帧移量会引起识别率的少量下降,这可能与帧移量增加后 SAD检测到起始点与终止点产生的误差有关,因此,如何在运算效率与系统识别率上找到一个平衡点是一个需要认真研究的问题。3) 针对受试者疲劳状态时识别正确率下降的问题,下一步拟增加受试者数量与数据采集时间,采用增量训练方式进行模型训练,提高算法顽健性。
[1] BENGLER K, DIETMAYER K, FARBER B, et al. Three decades of driver assistance systems: review and future perspectives[J]. Intelligent Transportation Systems Magazine, IEEE, 2014, 6(4): 6-22.
[2] MENCHER B, GOLLIN W, REITER F, et al. Overview of electrical and electronic systems in the vehicle[M]//Fundamentals of Automotive and Engine Technology. Springer Fachmedien Wiesbaden, 2014: 158-160.
[3] PLANING P. Innovation acceptance: the case of advanced driver-assistance systems[M]. Springer Science & Business Media,2014.
[4] 程时伟, 孙志强. 用于移动设备人机交互的眼动跟踪方法[J]. 计算机辅助设计与图形学学报, 2014, 26(8): 1354-1361.CHENG S W, SUN Z Q. An approach to eye tracking for mobile device based interaction[J] .Journal of Computer-Aided Design & Computer Graphics, 2014, 26(8): 1354-1361.
[5] LARA O D, LABRADOR M A. A survey on human activity recognition using wearable sensors[J]. Communications Surveys & Tutorials,IEEE, 2013, 15(3): 1192-1209.
[6] MAJARANTA P, BULLING A. Eye tracking and eye-based human-computer interaction[M]. Advances in Physiological Computing.Springer London, 2014: 39-65.
[7] BEDELL H E, STEVENSON S B. Eye movement testing in clinical examination[J]. Vision Research, 2013, 90(39): 32-37.
[8] LV Z, WU X, LI M, et al. A novel eye movement detection algorithm for EOG driven human computer interface[J]. Pattern Recognition Letters, 2010, 31(9): 1041-1047.
[9] CLEMENT R A. Natural coordinates for specification of eye movements[J]. Vision Research, 1991, 31(11): 2029-2032.
[10] AUNGSAKUN S, PHINYOMARK A, PHUKPATTARANONT P, et al.Robust eye movement recognition using EOG signal for human-computer interface[M]//Software Engineering and Computer Systems. Springer Berlin Heidelberg, 2011: 714-723.
[11] SOLTANI S, MAHNAM A. Design of a novel wearable human computer interface based on electrooculograghy[C]//Electrical Engineering(ICEE), 2013 21st Iranian Conference. IEEE, c2013: 1-5.
[12] VIDAL M, BULLING A, GELLERSEN H. Analysing EOG signal features for the discrimination of eye movements with wearable devices[C]//The 1st International Workshop on Pervasive Eye Tracking& Mobile Eye-Based Interaction. ACM, c2011: 15-20.
[13] BULLING A, WEICHEL C, GELLERSEN H. Eyecontext: recognition of high-level contextual cues from human visual behaviour[C]//The SIGCHI Conference on Human Factors in Computing Systems. ACM,c2013: 305-308.
[14] FUKUNAGA K. Introduction to statistical pattern recognition[M].Access Online via Elsevier, 1990.
[15] RABINER L, JUANG B H. Fundamentals of speech recognition[C]//Pearson Education, First Indian Reprint, 1993.
[16] 吴小培, 周蚌艳, 张磊, 等. 运动想象脑-机接口中的 ICA 滤波器设计[J]. 生物物理学报, 2014, 7: 006.WU X P, ZHOU B Y, ZHANG L, et al, ICA filter design in braincomputer interface of motor imagery[J]. Acta Biophysica Sinica,2014, 7: 006.
[17] LEE T W, GIROLAMI M, SEJNOWSKI T J. Independent component analysis using an extended-infomax algorithm for mixed sub-gaussian and super-gaussian sources[J]. Neural Computation, 1999, 11(1):417-441.
Design and implementation algorithm of safe driver assistant system based on EOG
LYU Zhao1,2, WU Xiao-pei1,2, ZHANG Chao1,2, WEI Bing1,2
(1. Co-Innovation Center for Information Supply & Assurance Technology, Anhui University, Hefei 230601, China;2. College of Computer Science and Technology, Anhui University, Hefei 230601, China)
In order to ensure driving safety, improve the intelligent level of the vehicle control system and realize“keeping hands on the wheel”, a safe driver assistant system (SDAS) based on EOG was proposed. The proposed system utilized saccade signals which come from bio-electrodes installed around driver’s eyes, to generate some control commands when the driver observes different signs located on the head up display (HUD). Furthermore, independent component analysis (ICA) algorithm was used to extract spatial feature parameters of activity-detected EOG signals, and combined with support vector machine (SVM) method to recognize the type of saccade signals, such as up-rolling,left-rolling and right-rolling. Experiments have been carried out in lab environment, and the average correct ratio on 15 subjects is 98.43% and 96.0% corresponding to fatigue condition and non-fatigue condition respectively. Experiential results reveal that the SDAS based on the multi-class saccade signals recognition algorithm presents an excellent classification performance.
EOG, saccade signal, independent component analysis, spatial filtering, support vector machine
s: The National Natural Science Foundation of China (No.61401002, No.61271352), The Natural Science Foundation of Anhui Province (No.1408085QF125), Anhui Provincial Natural Science Research Project of Colleges and Universities (No.KJ2014A011)
R318
A
10.11959/j.issn.1000-436x.2016111
2015-08-25;
2015-11-27
吴小培,iiphci_ahu@163.com
国家自然科学基金资助项目(No.61401002,No.61271352);安徽省自然科学基金资助项目(No.1408085QF125);安徽高校省级自然科学研究重点基金资助项目(No.KJ2014A011)
吕钊(1979-),男,安徽宿州人,博士,安徽大学副教授、硕士生导师,主要研究方向为智能信息处理与人机交互技术。
吴小培(1966-),男,安徽池州人,博士,安徽大学教授、博士生导师,主要研究方向为智能信息处理与人机交互技术。
张超(1983-),男,江苏邳州人,博士,安徽大学讲师,主要研究方向为智能信息处理、视频/图像处理。
卫兵(1984-),男,安徽六安人,安徽大学博士生,主要研究方向为智能信息处理、嵌入式技术等。