基于TOF+CCD相机组合标定的EEG电极定位

邱会丽,何 煜,程 徐,赵 萌,陈胜勇,

(1.天津理工大学 计算机与通信工程学院,天津 300384; 2.浙江工业大学 计算机科学与技术学院,杭州 310023)

0 概述

脑电图(Electroencephalogram,EEG)技术具有很高的研究价值[1],其中一个重要研究领域就是如何准确定位产生头皮信号部分在大脑皮层中的位置[2-5]。目前有5类EEG电极信号定位方法,分别是人工方法、电磁射频数字化仪器、核磁共振辅助方法、超声波透射和反射方法以及摄影测量方法[6]。人工方法十分耗时耗力,并且很容易因为人工操作造成误差。电磁射频数字化仪器是目前应用最多的定位方法,工作原理是通过磁场去定位EEG电极的位置,精度在4 mm以内,速度比人工方法快很多。缺点是单点测量容易出错,要获取精确的结果需要多次重复测量。再有对整体测量环境要求苛刻,不能有金属器物,对空气湿度温度敏感,并需要额外的数据转换工具。磁核共振辅助方法具体实现需要额外的标定物,不适用于多传感器的情况。超声波方法同数字电磁转换方法一样对环境要求苛刻,并且需要单点测量,十分耗费时间精力。以上几种方法的一个共同缺点是本身电信号会对EEG信号产生干扰,影响最终检测结果。相比其他方法,摄影测量方法具有快捷、精确、简单操作的特点。

在摄影测量方法基础上,本文设计一款针对深度相机的标定板,用飞行时间法(Time of Flight,TOF)直接获取没有径向畸变的点云数据代替分辨率低的深度图像,与CCD相机标定。

1 相关工作

文献[7]使用11组工业相机来对电极位置进行定位,精度达到1.27 mm,操作过程简单,不需要受试者参与很长时间,也不需要额外装置。从装置设备调整参数,到拍摄完毕,只需15 min～20 min时间,而后续数据处理不需要受试者参与,给医生、病人都带来极大方便。其工作原理是利用计算机视觉的立体匹配思想,对不同位置相机标定,配准不同角度下同一电极位置的三维信息。其缺点一是必须人工标记每幅图像的电极点,容易造成人工误差;二是这套系统只适用于自己特定设计的电极帽,不适用与其他类型的电极帽,而其他传统方法没有这个限制,任何电极帽都可适用;三是这套系统只能识别可见的电极点,对于隐藏在头发下而不可见的电极点将无法识别。电磁数字方法与超声波方法没有这个限制[8]。文献[9]利用kinect相机,搭建出一套摄影测量系统,但kinect相机所获取的深度图像需要一系列的修复去噪工作。文献[2]利用一套8相机的红外快速移动采集系统(IR-MOCAP)来定位源信号。但是其同样必须使用特定的电极帽,因为在每个电极上都安装了反射器,以便红外相机识别采集。文献[6]采用一个相机实现定位,希望能够减少成本,工作过程是根据提前规划好的路线去转动相机,每隔一个角度拍摄一次。该方法虽然减少了成本,但是病人测试过程中必须保持长时间不动,增加了人为误差,并且增加了数据采集时间。

利用深度图像与彩色图像的融合,对EEG电极定位有重要的应用意义。文献[10]利用彩色图像边缘信息作为指导,将深度图像分辨率放大增益并无损降噪。但是2种相机的标定校准是图像融合最重要的一环。与普通相机的校准不同[11],TOF相机标定面临的最大挑战是深度图像的畸变与低分辨率带来的影响[12]。深度相机标定校准的方法有多种。文献[13]提出了多相机立体融合的方法,利用双相机估计视差匹配。文献[14]利用混合参数方法实现深度相机与彩色相机的标定,改进了标定的算法,将非线性算法改为线性,提高了效率与精度。文献[15]在视差图像标定算法的基础之上,利用泰勒公式简化视差畸变模型,改进了算法。文献[16]采用基于深度的前景分割方法,找出深度图与彩色图边缘不匹配像素集合,利用基于联合双边滤波的插值算法对空洞进行补充。但是这些方法都是集中在内部校准建模、系统误差噪声,外部校准也是一个重要因素。最近有学者提出利用一种新设计的标定板,充分利用深度相机的特性,将深度图像的畸变与低分辨率影响降到最低,并执行光线校正,距离偏差校正,精度有很大提高[17-18]。

2 实验原理

2.1 实验设备

本文采用一种新型的深度相机(MESA-SR-4000,176×144像素),利用TOF技术直接计算获取物体的距离或深度信息。TOF相机的基本原理如图1所示,由相机的LED光源发射红外光线到目标物体,TOF相机检测由物体反射的光线,然后通过计算所检测到的出射光和放射光之间的相位差,就可以得到目标物体的深度信息[19]。其中出射光和放射光之间的相位差是由4个控制信号收集的电荷量计算得到,每个控制信号之间的各有90°的相位延迟,如图2所示。

图1 TOF相机基本原理

相位φ由下式计算得到:

(1)

其中,C1～C4代表每一个控制信号的电荷量。因此,深度D就可以通过光速c和信号的频率f计算得到:

(2)

由于现有深度相机的分辨率不高,不能直接识别EEG的电极位置。而彩色相机可以获取拍摄目标的颜色、纹理等二维信息,所以本文将两者结合起来同时获取场景内物体的距离以及颜色信息。即搭建基于RGB-D[20]多模态数据的脑电信号采集系统。首先,用彩色相机(1 624×1 234像素)和深度相机联合采集图像,如图3所示。其中:彩色相机负责拍摄含有电极的彩色图,以便可以在图像中方便的检测到EEG电极并获取电极的二维信息;深度相机负责获取含有电极的点云数据,以便可以得到电极的距离或深度信息。其中关键问题是对2个不同相机的标定。本文选用5个相机组分别在5个角度对实验目标进行拍摄,5个角度分别位于头部的前后左右和顶部。鉴于目前实验设备的不完备,本文用同一个相机组分别在头部的5个角度进行拍摄。经实验证明,这5个角度拍摄到的数据可以包含到所有的电极信息。

图3 相机组

根据TOF相机的感知范围的精度分析,TOF相机最佳拍摄距离为0.5 m～8 m之间。系统搭建示意图如图4所示。通过多个角度获取实验目标的RGB-D数据,图4即为5个相机组系统。周边4组相机每组相机采用30°角俯拍,平均分布在头模型前后左右4个方向,中间正上方一组俯拍。模具距离相机的水平距离是60 cm,垂直距离是40 cm。

图4 系统搭建示意图

2.2 相机标定

传统经典的相机组标定方法,利用TOF相机获取的深度图与CCD相机获取的彩色图标定[17]。但是深度图像素过低,不清晰,结果很不稳定。因此,本文采用精确的点云数据和新型的标定板来做相机标定。2种方法的对比实验将在下一部分具体介绍。

相机标定过程[14]设计如下:

假设Q为空间中一点,相机坐标系统下其坐标为(xc,yc,zc)T。点Q在归一化图像中的投影是Xn:

(3)

考虑到镜头畸变,以上坐标映射为Xd:

(4)

最后,由Xd映射到图像坐标Xq:

(5)

其中,fx、fy分别是x方向和y方向的焦距,cx、cy是主点坐标。

相机组之间的关系可以描述为点Q在2个相机坐标系下坐标的关系。假设Xcd是点Q在TOF相机坐标系下的坐标,Xcc是点Q在CCD相机坐标系下的坐标,它们的关系可以写为

Xcc=RXcd+T

(6)

其中,R是3×3的旋转矩阵,T是3×1的平移矩阵。标定的目标便是求解出旋转矩阵R以及平移矩阵T。

3 实验与结果分析

3.1 改进的相机标定

深度相机所获取的深度图像,其像素值代表所摄物体到相机的距离。因图像对距离信息敏感,文献[18]提出一种新型的2.5维的标定板,如图5所示,图5(a)是标定板彩色图像,图5(b)是标定板深度图像。特征点是标定板每个圆孔的中心,充分利用深度图像的特性,提高了相机配准的精度,简化了算法复杂度。

图5 2.5维标定板

标定具体过程如下:

1)提取特征点:首先选取感兴趣区域(ROI),自动阈值二值化,去除图像噪声,放大图像洞的形状。然后计算连通区域,计算每个连通区域的中心,如图5(c)所示。以连通区域的中心作为特征点。

2)拟合特征点:对取到的每一列每一行特征点采用最小二乘法进行拟合,以减少会出现的位置误差,如图5(d)所示。然后利用2.2节介绍的标定方法进行标定。

尽管以上方法提高了配准精度,但是深度图本身的径向畸变,尤其边缘偏差相差很大,如图6(a)所示。尽管采用拟合特征点的方法降低了一些误差,但是仍有提高空间,因此本文在文献[18]结果的基础上提出采用TOF获取的点云数据,替换掉原先采用的深度图,以最大限度消除因为深度相机镜头带来的径向畸变,从而提高标定精度。具体过程如下:

1)对点云插值因。相机分辨率较低,为获得更精确的数据,系统利用双线性插值算法对点云数据进行插值,使得其分辨率与彩色图一致,如图6(b)所示。

2)将点云转换为二维图像。由于点云是三维数据,无法直接与彩色图进行标定,因此需要将点云转换为二维图像。本文采用针孔模型作为理论依据,将三维坐标投影到二维平面,如图6(c)所示。

比较图6(a)与图6(c)可知,图像的径向畸变与切向畸变都有很大改善。根据2种方法得出的结果,对比2组点转换之后的距离误差,结果如图7所示。横坐标代表100个数据点,纵坐标代表标定前后2点的距离差。由图中数据可知标定误差由原先平均3.51 mm降到了1.06 mm。

图7 2种方法结果对比

在相机标定过程中,畸变是相机自身误差的主要来源,而标定误差对EEG定位系统的精度有很大影响。TOF相机可以同时获取深度图以及三维点云,但是深度图普遍具有低分辨率、空洞、镜头畸变等等问题。为改善这些不足,利用深度图与彩色图进行2种传感器的标定是普遍的方法,但过程较复杂而效果却不稳定。而TOF相机所获取的三维点云却不受这些影响,但需要精确地将三维点云投影到二维图像上再与彩色图进行标定。本文的实验结果证明了利用三维点云替代深度图所获取的标定精度有很大提高。

3.2 电极定位

为精确定位电极的空间位置,需要计算出电极在彩色图中的位置信息,再由3.1节标定所计算得到的变换关系,映射到深度图中EEG电极所在的位置,从而定位出EEG电极的空间三维位置。

通过检测各个角度彩色图的连通区域,计算出EEG电极二维图像中的精确位置。在彩色图中检测电极时,由于本文用到了真实的电极帽,在电极帽检测过程中会有很多的干扰。为了能够准确地检测到电极,本文进行如下实验:用合适的阈值对彩色图像进行二值化,如图8(a)所示,圆圈里的便是干扰点;在选取ROI之后,计算出所有的连通区域,进行标记,并计算出每个连通区域的面积;调整合适的面积阈值,将大于阈值的连通区域保留,小于阈值的连通区域进行滤掉;计算保留下来的连通区域的中心,该连通区域中心即为电极点的中心,用该中心点的坐标作为电极的位置,如图8(b)所示。

图8 真实电极帽EEG电极检测

电极的三维坐标信息由3.1节的变换关系映射得到,如图9所示(以角度1为例),图9(a)为彩色图中获取的电极信息标记,图9(b)为映射到深度图像中的对应电极信息,图9(c)为对应点云数据中的电极信息。

图9 EEG电极配准结果

重建整个脑部模型以及电极点位置[21]。利用svd算法将不同角度点云以及电极点转换到同一坐标系下[22]。其中,图10(a)是传统标定方法的配准效果图,图10(b)是标定改进后的效果图。最明显区别是在同一角度下传统方法没有显示出最边缘电极点(画红线处,见电子版)。

图10 所有EEG电极的配准结果

为使实验数据更加精准,本文以另一组实验对象来验证所提算法。实验流程如图11所示(以角度1为例)。最终配准效果如图12所示。

图11 实验对象2流程

图12 实验对象2配准效果图

在EEG定位系统中,电极的错误定位可能造成源的错误定位,因此电极定位的精度在系统中是很重要的评价指标。标准的系统定位误差由下式给出:

(7)

其中,X、Y、Z是估算的三维坐标,Xa、Ya、Za是通过Artec 3D的便携式三维手持扫描仪Space Spider获取的标准坐标值,其精度为0.05 mm。本文针对2组实验对象分别做5次实验取平均值,30个电极点的平均误差如表1所示。实验对象2的平均误差如表2所示。传统方法的电极点误差如表3所示。

比较表1～表3的数据可以看出,表1的平均误差为3.26 mm,表2的平均误差为3.91 mm,表3的平均误差为6.13 mm。临床所广泛使用的电磁数字方法误差在3.86 mm～7.66 mm之间[4],可知改进之后的相机标定方法所实现的EEG电极定位系统的误差是在可接受范围之内的。

表1 改进后的30个电极点的定位误差 mm

表2 实验对象2的30个电极点的定位误差 mm

表3 传统的30个电极点的定位误差 mm

4 结束语

本文通过TOF相机来获取深度信息的特性,并将TOF相机与CCD相机相结合,得到电极的位置信息以及颜色信息。对于相机的标定,针对TOF相机对距离敏感的特性,设计一种具有深度特征的标定板。根据获取的三维点云数据进行标定,将三维点云利用针孔原理映射到二维图像,以消除因径向畸变而带来的误差,运用双线性插值的方法提高分辨率。相机的标定精度对整个系统的精度有很大影响,通过2组真人实验,结果显示,改进后的相机标定方法在精度上有很大提高,但深度相机的点云数据精度仍然有限,下一步将采用更高精度的相机以及采集更多的实验数据来进行验证。

致谢在此特别感谢实验室成员薛佳乐与栾昊同学参与实验。