基于脑机接口的智能家居控制系统

王增尉, 刘佳奇, 戴 露, 李芷萱, 王启月, 李 蛟, 赵宏伟

(1. 吉林大学 a. 电子科学与技术学院; b. 计算机科学与技术学院, 长春 130012; 2. 吉林大学 图书馆, 长春 130012)

0 引 言

随着网络通信技术和人工智能技术的发展, 智能家居成为未来的发展趋势, 其能使人们生活更加方便、 安全和节能。智能家居是物联网的体现形式, 通过物联网将家中的各种设备, 如照明系统、 空调控制和网络家电等连接, 提供全方位的信息交互功能。脑机接口、 AR (Augmented Reality)技术与智能家居的结合, 为未来智能家居控制系统提供了一个更具科技感、 交互性的解决思路。

脑机接口(BCI: Brain-Computer Interface)是近年来兴起的一种人机交互系统, 它脱离了一般交互系统对肌肉运动的依赖, 在人的中枢神经系统与设备之间建立直接的信息和控制通路, 直接把从人类大脑皮层记录的大脑活动电信号转换为计算机控制信号, 并用于控制外部设备。BCI为人机信息交换、 人类与设备的交互提供了新的方式。早在20世纪70年代, 加州大学洛杉矶分校的Vidal[1]基于视觉诱发电位设计了BCI系统, 他的用户观看了一个用氙气闪光灯照亮的钻石形红色棋盘。通过观察闪烁棋盘的不同角落, 系统可以生成向右、 向上、 向左和向下的命令, 使它们能在图形终端上呈现的迷宫中移动。

目前BCI系统受到很多关注, 已出现利用脑电信号(EEG: Electro Encephalo Gram)控制轮椅[2]、 机械手臂[3]等方面的应用。在BCI系统中, EEG信号的特征提取和分类是最为关键的技术, 但由于EEG信号的非线性、 非平稳特性, 导致其识别较为困难[4]。

目前, 研究者已经提出了多种经典的EEG信号特征提取方法, 如小波变换(WT: Wavelet Transform)[5]、 共空间模式(CSP: Common Spatial Pattern)[6]等。同时, 深度学习例如卷积神经网络(CNN: Convolutional Neural Network)、 支持向量机(SVM: Support Vector Machine)等也被大量运用于信号分类领域, 包括EEG信号的识别。唐贤伦等[7]提出了一种结合条件经验模式分解(CEMD: Conditional Empirical Mode Decomposition)和串并行卷积神经网络(SPCNN: Serial Parallel Convolutional Neural Network)的脑电信号识别方法, 同时考虑到EEG信号的多通道特性, 对CNN进行了结构上的改进。李耀楠等[8]提出了一种基于C-支持向量多分类机的多类复杂操作EEG信号模式识别方法。由于EEG信号常常受到视网膜偶极子、 眼球运动和眨眼以及面部肌肉产生的电位干扰, 具有大量噪声, 因此去噪方法对识别结果的准确率具有重要影响。同时由于EEG是时变非平稳信号, 信号的频率随时间改变而改变, 因此在时域中对其分析能有效提升准确率。

针对上述问题, 笔者提出一种结合WT、 短时傅立叶变换(STFT: Short-Time Fourier Transform)、 主成分分析(PCA: Principal Component Analysis)和CNN的EEG信号分类方法和识别模型。同时基于该方法提出智能家居控制系统的解决方案, 结合AR设计出一套智能家居交互方案： 用户佩戴脑电设备, 手持手机或佩戴AR眼镜, AR镜头扫描智能家居上对应的AR标识, 将控制菜单显示在用户视野中, 用户根据菜单的提示, 用意念发出相应指令, 系统收到指令后, 操作家电做出反应, 并将反馈信息通过AR显示。

1 系统架构设计与组成

智能家居系统的技术特点主要表现在, 通过家庭网关和系统软件建立智能家居平台系统。家庭网关的主要任务是完成家庭内部网络各种协议之间的转换和信息共享、 网络间数据交换、 家庭设备的控制和统一管理的平台。家庭智能终端作为家庭信息的交通中枢, 通过计算机、 通信和微电子技术, 集成家庭智能化的所有功能, 使智能家居建立在统一平台上。本文系统在通信和控制上增加了脑电信号处理方式和AR展示方式。系统交互方式和信息处理流程如图1和图2所示。

图1 基于脑机接口和AR技术的智能家居控制系统交互和控制方式Fig.1 Interaction and control mode of smart home control system based on brain-computer interface and AR technology

图2 基于BCI的信息处理流程Fig.2 Information processing flow based on BCI

系统处理流程包括以下几个步骤：

1) 由佩戴在用户头上的EEG信号采集设备捕捉用户大脑皮层的电信号特征;

2) 系统对采集的原始信号进行包括去噪在内的预处理;

3) 系统对数据进行特征提取, 分离出与人类意识活动相关的特征;

4) 经过训练后, 系统对数据进行分类, 根据这些数据分类结果产生对应的控制指令, 进而控制外部设备;

5) 交互过程以及外部设备的反馈信息和状态, 通过AR进行展示。

1.1 信号选择及信号采集设备

目前的脑机接口脑电信号研究主要是寻找识别效率更高, 与意识活动关联性较好的脑电信号。EEG信号[9]是研究大脑科学活动的重要手段之一, 可使用电生理指标记录反映大脑头皮神经元兴奋性和抑制性突触后电位的潜在活动。用EEG分析大脑的活动, 具有无创、 实时、 连续、 时间分辨率高以及认知意识相关性强等特性。目前识别性能较好的信号大致有以下几种。

1) 视觉诱发电位(VEP: Visual Evoked Potentials)。是指当视野范围内出现以一定频率闪烁的视觉刺激源时, 在头颅骨外的枕区等部位捕捉到的电位变化。VEP系统借助刺激源刺激人脑产生特定的脑电信号, 因此需要较少的信号采集电极, 且训练时间较短, 但长期使用VEP系统会造成视觉疲劳甚至损害。

2) 事件相关电位P300。与事件发生时刻有大概300 ms的延迟。P300信号的显著程度与事件的发生频率成负相关, 事件出现频率越低, P300信号就越强烈。因此, 目前的P300系统大多只针对短期操作, 长时间的操作会使P300信号逐渐减弱, 也有一些系统通过加入自适应系统抑制P300信号的削弱。

3) 慢皮层电位(SCPs: Slow Cortical Potentials)。是EEG信号中频率最低的一种, 持续时间较长, 正负电位差距较大。慢皮层电位系统由于其持续时间较长, 导致信息传输速率较慢。

4) 自发EEG的α波、μ节律和β节律。利用α波的振幅增量可构建脑电设备开关操控系统, 具有无需对操作者进行训练的优点。μ节律和β节律在二向运动和二元选择的脑机接口控制实验中表现良好。

根据控制系统的多数二元选择特性, 笔者选择提取自发EEG的α波、μ节律和β节律, 以便达到更好的识别控制效果。

笔者选用的设备为NeuroSky的MindWave Mobile, 可提供研究级别的脑电图, 具有重量轻、 无线连接、 无源传感器、 无伤害的特性, 具有较好的信息采集能力, 对比通常的脑电设备更能适用于智能家居控制的应用场合。

1.2 AR技术与AR设备

AR技术即增强现实技术, 可同时展现虚拟和真实世界的信息。AR广泛运用了多媒体、 三维建模、 实时跟踪及注册、 智能交互、 传感等多种技术手段, 将计算机生成的文字、 图像、 三维模型、 音乐和视频等虚拟信息模拟仿真后, 应用到真实世界中, 根据需要, 将两种信息互相补充、 叠加, 同时呈现在眼前, 从而实现对真实世界的增强。

本文系统中, 对智能家居的控制指令由脑电信号以及从AR设备反馈的智能家居标识共同组成。脑电信号通过采集设备传送至计算机分析出用户的放松度与专注度, 结合由AR设备发送的被控智能家居的标识, 生成对应的控制指令, 通过无线网络发送至智能家居的控制模块。控制模块负责将指令译码, 通过继电器模块实现对智能家居的控制, 并将对智能家居控制的结果通过无线网络回馈至AR设备呈现给用户。

AR界面的设计通过unity 3D制作。在unity 3D中将需要扫描的AR标识与展现给用户的菜单编程建模, 最后将程序导入AR设备中运行, 以达到AR设备扫描AR标识后呈现菜单的功能。AR与PC的通信、 PC与智能家居的通信、 智能家居与AR设备的通信基于WiFi实现, 智能家居的WiFi通信模块采用ESP8266。ESP8266作为一款WiFi串口模块, 体积小、 成本较低、 微控制器兼容性好, 适合嵌入式开发。智能家居的控制模块采用STC单片机。STC单片机对从ESP8266传送信息中的指令进行分析译码, 将其发送给继电器模块, 从而形成对智能家居的控制。

2 脑电信号的处理过程

为使脑电信号的分类识别结果更准确, 笔者对原始信号进行了包括去除噪声、 映射到频域、 降维、 分类的多重处理, 生成了脑电信号识别模型, 过程如图3所示。

图3 脑电信号识别模型Fig.3 EEG signal recognition model

2.1 数据预处理

2.1.1 预处理

由于采集的脑电信号中一般包含了眼电、 肌电和工频杂波等背景噪声, 为降低脑电信号的背景噪声, 并提高信噪比, 笔者对脑电数据进行了以下预处理过程。

1) 取均值。

2) 8～30 Hz带通滤波。在二向运动想象过程中, 主要是脑电信号的μ节律(8～13 Hz)和β节律(14～30 Hz)发生变化, 因此对脑电信号进行8～30 Hz带通滤波。

3) 归一化。对原始的数据进行归一化处理, 使脑电数据的样本值在[0,1]之间。

2.1.2 小波变换去噪

小波变换可以将信号的频谱分解成不同的频率段, 然后把信号的能量集中到某些频带的几个系数上, 通过把其他频带上分解的系数置零或是给较小的权重, 能较好地抑制噪声[10]。

小波变换的定义是给定基本函数ψ(t)

(1)

其中a、b均为常数, 且a>0。ψa,b(t)是对基本函数做ψ(t)平移和伸缩后得到的函数。

2.1.3 短时傅立叶变换

为了解脑电信号时频信息, 采用短时傅里叶变换对脑电信号进行处理, 同时弥补了传统傅立叶变换缺少时域定位的功能。原始数据在时域的图像如图4所示, 变换后数据在频域的图像如图5所示。

图4 原始数据在时域的图像Fig.4 Image of raw data in time domain

2.2 数据降维和分类

由于得到的数据是高维特征信号, 利用PCA对数据进行降维处理, 保留主要影响因素, 最后进行分类操作迁移学习分类器和深度神经网络算法。

2.2.1 脑机接口分类算法

基于EEG的脑机接口分类算法的选择问题是脑机接口领域中的一大难题, 因为EEG信号的低信噪比、 时间非稳态随机性, 都会根据不同的条件而产生不同的数据, 而且目前可供使用的数据十分有限, 因此无法找到一种没有任何缺点的脑机接口分类算法, 只能根据实验条件选择最适合的。目前, 基于EEG的脑机接口分类算法主要分为4种： 自适应分类器、 矩阵和张量学习分类器。迁移学习分类器和深度神经网络算法可以实现EEG更有效、 更准确地提取特征, 精度高、 性能稳健, 其性能优于现在几乎所有的机器学习算法。

分析、 对比以上算法可知, 自适应分类器、 矩阵和张量学习分类器所需要的条件过多而且过于复杂, 不适合采用。迁移学习分类器所需要的学习时间过长, 需要采集大量的信号, 因此这种方法也不可取。由于深度神经网络算法的计算精度和计算速度几乎优于所有的机器学习算法, 而且操作相对比较简单, 因此, 选择使用深度神经网络算法。

2.2.2 卷积神经网络

卷积神经网络算法能直接输入原始空间的特征, 并在网络内部自动学习得到进一步优化的特征表示, 从而更加有利于对原始样本进行分类。目前, 卷积神经网络已经在分类识别领域发挥十分重要的作用。相比于全连接网络, 权值共享、 局部感受野和降采样是卷积神经网络的3个特征, 这3个特征可以极大地减少连接权值的数量, 从而减少模型的复杂度, 加快模型训练速度。

卷积操作是卷积神经网络中最重要的部分, 其主要作用是对输入的数据进行特征提取, 卷积的计算公式为

(2)

3 结 语

针对智能家居系统的控制问题, 笔者提出脑机接口控制方案。通过脑机接口提取脑电信号, 对脑电信号进行识别、 分类、 控制, 并结合增强现实技术展示控制效果。

脑机接口控制方案利用佩戴设备采集脑部EEG数据, 利用小波变换进行EEG数据去噪, 利用短时傅立叶变换进行EEG数据时域定位, 利用主成分分析方法进行EEG数据降维, 利用卷积神经网络进行EEG数据分类, 根据分类结果模拟大脑发出的指令, 依此命令对家居设备进行控制。实验结果表明, 该方案可以有效实现大脑对家居设备的控制, 具有实用性。