基于Unity3D的脑电图检测与分析虚拟仿真实验项目的设计和开发

李凌，张婷婷，谢珂

电子科技大学生命科学与技术学院，四川成都610054

前言

生物医学信号处理是生物医学工程专业的一个重要研究领域，也是近年来临床应用快速发展的重要组成部分［1-3］。脑电图技术拥有毫秒级别的时间分辨率，实时记录生物体丰富的状态和性质信息，是癫痫脑网络机制、孤独症影像学、交互式脑疾病干预、脑电信息获取关键技术等方面的重要研究手段。例如，在临床疾病诊断中，常用外界刺激所诱发的事件相关电位—P300成分来进行精神分裂症、抑郁症等认知障碍人群的筛查［4-7］。

脑电图技术在科学研究方面显得尤为重要，但是该技术在数据采集和分析过程中也存在很多技术难点。一方面，在数据采集过程中，脑电信号强度弱（微伏量级）、高随机性及非平稳性、非线性、背景噪声复杂，包括眼动干扰、肌肉活动干扰、50 Hz工频干扰等特点，使得脑电图数据采集不仅需要高质量的放大器和传感器，还需要受试者清洁头皮，同时借助导电膏、磨砂膏等辅材降低皮肤阻抗才能达到高信噪比的信号采集目的。另一方面，在生物医学信号处理课程中，针对不同波段的静息态脑电数据，主要采用功率谱估计方法分析信号的能量特征随频率变化关系。其中，第一种估计方法是周期图法，是信号相关函数的傅里叶变换。因其不是一致估计法，因此就有了改进的Welch法［8］，它采用信号分段、加窗、快速傅里叶变换（Fast Fourier Transform,FFT）、模平方、加权平均等技术来估计功率谱。结果表明，与周期图法相比，Welch法可以改善功率谱曲线的平滑性，是一致估计。

综上所述，脑电信号幅度微弱、信噪比低，且极易受到眼动、肌电、工频等干扰，需要借助精密仪器设备来采集信号。另外此类实验设备昂贵，限制其在大规模实验教学中的应用。脑电数据采集步骤复杂，学生需要重复练习方可熟练掌握其基本操作。课上数据分析方法繁琐、实验机时有限，也使教师和学生在课下需要花费大量时间充分准备课程内容。

为解决上述问题，拟应用不同的现代教学手段提高教学质量，例如应用3D渲染效果和跨平台性的Unity3D开发工具来实现课堂教学［9-13］。通过对教学实践的不断总结，并结合本校特点，利用三维虚拟现实开发技术（Unity3D），以C#为脚本语言，开发了一个虚拟仿真可视化实验平台。将复杂的实际脑电数据采集过程和实验课程的数据处理方法巧妙的应用虚拟仿真技术形成完整的一套实验流程。帮助学生利用该虚拟仿真平台在线进行操作练习，有效提高实际操作的学习效率。2019年本平台被评为四川省虚拟仿真实验项目。

1 虚拟仿真实验内容设计

本实验的知识点包括：（1）脑电图测量原理和操作过程，包括采样率、滤波器等数字信号处理的知识和心理学认知任务设计等知识；（2）脑电信号的频域特征分析，包括傅里叶变换、功率谱估计等方法。因此拟设计两个实验：（1）脑电图检测虚拟仿真实验（实验1）；（2）闭眼和开眼脑电功率谱差异分析（实验2）。

实验1拟通过脑电图检测所需器材的丰富细节展示与用途介绍、交互式的操作流程以及多视角切换的视觉体验，充分地展示脑电图检测的真实场景。通过系统性的学习，提高学生对实验操作的兴趣，同时加深学生对脑电图检测原理的理解与认识。为探讨不同疾病的临床脑电图典型功率谱特性，该实验拟对4种任务进行虚拟脑电图检测：静息态的开眼和闭眼、工作记忆、视觉注意与搜索、目标面孔检测。任务态范式如图1所示［14-16］。

图1 3种任务态的实验范式示意图Fig.1 Schematic diagram of 3 kinds of experiment task paradigms

实验2拟对实验1采集的静息态数据进行功率谱分析，着重考察学生对生物医学信号处理课程中频域特征分析相关理论知识的实际运用能力。首先使用周期图法估计功率谱，比较不同任务数据的功率谱差异，达到疾病检测的目的；然后采用改进周期图法估计功率谱，并与周期图法进行比较，总结改进算法的优缺点［17］。

2 实验平台的设计和功能实现

2.1 总体框架设计

本实验平台设计的总体框架如图2所示，完整描述了实验流程及该平台所实现的功能，为使用者的实际操作提供理论指导。

2.2 软件系统的设计

为了实现图2的功能，虚拟实验教学的软件系统框架如图3所示。采用B/S架构，通过Unity引擎，以C#为脚本语言，浏览器提供访问H5的WebGL内容，实现用户管理、数据处理、场景交互及特效等功能模块。

图2 总体实验框图Fig.2 Overall experimental framework

图3 系统构架图Fig.3 System architecture

2.2.1 软件系统的实现系统的实现如图4所示，包括三维模型创建、三维动画制作、用户界面（User Interface,UI）的设计与实现、各种交互功能的实现、服务器发布测试等多个方面。

图4 系统实现的流程图Fig.4 Flowchart of system implementation

2.2.2 三维模型创建、贴图以及模型的导出（1）三维模型创建。虚拟仿真实验的目的就是为了克服实际设备的不足，为学生提供更多的操作机时，所以需要将实验中用到的所有设备模型在3DMax中创建出来。本实验主要用到的设备包括：分频器、脑电帽、放大器、胶带、心电电极、棉签、平口注射器、磨砂膏、导电膏和浓盐水等。为了营造更真实的效果，笔者按照真实的实验室场景创建了一个布局和真实实验室一致的虚拟实验室，这样学生在虚拟仿真实验后，到了真实的实验室也可以迅速开展实验。所有这些模型素材都存入模拟实验素材库，未来其他模拟实验就可直接使用。（2）材质贴图。所有创建的模型采用标准的材质球。为了使学生熟悉真实的设备，从脑电设备厂商的真实设备获取产品的各个参数素材。将设备模型UV导出TGA格式，导入Photoshop中根据UV位置和设备素材绘制贴图纹理。（3）模型的导出。将所有设备的模型单独导出为FBX格式。分割出来的模型包括显示器的屏幕（quad）等部分用于后面动态更新贴图。

2.2.3 音乐喷泉的3D动画实现结果展示的音乐喷泉通过调节两边变量增量来实现喷泉效果的差异。项目通过读取文本配置文件来设置openmax_delta和closemax_delta来调节喷泉的速度变量。在3D软件中，要实现这种动画效果，需要根据不同数据动态调节展示的效果，这时候需要用到粒子特效系统来实现喷泉的效果。笔者只需要调节粒子发射器的坐标位置和喷泉的底座模型结合在一起，就可以在编辑器中预览实现的效果。一般粒子系统是通过CPU计算来进行的，从实时渲染和客户端浏览器运行时的性能考虑，在喷泉的物理模型方面不会涉及到复杂的数学计算。笔者只需要给粒子系统设置通用的属性：速度、颜色、形状、大小和生命周期等参数，调节到一个和喷泉比较接近的效果后，就可以固定其他参数，只调节速度参数，就可以控制喷泉水柱高度。

为了让测试看到的画面更自然，调用了一款Unity3D插件Realistic Water Fountain（https://assetstore.unity.com/packages/vfx/particles/environment/realistic-waterfountain-65055），来呈现一个令人放松的真实喷泉效果。Unity3D这个平台的Asset Store资源商店中提供了大量的优秀插件来帮助我们实现更好的特效功能，直接应用这些插件不仅能够节省项目时间，而且可以实现更真实的效果。再配上循环播放的音乐，就可以呈现一个音乐喷泉3D动画。

类似于这样的方式还有很多种，对于机械制图、数控操作等课程，教师可以借助展示、比赛等模式，对学生进行激励。对于成绩比较好的学生还可以组织他们一同参与省市的竞赛。不论遇到怎样的结果，这些激励性的语言对学生的发展都有深远的意义。

2.2.4 交互界面的设计与实现在Unity3D中自带UGUI界面系统可以满足界面操作所需的全部控件。本系统用户交互设计时主要考虑的是网站使用，考虑到未来本系统延伸到触屏平板App操作，主要操作方式是点击，虽然本系统有少量操作需要使用键盘导航（ADWS控制在虚拟实验室中漫游），但可以用虚拟按键替代，所以用到的界面控件包括Button、Text、Image、Canvas和Panel。在交互操作中考虑到触屏操作，所以在交互设计中按键考虑手指点击区域大小避免误触。并使用贴图进行美化，对普通按钮使用统一的样式，对记录、停止等特殊功能按钮使用绿色和红色样式进行区别。

2.2.5 交互功能的实现本系统的交互功能主要有界面间跳转、文本输入、对3D模型的控制、通过鼠标滚轮对模型进行放大缩小、通过拖动对模型进行旋转、跳转URL、使用键盘移动摄像机和碰撞检测。小的页面之间切换通过显示隐藏的方式实现，大功能模块之间场景切换的方式实现。在实验仪器介绍中主要通过动态加载仪器模型，通过监听鼠标滚轮事件对模型进行放大缩小，通过监听鼠标左键拖动事件进行模型的旋转。

在实验开始后，主要通过点击事件进行操作的判断。而显示器画面通过改变面片的贴图方式实现。而“操作显示器”中的脑电波显示的效果是将脑电波贴图图片里面的WrapMode选项选为Repeat，并且把图片TextueType设为defult。将屏幕的shader渲染模式设置为Unlit/TransParent，然后在屏幕类中的Update函数中修改Offset x/y的值。Mesh.material.SetTextureOffser().让图片在指定的时间完成一次偏移从而实现循环的背景。在佩戴脑电帽的步骤中，使用监听按键事件来移动相机完成对整个实验室的漫游。在操作佩戴和导电液注射等操作中，主要是通过鼠标和目标的碰撞检测来实现操作正确的判断。

2.3 实验平台的功能展示

2.3.1 登录功能如图5所示，主要实现平台系统的注册、登录、载入。学生按要求注册登录该课程系统（网址：bms.uestc.edu.cn）。本校学生可用电子科技大学统一身份账号直接登录平台，进行学习。

图5 脑电图检测与分析虚拟仿真实验平台主界面Fig.5 Main interface of the virtual simulation experiment platform for EEG detection and analysis

2.3.2 两个实验操作功能（1）实验1：脑电图检测虚拟仿真实验（2学时）。核心虚拟仿真度：虚拟实验平台可全方位立体放缩展示各个实验所需器材（图6）。通过设定按要求依次打开脑电放大器、采集计算机、刺激计算机、监控计算机，进行数据采集预扫描，百分百还原真实脑电数据采集平台及准备过程（图7）。仿真操作设定放大器的采样率、滤波带宽参数及传感器允许的最小电阻阈值参数（图8）。仿真测量受试者头围大小，选择合适的脑电帽，学习脑电帽佩戴过程（图9）。仿真了4种认知任务的脑电图检测。

图6 脑电图采集平台的设备展示界面Fig.6 Equipment display interface of the EEG acquisition platform

图7 脑电图采集平台的仿真构建示意图Fig.7 Schematic diagram of simulation construction of EEG acquisition platform

图8 脑电图采集平台的设备参数设置界面Fig.8 Device parameter setting interface of EEG acquisition platform

图9 脑电图检测过程的仿真构建示意图Fig.9 Schematic diagram of simulation construction of EEG detection process

（2）实验2：闭眼和开眼脑电功率谱差异分析（2学时）。核心虚拟仿真度：通过Matlab软件编写的可视化GUI界面，进行闭眼和开眼脑电图的功率谱分析，获得和比较这两种状态的脑电图特征和差异（图10）［18］。通过结果的仿真比对，可查看开眼和闭眼两种状态下，脑电4个频率波段的功率谱峰值和均值的大小，同时以表格和音乐喷泉形式更加直观地展示两种状态的功率谱大小对比结果（图11）。

图10 功率谱分析仿真主界面Fig.10 Main interface of power spectrum analysis simulation

图11 功率谱大小直观比对Fig.11 Intuitive comparison of power spectra

3 实验报告提交和评价功能

4 平台使用目的

为了克服实验设备短缺、操作机时有限等困难，本文在课堂教学中引入虚拟仿真技术。通过虚拟仿真实验能增强学生学习兴趣，提高学生实际脑电数据采集动手能力。同时，锻炼学生运用医学信号处理知识，提高处理脑电数据的能力。让学生学会对脑电图进行功率谱分析，加强学生对脑电图的频域特征的理解，从而更好地了解临床诊断的典型脑电图特征。具体包括：（1）实验1通过器材的丰富细节展示与用途介绍、交互式的操作流程以及多视角切换的视觉体验，充分地展示了脑电图检测的真实场景。通过系统性的学习，提高学生对实验操作的兴趣，同时加深学生对脑电图检测原理的理解与认识。（2）为探讨不同疾病的临床脑电图典型功率谱特性，脑电图检测虚拟仿真4种认知任务：开眼和闭眼静息态、视觉搜索、目标面孔检测、工作记忆。（3）本项目提供真实数据下载功能，实验2在实验1采集的静息态脑电数据基础上进行功率谱分析：使用周期图法估计功率谱，比较不同任务数据的功率谱差异，达到疾病检测的目的；再采用改进周期图法估计功率谱，总结改进算法的优缺点。着重考察学生对生物医学信号处理课程中频域特征分析知识点的运用能力。

5 虚拟实验教学特色

本实验教学平台采用虚拟仿真技术实现了实验目的和原理的理论介绍、实验器材及用途的详细展示、实验操作流程的虚拟仿真、真实脑电数据的获取，以此为基础进行脑电数据的采集、分析和比较。本平台特色如下。

（1）实验方案设计思路。本实验方案设计思路为了解决两个问题：①解决脑电实验设备昂贵、本科生缺少脑电实验数据采集训练的现实问题；②学生分析的脑电信号一般由老师直接给予，缺乏对数据来源的理解和认识。同时考虑到脑电数据采集步骤复杂、学生需要重复练习方可熟练掌握其基本操作这一现状。因此，在课堂教学中引入虚拟仿真技术可克服实验设备短缺、操作机时有限等困难［4-8］。同时，该技术的交互性和可重复性有效地保证了脑电数据采集流程的规范性、熟练性和实验数据的可靠性。进一步，学生利用虚拟仿真实验下载脑电数据，线下进行功率谱分析及事件相关电位特征分析，使得学生更加容易熟悉和掌握脑电信号特征。最后，创新性的采用音乐喷泉方式将不同实验条件的进行结果展示，使同学们更直观更好地对比结果的差异。

（2）教学方法创新。①教师统一指导、规范引导实验操作过程；②引导学生独立完成实验、自主思考实验过程并拓展实验设计的能力；③互相演练脑电图采集流程，培养学生协同完成实验的能力。通过三步走的实验教学过程，能极大提升学生的脑电图检测和分析的理论能力，同时也能提高实际动手能力，在真实的实验场景下将迅速掌握仪器使用技术，很大程度减少脑电仪器训练时间。

（3）评价体系创新。本实验平台将根据实验操作规范、数据分析结果和讨论及实验报告来对实验学习过程进行评价，颁发相应的脑电仪合格操作证书。同时根据学生和教师的反馈，持续进行评价机制的改进，制定更加完善的评价体系。大规模使用后，也将与其他高校进行实验教学项目成绩互认、学分转换等机制的探讨和制定。

（4）对传统教学的延伸与拓展。本平台教学方式采用网络虚拟交互方式，是传统教学的延伸和拓展，不受时间、空间、设备的限制，达到知识的自由广泛传播目的。在开放运行中，配合国家资源共享课《生物医学信号处理》网络资源，提供给没有实验平台的高校学生，掌握了实验设计和操作分析后，为其将来进一步深造打下基础。

6 结束语

通过对基于《生物医学信号处理》课程的虚拟仿真实验平台的制作及教学过程的实践，充分发挥了现代教学手段在提升教学效果方面的重要作用［19-21］。作为一门重要的生物医学工程学科专业课，医学信号处理随着科学研究的发展也在不停的变化和发展，因此必须把讲解经典方法和介绍最新发展动态结合起来。将该平台应用于教学，学生可自主利用虚拟仿真平台在线进行操作练习，有效地提高了实际操作的学习效率。与此同时，为学生打好专业基础，更好地理解所学专业知识，培养学生实际动手能力，增强学生的学习兴趣，保证了教学质量。

目前，该虚拟仿真实验已在生物医学工程专业本科生教学中推广使用，并受到脑电设备代理厂商的好评。该虚拟仿真实验教学项目将根据学科发展要求持续完善与更新，向高校和社会提供实验教学服务，配合《生物医学信号处理》国家精品资源共享课，充分发挥该实验项目的交互性、自主性和开放性。