基于Unity3D引擎的类流体光声检测虚拟实验系统的设计与开发

于本知，韩建宁，赵欣洒，卫国倩，杨志秀

(中北大学 信息与通信工程学院，山西 太原 030051)

0 引 言

近年来，乳腺癌的早期诊断与识别已成为关系国民健康的重大课题[1]. 光声检测技术拥有无损性、空间分辨率高、检测效率高、应用面广等特点，在乳腺早期癌影像诊断设备中具有重要的应用价值，是备受关注的专用电子仪器检测技术之一[2-4]. 然而在实际的应用中，由于激光照射的特殊性，操作不当很容易对人体造成伤害，并且会对设备产生严重损坏甚至报废，光声检测教学实验难以开展，而以理论讲解方式开展光声检测实验，限制了学生对实验的认知与体会. 虚拟实验系统不受时间、空间的限制，具有能不计成本反复演练的优点，为学生提供了亲手操作类流体环境光声检测设备的机会，可以提高学生理论联系实际的能力. 因此，开发类流体光声检测虚拟实验系统非常有必要.

当前，在众多研究领域针对危害较大、成本较高、测量较难的实验都选择了真实还原构建虚拟实验系统. Grunwald等[5]开发了一个通过实地观察和模拟环境来真实地还原实验室的虚拟实验室系统，从而提高学生的高阶认知水平； 薛小荣等[6]开发了微波暗室环境下的天线方向图测量虚拟实验系统，使用户能更加直观地感受测量过程； 叶诗慧[7]针对高中化学实验操作条件有限的问题，开发了一套应用于高中化学实验教学的虚拟实验系统，激发了学习者的学习兴趣； 孙艳娜等[8]结合混凝土材料性能实验教学情况，开发了材料测试虚拟仿真实验系统，强化了学生对实验操作流程的记忆且提高了教学效果.

本文借鉴虚拟实验系统的设计思路，以Unity3D为开发平台，以C#为编程语言，以 3D Max 为建模工具，以Adobe PhotoShop、Premiere 等为辅助工具，将光声检测技术与信号处理、图像处理等技术相结合，设计了类流体虚拟实验系统，以期为实验教学提供一个直观学习的平台.

1 虚拟实验系统的总体方案设计

本实验系统采用B/S和C/S联合架构. 服务器部分代码采用PHP语言编写，由个人中心、课程编辑、网页学习、后台管理、API等环节构成，采用MySQL数据库，动态预加载缓存技术来提升实验速度，通过互动伺服器实现数据对接，实现学生的互动教学. 系统架构图如图 1 所示.

图 1 系统架构图Fig.1 System architecture diagram

1.1 虚拟实验系统内容设计

本虚拟仿真实验系统在Unity3D平台的基础上，融合了光声检测技术和图像处理技术，通过实验系统可以学习光声检测和图像处理的基本原理，掌握光声检测乳腺癌细胞的早期监测和诊断方法. 根据虚拟仿真类流体环境光声检测实验系统的功能需求，实验系统工作内容可以分为实验原理学习、检测设备结构认知、实验设备的选择与布置、设备连接及检测、成绩评定5个部分.

1) 系统技术方案工作原理

光声信号产生的过程可以分为3个步骤：①高能脉冲激光作用到物体上使物体吸收光； ②物体吸收的光能被转换为热量使区域温度升高； ③类流体环境发生热弹性膨胀，当物体的温度超过一定的温度阈值后，物体发生急剧震动，从而发出特定频率的超声波[9-10]. 光声成像原理如图 2 所示.

当超声波换能器接收到声波后，利用相应的图像重建算法计算出当前类流体环境中的光吸收分布图像[11]. 由于类流体环境中位置深度的不同，导致接收到的声信号会存在时间差异，因此，可以利用时间分辨技术取得不同层析面的光声信号，从而获得类流体环境的三维光声图像.
图像处理技术主要对接收到的光声信号进行滤波处理和数字化分析，并形成高质量的图像[12].

图 2 光声成像原理图Fig.2 Photoacoustic imaging schematic

2) 检测设备结构认知

设备结构认知主要包括对激光发射器、超声换能器、数据采集器、示波器、滤波器等设备的结构简介和注意事项进行学习，在系统中可以通过鼠标旋转、模型缩放进行查看，同时，鼠标移到模型时，鼠标旁弹框介绍对应设备，设备类型见表 1.

表 1 设备类型Tab.1 Equipment type

3) 实验设备的选择与布置

每个设备的选择与布置方式不同会呈现出不同的图像，为了获得最佳的图像进行乳腺癌细胞的观察，需要对设备进行重复选择与布置. 例如：激光发射器需要考虑数量、是否需要旋转排布、放置在乳腺上的角度以及照射时间的控制等； 接收信号传感器同样需要考虑选择的类型、布置方式等.

以激光发射器探头放置方向设计为例：点击激光发射器，弹出的UI框显示：“请选择激光发射器探头的放置方向”； 点击“好的”按钮，弹框关闭； 同时，摄像机转到正躺在躺椅上的待检测女性，其胸部高亮，显示可选择的9个检测方向，如图 3 所示. 选择好激光发射设备后，在1个发射器的旋转照射、2个发射器的旋转照射、4个发射器的静态照射3种架构设计中选择一种合适的照射方式.

4) 设备连接及检测

将激光发射器调整到与传感器灵敏度一致，打开激光发射器电源，调整各相关开关，保持正常工作； 启动筛选系统，脉冲激光作用到人体乳腺模型上，模型吸收热能温度升高，产生热膨胀现象，从而发出特定频率的超声波，超声波换能器就会接收到超声波； 采用卷积反投影图像重建算法得到初步图像，再对图像进行增强、滤波、反投影得到高质量的图像，筛选是否有乳腺癌细胞； 分析仿真结果、总结实验现象、撰写实验报告、归纳出类流体环境物理场的信号采集规律.

图 3 检测方向Fig.3 Measured direction

5) 成绩评定

系统根据用户的实验操作情况给出考核成绩和分析报告.

1.2 光声检测虚拟实验系统总体结构设计

光声检测虚拟实验系统具有仪器设备展示、实验原理查看、仪器结构认知、仪器设备连接、光声成像、图像处理等功能. 为了更好地适应现有的教学模式，将整个系统分成实验预习、实验操作、成绩评定3个模块，以满足教学实验的要求[13-16]，系统总体框图如图 4 所示.

图 4 类流体光声检测虚拟实验系统总体框图Fig.4 Overall block diagram of the virtual experimental system for photoacoustic detection of fluids

用户通过鼠标左键点击实验预习模块相应的按钮，可查看实验原理、实验所需设备、实验仪器操作等内容，并可进行实验预约，预约成功后进入实验操作模块. 在该模块中，平台会自动记录操作流程，评定操作是否正确，并自动记录每步操作的得分情况. 操作的结束后，系统进入成绩评定模块，针对操作过程及成果质量，经加权平均形成最终成绩和报告.

该系统已经在中北大学电子信息工程、生物医学工程专业的实验教学中投入使用.

2 三维建模及虚拟场景生成

2.1 虚拟三维模型的快速构建

构建光声检测虚拟实验系统的关键是三维模型以及虚拟场景的搭建，模型的真实程度直接影响到虚拟实验的仿真度[17]. 当前有很多专业的三维建模软件，可以更加方便快捷地进行复杂的实体建模，因此，光声检测虚拟实验系统将两者相结合，快速构建激光发射器、超声换能器、数据采集器、示波器、滤波器以及被测物体等三维模型. 根据模型的特点，选择不同的建模方式，同时控制模型面数，重要的模型面数多一些，其他部分简模展示，整个模型面数控制在1 000左右[18].

2.2 虚拟场景生成

所创建的模型主要采用VRayMtl材质球和标准材质球. 模型开发需要有 颜色、金属、法线、AO境光吸收4张基本贴图，必要时还需要发光贴图. 控制所有贴图的大小、质量，避免减少复合材质球的情况[19]. 重要的模型要展示坐标位置，在 PS绘制贴图，精细模型贴图控制在2 048*2 048像素以下，并且尽可能在一张图内完成以控制贴图大小，避免影响软件处理的速度. 部分代码如下：

void OnEnable()

{

paths=((PatrolNPC)target).Paths；

style.fontStyle=FontStyle.Normal；

style.fontSize=15；

}

void OnSceneGUI()

{

paths=((PatrolNPC)SerializedObject.target

Object).Paths；

Handles.color=Color.red；

if(paths.Length <= 0‖paths.Length<2) return；

for(int i=0； i

{

paths[i]=Handles.PositionHandle(paths[i], Quaternion.identity)；

Handles.SphereCap(i,paths[i], Quaternion.

identity, 0.25f)；

Handles.Label(paths[i],“PathPoint”+i,style)；

if(i

{

Handles.DrawLine(paths[i], paths[i+1])；

}

}

}

通过模拟激光发射器、超声换能器、数据采集器、示波器、滤波器等检测设备以及躺椅上的女性、医院检测室整体环境来构建类流体环境光声检测系统的虚拟实验场景. 虚拟实验场景如图 5 所示.

图 5 虚拟实验场景Fig.5 Virtual experiment scenario

2.3 模型优化

场景模型构建完成后，需要对虚拟场景进行优化处理，降低场景的复杂度，减少计算量和卡顿，匹配场景的实时性[20]. 模型的优化不光是要对每个独立的模型面数进行精简，还需要对模型的个数进行精简，将模型转换成Edit Mesh，将鼠标放在模型上右击，选择Attach命令，再通过鼠标单击其他相同材质的物体，单击后的物体就被合并到了一起.

另外，在制作模型的过程中，要查看 Normal 方向是否正确，模型内看不到的面是否删除，布线是否合理整洁，是否有破面穿模等情况.

3 交互设计

3.1 人机界面交互设计

界面设计既要美观更要方便，在虚拟实验系统中，不同页面之间的切换依靠菜单和提示按钮来实现[21]. 为了把界面制作得简洁大方，每一个页面的布局都会有所不同，先根据页面的需求简单绘制图形，再导入到Unity3D，完成其中一个页面，再重复设计其他操作页面[22].

3.2 人与虚拟物体的交互设计

以激光入射装备模型的选择操作为例，人与虚拟物体的交互设计，如图 6 所示.

图 6 激光入射设备的选择Fig.6 Selection of laser incident device

每个仪器模型都可以通过鼠标旋转、滚轮缩放细致地查看仪器型号、功能参数等. 同时，通过点击鼠标右键并拖拽，可以实现实验场景的旋转，呈现出一个真实的场景.

虚拟实验系统设计流程如图 7 所示.

图 7 设计流程图Fig.7 Design flow chart

4 系统验证

系统开发完成后，发布到电脑PC端浏览器中运行. 用户注册个人信息，完成课前预习后进入实验，根据指示完成设备的选择布置、信号的采集、图像生成与处理等操作，系统根据实验操作过程形成不同的乳腺波形图，如图 8 所示.

图 8 乳腺波形及各项指标分析Fig.8 Breast waveform and analysis of various indicators

该系统波形检测图与实际彩超中的波形图相比还原度较高且更具体，同时加入了血管成像、血红蛋白、血氧饱和度、组织成像等多项指标. 仪器选择和实验操作完全准确时，检测结果准确，图像清晰度高，某个彩超成像波形图如图 9 所示.

图 9 彩超成像波形图Fig.9 Color ultrasound imaging waveform

目前，系统已投入实验空间网站运行，浏览量达到56 441人次，实验通过率达91.6%，实验统计如图 10 所示.

图 10 实验统计Fig.10 The experiment statistics

5 结 论

针对光声检测实验难以实施的问题，本文利用Unity3D与3D Max技术构建了光声检测虚拟实验系统，进行了类流体光声检测虚拟实验系统技术方案、光声检测、图像处理、成果输出的全过程设计与开发.

该系统采用的引导式操作简单便捷，为学生直观地学习光声检测原理、信号处理过程、图像处理过程提供了一个平台. 在今后的研究中，适当丰富交互逻辑，多方位地完善系统将会是重点.