江 锋,林 定,唐丽玉,周 翔,陈崇成
(福州大学空间数据挖掘与信息共享教育部重点实验室,福州大学地理空间信息技术国家地方联合工程研究中心, 福建 福州 350108)
DNA分子结构抽象、 微观且复杂,初学者较难想象DNA双链反向互补匹配的三维空间形态及其螺旋和解旋的动态过程. 通常采用图片、 文字、 视频等二维形式进行说明[1],或者采用曲别针、 泡沫塑料、 橡皮泥等实物或者3D打印物类比DNA结构的组分,逐个拼接形成DNA分子结构示意模型,以增强三维效果[2]. 这些教学手段通常占用较多课堂时间、 形式单一、 信息传递效果不佳[3],而且受材料限制难以动态展示相关的DNA微观生物过程,如碱基互补配对、 DNA复制等. 随着计算机视觉技术快速发展,利用增强现实(augmented reality,AR)、 虚拟现实(virtual reality,VR)等技术手段呈现受时空限制而无法在现实世界中观察和控制的现象具有显著优势,如变化太快或太慢的微观现象以及空间结构复杂的物体等. 增强现实技术由虚拟现实技术发展而来,深度融合专业知识,将虚拟场景与真实场景实时精准叠加,构建沉浸式三维可视化场景, 在真实环境中增强感知体验[4-5],培养探究式逻辑思维[6-7],是促进认知的一种新方法和支撑技术[8-9], 已在教育[10]、 古建筑物重建[11]、 旅游[12]等方面得到越来越广泛的应用. 大量事例说明了增强现实技术推动了生物化学教学的发展[13-14],现有软件能够模拟生物大分子结构和功能之间的关系,如BiochemAR[15]、 CADD[16]、 ChemPreview[17]等. 但是这些工具都是面向大学课程和科学研究的,对硬件要求比较高,模型复杂,受实验场地的限制等原因,难以大众化使用.
生物大分子结构的三维模拟是增强现实教学资源制作的关键,常结合曲线进行可视化模拟,如GraphiteLifeExplorer[18]和cellVIEW[19]等软件对DNA分子的建模. 本研究面向DNA知识初学者,利用基于自然特征识别的AR技术和曲线,实现了一种交互式参数化DNA三维动态模拟的方法,并研发了原型系统,直观形象地展示了DNA的多种三维构象,动态模拟了碱基互补配对、 碱基对边堆叠边螺旋、 DNA复制的边解旋边半保留半不连续复制等微观过程,增强用户对DNA基本知识的认知.
DNA分子是由一系列的磷酸、 脱氧核糖、 碱基(如腺嘌呤(A)、 鸟嘌呤(G)、 胸腺嘧啶(T)和胞嘧啶(C)),按一定的先后次序和相对空间位置关系,形成双螺旋模式. DNA三维结构特点[20]如图1(a)所示:① 脱氧核糖(图1(a)中Ci处)和磷酸(图1(a)中Hi处)以磷酸二酯键交互连接成主链,外侧的两条主链以反向平行方式组成双螺旋链的骨架; ② 碱基以氢键(图1(a)中的红色线段)相连,且遵循碱基互补配对的原则(A-T型2个氢键,C-G型3个氢键); ③ DNA分子在三维空间中有线状(图1(b)[20])、 环状(图1(c))等多种形态,环状DNA是对线性DNA的双螺旋链参考中心轴进行交互式仿射变换而得,具体详见图1(d)所示.
图1 DNA双螺旋结构Fig.1 Structure of DNA double helix
1.1.1主链的模拟
以线状DNA为例,构建DNA主链的基本思想如下:首先,根据DNA三维结构的直径参数,生成双螺旋结构的圆柱状参考空间,以圆柱底面圆心为原点建立局部参考坐标系F0,并令y轴与圆柱中心轴对齐; 其次,根据不同DNA模式参数的螺距d、 碱基对转角θ等,构建沿y轴位移d并绕y轴旋转θ的仿射变换矩阵T,重复执行一系列的T变换得到Fi,于是将双螺旋链的参考中心轴(图1(a)中的红色虚线)离散化并计算得到碱基对的局部参考标架集合F,其中Fi(0≤i≤n)为各个碱基对的局部参考标架; 接着,根据不同DNA模式参数(如磷酸和脱氧核糖相对于碱基对的扭转参数),结合碱基对的局部参考坐标系Fi,计算双螺旋链上磷酸的局部参考标架集合Hi和脱氧核糖局部参考标架集合Ci,其中(0≤i≤n); 然后,生成磷酸二酯键交替连接磷酸和脱氧核糖,形成DNA外侧双螺旋主链上的组分连接(如图1(a)中的粉色线段),利用Hermite曲线将主链上的磷酸位点(图1(a)中的红点)进行平滑渲染处理(如图1(a)中的紫色曲线).
1.1.2碱基对边螺旋边堆叠的动态模拟
采用随机游走模拟游离的碱基对f(即DNA的基本构造单元脱氧核苷酸对)的边螺旋边堆叠形成DNA的动态过程,如图1(a)所示. 在游离碱基对的初始位置(如图1(a)中的J)和目标位置(如图1(a)中的B)间构建随机游走缓冲区(如图1(a)中的浅黄色区域),游离碱基对f在该缓冲区内按照设定随机移动步长序列S={S1,S2,…,Si}和运动时间,在初始位置和目标位置之间进行插值,运用仿射变换将其放置到局部标架Fi,模拟碱基一对一对地在双螺旋空间中逐渐堆叠的动态过程.
动态堆叠脱氧核苷酸对后,每个脱氧核苷酸对仍为独立个体,缺少磷酸二酯键的交替连接. 采用线段将相邻脱氧核苷酸对上的同侧Hi+1和Ci进行连接,实现磷酸二酯键(如图1(a)中的粉色线段)的模拟,形成类似锯齿状的双螺旋结构. 为了美化双螺旋结构的视觉效果,本研究采用分段Hermite曲线对位于双螺旋外侧两条主链上的磷酸(图1(a)中的Hi)进行平滑,如公式(1)所示:
Q(t)=T·Mh·Gh(0≤t≤1)
(1)
用户可交互式选择常见的线状DNA类型,依据不同的结构参数更新圆柱状参考空间和仿射变换矩阵T,计算每组脱氧核苷酸对上的Fi、Hi和Ci,实现对DNA双螺旋结构的交互式参数化模拟.
1.1.3非线状结构的模拟
在三维空间中DNA分子有线状、 环状、 螺线管状和弯曲缠绕状等多种形态,线状DNA三维结构是非线状结构的基础. 非线状DNA三维形态模拟的基本思想是:首先,按小节1.1.1~1.1.2方法生成线状DNA三维模型; 接着,采用文献[21]的方法,用Bezier曲线对双螺旋链参考中心轴进行交互式仿射变换,计算非线状双螺旋绕转的中心轴线,更新其离散化成局部参考标架集合F,如图1(d)所示; 然后,利用仿射变换矩阵级联乘法运算,更新非线状DNA结构主链上各组脱氧核糖和磷酸的局部参考标架Hi和Ci,根据这些标架放置DNA分子的各相应组分,形成非线状DNA三维结构,其中,环状DNA分子的双螺旋结构如图1(c)所示.
表1 常见DNA模式参数
为拓展用户对DNA三维结构和功能的认识,促进探究性学习,模拟表1中所示的常见DNA的三维构象. 根据表中的结构参数,采用交互式参数化建模方法模拟,让用户体验相同的组成元件因不同的空间布局而造成的三维结构差异,探索DNA三维结构和功能之间的关系. 仍以线状DNA为例,不同模式DNA的双螺旋结构参数的计算如图2(a)所示,交互式变换结构参数,实现对B-DNA和A-DNA的三维结构表达,如图2(b)所示.
图2 不同模式的DNA结构参数化表达Fig.2 Parametric expression of DNA structure in different modes
假设y轴为螺旋参考中心轴,根据下式计算1.1节中碱基对单元的局部参考标架Fi的局部坐标系原点:
[xiyizi1]=[xi-1yi-1zi-11]T
(2)
其中: (x0,y0,z0)为双螺旋结构的圆柱状参考空间的底面圆心坐标,即局部坐标系F0的原点;T为仿射变换矩阵,根据不同的DNA模式参数计算变换矩阵T, 如以下表达式所示:
(3)
式中:θ为相邻碱基对之间的旋转角度,A-DNA为33.6,B-DNA为36;m为一对碱基之间相互推挤而产生的相对于双螺旋中心轴的偏移距离,m非零时,形成如A-DNA三维空间形态的“中空”现象,m取0时为B-DNA.
用户可交互式选择DNA类型,改变结构参数,得到不同模式DNA的三维构象,如图2(b)所示. DNA的三维物理结构呈现空间不均一性,在螺旋轴方向上主链与碱基没有完全充满双螺旋空间,呈现“大沟”和“小沟”的现象,为药物蛋白功能结合.
DNA复制是重要的微观生物过程,不可直接观察且难以理解,利用移动增强现实技术实现DNA复制过程的动态模拟,有助于提高初学者对DNA知识的掌握程度. DNA复制过程的原理如图3(a)所示. 首先,利用参数化模拟方法生成DNA的双螺旋三维结构,并使用Tag设定解旋初始位置; 其次,构造一个缓冲区(如图中3(a)的绿色区域)跟随在复制叉周围,在该缓冲区内随机地(包括随机类型、 随机位置、 随机运动方向等)生成游离的脱氧核苷酸; 然后,采用基于自然特征的识别和跟踪技术,通过标识物的碰撞检测触发DNA在复制叉处边解旋边复制的交互式模拟, 如图3(b)所示,具体步骤如下.
步骤1对用于进行场景交互操作的实物标识物图像(如表征限制酶)提取特征点信息并保存;
步骤2程序运行时,相机实时捕捉真实场景信息,在当前帧图像中,识别并提取标识物图像的特征信息而后保存;
步骤3利用特征匹配方法,对标识物图像的两组特征点进行匹配,若匹配失败则忽略,若匹配成功,则转向下一步;
步骤4利用标识物图像特征点对的匹配信息,计算相机位姿的变换关系,对当前视频帧中的标识物进行定位;
步骤5利用相机位姿信息设置虚拟场景相机的相关参数,将虚拟DNA三维模型渲染到当前视频帧中;
步骤6采用基于包围盒的碰撞检测,在当前视频帧中的标识物位置处,渲染跟随标识物运动的叠加场景,如DNA复制过程中动态移动的复制叉、 跟随复制叉的缓冲区以及缓冲区内的游离碱基对等,模拟DNA边解旋边复制的动态过程; 若DNA复制结束则停止,否则,返回步骤3.
通过实物标识物的识别、 跟踪和交互操作,对占用相同屏幕空间的两个或多个不可穿透的物体进行消隐或半透明处理,实现场景位移、 缩放、 旋转等变换,以及物体拾取、 触发子场景渲染等功能. 如图3(a)所示,操纵代表解旋酶/聚合酶的标识物图像,执行层次包围盒碰撞检测,若叠加的酶模型(图3(a)中的粉色块状物体)与螺旋链上碱基发生碰撞,则触发解旋事件,在发生碰撞处渲染复制叉并构建与复制叉正交的缓冲区; 缓冲区内随机生成游离脱氧核苷酸. 游离的脱氧核苷酸按预设的随机步长序列和运动时间,从初始位置移动至目标位置,与母链(图3(a)中的红色曲线)上裸露碱基碰撞生成氢键,模拟动态“吸附”的效果. 前导链上从5′至3′复制生成新子链(图3(a)中的紫色曲线),后随链上形成冈崎片段(图3(a)中的蓝色曲线),以链表形式记录冈崎片段的空间位置; 对代表连接酶标识物的图像进行识别和跟踪,获取链表中存储的位置信息,触发渲染磷酸二酯键和后随链新链的右螺旋子场景.
图3 基于图像的AR交互设计Fig.3 Design of image-based AR interactive
互补配对的碱基之间才能形成氢键,维持双螺旋结构的稳定性. 为增加趣味性,本研究模仿连连看游戏,通过随机组合两条单链上的碱基对,设计了包含不同错误率的实验. 采用双向链表结构存储DNA螺旋双链结构中的链1#和链2#上的碱基,碱基取值如表2所示. 重载运算符实现对链表结点的直接访问,对链1#和2#上相同索引的结点数据(即碱基)执行位异或运算,位异或运算值为11则碱基匹配成功,否则匹配失败; 对匹配失败的碱基对,设定A-T-C-G的轮播循环纠错规则,结合触屏点选的交互操作,对链1#和链2#上错配碱基进行“翻牌”式纠正,纠错成功时触发生成氢键.
表2 碱基的取值
本研究还集成了RTVoice和百度语音识别,实现触屏、 语音、 实物等多通道交互功能. 移动端手势触屏操作中的单点划动,依据划动的距离实现对DNA三维模型的旋转,亦可唤醒虚拟按键,调用定制的响应事件和模拟特效; 双指交互操作可对三维场景进行任意缩放操作,以便从多个角度观察DNA细节. 语音和实物交互,使虚实融合场景具有更好的用户体验,如即时语音播报DNA的相关知识、 DNA实验操作的讲解、 即时错误提示等.
基于AR的移动DNA应用的开发流程如图4所示. 利用Autodesk 3ds Max构建DNA模型的各个元件,如脱氧核苷酸、 酶、 碱基等; 在Visual Studio2017开发环境中集成Unity3D和Vuforia SDK,实现了AR标识物的检测和追踪、 DNA的三维构象以及复制过程的动态模拟,具备单点/多点触控交互、 语音辅助、 实物交互等多模态交互功能,设计了引导、 激发自主学习的内容; 采用趣味性游戏方式对课标知识点进行延伸,适用不同知识水平用户的探究性学习.
系统在功能上主要划分为三大模块:知识导览模块、 实验操作模块、 内容回顾模块. 知识导览功能模块包含了视频学习功能,以视频方式引导学生对相关知识的学习(如发现DNA双螺旋结构的故事、 DNA结构的概念和DNA复制过程等),通过视觉和听觉开展预习,为实验操作模块做准备. 实验操作功能模块目前实现了DNA三维结构、 DNA复制、 构建载体表达等内容. 其中,DNA三维结构模拟了碱基对动态堆叠的过程; DNA复制和构建载体表达交互式模拟了AR场景中DNA边解旋边复制、 切割质粒、 获取和插入目的基因等微观过程. 内容回顾功能模块包含练习题库,收录了常见题型以及高频易错题,用户完成答题后,答错处将触发相关的正确解答内容的讲解.
图4 系统实现的技术流程Fig.4 Flow of system implementation
本研究研发的是基于移动平台的DNA三维模拟原型系统. 为了测试该系统的用户体验,将开发的原型系统,发布为面向Android系统的“.apk”文件,在20个中学生的手机上安装和使用,同时收集测试者的反馈,如表3所示. 从数据中可见,本研究实现的视、 听、 触、 实物等多模态交互功能,受到中学生的普遍欢迎,运行效果如图5所示. 基于AR的应用程序能够快速准确地展示DNA三维结构,模拟碱基对边堆叠边螺旋的动态过程,灵活展示DNA复制过程,能够有效增强学生对DNA知识的理解,提高学习效率.
表3 实验者测试结果
图5 系统运行效果Fig.5 Some scenarios of system
本研究实现一种交互式参数化模拟DNA三维构象的方法,展示了参数差异导致DNA三维构象不同的现象; 利用Hermite曲线平滑处理DNA双螺旋骨架,采用Bezier曲线控制螺旋链的中心轴,形成环状DNA等; 模拟了碱基对边堆叠边螺旋和DNA复制的微观动态过程; 所研发的原型系统实现了语音、 实物等多通道交互功能,为用户带来舒适体验. 该系统能够利用实时显示和AR交互的特性,以三维可视化的方式辅助初学者完成DNA基本结构特征和复制过程的认知学习. 实验结果表明, 该原型系统能够快速高效地模拟出不同类型的DNA三维构象,虚实结合可视化效果佳,系统提供的动态化学习引导,有助于增强用户对DNA知识的理解、 掌握. 借助移动增强现实技术的学习资源,可以打破时间和空间的约束,使用户能够随时随地学习DNA知识,沉浸式交互方式有利于引发更深层次的思考,培养探究式逻辑思维. 但参与测试的中学生中也存在因趣味性交互而陷入长时间使用电子屏幕的现象,可能带来视力伤害.