基于投影的中国历史教育图册交互系统

江南大学数字媒体学院 周天旭 沈培芳 黄新颖 张乃嘉 香佳慧 夏鸿斌

0 引言

儿童教育一直是社会关注的焦点。随着二孩政策的实施，中国的儿童数量将在近十年内得到提高，如何在互联网浪潮之下教育孩子已经成为家长、社会最为关心的问题。而历史教育作为当前教育制度下不可或缺的部分，以其特有的文化性价值对儿童起到了文化启蒙，人格奠基的作用。但是，现有的以传统书籍和多媒体教学作为主要形式的教育方式，因其内容形式单一，难以激发儿童学习历史的兴趣，教育成果甚微。据调查发现，目前市场上的教育软件数目可观，但因其承载于智能设备，存在娱乐诱惑过多、长时间使用会损伤儿童视力等问题，利用率相对较低。而书籍作为传统的教育载体，因其固态化、不可变性和表现形式单一逐渐在儿童教育市场失去主流地位。

该设计利用摄像头投影仪的互动投影系统[1][2]，成本较低，利用空白书册呈现可视化的历史知识， 保留纸质书触感的同时，通过交互式游戏化被动知识输入为主动感官接收，解决了历史教育难以渗透的问题。

1 交互系统图册内容设计

该设计以无锡历史为切入点，聚焦在宋至近现代历史时期的集市演变过程，并融入该历史阶段的动植物变迁、传统美食文化发展等要素。主要表现形式为互动游戏，旨在进一步提升交互趣味性，提高参与度，化被动知识输入为主动感官接收，从接收到理解，进而应用，最终形成可持续知识学习系统。由于图册设计面向用户主要是3-8岁儿童，而儿童认识客观世界是从感知觉开始的，因此，该设计注重感官体验，实现视觉、听觉、触觉三位一体，符合儿童认知特性。通过明丽色彩对比激发儿童视觉认知，结合声效及触觉互动体验，做到知识立体化，动态化，准确把握儿童用户的真正需求。

1.2 视听教育

图册以无锡特有蚕猫为主要角色，构造主人公梦境世界。通过蚕猫梦中游历见证无锡历史发展过程，实现从现代至古代的自然过渡，增强儿童角色代入感。

1.3 多语言学习

图册设置特色板块，能够进行多种语言，包括中、英、日、西语辅导讲解学习（图1）。运用语音识别技术，能够对儿童的学习状态进行分析，并设计个性化的多语言沉浸式学习方案。

图1 多语言学习

1.4 图鉴教育

图册穿插图鉴形式，列举历史发展中京杭大运河无锡段水生物、昆虫和特色饮食，还原无锡历史自然场景。通过触摸事件，传值到显示对应文字信息，同时放大图片。结合多样化的娱乐游戏形式，带给儿童乐趣与知识。

1.5 游戏学习

实践知识游戏 我们设计了精加工游戏让儿童了解并学会应用米的生产流程。

儿童利用手指控制米的移动方向，正确选择米的加工路径通关进入优化生产流程（历史演变进入新朝代）。

错误选择加工路径，将进入误选的农作机械，触发关于此机器的游戏，学习其操作，巩固知识。例如魔法驴游戏通过喂养驴，鼓励驴拉磨，儿童可以从中学习整个磨面过程。

自然生物知识游戏 设计还原各种自然生物，如鸟、虫、鱼等形象（图2），我们设置多种游戏模式，巩固加深知识印象。如消除游戏，先后点击信息点与图片，数据处理设备接收两次点击动作后，对应即输出连线成功消除。通过简单测试巩固知识，完善知识系统。

图2 鱼类图鉴内容

2 系统设计与实现

2.1 系统框架

以空白书册为光学成像媒介，采用实时动作捕捉对使用者进行手势识别及触点感知，输出交互式游戏情境，产生一系列动作反馈（图3）。

2.2 系统实现

2.2.1 开发平台及工具

Unity3D 图册利用Unity3D 搭建游戏场景，实现手势触控操作，控制音效及三维动画。作为多平台的综合型游戏开发工具，该游戏引擎开发的图册内容可发布至Windows、Mac、Wii、iOS 、Android等多平台，用户家庭可以灵活选择互动投影系统数据处理端，例如不同系统的手机、计算机等，极大改善了设计延展性和普适性。

C#脚本语言 游戏场景应用C#脚本语言。C#综合了VB简单的可视化操作和C++的高运行效率，可调用由 C/C++ 编写的本机原生函数，源代码的可移植性高，提高软件开发效率的同时也将降低了开发成本，便于维护。

Box2d图册运用开源物理游戏引擎Box2d，其集成了大量的物理力学和运动学的计算，并将物理模拟过程封装到类对象中，开发过程中调用引擎中相应的对象用于模拟刚性物体运动和碰撞[3]，从而为儿童提供仿真的游戏环境和交互体验。

图3 中国历史教育图册设计技术架构图

2.2.2 交互设计关键点

框标页码追踪 该设计利用开源，跨平台的计算机视觉框架reacTIVision，通过摄像头实时跟踪存储页码的框标（图4），进而儿童可以通过切换书册页码，实现内容切换。基本原理如下：首先将源图像帧用自适应阈值算法转换成黑白图像，图像被分割成黑白交替的树（区域邻接图）；然后在该图中搜索唯一的左深度序列，其已经被编码到框标中。最后，搜索到的树序列被匹配到一个预设的字典来检索一个唯一的ID号码，高效计算标记的中心点及其方向。通过实施有形用户界面（TUIO）协议的OSC消息对基准点的存在，位置，方向和身份进行编码，并将这些数据传输到客户端应用程序（图5）[5]。

图4 存储页码的框标例图

图5 操作仿真图

目录数据存储 图册以书架喻为目录，掉落书册喻为其中章节。儿童可以点击任意书册直接进入相应游戏场景。亦可通过翻页进入。目录页存储用户使用数据，目录页的章节顺序实时动态变化（图6）。初始状态的章节顺序按默认设定安排，随后，按用户使用页码频次决定距离中心视觉点的远近，此处应用人机交互数学模型菲兹定律（ID=log2（A/W+1））[5]，次数最多的页码对应元素置于图册绝对中心位置，其余同理排列，最小化任意一点到用户目标位置的距离，从而提升交互体验。

图6 目录

数据处理及输出显示 数据处理端为具备计算处理能力的计算机或其他移动智能设备。根据输入的触点位置坐标及框标对应标签，通过程序输出声音 、显示搭建的游戏场景。并采用音箱为图册提供声音维度的输出，在提供触觉反馈的同时，丰富感官输入[6]。

2.2.3 硬件设计与系统搭建

系统组成包括图册绘本，交互投影一体机（投影仪、摄像头、支撑设备、亚克力板、Touch Foil）（图7）。

连接电脑设备或其他移动智能设备，打开系统，可投影绘本。摄像头捕捉书本位置、页码变化，传输信息至系统，即可根据儿童行为进行内容变换，实现实时交互。

图7 交互投影一体机样机

3 总结

该设计将数字媒体技术与艺术紧密联系，形象还原历史事件，利用软件开发实现交互游戏场景。通过摄像头投影仪的交互系统，以传统纸质书本为介质，在保留纸质触感及阅读体验之时，实现了历史知识可视化。通过追踪技术，检测画册的当前位置与书页信息，实时改变投影内容，精准计算儿童指尖坐标，对儿童在画册上的行为作出反馈，使儿童形成感官认知输入学习。与其他教育类互动设备相比，其考虑到儿童与家长的双方需求，具有更大的市场竞争力，也更容易被教育行业所认同。

同时，未来的知识内容设计将通过改变画册主题向地理、生物科学等领域拓展。这种交互式的信息获取方式，也将拥有更高年龄段的适用人群。脱离智能手机和电脑，以一种结合多媒体技术的方式回归纸质书，扩大相关知识的传播面，从而整体提升国民知识素养。

[1]Raskar R,Welch G,Low KL,et al.Shader lamps: Animating real objects with image-based illumination[M]//Rendering Techniques 2001,Springer Vienna,2001:89-102.

[2]Amano T.Projection based real-time material appearance manipulation[C]//2013 IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2013:918-923.

[3]Nikensasi,P.,Kuswardayan,I.,& Sunaryono,D.(2012). Rancang bangun permainan edukasi matematika dan fisika dengan memanfaatkan accelerometer dan physics engine Box2d pada android.Jurnal Teknik ITS,1(1).

[4]Kaltenbrunner M.2009.reacTIVision and TU IO:a tangible tabletop toolkit. Proceedings of ACM ITS’09.

[5]Nieuwenhuizen,K.,& Martens,J.Advanced modeling of selection and steering data:Beyond fitts’ law.International Journal of Human -Computer Studies,94(Complete),35-52.doi:10.1016/ j.ijhcs. 2016.03.009

[6]罗立宏,刘丹云.互动投影中国画艺术实践[J].美术大观,2017(10):78-79.