Illumi-mory：通过AR技术创造并带来阅读记忆

石 磊 洪玉洁 （宁波大学科学技术学院 315000）

由于科技的快速发展，我们可以在不同的设备上阅读，但实体书在我们的生活中仍不可或缺。我们喜欢实体书的可触感，但我们难以通过实体书的文字去理解一些内容，特别是一些小说和奇幻的场景。通过实体书我们如何体验从过去穿越到未来的感觉？如何体验爱丽丝梦游仙境？

试想一下，我们能否利用AR技术让我们在场景描写中体验到阅读的真实感？如果这个系统足够聪明，那它是否能意识到我们在哪里，并向我们发送信号，提醒我们阅读了什么？

当我们碰到新的知识点，我们会自然而然的去查相关资料。但是如果我们不能够清楚地记得我们要查询的知识点，我们通常会再返回去看一遍。难道我们一定要再去看一遍？我们能否换一种方式直接提醒我们这个知识点？

Illumi-mory系统使用AR信号作为内容/记忆存储器，并可穿戴，输出一个微小的信号作为提醒。

我们认为把AR技术和环境智能化结合在一起是比较有趣的，这种体验更能注意到不同的阅读环境——这是一种很好的记忆重放方式。当我们阅读的时候，我们会注意到周围的环境，例如，大部分人在图书馆更能集中注意力。

我们选择可穿戴的（例如珠宝）物体来表现光，因为它跟人比较亲密——我们每天都戴着它，就像我们带智能手机一样。传感器可以收集到很多人体信息，从而解锁不同的内容。

图2：使用环境智能化可以在特定的时间和空间内了解你的阅读环境

相关工作：

这项研究涉及到几个方面，例如增强实际阅读量，通过颜色增强数字化记忆和环境智能化。

在当今的教育环境下，阅读和与实体书的互动是学习过程中的重要组成部分[1]。我们之前一直致力于研究通过AR优化实体书阅读过程。

例如，在文献[2]有人开发了一套优化实体书阅读过程的系统，给年轻读者提供与书本内容互动的机会，通过在手持式显示器上标记基准点，看到更准确的3D图形。阅读这本书籍并与之互动，为用户提供了多感官体验，这是很难通过其他技术实现的。在文献[3]中作者给出了一个系统，可以自动将印刷技术文档（如手册）传送到三维现实中。它帮助用户将手册中的图像直接匹配到实体对象上，减少认知缝隙。

学习环境中的环境智能：

根据Cook等人[1]，任何智能环境都可以被分解成四个基本层：物理、通信、信息和决策。每一层在环境中扮演不同的角色，促进不同的操作并满足特定的要求。在文献[1]中，作者给出了一个环境类只读存储器，它帮助学生感知上下文，从而提高他们在阅读时检索和呈现相关材料的学习效率；在写作时，它随时可以提供帮助以便于完成他们的写作任务。Hanzi Lamp是一个AR学习系统，通过改进系统对现实学习环境的掌握情况来探索如何加快汉字学习。

颜色和记忆：

对人类来说，颜色是最重要的视觉体验，[4]它作为人类认知系统的一个强有力的信息通道，在增强记忆能力方面起着重要的作用。[5]色彩在学习和教育，营销，沟通，甚至运动方面起着重要的作用。事实上，研究表明，生动的色彩线索有助于提高阿尔茨海默病患者的短期记忆能力。[6]

在Illumi-mory系统中，我们打算使用颜色作为外围提示来鼓励用户回忆他们以前的阅读体验。我们利用手机内置摄像头识别文本/图像，同时通过照相来记录周围环境的优势，然后，我们通过从像素中提取颜色信息来设计调色板。最终一种主要颜色被计算出来，代表了相应环境的主要颜色色调。基于这一功能，可以很容易地集成其他功能，如记录声音甚至气味。

图3：从左到右：通过照相记录环境；分析环境的像素，提取出主色调

执行情况

我们通过一个概念原型来证明这个想法。软件和硬件工具包括统Unity 3D，vuforia sdk，Samsung Galaxy Note III，Arduino，LightBlue Bean，Neopixels和webcam。关于软件方面，我们使用跨平台的游戏程序Unity 3D为安卓设备创建APPs。我们使用vuforia sdk，这是一个可以使用任何图像作为标记的AR框架，在统一环境中进行文本/模式识别，我们还可在其上创建并覆盖信息（视频/3D模型/图像）。IO.Ports系统被用来联系Unity 和 Arduino in C#.。Light Blue Bean是一种新的兼容蓝牙技术的Arduino，它可以无线上传你的代码到板子上。

主要功能

当这个摄像头第一次扫描到不熟悉的词，例如VERITAS，它会提供用户全面的解释例如一个视频/图表/照片。同时它会自动地记录周围的环境。这个环节分析了环境的主色调。Illumimory系统会记录你查询每个单词的次数。所以，在第二次/第三次/...当你查询这个词的时候，它会根据以前记录的环境中的主色调打开光。

使用方法

Illumi-mory系统可以被用在不同的APP上来支持用户的阅读行为。利用AR技术，Illumi-mory系统可以同步记录你阅读的地点，学习的频率和你喜欢的内容不喜欢的内容。开发者可以制作目录让Illumi-mory系统表现得更好。以下是三种我们推荐使用Illumi-mory系统的场景。

学习和重放记忆

当你在图书馆温暖的黄灯下阅读时碰到一个国外的单词/专业的术语，例如“抛物线”，你不理解这个词的意思，这时你可以打开Illumi-moryAPP，用你的智能手机对准这个单词，然后在你的手机屏幕的文字旁边会出现一个相关的图表解释。有一天，你在其他的杂志上看到这个单词但不能够清楚的记得他的准确意思。你用这个APP来查询它，但是这一次，这个APP不会给你解释，相反，你戴上黄色灯的项链在你周围创造了一个黄色的环境，也播放了被记录的周围环境的声音。你会感觉你被带到当你在图书馆阅读的那一天并记起“抛物线”的图表和意思。

图4：用你的智能手机对准这个单词，然后在你的手机屏幕的文字旁边会出现一个相关的图表解释

图片5：你戴上黄色灯的项链在你周围创造了一个黄色的环境，也播放了被记录的周围环境的声音

游戏化：

在学习时使用Illumi-mory系统，它会记录你学习单词的次数和学习单词的数量。在你学习了一段时间后，有趣的内容将会被解锁，比如一个有趣的视频或者一个很棒的3D交互模型，以此来激励你的努力。

图6：完成指定的学习时间解锁有趣的内容

推荐系统：

你可以对你阅读过的书籍用颜色进行标记喜欢与否，这个系统会根据可穿戴的设备表现出的颜色来给你推荐一些书籍。例如，你用你最喜欢的紫色来标记你最喜欢阅读的书，比如你喜欢那些被设计的书和女人标记的书，讨厌那些带有暴力标签的书。当一天你去图书馆/书店的时候，你选择的书你不确定是否会喜欢。这时你可以打开你的照相机对准书本的条形码，这时项链会发出表示不受喜欢的白色的光来提醒你，你可能不想要阅读这本书，因为这本书是关于第二次世界大战的。然而当你扫描扎哈•哈迪德的书时，会显示紫色的灯光表示你可能会享受这本书。用户可以通过他们自己颜色的偏好来定制这个推荐系统。

图7：通过扫描条形码用颜色来标记你喜欢的书和不喜欢的书

图8：系统会根据用户标记的颜色来推测喜欢与否

未来图景：

基于这样的框架下，我们清晰的明白还有更多的需要去探索与实现。例如，我们可以通过AR将评论进行覆盖去看到其他人的想法。或者说使用谷歌的cardboard，通过VR使文字描写探索的虚拟世界更加逼真。将集成传感器放置在可穿戴的设备上去捕捉使用者的表情和行为去解锁不同的AR内容。

结论：

在本文中，我们提出了一个技术上的框架，将现实与智能结合，通过创造和带来阅读记忆来增强使用者的阅读体验。AR是用来解锁信息并产生记忆，AI则是用来将环境与记忆相结合。概念模型的验证也成功的证明了这个想法。一些使用场景被制作成程序。

图9：将arduino和灯嵌入可穿戴的设备中玩转记忆

[1] G.Margetis， X.Zabulis， P.Koutlemanis， M.Antona，C.Stephanidis.Augmented interaction with physicalbooks in an Ambient Intelligence learningenvironment.Springer Science+Business Media， LLC.2012.

[2] Grasset R， Duenser A， Seichter H， Billinghurst M（2007）The mixed reality book： a new multimedia reading experience.CHI'07 extended abstracts on Human factors in computing systems， pp.1953–1958.

[3] Peter M， et al.Retargeting Technical Documentation to Augmented Reality.CHI 2015.

[4]Adams FM， Osgood CE.A cross-cultural study of the affective meaning of color.J Cross Cult Psychol.1973;4（2）：135–156.

[5]Wichmann FA， Sharpe LT， Gegenfurtner KR.The contributions of color to recognition memory for natural scenes.J Exp Psychol Learn.2002; 28（3）：509–520.

[6]Cernin P， Keller B， Stoner J.Color vision in Alzhermer’s patients： Can we improve object recognition with color cues? Aging Neuropsychol C.2003; 10（4）： 255–267.