沉浸的故事：增强现实技术有声书的内容创新

安徽大学新闻传播学院 童 云

全民阅读被列为我国“国民经济和社会发展第十三个五年规划”的重大工程之一，并提升到国家战略高度。国家广播电视总局（原国家新闻出版广电总局）发布的《新闻出版广播影视“十三五”发展规划》提出要打造有声读物精品出版工程，加强有声读物精品的创作生产。中国新闻出版研究院发布的《2015～2016中国数字出版产业年度报告》提出，出版业需要注重内容创新，运用先进技术，对内容进行解构重组；加强产品创新，着力加强产品的可视化、多维化创新。

一、增强现实技术有声读物的概念

有声书（Audio Books，Talking Books or Narrated Books），即有声故事、“听书”，指以实物存储或数字存储形式公开发行和销售的有声出版物。有声书包括小说、评书、散文、诗歌、故事、外语、知识教育等有声语言产品和服务，其中有文字依据的语音内容不低于51%。声音具有极强的可嵌入性，可以与画面结合制作影视作品，与人工智能结合产生语音交互应用，与虚拟或增强现实技术结合可以创造一个向现实空间延伸的故事世界。

有声书成为继电子书后增长最快的出版物。美国出版商协会发布的主流出版单位销售数据显示，2016年美国电子书收入同比下降15.6%，但有声书收入同比增长25.8%，销售额达21亿美元。中国的有声书市场在2000年后发展迅速，听书网站和手机客户端、微信公众号等为有声书提供了传播渠道。听书网站有天方听书网、听中国、酷听网、畅想听吧、惠天听书网等；手机客户端有“懒人听书”“喜马拉雅FM”“荔枝FM”“蜻蜓.fm”“考拉FM”“酷我听书”“听书阁”“天天评书”等；广播电台手机客户端中也包含有声书内容，如“中国广播”“听听FM”“阿基米德FM”“达耳闻”“大蓝鲸”等；自媒体微信公众号如“青音”“凯叔讲故事”等。

虚拟现实技术（Virtual Reality Technique，简称VR）是以计算机技术为核心，结合相关科技，生成与一定范围真实环境在视觉、听觉、触感等方面高度近似的数字化环境。增强现实技术（Augmented Reality Technique，简称AR）是在虚拟现实基础上发展起来的新技术，是将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的“增强”，增加用户对现实世界的感知。由于用户与真实世界的联系并未被切断，交互方式也就显得更加自然。

增强现实技术的有声读物（以下简称AR有声书）是指在传统纸质图书的基础上，将计算机制作的视频、音频、三维动画、虚拟模型、虚拟场景或系统提示信息叠加到真实环境中，实时交互，增强读者对阅读内容的感知和理解。AR有声书是一种有声版增强现实图书，是声音艺术与增强现实技术结合，在静态平面图书上创作的动态、立体、交互性可视化读物。图书由平面媒介变为空间媒介，由平面阅读延伸到空间阅读，具有立体感、动态性、交互性、沉浸感、构想性、娱乐性特点。

二、《消失的世界》—一项AR有声书实验

《消失的世界》是中国科学技术大学新媒体研究院周荣庭教授带领师生团队，以法国儿童科普作家亨利·德斯梅（Henry Desmet）作品《消失的大陆》为蓝本而打造的增强现实有声读本。亨利·德斯梅在丰富的科普资料基础上，以生物诞生时间为顺序、以讲故事的方式介绍远古灭绝的生物，为孩子们创作了一本奇幻瑰丽的绘本。研发团队从2015年10月开始，历经2个月的开发，用计算机3D建模方法还原古生物外形，将语音、音乐、音效、动态视频和虚拟模型嵌入绘本，聘请南京古生物地质博物馆专家对3D形态进行专业指导。读者用手机扫描封面二维码下载“科学荟”客户端，对准书中有标识的地方扫一扫，就能让古生物活起来，图书变成可以看、可以听、可以玩、可以拍照的神奇绘本，不但增长知识，还培养孩子的学习兴趣。

研发团队经过21天的策划和筹备，在“浮世云书”众筹出版平台上以986元的价格售卖，读者参与众筹的同时也参与到创作过程中。2016年初，《消失的世界》上市不到2个月便售罄，并再次印刷。这本AR绘本深受读者好评，获得中国科协主办、果壳网承办的高科技创意大赛一等奖。

三、增强现实技术有声读物的内容要素分析

（一）虚实叠加的故事场景

目前，基于智能手机的增强现实出版物正迅速发展。AR有声书将计算机制作的动态模型叠加到现实中，虚拟立体影像与真实生活环境交融，形成虚实叠加场景。AR系统的基本技术包括显示技术、三维注册技术、交互技术以及虚实场景之间的融合技术。其中三维注册是指系统实时、精准计算摄像机相对于真实世界的位置和姿态，以便将虚拟场景正确地安置到它应处的位置，这是AR系统的关键技术。在技术支持下，增强现实的目标是给用户提供更丰富有效的增强信息，以提高用户对世界的认知能力。

AR有声书复原消失数亿年的恐龙时代，再现太空星云、星球、黑洞，模拟火箭、飞船升空场景，超越人体自身视听极限，增添无限遐想。《消失的世界》AR有声书将始祖鸟、冠龙、蛇颈龙、剑齿虎、大角鹿、渡渡鸟、巨脉蜻蜓等约30种已经灭绝的动物模型嵌入书中，扫描图书就能使它们来到读者身边，栩栩如生，令人着迷。

（二）嵌入交融的声音元素

有声书在20世纪30年代诞生之初的服务对象是视障人群，欧美国家早期的有声书库主要面向图书馆和学校。在教育领域，有声读物能够帮助低龄儿童增加阅读量，提升理解力和语言应用能力；有声书深受老年群体的喜爱，可以减轻视力负担，伴随性阅读让人感到轻松愉悦。在移动互联时代，更多热衷于声音的人们在开车、健身、行走途中听书，有声故事用声音叙述情节、描述细节、塑造形象、勾画场景、营造意境，使听者产生想象的空间。有声书在收听的情感性、娱乐性、知识性、伴随性等方面优势明显。

AR有声书是声音与增强现实空间交融的艺术。声音嵌入故事模块，读者点击模块，自主选择即将播出的内容。如《消失的世界》中扫描图片出现大角鹿模型，它一会儿低头吃草，一会儿行走奔跑。读者一边观看3D动画，一边聆听语音解说：“它也被叫做爱尔兰麋鹿或泥炭沼泽鹿。它头上的角超过3.5米长，重40多千克……在一年中，大角鹿只有半年是有角的，它的角只有在交配季节才会生长。”生动有趣的讲述，轻松的音乐配合动态虚拟影像，如同走进立体的电影，沉浸在远古时代。语音解说让孩子们在没有家长的陪伴下也可以独自探索远古大陆，了解灭绝动物的生活习性、灭绝原因及过程，激发他们学习的兴趣和对大自然的热爱与保护意识。

AR有声故事的音乐和音效根据内容、情感、意境进行设计，如在《消失的世界》中古生物出现的刹那，用光束配合音乐和音效来吸引人们走进故事。

（三）沉浸交互的用户体验

AR有声书的沉浸体验可从以下三方面获得：一是虚实交融，计算机模型叠加到真实场景，读者在视觉上感到虚拟模型是现实世界的一部分，看到一个动态、立体的世界；二是参与互动，人与书中造型互动，参与内容生成，叙事由平面走向空间；三是以人为主，人机交互，读者自主选择叙事模块中的任何部分，主动去聆听、观察、操作，增强对书中内容的理解。

以《消失的世界》为例，其将3D动物模型叠加到读者所在的现实生活，读者可用手指将动物放大、拖动，改变它的形态和大小，还可以把它们叠放到草坪、教室、桌面、掌心等真实场景中，让动物们与读者合影，这种随心所欲的交互行为其乐无穷。

读者是创作主体，从旁观者变为参与者，参与故事的书写，与故事融为一体，这极大地激发了读者的想象力和创造力。AR有声故事具有趣味性、逼真性和游戏性，让读者通过360度视角观察，点击触发事件，收听语音讲解，并设有互动环节或游戏，强化叙事参与感，调动多感官体验。在群体交互中，读者还能与其他人共享虚拟环境，交互操作和演练。

《消失的世界》研发团队还制作了AR卡牌“远古对决”“物竞人择”和知识问答卡，卡牌与绘本关联，是对AR绘本的补充，丰富了阅读形式，由几位玩家一起游戏。如“物竞人择”有46张动物卡牌，可2～4人参与，卡牌上记载每种动物的基本信息，由玩家进行提问竞赛，赢得最多动物卡牌的玩家为胜。

数字媒体产品为用户提供了个性化的内容体验，引发用户心理情感上的认同，体验具有真实感，有效提高了用户的忠诚度。交互式体验让读者沉浸于虚实融合的世界，寓教于乐，增强阅读乐趣，提高了学习效率。

四、增强现实技术有声读物的市场应用

AR有声书在教育、科普、体育、医疗、旅游、建筑、房产、职业训练等诸多领域应用广泛。AR有声故事目前多以科普、探险、挑战、战争类型为主。AR场景中的每个故事模块都能促使读者去互动，读者带着好奇心，主动填补模块与模块之间的故事缝隙，去感知、触碰、体验和创造。在实验教育、游戏教学、情境教学和残障人士学习等相关教育领域，AR有声书有广阔的应用前景。旅游景区制作的AR有声书可担当导游，代替形象宣传片；文化古迹和古董艺术品的增强现实应用，能给游客提供各种数据资料。AR医学教材模拟人体系统，直观展示人体的结构，帮助学生自主学习和训练。

总之，AR有声书是增强现实技术对图书出版领域的变革。目前由于成本高、价格高、技术含量高等原因，AR有声书刚刚起步。在媒体融合时代，AR有声书对于视听媒介产业发展将是一片可以探索的蓝海。声音艺术与新技术结合，必将产生更多的内容创新形态，值得继续探索。

1. Martin-Gutierrez，Jorge，Luis，Saorin，Jose，Contero，Manuel：Design and validation of an augmented book for spatial abilities development in engineering students，COMPUTERS & GRAPHICS-UK，2010，34(1)。

2.中国数字出版产业年度报告课题组张立、王飚、李广宇：《“十二五”收官之年的中国数字出版——2015～2016中国数字出版产业年度报告主报告(摘要)》，《出版发行研究》，2016年第8期。

3.周荣庭：《运营数字媒体》，科学出版社，2012年版，第35～40页。

4.鲍金洁、周荣庭：《众筹出版的运作模式和实践策略研究——以〈消失的世界〉AR科普绘本为例》，《科技与出版》，2016年第8期。

5.杨丽娟、陈鹏、张鹏：《基于智能手机的增强现实技术综述》，《软件导刊》，2016年第3期。

6.赵沁平：《虚拟现实综述》，《中国科学（F辑∶信息科学）》，2009年第1期。