“文旅融合”与“媒体融合”背景下交互艺术的创新研究*

方梦阳

(南京艺术学院 传媒学院，江苏 南京 210013)

交互艺术是一种由作者、观众间接或者直接参与创作、体验的艺术类型。交互艺术的基本创作思维是将观众作为作品的组成部分，在多层次的互动行为中完成作品理念的表达，并同时反馈给作者、直接参与的观众或未直接参与的观众(基于传统艺术作品欣赏的观众)，最终实现行为交互的闭环上升到观念、思想交互的闭环。交互艺术作品一般是“基于计算机控制和各种传感器，采集观众的行为、动作、热量甚至语言、思想等各种相关数据信息，经处理后再反馈给观众。它在作品和观众间建立起一种对话机制，使每个观众都能在作者创造的交互环境中进行自己的体验与感受”。[1]本研究是以“媒体融合”为创作与传播的技术背景，以交互艺术为表现形式深度嵌入“文旅融合”这一应用大背景，探讨以“文化”“旅行”“媒体融合”为核心的艺术创新。

一、国内外研究与发展趋势

交互艺术发展时间较短，同时相关技术的革新与艺术形态的流行变化较快，因此目前关于其发展历史、代表人物、产生的标志等研究较少。国内相关基础研究主要有交互艺术的类型研究，如马晓翔的《新媒体艺术透视》，郭晓寒、何雨津的《互动媒体艺术》；交互艺术相关应用研究，如杨柳依依的《Leap Motion在交互艺术中的识别、处理及应用》、张馨月的《计算机编程语言辅助下的生成设计研究》。国内相关学术网站、期刊上的讨论与研究主要为具体的交互艺术家的艺术观念和技术手段，其他如交互艺术在文化旅游中的应用研究则表现的更为具体，如某个包含交互属性的新媒体艺术作品在当地文化旅游中应用的案例研究，这类研究在国内更为常见。如果置入“媒体融合”这一背景，有价值的研究就十分缺乏了，大部分的研究是在“文旅融合”或“媒体融合”单一背景下进行的，而这容易带来较为狭窄的视角，如“文旅融合”方面，商凌枫认为：“投影艺术对旅游景点有三大再造功能：文化再造、功能再造和资本再造，同时提出非物质性、交互性、多维性是投影艺术三大特征语言”。[2]不过，作者在研究中忽视了投影艺术的交互性。“媒体融合”方面，戎震将“交互艺术与网络媒体、数字博物馆、计算机动画等视作不同类型的艺术形态与平台”[3]，却忽视了网络媒体、数字博物馆本身必须包含交互艺术的大部分属性，这类错误的源头是对交互艺术与其他新媒体艺术的区分缺乏学理上的划分。

国外对交互艺术研究的开展较国内更早，主要集中于交互艺术的归属、涵义、类型等方面。多米尼克·洛佩斯首先将交互艺术归于数字艺术，他认为，数字艺术(Digital Art)只是“一种新的创作工具或展示手段，好比建筑师的从创意到结构图的过程以前依靠手绘，现在用计算机就能解决了，在这个过程中计算机在这其中扮演的角色充其量也就是一个更智能化、易操作的新工具而已”[4]。如果延续这个思路，那么交互艺术就是将传统艺术形态进行交互化设计的观点就易于接受了，反观近年国内的交互艺术在地方文化和旅游的应用，几乎也都是遵循了这个逻辑，然而，Digital Art(数字艺术)不是 Digitalize Art(数字化艺术)，两者是截然不同的概念。同理，Interactive Art交互艺术不是传统艺术交互化后的结果，文化旅游中的交互艺术也不仅仅是将传统文化转化为交互式形态。交互艺术的类型模式研究方面，按照伊温妮·罗杰斯(Yvonne Rogers)等在《交互设计：超越人机交互》中所提出的，用户和硬软件产品的交互可以分为四种模式：命令式、对话式、操纵式和探索式。“命令式是指用户向系统发出指令，包括输入文字命令,通过特定的手势，按下特定的按钮以发出命令。对话式是指用户与系统的对话，语音、文本等形式在交互窗口中和系统进行交流。操纵式是指用户通过操作对象物体，比如打开、关闭、抓拿等操作。探索式是指用户在虚拟空间中移动，通过观察和感知发现世界。”[5]34-39

由此我们可以发现，国外的交互艺术相关研究一般会以人机交互为核心，进行计算机与艺术相结合的跨学科研究，但在越加智能化的“媒体融合”时代，我们也许要面对这样的交互艺术发展趋势：交互艺术的技术基础仍然是计算机，但在艺术的呈现上，创作者正在刻意让观众忽视这一点，将关注的重心放在人与人、人与环境的交互。

二、“文旅融合”与“媒体融合”背景下的交互艺术发展

“文旅融合”的本质是将文化产业与旅游产业进行重组再融合，是新时代我国国民经济调节、产业升级的重要规划。两者的融合不仅大大拓展了各自的发展空间，促进旅游产业内在文化价值的提升，更推动文化旅游产业的发展。在“文旅融合”的发展潮流中，打造和提升文化旅游品牌是其首要目标。旅游产业通过利用文化产业的文化品牌对旅游产品进行改造，以提升旅游产品的文化品位，产品类型上包括演艺、节庆、艺术展览、影视、游戏和动漫等，其中具体呈现的交互艺术包括交互式舞台美术设计、交互装置艺术、交互式电影、交互式动漫和各类线上、线下电子游戏等。文旅产业如果充分发挥交互艺术的互动性和传播优势，去塑造和提升文化旅游品牌，就能够增强旅游目的地的竞争力和吸引力。因此，文旅产业的融合性发展会长期驱动各类交互艺术的创作与实践，交互艺术的形态和理念同时也会影响文旅产业中文化旅游品牌的质量。

“媒体融合”的理念最早是由美国麻省理工大学学者的伊契尔·索勒·普尔(Ithiel De Sola Pool)教授提出，“他认为数字电子技术的发展是历史上不同形式通信融合的原因，人们对媒体整合的想象更多地集中在传统媒体的整合上，比如电视和报纸”。[6]33-34各种媒体呈现出多功能整合的趋势就成为了这一理念最初的研究方向。

我国当前的“媒体融合”首先是由政府做出的相关重大决策，为中国的传统媒体和互联网发展指明了方向。其目的是进一步打破媒体间的界限，以现代数字媒体为核心，以5G等高速互联网通信为桥梁，构造一个面向未来的数字化生存环境。由此看出，我国“媒体融合”不仅仅是对媒体产业方面的考虑，而是基于互联网与社会的发展。在此背景下，交互艺术正在面临前所未有的机遇：互联网技术带来的无数种新的艺术表现的可能性，媒体产业改革带来的更多元的文化传播和创新价值。交互艺术创作者必须思考的问题是传统艺术创作思维向互联网思维的转化，而互联网思维的深刻理解就是数字思维、计算思维。

从意识形态竞争的角度看，交互艺术必将深度嵌入以先进文化为代表的国家软实力建设和竞争。2013年8月19日，习近平在全国宣传思想工作会议上发表重要讲话提出，“根据形势发展需要，我看要把网上舆论工作作为宣传思想工作的重中之重来抓”，强调要适应社会信息化持续推进的新情况，加快传统媒体和新兴媒体融合发展，充分运用新技术创新媒体传播方式，占领信息传播制高点。一直到2019年，习近平仍在强调“推动媒体融合发展、建设全媒体成为我们面临的一项紧迫课题”。由此可见，在媒体融合时代的传播环境中强化意识形态的宣传是民族国家和政府的重要任务。具备了互联网传播特征、文化创新、交互体验、大众娱乐多种属性的交互艺术将能够充分发挥自身优势，将国家意识形态宣传融入其中，为社会文化和思想建设发挥重大作用。

交互艺术的多媒介、实时、互动、数字化传播等特性决定了其将是文旅产业越来越倚重的艺术表现形式。而融媒体时代极速发达的信息与交流，各地方文化宣传、思想宣传如何利用媒体与艺术吸引人成为发展地方旅游文化的第一步。因为交互艺术是要与人产生互动行为，让人未到其地，就产生更紧密的接触与感受，相对于传统图片、影像的宣传，交互艺术的宣传形式将更加深度嵌入人的体验，进一步以叙事情节、历史文化积淀给予观众从感官到心理的影响，全部的体验过程可以融入到新的文旅产业生态当中。因此，在政策驱使和技术推动下，交互艺术在服务社会的实践中不断以适应新的时代变革而进行自身基因的重组，逐步演化出体现“文旅融合”和“媒体融合”时代背景的特征，也可能是未来交互艺术实践和艺术思想表达的重要参考。

三、“文旅融合”与“媒体融合”背景下的交互艺术思维创新

“媒体融合”背景下，“互联网作为一种信息技术，可以同时聚集比工业社会的市场更大规模的人群，而且可以低成本、个性化地进行人际交流，未来的发展路径是物的智能化和人的数字化，最终整个社会的运行将建立在大数据和智能化的基础上”。[7]100-106传统媒体在迅速地被互联网技术特征的数字媒体所整合，数字媒体承担着运转的核心，那么以数字媒体进行创作的思维模式就将是所有相关艺术形式共同的思维模式。传统创意思维要求艺术创作者打破固有的创作思维模式，寻求在工具、概念、观点、艺术手法、呈现载体，交互体验等方面的新境地。而计算思维是将创意思维在交互艺术创作领域中的具体化，以计算机的数字计算逻辑指导艺术实践的思维方式。

计算思维的起源与软件创新。计算思维的起源是现代计算机发展所遵循的基本结构形式，也就是冯·诺依曼机结构所表达的思维方式。(图1)延续至当代交互艺术的交互模式也可简化为：输入(传感器、人的肢体)—处理(计算机、移动计算设备如手机、pad等)—输出(人的听觉、视觉、触觉等)。在这一人机交互的循环中，创作者只有深入理解以计算机程序语言为基础的计算思维，并能够去运用它，才能真正掌握交互艺术的创作手段。目前，全球兴起的各类交互艺术创作编程工具的共同特点就是越来越不像是传统的图形界面设计软件，而是更偏向于程序员、工程师所使用的程序语言编写工具，例如 vvvv、Processing、Max、TouchDesigner等。这一转变是对交互艺术家群体的一大挑战。艺术家们需要开始学会将视觉表现的图形转换成数字代码去理解，并计算后对生成的视觉图像再用感觉器官去确认。对于数字交互音乐艺术家来说，计算公式所表达的各类声音波形本来就是一次音画的转换，其中介就是数字和代码。以图形化交互编程工具TouchDesigner为例，其基础理念就是将原本完全由代码编写动画与交互行为的工作，通过元件节点之间链接的实现程序编写图形化，使之更适用于非计算工程专业背景的艺术家、设计师。TouchDesigner的元件节点构成的图形从流程上看就是源于冯·诺依曼结构的，可归纳为：输入型图形节点—处理运算型图形节点—输出型图形节点。(图2)整个流程中处理的信息一切为数字信息，所有的创意和设计都需要由程序算法来实现，因此使用此类工具的设计师和艺术家必须在前期创意到设计实践都以计算机程序的思维方式来指导自己工作。

图1 冯·诺依曼结构

图2 图形化编程工具TouchDesigner流程示意图

计算思维的实践与硬件创新。智能硬件的本质是一种计算设备，具备输入、处理和输出的完整技术流程，常见的量化智能交互硬件产品如Leap motion、Kinect、Arduino等均具备这一计算思维基本特征。

本课题组成员设计完成的非接触式交互人偶展示系统将中国传统的木偶文化和高新技术机器视觉控制相结合，实现了科技与艺术的整合，通过不断强化技术支持和硬件维护，以量产产品为目标不断迭代更新，最终获得国家技术专利。非接触式交互人偶展示系统的创意来源于中国传统木偶，但在功能和文化传播能力上又超越了前者。中国传统的木偶从结构上主要包括提线木偶、布袋木偶、铁枝木偶、杖头木偶等。无论是哪种类型，其结构复杂度都远低于非接触式交互人偶展示系统，该系统用来模拟传统木偶的运动方式和其特有的木偶肢体语言都能够轻松实现，并能够完全实现传统木偶无法表达的姿态。该系统是国内首次应用机器视觉实现木偶的拉线控制，并能和用户完成相关互动。利用各种先进的视觉技术实现目标的检测、定位和跟踪，从深度图像中抛弃背景图像信息，利用机器学习的相关算法进行压缩感知，实现复杂环境下的目标识别与跟踪。基于目标的提取与跟踪，建立广义Hamilton系统实现智能双目视觉伺服控制，实现木偶展示机器人和人的互动。(图3)

图3 “非接触式交互人偶展示系统”交互流程示意图

综上，计算思维是交互艺术在智能生态环境(软件生态、智能硬件生态)下进行创新的关键。当所有的艺术表现都是以数字化形态存在时，艺术作品就必须承载于计算机类设备中，传播于互联网和物联网中。因此，“文旅融合”和“媒体融合”背景下交互艺术的创作就必须以计算思维为核心思维方式，训练自身的数字化创作模式以及实现数字化艺术品传播。

四、“文旅融合”及“媒体融合”背景下交互艺术的实践创新

本课题组成员创作的交互艺术作品《活力建邺—悦动·情绪》于2020年南京青奥艺术灯会展出。该作品的实验与实践依托于南京艺术学院“国家级数字媒体艺术实验教学示范中心”下属的“沉浸式旅游数字交互体验系统研发中心”(ITEC)，其创作团队来自于ITEC的多位艺术家、设计师、工程师，动画师等不同学科和专业技术背景的人才组成。该作品的视觉构成为可交互的霓虹灯装置结合水波纹灯，其中水纹表达一种活力，持续的变化，意为悦动，霓虹灯用线条勾勒出南京部分文化地标，也表达了城市持续的发展与活力。两种灯光均可以通过摄像头感应检测实现与人的交互，共同营造的视觉感受也相辅相成，形成一种情绪化的表现形式。该作品以符合新时代文化旅游的城市灯光为主题创意，通过数字媒体软硬件技术打通不同灯光媒介的信号壁垒，统一交互方式和视觉体验，实现真正意义上的“融合”。

图4 交互艺术作品《活力建邺——悦动·情绪》2020年南京青奥艺术灯会

《活力建邺——悦动·情绪》艺术实践中景点场地与文化地标灯光图形的组合反应出“文旅融合”时代背景。该作品的主要展示场地为南京奥林匹克博物馆内主场馆通向南京眼步行桥的露天隧道。团队选择的是由LED柔性灯带构成的南京著名地标图形和奥运元素的图形(图5)安装在隧道两侧，整个隧道是长达300米左右的递升斜坡，前50米是该作品的主要装置展示区域，这段距离相对比较狭窄，除了LED灯光的部分几乎全黑，视觉体验不佳。考虑到前往的是南京眼步行桥，在桥上观众将看到美丽的夹江夜景，因此我们利用动态水纹灯将整个隧道的三面铺满，营造出江底隧道的气氛，同时也是作为连接南京眼步行桥而做的情景铺垫。

图5 《活力建邺——悦动·情绪》LED柔性灯光带图形设计

《活力建邺——悦动·情绪》使用不同灯光媒介的数字信号通过图形化编程工具实现效果表达的统一，正是计算思维在艺术创作中的具体表现。该作品使用的LED柔性灯带、水纹灯、激光灯采用的信号类型均不一致，我们通过解码器、DMX-ARTNET转换器等设备，将不同类型的信号统一为标准的DMX512信号通过网线接口接入到PC工作站，这样就可以使用TouchDesigner一类的图形化交互编程工具输出所有的数字信号给不同类型的灯光设备。计算进一步体现在交互行为的设计上，我们通过Web Cam(网络摄像头)来实时拍摄隧道口的人流，通过数据线连接到PC工作站，将人流的变化在TouchDesigner中转换为亮度值的变化，再去设计高低不同的亮度值会产生什么样的灯光效果，最终实现的就是灯光的效果会自动根据人流量的大小而发生改变。(图6)自始至终，我们的核心控制硬件只有一台PC工作站和网线、转换器，无论是创作的协作效率、艺术表现都达到了以前可能需要多个公司、多个团队才能实现的结果，而这一切是遵循计算思维才得以实现的。

图6 《活力建邺——悦动·情绪》图形化交互程序设计流程

本课题组成员在以五星级乡村旅游区为目标、协助扬州宝应射阳湖镇完成全域智慧旅游整体解决方案的规划与实施项目中，通过全域智慧旅游的解决方案的规划设计，逐步提升域内美丽乡村、域内所有景区的智慧化、智能化，以此提升域内景区游客的旅游体验，通过移动互联网实现景区的万物互联，包括景区导览、电子导游、旅游规划、景区购票、特产购买、旅游文创、交通推荐、酒店住宿等等一系列旅游相关的吃、住、行、游、购、娱全方位的智慧化，实现全域旅游与智慧旅游的结合，目前已经建设好“荷美射阳湖”公众号(图7)、宝应荷藕产业展示馆交互展示设计等(图8)。该项目以智慧旅游的建设提升该镇旅游的发展，以旅游的发展提升产业的升级，以产业的升级提升乡村经济建设，最终整体提升射阳湖镇经济发展与农民收入，实现农产品附加值的提升与农业的品牌化打造。

图7 “荷美射阳湖”公众号的交互界面

图8 “宝应荷藕产业展示馆”交互界面

根据调研，传统智慧旅游整体化的改造由于农村基础硬件设施相对落后与不完善，在美丽乡村中实施可能具有一定难度，需要耗费更多资金进行基础设施的改造与升级，持续时间较长，实施难度较大。全域智慧旅游发展的基本点是对旅游发展形势的清醒认识，着眼点是形成可持续发展和更加依赖旅游信息资源发展的坚实基础、内生动力和新机制，着力点是加快基础设施建设，专注旅游信息服务体系协调发展，建立网络化旅游信息服务。[8]20-21作为旅游信息化的延伸与发展，智慧旅游是以提升旅游服务水平为中心，以物联网技术、下一代通信网络、数字媒体技术、交互艺术等为支撑的媒体融合环境下的旅游信息化。“全域智慧旅游将新技术应用于旅游体验、产业发展、行政管理等诸多方面，是游客、企业、机构与自然、社会相互感知，在感知中产生智慧的服务，提升游客在旅游活动中的主动性、互动性，为游客带来超出预期的旅游体验，为旅游管理部门提供高效、便捷的服务，为旅游企业创造更大的价值。”[9]106-115将一定范围内的景区景点进行合理规划与串联形成全域的旅游的基本概念，以全域旅游带动整体一二三产业的联动，相互促进联合发展。

五、结语

根据调研和考察当代不同交互艺术形态的具体情况，目前常见的交互艺术与文化旅游结合的艺术形式为：数字终端交互艺术、场景展示交互艺术，从各类交互艺术发展的历史和当代应用场景和效果来看，因发展时间较短，只能以案例的形式进行调研分析。理论方面，从媒体融合传播和文化旅游的角度综合分析交互艺术的发展状况十分必要，交互艺术主要价值体现在文化传承和价值传播中，因此后续研究探讨交互艺术的社会价值和美学价值。

本研究发现，从计算机技术的角度看，交互艺术有一些可以预知的难点和重点，例如对于多种计算机专业程序、艺术创作软件、各类投影设备的应用和不匹配。另一方面，计算机辅助的交互艺术创作如何能够与地方文化旅游项目相配合并得到充分运用也是个重要的难点，相关因素较多。从这个角度来说，本课题不仅是带有前沿性的应用研究，同时也包括对于相关基础理论的全面挖掘和梳理。只有让教师、学生和研究者深入理解并全面探索交互艺术的创作方法，并通过媒体的融合应用到实际项目才能够发挥其最大的价值和潜力。

信息技术的进步不仅促进了互联网这一新媒体的发展，更是带来了媒体技术发展的一个大趋势，即媒体融合。中国互联网络信息中心(CNNIC)发布第44次《中国互联网络发展状况统计报告》显示，“截至2019年6月，我国网民规模达8.54亿，较2018年底增长2598万；互联网普及率达61.2%，较2018年底提升1.6个百分点；网络购物用户规模达6.39亿，占网民整体的74.8%；网络视频用户规模达7.59亿，占网民整体的88.8%；在线教育用户规模达2.32亿，占网民整体的27.2%；在线政务服务用户规模达5.09亿，占网民整体的59.6%”。[9]106-115可以看出，媒体融合不单单是媒体的变化，更是整个社会运行方式的巨大变革，在这样的潮流下，未来的新兴艺术形态、文化传承、旅游传播也都会迎来全面的迭代更新，作为研究者，只有紧密地跟上趋势，为社会文化旅游的创新者提供理论指导，才能充分发挥自身价值。