计算机生成艺术在交互影像装置中的应用研究

闫晓蓉

交互影像装置利用计算机生成艺术对影像与互动进行实时渲染形成沉浸式环境，通过建构多维度叙事，融合了环境艺术、建筑艺术、声音艺术、光线艺术、装置艺术等，扩展了影像艺术的边界，在拟境与实境之间，为受众提供了独特的情境体验。计算机生成艺术特有的系统自治性、实时生成性与数据互动性对影像艺术创作的理论体系提出了严峻的挑战，为艺术创作的形式与内容上提供了新的思考。本文从身体浸入的多感官知觉转换建构、在场的实时影像互动体验、数据可视化的美学设计等方面探讨计算机生成艺术在影像装置艺术中应用的可能性。

计算机生成艺术；交互影像装置；通感；传感；实时渲染；数据可视化

人工智能时代的来临让科学与艺术的联系更为紧密，公共话题领域的发声者将舆论设置在一种由技术崇拜引发的符号神学境地中，催化科技迅速改变着大众的消费生活范式。艺术化生活的理念成为商业营销的追求，跟随科技与商业的发展植入到日常生活。同时，社会公众对文化的多样性与先锋艺术的包容程度越来越高，交互影像艺术装置作为一种沉浸式体逐渐演变为艺术展览的新形式，逐渐走进大众视野，成为艺术化生活的新风尚。

1.问题的提出

交互影像通过建构视觉叙事的多维度体验，扩展了艺术的边界、加速了德国当代艺术家约瑟夫·博伊斯提倡的“艺术有为”这一艺术理念的社会生活实践，激活了传统文化的科技与媒介创新，启迪了大众对未来世界与自身生命的推演与想象，在拟境与实境之间，为受众提供了独特的情境体验。在创作的过程中，艺术家们不仅仅以技术感性的特征更新了人机协同的交互影像创作方式，是一种数字社会控制论的体现，同时也提出了进一步的思考。人的自身生命与信息之间的联系是什么？生命与算法中的数据生命之间的区别是什么？计算机在艺术创作中的角色是什么？交互影像装置是否可以赋能现实世界，解决实际问题与引发社会创新？技术先行的交互影像在融合了身体艺术，行为艺术与影像艺术的基础上，能否启迪新的艺术观念与形式？这些问题将再现与表现，输入与输出，机器数据与生命，生物与非生物的媒介转换，生命体自身的感知和体验，计算美学等因素与以计算机算法为特征的生成艺术相关联，成为媒体艺术家的创作对象与艺术伦理研究，并逐渐融入交互影像创作中，形成影像艺术新的创作方式与表现范式。

1.1 交互影像装置的定义

影像装置是在特定的空间，以材料、结构为载体，以光线，图像，声音为表现，融合视听语言，触觉嗅觉等复合知觉，为受众带来实时与在场的情感体验的艺术形式。交互影像装置是在影像装置的基础之上，要求观众与作品，观众与艺术家，观众与观众之间产生自然互动，形成实时的双向信息传递。通过特定的媒介设备与数据收集，将光线，声音等模糊的感觉，瞬时的行为，自然的动作等可以引发情感体验的因素描述成可见可感的信息，形成“输入——输出”的循环回路，最终在特定的界面上输出视觉影像。目前。交互影像的信息数据输入设备包括：数据传感器，多点触控屏幕，摄像头，体感设备,虚拟现实头戴显示器等。影像的输出界面包括：屏幕，投影，流体界面，空气，自然景观映射等。交互影像装置是介于影像艺术、装置艺术与环境艺术和新媒体艺术的交融。从艺术形态上看，其与观念艺术、装置艺术、先锋艺术、行为艺术、偶发艺术有着千丝万缕的关系。其非线性的思维最早来源于达达派与超现实主义的艺术实验。它随机性与涌现性的特点又与美国当代艺术家约翰·凯奇等人倡导的偶发艺术观念不谋而合。它提倡交互与参与，与将行动与观众引入作品的行为艺术观念相切合。在艺术表现上，与美术、声音艺术、影像艺术、戏剧艺术、雕塑、建筑等传统艺术相互渗透，形成新的体验形态。从科技发展的角度来看，算法、计算机视觉、虚拟现实、增强现实、人工智能等科技形态为其赋能。从商业角度来看，博物馆导览、艺术展览、科技馆展览、商业现场营销、音乐现场表演等成为交互影像艺术装置的应用性体现。动态体感捕捉交互、无人机表演、机械臂动力装置、沉浸式空间、3D mapping、多媒体沙盘、增强现实虚拟仿真、混合现实等都是其最新的商业化技术应用。从文化逻辑角度来讲，交互影像装置是后现代主义的创作新形态，是融合了观念、声音、气味、空间、时间、影像、环境、体验等因素的超媒体创作思维。包含媒介的互动、受众与艺术家的互动、受众与环境和机器的互动。本文关注的是计算机生成艺术在交互影像装置中的应用范式。

1.2 交互影像装置的历史发展

影像是人机协作的艺术。十九世纪的西班牙导演与电影理论学家路易·德吕克曾在《电影与电影公司》中这样说道：“我们亲眼看到了一门非凡艺术的诞生，这可能是唯一的现代艺术，因为它是机械的产物，同时又是人类思想的产物。” 影像的发展将视觉艺术从静止的梏桎中解放了出来，萌发了电影动画等艺术形式，同时也将知觉作为理解运动影像的基础引入到艺术理论研究中。要理解影像的艺术本质，必须追溯视知觉认知中运动对影像的影响。早在20世纪30年代，先锋派抽象派绘画大师就进行了绘画在一定时间内连续运动产生影像幻觉的实验。他们将抽象绘画加入由机械装置引发的运动的实验因素，从而产生视觉暂留和似动现象为基础的运动幻觉。同时拒绝影像的线性叙事，追求纯粹的视听感受与艺术的精神性，在视听语言的艺术处理中立求声音与画面的互动转化的可能，以此放大观者的情感体验。这种实验将影像抽离成抽象隐喻并具有形式意味的画面，体现出影像这种新的视觉艺术与超现实主义、未来主义、构成主义和抽象表现主义等美术风格流派的密切关联，成为当时先锋电影派的革新力量。德国画家沃尔特·鲁特曼甚至认为电影是表现抽象、动画和时间的一种潜在媒介。进入第四次工业革命，信息成为社会新能源。社会分工出现人机协同的普遍趋势，数字技术改变着社会的艺术生产关系。艺术家面临着坚固的媒体艺术创作系统，其科技发展比美学发展得更快，影像的艺术创作也由计算机智能技术的介入而变得可感可知，影像的观看方式从单一被动地接受，变成了基于与环境和装置的互动，凸显出科学技术对艺术形式体验的深刻影响，即实验主义的技术感性。

1.3 交互影像装置的特点

传统的美术形式如绘画、雕塑等，其情感体验仍然受到媒介与空间的限制，情感的传递具有单向性特征。交互影像装置将多种艺术实践通过不同的层次组合与融合，材料——结构——光线——图像——感觉——声音——环境——人通过技术媒介连接，消解现实空间——时间的定义，用“长镜头”与“移步换景”式的真实体验与影像相互感应、融合、消解、反衬，对比，使得艺术家完整的创作意图得到充分的显现。同时，人在影像中不断生成新的自身影像，思考定位了新的自己。去除了不同媒介之间的艺术边界，音乐，图像与结构和情境体验所组成的具体环境共同塑造了以人的自身尺度为衡量的艺术行为。技术作为艺术家不断扩大交流路径的一种媒介，使得艺术家与观众的情感体验形成双向循环的互动交换。影像作为系统的输出，越来越强调艺术自身的去等级性和互动性。受众自身引发的影像运动和情境体验成为创作的主要动机，影像传递的信息与情感成为一种可被选择的媒介对象，艺术作品的体验与视觉形式在艺术家的控制权利之外，提供了一种自我决定的模式，实现了艺术的大众化和民主化。同时，计算机语言因其具有算法特点，可模拟、进化、分形、迭代与嵌套的种群设计方法与抽象几何视觉计算逻辑，创造出新的数字秩序美学与赛博空间美学风格和生命形式的体验，数据本身呈现出的极其迷人的形式感，每一次的运动都是人类最真实的行为表现量化出的数据作用，虚拟场景的临场感与受众自身的真实体验引发出独特的数字世界与现实交融甚至将其溶解的美学幻境。影像艺术创作中的交互性被再次提及。特定视角下的单一叙事的『运动』，逐渐演化成为为开放视角下多方体验『互动』。影像的主角从叙事逻辑中的他者转换成观众自己，交互影像的创作者从艺术家转变成观众与场域的多方互动。艺术家成为交互影像中的互动规则的叙述者，通过非线性叙事和临场体验式的行动蒙太奇，形式与运动的生成不再只依靠摄影机和镜头的运动与剪辑。信息技术亦被应用到影像的编码与合成中，配合传感器的数据采集，受众主体从被动的接受者成为主动体验者。其自身的生命体验引发了影像每一次都不同的独特运动，身体成为影像生成的触点，影像不再是一件单一的作品，而是成为以构建情境体验为基础的交互系统输出元素。结合这种观念，媒体艺术家们在交互影像的创作中进行了多种观念视角和体验构建的艺术探索。他们的创作中普遍突显出这些问题，那就是计算机生成艺术的编码语言与影像的艺术语言如何转化，受众自身的体验与行为是否可以更新编码语言，成为艺术创作的灵感和动机。要解答这些问题，我们必须从计算机生成艺术的定义与表现谈起。

2.计算机生成艺术

生成艺术在广义上被认为是艺术家放弃对作品结果的控制权利，将系统因素引入艺术创作实践。随着时间的流逝，艺术作品可以跟随系统的自治而诞生与流变的程式、行为和方法。在生成艺术中，最重要的是行为系统的构建。来自纽约大学互动通信项目研究所的Philip Galanter教授认为：生成艺术具有包容性，它为技术与艺术融合的理论发展提供了基础。随着当代艺术形态的发展，机械装置、微生物、生态系统、自然语言命令、计算机算法、程序编码、身体动作、智能材料、机器人系统、计算机数据映射等具有有效规则的自治系统都被引入到艺术创作的过程中，由极端有序到极端无序的时间连续序列组成。这些亦可被认作“生成艺术”的系统构建方式。这种系统要求艺术家不再预设一个既定的结果，而是在系统的构建中展开艺术并延伸创作媒介的无限可能性，将艺术创作行为与过程的构建与作品结果的呈现放在同样重要尺度上考量。加之环境艺术、偶发艺术、身体艺术极限艺术、观念艺术与光线艺术等对当代艺术创作思潮的影响，生成艺术的系统性思考与“关系设计”作为一种创作思维，几乎与任何一种当代艺术的创作思路、媒介、表现方式与结果相关联，却又被艺术设计的理论研究者忽视。直到人工智能时代的来临，艺术家才逐渐意识到艺术作品中的自治系统与创作主体之间的关联性。

狭义的生成艺术就是计算机生成艺术，即算法艺术。艺术家根据设计概念赋予计算机自主性，通过对编程语言的构建，设计一定的规则赋予计算机极大的自主性。计算机自动书写程序创造与视觉相关联的艺术作品，从而得到无法复制、视觉形式独特的结果。其发展与视觉艺术以及计算机图形学高度相关。实际上，计算机生成图像比传统的架上绘画更具有精准性和抽象形式意味。计算机生成艺术创作的核心在于艺术家设计算法的过程。人机协作的共性使得计算机生成艺术不仅仅是艺术与科技领域跨学科创作的工具。其呈现的艺术结果也属于“美学与计算”的研究范畴，是人工智能时代美学研究的重要议题。交互影像装置中，受众每一次的影像体验均是独一无二的实时渲染，结果出乎意料且难以复制与描摹。表达的主题与审美是人的身体与自然间的关联，抑或是未知或已知的自然中的美与力量，或是人类自身经验和行为中触发联想的认知与动作。实时性、互动性、可变性与叙事性是交互影像装置最重要的特点。随着体验者的步伐，空间中的影像、折射光线、声音甚至是气味都会呼应其行为，形成了转瞬即逝且无法复制的效果。给人炫目与极深刻的观感印象。

当代的新媒体艺术家与设计师们在形式的逻辑构成，运动构成，数据可视化等代码转换意识愈发强烈。计算机生成艺术已经成为交互影像装置的一种创新型方式。算法包括计算机代码，交互功能实现，艺术形式表达。由于算法往往是确定性的，这意味着它们的重复执行总会导致相同艺术品的产生，因此通常会引入一些外部因素。比如可以引发偶发与随机运动的随机数据生成源，或者身体行为与感觉量化的外部传感数据。例如基于身体的自然行为的数据采集、声音、手势、动作、呼吸、心跳、光线、触觉等。虚幻的感觉可以通过具体的数据进行表达，体现出人自身的行为与技术媒体之间神秘的仪式性关联。艺术不再只是艺术家的个人行为，数据的介入使得它与群体和社会高度相关，艺术家的每一种审美选择都是由周围的信息决定，是对受众决策、实时内容、情境、场域等信息流的反馈与回应。计算机可以满足艺术家的创新欲望并减轻传统文化形式的重负。艺术家制造数字科技的颠覆创造美学体验，创作出关于人类自身身体与生命界限的为探讨主题的交互影像装置作品。

3.通感到传感——计算机生成艺术的身体浸入多感官知觉转换建构

交互影像的表达形式寻找不同知觉领域中现象之间的联系。在不同于现实生活的情境中，影像借助艺术家感知世界的方式，让观众置身于一个充满了各色光影、寂静与声响、呼唤与回应的变化的世界。计算机生成艺术在知觉方面的美学介入上，通过对情境与时空和环境的构建，影像艺术创作引入了新的视角。知觉之间的转换被逐渐开拓出来，可被“感知”似乎与东方哲学中的“天人合一”理念达到了现代科学量化的契合，成为艺术与科学融合的创作方式。艺术家选择适当的编程语言和规则，将各种因素彼此关联并进行转化。例如：声音转化为图像、空间运动转化为音质、或将声音转化为色彩，触觉可视化为视觉运动的影像，虚拟的身体与身份等。

3.1 “通感”艺术的历史

自十八世纪开始，被人类发明出的机器数之不尽，与技术媒介相关联的、有关知觉的审美活动的艺术探索逐渐涌现。1729年，天主教修道士路易·贝特朗·卡斯特尔就建造了“光大键琴”，一台将声音转化为色彩的仪器。二十世纪初始，通感主义在艺术界盛行，在不同知觉领域之间进行媒介艺术转换。1910年之后，将音乐与空间形式联想性地转化成绘画的尝试日渐频繁。电影的拍摄与制作中引入新的机器与科技，艺术与科学的融合愈发紧密。1932年，德国抽象动画大师奥斯卡·费钦格使用机械技术支配声音进行可视化表现，试图证明视觉与听觉有一种必然的美学联系。1958年，著名建筑设计师勒·柯布西耶为布鲁尔世博会飞利浦馆创作视觉、音乐和建筑融合的总体媒介设计。通过创造一种空间和声音剧烈融合的体验，合成的具体声音在丰富的扩音技术的帮助下作为线条和体积，伴随着线投影而在空间中运动起来，赋予建筑以异乎寻常的形式。因此，当时的一部分激进派艺术家认为数学原则阐释为通用的真理。通过数学，艺术家可以在不同的媒体中自由地表现艺术，并在它们之间建立联系。

3.2 “通感”到“传感”

进入二十一世纪，这种预设着看与听之间存在关联的通感理论，很快就被认定为一种主观的知觉现象。通感理论被机器和它特有的计算机生成技术所主宰的转换规则所取代。使用计算机生成艺术的相关编码软件平台，如Arduino、processing、MAX、touchdesigner等软件和硬件创建交互式环境从而进行转化非常奏效。艺术家通过特定的传感器采集行为将其转换为物理模拟参数作为输入端口，单片机通过一定的编码程序将其转换成数字语言被计算机识别，艺术家通过自己的艺术语言将其转换成艺术结果，如屏幕或界面上的图像、气味、光线、声音等。

从神秘的“通感主义”到“传感技术”在交互影像装置中的应用，技术对美学观念的模仿、跟随、操控、异化、失控甚至是颠覆，都在影响着人对世界和自身信息的接收与感知方式。情感的表达不再单向与唯一，技术深刻影响知觉的多维度构建已成为当代人信息接受的事实。我们从工业——机械的社会，转变到了传播——信息社会。借助计算机生成艺术的信息转换方式，我们应用多种界面和屏幕通过多感官通道接受信息，并且彼此观看、交流，并且在全球化的信息浪潮中形成相似的生活习惯和审美认知。多感官的知觉建构必须认为是创作行为的灵感源泉之一。信息必将成为新的创作对象和影响人的认知行为的重要因素。

4.虚拟的真实——计算机生成艺术的实时影像互动体验

交互影像装置的体验创作分为五个阶段：连接、融入、互动、转化、出现。首先受众必须进入强调此时此刻并且进入空间，与作品产生联结，并且以主角的身份和第一视角的观看融入影像的叙事中。并且与作品、艺术家、受众互动，使作品产生形态和叙事的变化。影像的关系，思考与经验也会被实时更新，从而产生必须联结，并全身融入其中（而非仅仅在远距离观看），与系统和他人产生互动。这将导致作品与意识转化，最后出现全新的影像、关系、思维与经验。

4.1 从观者体验出发的交互影像装置

交互影像装置将观众吸纳进叙事中。当下的感受就是此时此刻自身存在的证明与体验。观众移动的视角便是作品的体验意图。因为观众在实时体验时，并不像片场中导演与演员的关系，其自身偶发的行为路径不被艺术家完全控制，即没有一个固定的试点能够为观众提供最完美与深刻的观察体验角度。于是，摒弃了镜头视角的选择与控制，运动和空间成为可以被选择的因素，也成为构筑视觉体验的有意识组成元素。将身体作为知觉自我展示的场所出发，抛弃了导演的预设主角思维，从而将运动、变化和叙事的权利赋予受众。受众的身体可对影像进行几乎无限制的操纵，构筑游戏体验。身体即是宇宙，是引发天人合一、万物声息的起点，也是自身自由舒展与情感表达的载体。在虚拟的情境中，熟悉的视觉世界常量可以被忽略，不再受到任何物理法则的约束，从日常生活中挣脱，超现实幻想与梦境的体验被发挥到极致。

4.2 艺术活动中各方身份的转变

在影像拓展出的现实中，参与者同时成为观众与表演者。建筑与空间的关系被重新构造与变换，自我身份的肯定与留恋成为情感体验构建的重要因素。为了达到及时流畅的情感体验，叙事的顺畅与影像的连续，目前交互影像装置所采用计算机生成艺术中的实时渲染系统，能够满足艺术化与受众实时的可视化自适应，实时的反馈，实时的编辑和辅助功能。尤其是在商业娱乐化的影像体验装置设计中，作品多为三维效果和科幻类题材，通常充斥着大量的由计算机生成艺术形成的特效镜头，例如mapping数据映射投影装置。在这样的设计中，实时渲染与真实场景的叠加契合非常重要。计算机生成艺术所使用的算法具有开源、体量小以及易传播的特点，这就要求艺术家在前期素材的准备和元件库的搭建中做好充分的准备和精细的架构。包括：身体实时动态数据捕捉采集模块、基础影像场景元件库模块、数据管理与共享、实时抠像与合成、终端投影体验模块六个部分。

4.3 实时影像互动体验的特点

使用计算机生成艺术形成的实时影像互动体验，构筑了体验者在虚拟世界中的另一种实体化想象。创作的过程中，艺术家使用计算机生成艺术的动机与工程师并不相同。计算机生成艺术在创作过程中首先是被当作人的体验尺度去考量。它是否能描述一种理想状态中的完美世界，从而承载人类对世界的真诚期许？它是否能从自然中寻找到艺术形式并与计算机算法契合，从而呼吁和隐射真实世界？它是否可以被人类的想象力所挑战，从而达到人与计算机的和谐与共生？这种虚拟，是计算机生成艺术的数码形式中艺术家对科技与人创造力制约的内在抵抗式表达，折射的是艺术家对现实世界的观察，以及对人类自身面临的问题进行的深度思考。

5.扩展实境——计算机生成艺术对不可见数据的交互影像装置设计

视觉艺术通过一切媒介与形式观察世界，无法脱离真实世界而存在。绘画艺术从对客观世界的精确细致再现转向对人的个体情感与哲学思考的表现，影像因为其人机协作的本质，记录与描述客观世界更是其技术性的基础功能。数字化时代，影像艺术本身就具有将真实之物转换为虚拟之物的意义。

5.1 数据成为现实地表达

随着全球化与信息化浪潮的推进，无处不在的互联网和移动设备已经模糊了物理空间与数字空间的边界。日常生活中大量涌现的数据与信息已成为另一种事实与客观规律而存在，无形的虚拟世界可以被看作是物理世界背后的一种“形式”。数据组成万物的关联性与流动特征，包括人与自然、人与社会、人与科技等。数据作为一种基础资源本身也可被提取和修改，数据与物理空间中的人的映射关系同样值得被关注与进行艺术化描绘。法国著名当代哲学家齐泽克认为物质形式的出现是一种迭代的过程。这种迭代受到了某种无形的规则影响，虚拟的数据形式是现实之物内部的智能性表现。因此，将数据转化为人们认知内的视觉表现形式，并赋予其影像流动、互动和此时此地此情此景的真实美感，是计算机生成艺术在交互影像装置中的另一种应用体现。数据是一种无形的能量。通过对数据的采集、提取、重组、规划、分析，甚至艺术化的表达和设计，不仅可以为受众提供一种万物有联的感受，视觉化地呈现了科技与自然共同的控制能量，容许受众参与其中进行改变与探索，也能将其呈现出的形式结果赋能现实世界。例如合理组织城市、优化社会资源、激发思考议题、对受众进行行为促使、创造更为和谐与美丽的现实世界。当离散的数据结合在一起，产生了一种暗藏着事实依据的叙事，每一个数据代表每一种转瞬即逝的力量。受众在体验时能产生超现实穿越感。

5.2 拓展审美体验

与数据可视化科学不同的是，艺术家在交互影像装置中通过计算机生成艺术可以将数据与编码的采集、重组可以打破冰冷的科技感，与现实生活相对应，完成叙事与体验的构建，让每一个观察者融入与数据的对话中，以新的维度认知体验世界，达到情感上共鸣的艺术表达。使用计算机生成艺术创作基于数据可视化的交互影像装置作品，拓展了真实的定义，让受众体验到数据之间的关系美学，目的是重构思想。因为思想不应该与身体的感知觉分开讨论，相反，正是因为气味、触觉、声音、脉搏等可以被量化出来的数据转换成了可视化的觉知，枯燥的科学理论知识才能被人们更容易和清晰地理解，构筑了理性的诗意。同时，这种艺术结果又可以对受众进行行为促使、数字化城市、超越界限、共同创造等一系列命题即是当代的艺术使命。

6.结论

技术是人感知的延伸，科技为人所用才能显示出其人道主义的关怀。计算机生成艺术在交互影像装置的应用拓展了艺术的表现形式，影像艺术实践也跟随科学技术自身迅速演变并不断更新其内容。使用计算机生成艺术呼吁受众的主动艺术实践，与作品产生互动，创作沉浸式体验的新艺术。我们存在的世界也不仅仅是从物理到数字的转变，同时也是从相似到相异，从同一到多样的转变。在社会组织上，信息化的交互体验将成为人们生活与叙事的空间，虚拟环境会逐渐成为社会生活的栖息地。关注个体的生命质量与审美体验，将会是整个社会面对的审美议题。交互影像装置是社会信息的载体，通过艺术手段履行信息传播的使命，信息在此完成更新，转变，启迪现实生活。艺术家在技术、科学、艺术、哲学、美学等领域的思考和融合，将进一步加快科学与艺术之间的融合。身体浸入、人与社会、超体空间、虚拟自然等议题体现了艺术家对艺术与科技、人与自然、人与人、人与社会、人与宇宙的关系思考。从形式服从格式到格式服从生命体验，计算机生成艺术所代表的创作思考将继续延续至艺术设计更广阔的领域，逐渐厘清艺术形式语言与计算机语言编码转换的可能性。使用机器智能等创造出全感官交互的总体艺术，将各种屏幕、机器与科技去功能化的艺术作品将不断涌现，并能保持交互影像装置其独立完整的艺术性和诗学魅力。