TouchDesigner在新媒体艺术中的运用

苏镜如

摘  要  近年来，来自加拿大Deriviative公司研发的一款基于节点编程语言的多媒体创意工具“TouchDesigner”在艺术领域的应用越来越频繁。TouchDesigner憑借自身高互通性的优势，在影像、灯光、音乐等诸多媒体艺术领域备受设计师的青睐，越来越多的创意可以通过TouchDesigner实现且应用，未来TouchDesigner产生的设计价值和商业价值不容小觑。

关键词  TouchDesigner;新媒体艺术;应用领域

中图分类号  G2      文献标识码  A      文章编号  2096-0360（2020）14-0009-02

1  TouchDesigner概述

TouchDesigner是一款编程类的多媒体特效软件，但TouchDesigner与Unity3D、UE4等编程类创作平台却大有不同，TouchDesigner向使用者提供了一个节点式的可视化编程环境，用户通过COMP、TOP、CHOP、SOP、DAT、MAT六类基本功能元件以及每一类元件中近百种效果控制器创作，每一个节点或OP元件代表一个独立具体的执行动作，设计师以“连线”的方式，可以任意拖动组合动作执行的顺序和层级关系。整个编程创作过程中软件将代码的结构和函数变成无数个模块，因此设计师无需传统的文本式代码。此外，TouchDesigner高集成化的元件有助于零基础使用者快速上手，可以在已搭建好的初始模块的基础上延展出丰富的视觉创意效果，在能熟练使用基本元件及其功能后再探索更复杂的变化效果[1]。

2  TouchDesigner在新媒体艺术中的应用

作为目前世界上最受欢迎的多媒体艺术编程创作工具之一，TouchDesigner被越来越多的艺术家团队和设计工作室选择，涉猎领域广泛。

2.1  互动投影装置

近年来，TouchDesigner被频繁应用于各类互动投影项目，包括演出投影装置，如：洛杉矶的视觉艺术制作工作室V Squared Labs为巴西音乐家Amon Tobin的歌曲ISAM打造的视听盛宴;互动灯光装置，如：来自上海的工作室Digital FUN为奥迪A8L发布会设计的现场灯光秀，与传统的预渲染交互体验不同的是，此发布会使用数控球实时交互控制系统和动力球视觉特效系统;互动屏幕装置，如：来自纽约的设计团队Volvox Lab为微软艺术长廊影剧院制作的互动屏幕墙;室外屏幕投影，如：致力于设计数字媒体和互动的创意公司Leviathan设计制作的名为“150 Media Stream”的大型动态数字雕塑;多面空间投影，如：曹雨西工作室出品的大型声音影像装置《Oriens》;球幕投影，如：专注于沉浸式球幕投影的Omnispace公司为西雅图国际电影节提供的沉浸式视图;建筑投影，如：来自蒙特利尔的多媒体工作室Moment Factory通过运用声光电元素揭开当地圣母大教堂神秘、庄严的面纱，赋予这座古老教堂全新的体验和精神面貌;互动艺术装置，如：日本Nor Lab团队设计完成的围绕色彩和声音之间的联觉开展的互动装置项目，体验者通过手持设备激活装置的声音系统并生成变幻莫测的色彩组合，手持设备的实质是调整色轮，它的水平维度代表饱和度，垂直维度代表亮度，因此手持设备会随着体验者的移动直接影响装置的视觉效果。体验者通过获取空间的位置信息进行互动来生成声音和图像，这种视听体验能够刺激体验者的感官去理解、记忆联觉现象。

TouchDesigner可以与照明设备、音频系统、输入和输出设备进行通信，可以在各种类型的现场表演中使用表演控制组件。TouchDesigner将数据在不同类型间相互转换，从而可以轻松的使用图像或动画纹理对LED等照明设备进行编程控制，实现可视化操作和预览光束效果。

2.2  虚拟现实体验

TouchDesigner的多类功能均可与VR工具及设备无缝衔接，借助TouchDesigner和虚拟现实，使用者可以创建和播放全景环绕电影。“The Future of Music”是电影导演Greg Barth和Phenomena Labs工作室一同打造的一个沉浸式超现实主义音乐空间。在这个项目中，设计团队使用预先可视化功能分析内部三维空间，他们将虚拟摄像机和虚拟NPC角色放置于空间内部以明确空间的尺寸、灯光位置以及道具的尺寸等。团队将现场拍摄视频与提前录制的视频实时拼接合成，设计者使用TouchDesigner来实时观看全景摄像头捕捉的影像并且进行后期调整，以创建完善VR设备内的全景环境。同时，这个项目展示了使用VR作为创作媒介对于传统艺术空间形式的颠覆性改变和影响[2]。

2.3  即兴影像表演

许多音乐现场和世界级的音乐舞台都选择与TouchDesigner合作，VJ（Visual Jockey）即时的剪接影像、动画等视觉元素并添加效果，联合音乐与视觉打造一个沉浸式实时体验环境，带给受众视觉和听觉的双重享受。2019年3月，音乐人Deadmau5在迈阿密完成舞台的全新升级——Cube V3。团队利用3D打印技术构建舞台模型，舞台底部安装液压动力系统，通过内置程序控制立方体舞台的倾斜变化。Deadmau5在Touch Designers搭建视觉数据系统，并与舞台内部的触控组件建立连接，舞台的灯光效果、视觉呈现、旋转角度等都可以通过这个触控装置实现。

3  TouchDesigner的功能优势

3.1  多平台互通性

TouchDesigner可以根据不同软件、硬件设备、超文本传输协议、全球广域网系统匹配操作选项，将TouchDesigner集成到任何环境中。例如：2013年发布的专业音序器Ableton Live;用于设计复杂交互程序的可视化编程语言MaxMSP;用于原型设计开发的图形化编程软件VVVV;以及目前正在开发的超过95%的AAA游戏项目都使用3D纹理制作软件Substance Designer等。设计者可以借助TouchDesigner自定义不同视觉效果的运算符，呈现形状转化、缓动、景深、粗糙边缘、噪波、回旋路径、动态模糊、光斑、散射、紊乱置换、粒子效果、固层旋转等动态视觉变换。TouchDesigner通过传输控制协议（TCP）和用户数据报协议（UDP）与Web服务器、Web应用程序、Twitter和Instagram等社交应用程序编程接口进行交互。

在新媒体艺术创作中，TouchDesigner可以被视为一个实现不同格式的媒體文件整合统一的平台，帮助设计者利用不同软件和硬件的功能创造出更加接近完美的艺术作品。无论是PS等平面设计工具，还是AE等视频剪辑工具、C4D等三维渲染插件都可以快速的接入TouchDesigner进行二次创作。通过TouchDesigner，设计者可以通过位置追踪C4D模型，还可以实现音频控制、时间控制等实时交互效果。对于媒体艺术创造者和设计师而言，可以较为轻松的学习并使用TouchDesigner，而对于程序员而言来说，TouchDesigner使用数据流的方法和可视化节点结构帮助他们在原型设计和开发环节更加高效，而且能够轻松的帮助他们将艺术家制作完成的视觉部分与后台程序运行部分结合，避免不同领域使用不同软件造成的误差，同时便于双方人员的交流合作与二次调试修改，从而高效完成艺术项目落地及设计项目的精准投放。

3.2  实时3D渲染及高分辨率合成

除了基础的2D纹理阵列以及多层纹理，TouchDesigner将实时3D渲染与高分辨率合成相结合，在本地素材库为设计者提供不同类型的物质材料，且线上社区还有官方和个人分享的可供使用的材质贴图、环境光等文件素材。

除此之外，TouchDesigner提供多种高级视频解码器以保证视频播放质量以及最大化的发挥硬件设备的潜力，以HEVC（H.265）为代表的预测加变换的混合编码框架、用于Adobe CC应用程序的HAP编解码器、适合高清剪辑的Gopro Cineform转码器等，都为设计项目中的高性能HD视频和4K视频的输入和输出提供更多的解决方案。在TouchDesigner的自定义配置中，设计者可以将作品任意组合同时输出到不同的显示器上，实现多个音频源和视频源的混合和相互触发，还可以使用同步运算符和硬件框架为艺术作品创建大型的多机联网基础架构。

4  结语

由于国内市场情况，TouchDesigner目前尚未在国内广泛使用。但随着传播体验的升级，未来大众对媒体艺术审美水平的大幅提高，像TouchDesigner这样的创意工具将会产生巨大的设计价值和商业价值。因此，笔者希望通过此文能引起国内设计从业者对TouchDesigner关注和重视。

参考文献

[1]陈娱.可编程材料在数字艺术中的研究与应用[D].北京：中央美术学院，2019.

[2]韦艳丽.新媒体交互艺术[M].北京：化学工业出版社，2018.