柯同舟
人工智能(AI)是指由计算机系统或机器执行的智能行为,如学习、推理、感知、创造等。数字舞美(Digital Stage Art)是指利用数字技术和多媒体手段,为舞台表演创造视觉效果和艺术氛围的一种艺术形式。近年来,人工智能在数字舞美上的应用越来越广泛,为舞台艺术带来了新的可能性和挑战。
人工智能和深度学习在数字舞美艺术和创意领域已有许多应用和发展,通过一些使用神经网络作为媒介的人工智能工具,分析人工智能在数字舞美中的实际应用案例,可以设想AI未来在数字舞美领域中的前景,理解并接受AI作为数字舞美艺术创作的有力工具。比如获得了科罗拉多州博览会美术比赛“数字艺术/数字处理摄影”类别的一等奖的图片《太空歌剧院》,图片是由人工智能制作完成,需要人工输入一些提示词,如风格、配色、场景描述。AI将会生成一系列图片,然后根据要求进一步修改,直到构建出满足要求的场景。再如,英伟达GTC2023发布会片头音乐《IAMAI》是由一个名为“AIVA”的人工智能制作完成,伦敦交响乐团专门为此录制了交响乐版本。完成这个作品,同样需要输入一些提示词,如节奏、速度、调性、配器、风格等。AI会根据要求制作音乐并且生成MIDI文件,而后可在音频工作站中修改细化。
一、人工智能生成的数字舞美内容
人工智能可以通过学习大量的数据,生成各种类型和风格的数字舞美内容,如图像、视频、音乐、文字等。例如, Midjourney是一个基于深度学习的网站,利用人工智能生成图像,让用户可以通过输入文字来创造和分享各种各样的画作。又如,[Magenta]是一个由谷歌开发的项目,旨在使用机器学习创造音乐和视觉艺术。[GPT-4]是一个由OpenAI开发的强大的自然语言生成模型,可以根据给定的文本或图片,生成连贯和有意义的文字。这些人工智能生成的数字舞美内容,可以为舞台表演提供丰富和多样的素材,激发创作者和观众的想象力与创造力。同时,也可以降低数字舞美制作的成本和难度,让更多的人参与到数字舞美的创作和欣赏中来。
二、人工智能在数字舞美上的具体应用
(一)舞美概念图。利用Midjourny等AI制图软件,输入提示词:舞台尺寸、整体风格、灯光等,就能生成一系列的概念图。如果不知道如何写提示词,那么可以通过Chatgpt获得帮助。例如,可以在Chatgpt提问:我想做一个唯美的、模拟水下的舞台概念场景,请你帮我描述一下。Chatgpt回答:“这是一个舞台的概念设计。空间描绘了一条平静而浪漫的河流,水滴仿佛变成了音符,水波变成了声波。树叶沉入河中,形成美丽的涟漪,逐渐扩散和消失。鱼儿游过。梦幻般的风景,戏剧性的灯光,烟雾和迷雾。”把上述文字复制进midjourney里,再输入一些参数,例如:明暗对比、电影级别的灯光、8k、超高细节、大师级作品等,于是得出这样一张图:
毫无疑问,这一概念图给予舞美设计师大量灵感,甚至完全可以直接运用到真实的舞美搭建中。通过这种多个AI联动,可以将以前只能在脑海中构建的场景于现实中展现。
(二)视频素材批量设计。晚会类项目往往会配合节目设计相应的大屏数字舞美效果,而视频在其中占了很大的比重。在一些风格化的元素设计中,完成初稿之后,就可以将其“喂”给AI,使之“深度学习”。例如在某数字多媒体器乐剧中,第一幕的场景需要体现玫瑰和竹子的争斗,要用到大量、风格统一的素材。设计师画出了一部分,而后又把设计师的初稿“喂”给了AI,并给出提示词:“极简主义,扁平化,线条绘画风格,复杂的墨水插图,黑色背景,金色的线条勾勒出玫瑰,花朵朋克,超高清图像,金色和黑色,迷人,精致的铅笔素描,美学运动8k,超细节。”最后得出一组图片:
重复以上步骤,就能得到无数张图片素材,再从中挑选,用AI描摹技术转换成矢量图,就可以用到视频之中。在此过程中,甚至可以只给出线稿,由AI来上色。这将为设计师节省大量时间,而后有更多的精力投入创作中去。
(三)分镜设计。根据视频的分镜脚本、导演的舞台脚本等,可以批量产出分镜画面。通过seed值(一种基于算法产生的随机数字)固定主人公的形象,随后用Midjourney生成人物的三视图。描述出不同的场景的提示词:场景、景别、相机类型、光线等,即可生成草图,最后用stable diffusion(另一款AI绘图软件)的control net插件(一款人物骨骼固定插件,可以调整骨骼节点来模拟你想要的人物动作)固定好人物动作,再一次重绘,即可得出想要的分镜画面。在这些环节,甚至可以让AI根据剧本自动生成分镜,利用Chatgpt等大语言模型,输入提示词即可生成专业的分镜脚本。
(四)音频设计。在数字舞美中,音频是不可缺少的部分。现在,同样可以让AI制作音频。以AI作曲软件AIVA为例,如需制作一段古典主义风格、具有神秘感的配乐,输入关键词,AIVA便会直接生成MIDI文件。对此文件可以实时修改,然后导入进音频工作站重新配器,替换成更逼真的软件音源,用专业的效果器混音。于是,一首商业级别的音乐就诞生了。
三、在数字舞美中熟练掌握人工智能
若要了解人工智能的工作原理、分类、应用和发展趋势,可以阅读相关科普文章或观看专业视频来获取知识,进而可筛选出关于艺术创作/效果制作的人工智能,涉及绘图、脚本、故事创作、配乐,视频制作等领域。与人工智能交流时,必然会运用到提示词(prompt)。如果只是输入一些简单的短语,很多时候都无法得到满意的结果。要怎么问、问什么,是一个需要深入研究的课题。例如在AI绘图中,若想用Midjourney做一张端午节海报,提问Chatgpt:“请帮我想一个端午节海报的创意。”那么它会先对端午节进行背景介绍,然后提出过时的思路。如果把这种内容输入AI绘图软件,则将得到一些平平无奇的图片。
因此需要转變方法。首先可以提问Chatgpt:“插画师和海报设计需要哪些专业素质?”目的是使它深度学习插画和海报设计方面的知识。随后输入Midjourney相关说明书,最后提问:“从现在开始你是一个专业的插画师,如果做一张端午节主题的海报,你会怎么设计?请用适合输入Midjourney的提示词格式回答我。”片刻之后,AI会以极度专业的词汇做出回答,包括构图、配色、光影、风格等,而且是以提示词的方式完成。再将这些提示词复制进绘图软件中,就会得到一系列非常惊艳的图片。用同样的方法,AI也能完成专业摄影师、调色师、导演、音乐家等身份的工作,而不仅仅是一个简单的聊天机器人。
目前很多企业都设置了“提示词工程师”这一岗位,如何熟练地与AI对话是每一位AI使用者的必修课。掌握编程语言很有意义,Python是现在人工智能领域最流行和最实用的语言。如果条件不允许,也可以登录Github、Civitai等网站,模仿、学习别人是怎么写提示词的。按照现在大语言模型的发展趋势,AI对于自然语言的理解力只会越来越高。或许在不久的将来,用户将不用去研究那些烦琐的提示词,只用自然的语言就能让它很好地工作。
人工智能在数字舞美方面的应用,给舞台艺术带来了许多创新和挑战。一方面,人工智能可以为数字舞美提供更多的可能性和灵感,使其更加丰富和多样化;另一方面,人工智能也给数字舞美提出了更高的要求和标准,使其更加精细和专业。同时,人工智能也引发了一些关于艺术性、创造性、道德性等方面的问题和讨论。例如,人工智能生成的数字舞美是否具有艺术价值?人工智能与演员或观众之间是否存在真正的互动?人工智能生成的作品版权怎样归属?通过研究人工智能和深度学习在数字舞美艺术和创意领域的应用和发展,展示了一些使用神经网络作为媒介的人工智能工具,以及人工智能在数字舞美中的实际应用案例。希望能够激发读者,对AI的未来感到兴奋,并且愿意接受它而不是拒绝它,把AI作为数字舞美艺术创作的有力工具。希望人工智能在数字舞美方面的应用是一个新兴而有前景的领域,它为舞台艺术开辟了新的视野和空间,也提出了新的问题和挑战。我们期待人工智能与数字舞美之间更多的合作与碰撞,以及更多的创新与突破。
(作者单位:江苏省广播电视集团有限公司创意视觉部)