人工智能赋能数字创意设计：进展与趋势

周子洪，周志斌，张于扬，孙凌云+

(1.浙江大学 浙江省设计智能与数字创意研究重点实验室,浙江 杭州 310027；2.浙江大学 阿里巴巴—浙江大学前沿技术联合研究中心,浙江 杭州 310027)

0 引言

1956年，美国达特茅斯会议(Dartmouth Workshop)首次确立了人工智能(Artificial Intelligence, AI)的概念[1]：让机器像人那样理解、思考和学习，即用计算机模拟人的智能。半个多世纪过去了，人工智能成为了全球新一轮工业转型的主要驱动力[2]，引领着世界各国技术的发展。如今，人工智能已经在各专业领域开始赶超人类，在聚焦创意的设计领域也有了一定的突破。2018年，由人工智能创作的画作《Edmond de Belamy》以43.25万美元价格被成功拍卖；阿里巴巴研制的鹿班系统在促销活动期间累计生成近5亿张平面设计，均接近高级设计师的水平。可见，人工智能在模拟和增强人类智能上已经取得了一系列成就。但是，人工智能的发展仍充满挑战，当前依旧处于弱人工智能阶段。

人工智能很早就被用于设计领域，辅助着设计过程的各个环节。早期人工智能主要通过建模设计领域知识[3]来解决设计问题,如基于案例的推理、约束满足算法和进化算法等[4]。这些人工智能方法擅长推理和分析，但囿于软硬件条件的限制，在创造力这一核心问题上并未取得太大进展，对于创造性的支持也十分有限。

数字创意设计是一类典型的视觉知识表达问题，是将人类创造力转化为数字视觉内容和知识的过程。2016年，人工智能进入2.0时代(AI 2.0)[5]，以深度学习、对抗生成网络等技术为代表的人工智能迅速发展，人工智能开始具备一定的创造能力。许多由人工智能独立或辅助设计师完成的文本、图像、视频以及VR(virtual reality)、AR(augmented reality)应用等作品，已经具有了较高的创新性。与此同时，跨媒体智能、大数据智能、人机混合增强智能等理论、方法和技术迅速发展，人工智能成为了推动数字视觉领域发展的关键技术[6]。

本文主要介绍在人工智能赋能的背景下数字创意设计领域的发展现状和应用前景。首先总结了当前设计与人工智能的关系和挑战，然后从支持设计过程和生产创意内容两个角度出发，综述了人工智能赋能设计领域的最新研究进展。最后，本文从人机关系多元化和设计新范式这两个方面，探讨了数字创意设计领域的未来发展趋势。

1 设计与人工智能的关系和挑战

创造力作为人类智能的基本特征[7]，是当前人工智能面临的核心挑战。在早期研究中，计算创造力和设计计算是从计算和认知的角度对创造力、设计和创意问题进行研究的两个重要方向[8]。Gero等[9]提出设计计算主要是通过新的计算方法和技术来进行设计研究和设计实践，强调应用模型和算法辅助设计师产出更好的创意;Boden[10]的研究总结指出计算创造力是聚焦创新创意过程的计算模型，主要研究创造力的工作机制，从而模拟人类智能以增强机器创造力。2016年，随着AI2.0时代的到来，设计智能成为了结合计算创造力和设计计算演化而来的新的研究方向，专注于解决新一代人工智能在创意和设计中遇到的挑战和问题。Tang等[11]给出了AI 2.0时代下设计智能的最新定义：解决设计和创意过程中的问题并生成创意解决方案(设计、内容和服务)的人工智能技术。

数据、算法、算力是人工智能的3大要素。人工智能通常是从数据中归纳和推理出知识，并通过算法表现出智能的行为，算力则为人工智能提供必要的硬件支持。传统的人工智能擅长解决推理、证明、分类、聚类等目标明确、规则清晰的技术问题，这些问题通常具有唯一最优解。然而，设计作为创造性的活动，带有强烈的主观性和不确定性[12-13]，这给人工智能在该领域的应用研究带来了巨大的挑战。Simon[14]指出设计所要解决的问题通常是不良定义的，具有问题定义不清晰、求解路径不确定、评价标准不明确等特点。因此，设计通常呈现出预测未来、开放多解、结构不良等一系列特征，这也恰好是计算机所不擅长解决的。例如，一个算法通常有明确定义的输入和输出，强调问题求解的过程；而一次设计活动往往没有明确的规则，其设计问题的定义是非常模糊的，需要设计师在设计过程中不断发散和收敛，逐渐固化设计问题，并提出最终解决方案。

设计思维是指设计产生的过程，即设计产物产生的思维过程[15]，描述了设计师实现设计创新的思考、推理过程。因此，理解设计思维将有助于人工智能解决设计问题。设计思维有3个重要特征。首先，设计思维是跨媒体知识加工的过程。在设计过程中，设计师搜集到的有关用户、技术、市场等各种信息，将会以文本、图片、视频、声音甚至气味等多种形式呈现，设计师通过对信息进行汇总、归纳和推理，激发设计灵感，产出创意方案。对于计算机而言，这种多通道的信息处理和分析，正是典型的跨媒体知识加工的过程[16-17];其次，设计思维中的问题与方案共同进化。在设计过程中，设计师经常根据其对设计问题的理解提出新的设计问题或新的设计方案，设计师对设计方案的评估也将促进设计问题的重新定义，或激发新的设计方案，如此循环往复。这样的循环过程促使问题和方案空间相互激发、共同进化[18];最后，整个设计过程是发散与收敛并重的。设计师定义、细化问题，并根据问题生成方案，该过程发散了问题空间与方案空间；然后对问题和方案进行评价，并选取优质问题与方案进一步发散，再根据评价结果收敛发散的方向。整个设计过程呈现发散与收敛交替进行、整体先发散后收敛的特征[19]。

由此可见，人工智能擅长解决的问题与设计的特征存在着冲突，利用人工智能解决设计问题还面临着很多挑战(如图1)。

目前，人工智能主要依赖数据和规则来创作或解决问题[20]，并没有完全具备独立解决设计问题的能力。但相较于设计师，人工智能仍然具有3个方面的优势：①强大的计算能力，可以在极短的时间内完成复杂计算；②批量化处理能力，可以批量解决重复性设计问题；③持续的学习能力，能够利用海量设计数据，不断迭代学习能力。这些优势让人工智能在面临复杂问题时能够不断遍历可行方案，快速找出最佳解决办法。与早期的计算机辅助设计不同，如今的人工智能具有更加强大的辅助设计和创意内容生产能力。在设计过程中，人工智能可以替代设计师完成高重复性、低创造性的设计工作[21]，辅助设计师从海量数据中整合设计知识[22]，还可以根据设计师的指导从不同角度快速探索和生成新的设计方案[23]等。由此可见，设计师与人工智能之间的协作关系愈发深入和智能化，呈现一种相辅相成的关系。人工智能利用其强大的学习和计算能力为设计师提供辅助和启发，设计师则更多地投入到创造性的设计活动中，二者结合，可以更快、更好地产出设计方案，创造设计价值。

2 人工智能在数字创意设计中的应用研究

近几年来，人工智能开始广泛应用于数字创意领域。根据人工智能在创意设计过程中所发挥的主要作用进行区分，可将其应用分为支持设计过程和生产创意内容两类。在前者中，设计师是设计创意的主要提供者，人工智能作为辅助设计工具，辅助设计师完成设计过程的各个环节；在后者中，人工智能将成为设计创意的主要来源，协同甚至替代设计师完成主要设计过程。

2.1 人工智能赋能的设计过程

传统设计流程一般可分为需求分析、创意激发、原型设计和设计评价4个阶段。人工智能的迅速发展极大地便利了传统设计流程的各个环节，推动了传统设计方法的变革。

2.1.1 需求分析

用户需求分析是指通过相应的技术和方法来观察和分析用户的行为、偏好和意图，从而洞察用户的真实需求。Maguire等[24]指出成功的设计和创意作品往往来源于设计师对用户需求的充分理解和把握。传统的需求分析主要通过用户访谈、问卷调查等方法对少量的典型目标用户进行研究，以推测整体用户的偏好和需求。然而，这种模式无法做到大量用户数据样本下的定量研究[25]，难以满足用户的个性化需求。人工智能的发展支持了设计师对大量用户数据进行更加细粒度、全方位的分析和总结，从而保证产品最大限度地满足用户的需求。

用户画像是应用于用户需求分析的主要工具[26]。近年来，随着数据收集方法的进步，使用人工智能处理海量用户数据，实现自动化的用户画像生成(Automatic Persona Generation, APG)[27]成为热门趋势。人工智能主要通过在线的社交媒体或内容平台[28-29]收集用户数据，并自动生成相应的用户画像，用于支持企业推广、产品市场营销和个性化产品推荐等活动[30]。例如，卡塔尔计算研究所的Salminen等[22,31]和An等[30,32]对此做了大量研究，他们整合了来自Facebook、Twitter和YouTube等平台用户的社交网络数据，包括用户的交互行为、目标属性以及话题偏好等信息，基于聚类、LSTM(long short-term memory)等方法构建了APG系统。典型的APG系统框架如图2所示。

生成模型[33]是一类基于对抗生成网络，通过生成全新的样本来帮助设计师获取用户潜在需求的智能方法。这类方法通过学习社交网络上目标用户属性及其行为偏好的数据分布，能够直接生成全新的用户数据，用以构建潜在用户画像。典型研究包括Wang等[34]提出的IRGAN和Bharadhwaj等[35]提出的RecGAN，这两类生成模型能够基于用户行为的数据样本直接生成相关的潜在用户偏好；Perera等[36]还提出了用于自动生成跨网络、跨平台用户偏好的CnGAN，通过学习Twitter上的社交数据，CnGAN能够生成一些适用于YouTube平台的用户偏好数据。

事实上，上述方法在设计过程中还没有被广泛普及，智能化的用户画像生成仍面临着两大主要挑战：(1)如何利用跨媒体智能方法[37]从海量的各类用户数据(包括文本、图片、视频、VR、AR等数据)中提取、融合有效信息以获得精准的用户画像[38];(2)评估用户画像有效性的常用方法仍局限于案例研究[39]。总的来说，分析在线数据从而自动生成用户画像的系统和方法具有广泛的研究和应用价值，对于使用在线内容和用户数据进行设计和内容创新的人员来说尤其如此。

2.1.2 创意激发

创意激发是发掘潜在创意的设计过程[40]，可以为产品的造型和功能设计提供早期创意、基本构件和材料。创意激发面临的挑战主要包括设计固化(design fixation)、功能性固化(functional fixedness)、类比关系的忽略(analogy blindness)、狭隘的动词关联(narrow verb associations)等[41]，解决这些问题的关键在于为设计师提供足够丰富的设计刺激。

设计刺激是设计想法或概念的触发器或跳板，通过减少获取设计起点的认知难度、引入有用信息、快速扩大搜索空间等方法，有效促进设计创新的产生[15]。人工智能在创意激发中的应用研究可分为设计刺激的检索[42-46]和生成[47]两个方面。前者主要基于数据驱动的方法，使用不同的检索算法来分析现有知识库，再通过分类、筛选、组合、类比等方法获得具有启发性的刺激材料；后者则利用生成技术，通过生成全新的刺激材料为设计师提供启发。典型的创意激发系统框架如图3所示。

在刺激检索方面，Hao等[42]采用进化计算的方法对上万个授权专利和工业产品进行启发性词语的检索，将启发性最高的词语筛选出来呈现给设计师；Vandevenne等[43]使用行为语言模型表示文本中的自然和人造实体，基于K近邻算法对其中的生物学案例进行分类，从而形成易于查询的案例分类目录。此外，基于类比关系的检索工具也被广泛应用于创意激发的过程中[48]。例如，Han等[49]基于ConceptNet[50]知识库中指定的16种本体关系，使用类比关系A:B::C:X的形式来对不同属性间的实体进行关联搜索，以得到与搜索关键词可能形成类比关系的视觉和文本信息X，并呈现给用户。相关应用研究还有基于功能向量空间模型的类比搜索系统[51]、基于ConceptNet知识库的创意组合工具Combinator[52]等。

在刺激生成方面，主要以视觉刺激为主。2019年，Chen等[47]首次将生成技术应用于创意激发，提出了一个语义构思网络模型用来挖掘不同知识领域间的潜在知识联系，再基于生成对抗网络建立视觉概念组合模型，根据多个具有潜在关联的概念语义来生成相应的视觉刺激。目前，这方面的研究还较少，但随着生成技术的发展，例如文本到图像的生成[53]、图像自动上色[54]、图像风格迁移[55]等，未来这些技术都能够运用到创意激发中，为设计师提供更多的视觉刺激，提高创意激发的效率。

2.1.3 原型设计

原型是指能够部分或全部反映最终产品特性的产品近似品，它能够直观地展示产品的形态与功能。原型设计是一个需要历经多次迭代，从低保真到高保真的制作过程，一般可包括草绘、线框图、界面原型、功能原型、实物原型等阶段。

视觉UI(user interface)的原型生成是人工智能赋能数字创意设计的典型应用[56]。目前，这方面工作主要研究如何自动生成具有不同保真度的原型，以替代设计师完成一些低创造性、高重复性的设计任务[57]。相关研究可分为基于文本的原型生成[58-60]、基于案例的原型生成[61-62]和基于概念的原型生成[63-64]等方向，其对应的典型系统框架如图4所示。

基于设计师的文本描述自动生成相应的草图原型，能够有效降低设计师在原型阶段的工作量。典型研究包括：Huang等[58-59]提出了基于Sketch-RNN模型[65]的草图自动生成系统Sketchforme，该系统可以根据设计师的文字描述自动生成具有复杂语义的草图；在此基础上，他们又进一步提出了基于上下文语境的可迭代草图生成系统Scones，Scones支持设计师以对话的方式来不断地修改和细化当前的生成结果，从而实现草图的迭代和完善，这类研究主要针对从文本到草图的生成研究。除此之外，从文本到界面原型的生成研究也是当下的热门主题，例如在2020年6月，设计软件Figma基于人工智能公司OpenAI近期推出的通用NLP(natural language processing)模型GPT-3[66]实现了快速生成界面原型的功能[67]，用户只需输入一段有关某个UI界面的描述性文字，Figma便可快速生成对应的可编辑界面原型。目前，基于文本的原型生成应用研究仍处于起步阶段，当前应用在很多任务场景下还不足以满足设计师的原型制作需求，与其相关的研究领域还集中在文本语义分析[68]、文本到图片的生成[53]等方面。

设计案例能够有效支持设计师的创意过程[69]。基于UI设计案例从而自动生成对应的UI元素及其布局信息，能够支持设计师快速尝试不同的布局方式，而无需重复构建界面。典型研究如Pandian等人[61]提出的工具Blu，一个基于深度神经网络的UI布局检测与生成系统，该系统基于RICO数据集[70]训练了特定的目标检测模型，用以识别UI截图中UI元素的种类、位置和尺寸大小等信息，并使用OCR(optical character recognition)技术识别UI元素中的文字信息，最后系统采用了基于格式塔原则的算法来还原UI设计案例中的布局信息。这类研究和UI逆向工程具有密切的联系，相关的最新应用研究还包括Rewire[62]、pix2code[71]等。

从低保真到高保真的原型制作过程通常会耗费设计师大量的时间和精力[63]，而人工智能使得这个过程逐渐变得简单而高效。通过提取低保真原型中的语义概念，实现自动生成具有更高保真度的原型，将能够有效支持设计师快速探索各类设计方案。典型研究如2019年微软AI Lab推出的Sketch2Code[64]系统，Sketch2Code可以将用户的手绘草图实时地转换为UI原型对应的HTML代码，其核心转换过程可分为面向草图的UI元素识别与匹配、手写文本识别、UI布局生成以及HTML代码生成4步。但Sketch2Code目前还只能针对布局较为简单的低保真原型生成其相应的HTML代码，难以处理更加复杂的案例。为此，Pan等[72]提出结合深度学习和专家启发式评估对低保真的UI原型进行更细粒度的处理和识别，并基于此开发了能够处理复杂布局原型并生成良好结构代码的UI原型转HTML工具Visual Compiler，同时友好地支持原型的二次开发。相关应用研究还包括Eve[63]、CSSSketch2Code[73]等。目前，数据集仍是该研究方向的限制因素之一[74]，探索建立具有更大规模、更细粒度的草图数据集将有利于提高系统生成内容的丰富性，为设计师提供更多可参考的原型方案。由于手绘草图本身容易受到来自设计师主观因素(如绘画风格等)的影响，相同语义的UI元素或图形将可能呈现多样化的形态，因此建立面向草图的视觉识别和生成模型也将是未来的重要探索方向[75]。

随着VR、AR等技术的发展，虚拟原型设计成为数字创意领域中新兴的探索方向。设计师可借助VR或AR头显等设备(如微软HoloLens)在3D虚拟环境中进行协同设计，实现产品原型的快速迭代[76]。例如，Hammady等[77]基于微软HoloLens开发了具有3D视图的UI原型，并将其应用于博物馆的游客参观引导中；Erra等[78]基于微软Kinect 2开发了一项虚拟试衣技术，这项技术能够支持服装设计师对服装原型进行快速评估和迭代。目前，虚拟原型设计的应用还较少，受VR、AR等技术自身应用场景的限制，相关研究仍处于起步阶段。

2.1.4 设计评价

设计评价的目的是衡量设计结果的质量好坏，人工智能主导的设计评价可能为设计师提供更加客观而有效的参考建议。美学和功能是两个非常重要的设计评价准则[79]，目前人工智能在数字创意设计评价任务中的应用研究主要面向前者，相关研究领域主要是计算美学。

针对视觉艺术的计算美学主要研究如何让计算机模拟人类思维对视觉表达进行美学评估[80]，即自动计算不同类型视觉内容的美感程度，例如图像、图形用户界面(Graphical User Interface，GUI)、LOGO、服装等。传统美学计算主要采用基于人工设计特征的方法[81]，例如Li等[82]将颜色和构图作为机器学习的主要特征用以评估绘画的美学质量，Ciesielski等[83]将纹理和色矩作为关键特征用以评估摄影图像的美学价值。这是一种模仿人类专家实现美学评价的形式，通过设计合适的美学特征对图像的不同方面进行建模，再基于分类、回归等方法预测得到图像的美学值。这类方法具有良好的可解释性，但通常由于无法描述全部美学特征而导致准确度受限。相比之下，基于深度神经网络的美学计算方法具有更好的预测效果。2015年，Lu等[84]首次将卷积神经网络应用在美学计算领域中，在图像美学评价的准确率上获得了大幅提升。由于这类方法采取从图像中自动提取美学特征的形式，因此无需专业人员针对不同类型的视觉内容设计相应的美学特征，只需提供对应类型的数据集即可，但这类方法的主要问题在于其预测结果的可解释性较差。典型的计算美学系统框架如图5所示。

目前，计算美学的进一步应用大多集中在图像自动裁剪、图像自动筛选、图像摘要生成等图像编辑领域[85]。有关计算美学支持设计过程方面的应用研究还较少，主要集中于对GUI[86-87]和LOGO[88-89]设计的美学评价。典型应用如2019年Dou等[86]提出的用于自动计算和量化网页美感的评价工具Webthetics，Webthetics采用迁移学习的方法，基于图像风格识别任务实现评价模型的预训练，接着将预训练好的评价模型迁移到网页美学的评价任务上，既实现了网页美感的自动评价，又克服了缺少网页美学评价数据的挑战。

2.2 人工智能赋能的创意内容生产

人工智能在生产创意内容方面的应用，主要是以解决自动化、批量化设计任务的智能生产平台为代表。在这类智能生产平台上，设计师只需输入特定的设计目标和约束条件，就可以得到丰富的设计结果。例如2019年You等[21]采用数据驱动的方法解决产品广告图像的自动配色设计问题，他们提出了一个视觉色彩分析系统，该系统能够基于用户输入的产品颜色以及若干关键字，对整幅广告图像进行自动配色，从而快速支持产品推广及品牌营销等活动。

和设计师相比，尽管人工智能生成的设计结果还无法直接推向市场，但机器驱动的设计生产降低了劳动力成本，提高了生产效率。在原型结果的基础上，设计师还可以进一步优化细节，以满足用户和市场的需求。典型应用如海报自动生成平台“鹿班”、参数化字体设计平台“Spectral”和LOGO自动设计平台“Looka”等，相关研究涉及自动布局生成[90]、字体生成[91]、图像生成[92]等众多领域。

3 变革与趋势

3.1 人机关系多元化

随着设计和人工智能这两个领域不断碰撞和融合，人工智能在设计领域中的介入程度越来越深[93]，设计师与计算机的关系逐渐呈现多元化的形态。

(1)设计师与计算机呈现一种主仆关系。设计师通常会让计算机完成一些规则单一的、机械性的工作内容，这类工作往往非常耗时且没有任何创意可言。

(2)当计算机对复杂问题具备一定的分析和推理能力，便可成为设计师的助理。作为助理，计算机要能够基于设计师确定的风格和规则，完成不同场景下的适配性设计，此时计算机的主要职责在于帮助设计师完成高重复性、低创造性的设计工作。

(3)当计算机具备自主学习的能力，能够从大量的案例和经验中总结知识、预测未来，形成初步的创新能力，此时设计师与计算机呈现一种师生关系。作为学生，计算机要按照设计师的要求去学习某一领域的知识，并能够在设计师的指导下完成一定的创造性工作。

(4)当计算机具备一定的自主创新能力，能够从现象和过程中发现新的问题和创意，并给出相应的解决方案，此时设计师与计算机呈现一种合伙人的关系。作为合伙人，计算机能够为设计师提供具有建设性的意见和启发，设计师则能够让计算机学习到新的知识和技能。

如图6所示，这4种关系表现了计算机对设计领域的不同介入程度和影响方式，也是人工智能介入设计领域之后的不同发展方向。这4种关系并无高下之分，在设计过程中，设计师既需要忠实的仆人和可靠的助理，也需要聪明的学生和有能力的合伙人。

3.2 人工智能赋能的设计新范式

人工智能已成为设计的新维度、新要素，是新的设计范式下的主要驱动力。人工智能赋能的设计新范式尚无成型的设计方法，包含多种理论和立场，是非排他性的。因此，本文尝试从设计过程、设计对象、设计师职能3方面来描述新范式的特征，希望为设计与人工智能的进一步发展提供参考。

在传统的设计范式里，设计过程可以抽象成一条从用户研究到功能和形式设计，最终构建产品的设计链路。然而，随着人工智能的发展和介入，传统设计过程逐渐发生了变化。设计师不再是通过用户抽样去寻找需求、给出一个解决方案，而是介入产品的整个生命周期中，在用户的实际体验过程中不断地再设计、再优化[94]，从而给用户带来更加个性化的服务体验。因此，设计不再是产品生产链路中的一个节点，而是成为以用户为中心、人工智能赋能的设计循环，贯穿整个产品生命周期。

新范式下的设计对象亦发生了改变。以往，设计师的目标通常是单个的设计产出。现如今在人工智能赋能的背景下，设计师的使命将不再局限于一个个“物”的设计，而是有可能直接参与“造物主”的设计[95]，其设计目标将是一条条自动化生产线，通过参与构建具备自动设计能力的复杂系统，支撑起各类产品与服务的智能化、批量化生成。不同于工业时代中批量生产的规格化产品，人工智能背景下大批量生成的设计结果彼此之间并非完全一致，将呈现出“千人千面”的差异性[96]。

设计对象的改变亦对设计师的职能提出了全新的要求，设计工具的革新也需要设计师与时俱进。在未来，数据和算法将成为设计师需要熟悉和掌握的首要工具。设计师应具备与人工智能技术团队协作的能力，能从数据的角度理解设计的构成，从算法的角度了解智能系统的运行。这也给设计教育、设计研究提出了新的挑战。设计师作为设计与大众密切相关产品的职业，需要与各行业人才共同行动，一起构建起人工智能与人和谐共处、互促共进的新环境。

4 结束语

本文回顾了在人工智能赋能的背景下数字创意设计领域的发展现状和应用前景，希望能够为后续的相关研究和设计实践提供有益的参考。本文首先总结了设计与人工智能之间的关系和挑战;然后从支持设计过程和创意内容生产两个角度对人工智能在设计领域下的最新应用研究做了综述，特别是针对需求分析、创意激发、原型设计和设计评价4个阶段重点论述了人工智能对传统设计流程的支持和促进;最后提出人工智能与设计之间的关系将呈现出多元化的形态，新的设计范式正在产生，在人工智能赋能的背景下，设计正逐渐迈向一个全新的时代。