律睿慜,梅莉琳,昃跃峰,晏涛*
1.江南大学人工智能与计算机学院,无锡 214122;2.常州市钟楼外国语学校信息中心,常州 213000;3.上海视觉艺术学院新媒体学院,上海 201620
视觉艺术作品通常都具有不同程度的“可回溯感”,即观者能从笔触感受到艺术家的操作动作并重构其创作过程。这一现象在书法艺术中尤显突出,例如,观赏图1中的“泥”字时,观者可以回溯其运笔的时序和动作,这体现了书法艺术的特色——完整过程的可回溯感。多位著名书法理论学者将其看做书法区别于其他艺术门类的特色。德国艺术史学者Ledderose(1979)描述书法的特性在于连续的创造过程,其中每一个阶段通过运动留下的痕迹都成为可见的,观者通过结果找过程——从静止纸面品尝毛笔的挥运过程,从而在心中再现书者创作的实际场面,并与书者之间建立起亲密而特别的关系,这使书写本身取代了书写内容而成为判断书法作品的主要标准。陈振濂(2018)称其为“时空交叉”特性,体现了书法是一种同时具备空间性与时间性的特殊艺术门类。邱振中(2011)认为书法独特的时—空特征是它成为独立艺术并获得深厚文化内涵的关键,由此不难理解当书法艺术失去或淡化它的时—空特征时意味着什么。
对于可回溯感现象,本文研究的首要问题是可回溯感能否测量。神经美学、审美测量和数字书法等领域都与此有关。神经美学的研究已经为可回溯感找到了生理基础——镜像神经元(mirrorneuron)。Freedberg和Gallese(2007)提出镜像神经元的具身模仿(embodied simulation)机能。当观察到的是动作(例如字母或笔划)产生的静态图形伪像时,大脑中会诱发运动模拟。Ticini等人(2014)发现当观赏作品时有意识地模仿艺术家的操作动作,可以提升审美体验。这类研究主要致力于为审美现象寻找对应的“硬件功能”—— 脑神经活动,忽视了可回溯感的“软件”——具体感知、感受和思维的内容。审美测量领域则关注于对审美“内容”的量化,该领域中按测量对象可分为两类。一类是基于客观特征的美学评价,信息美学(information aesthetics)和计算美学(computational aesthetics)中的审美评测通常都属于该类(Taylor等,2002;Li和 Chen,2009;Redies等,2017;白茹意等,2019)。另一类是主观美学测量,往往采取量表法和眼动跟踪方法,评价美感、喜欢程度、兴趣度、情绪、视觉复杂度和风格等主观感受(Wendy 等,2011;Guo 等,2013;Fan 等,2019;Chamberlain 等,2022)。数字书法(digital calligraphy)也涉及书法的审美评价,但现有研究主要限于书法作品的静态、客观的图形特征。例如,基于模板相似度计算(温丽敏,2008)和基于书法美学理论的字形评价(赵紫文,2018)。有研究提出有必要将客观的、结合心理物理实验的评价手段引入数字书法的审美研究(张俊松,2019),本文研究的可回溯感评测方法恰属此类。
关于可回溯感,本文关心的另一个问题是动画技术能否增强书法的“可回溯感”。对此,数字书法的一些研究已经有所涉及。例如,一些研究通过图像特征分析,从静态图像中逆向恢复笔顺(吴英飞 等,2010;刘佳岩和章夏芬,2015)和运笔速度(Yang 等,2014)等信息。还有一些研究关注书写运动过程的再现,通常是在笔迹顺序的识别或人工指定基础上,通过笔画的建模(Leung 等,2008;张俊松 等,2014;Berio 等,2017;钱文华 等,2017),正向再现书写过程并以动画形式呈现。然而,上述研究均未提及关于可回溯感的评测方法。
针对上述两个问题,本文提出一种融合理论、实验与应用的研究框架,如图1所示,其贡献包括:1)将可回溯感分解为运动感与顺序感,并提出相应的理论度量;2)将理论度量实现为一种可回溯感的评测实验,并用于评测动态墨迹效果对于书法作品可回溯感的影响;3)运用动画技术实现书法作品的动态化,增强作品可回溯感。
图1 研究框架Fig.1 The framework of this study
可回溯感是一种心理感受,对其测量需理解其构成因素。书法理论中对可回溯感的讨论大致有两类。一类是讨论笔画前后衔接而产生的顺序感受,在当代的书法理论中讨论较多。例如,熊秉明(2017)提出笔顺是书法艺术的一种特性;陈振濂(2018)论述了顺序感的成因,指出书法家在创作时从第一笔到最后一笔,其间的过程是连贯一气的,主要特征为必须按照一定的顺序写及书写过程中不能间隔或中断。另一类是讨论笔触的动态感受,在古代的书论中较为丰富。例如,东汉时期的崔瑗在《草书势》中描述了从草书笔触中感受到的丰富运动意象;唐代的孙过庭在《书谱》中云:“一画之间,变起伏于锋杪;一点之内,殊衄挫于毫芒。”即是说每个点画都包含细腻的、丰富的运动;南宋姜夔在《续书谱》中云:“余尝历观古之名书,无不点画振动,如见其挥运之时。”即是说通过观看完成的作品可感受到每个笔画的书写动作。两类讨论分别体现了可回溯感的两种感知要素,其一是顺序感,即能够判断出每个笔画内部运笔顺序和笔画间衔接顺序;其二是运动感,即从每个静止的笔画感受到它代表的书写动作。二者结合使书法具备完整的过程可回溯感。运动感使观者从静态中感受到动态,顺序感使不同笔触的动态衔接为有时序的过程。图2从信息传输的角度诠释书法的创作与欣赏,展示了顺序感与运动感的关系。运动感是指感受到的每个笔触的瞬时动态;顺序感是指感受到的笔画在时间上的延续,它使得单独笔画体现的瞬时动态可以衔接为连贯的运动过程。对应于通讯理论的概念,顺序感相当于载波信号,运动感是其携带的书写过程信息。当单独笔画的运动感衔接为时序信号后,就使观者产生了欣赏音乐一般的过程审美体验。这正体现了书法在所有视觉艺术门类中最具独特性的审美方式,即“从结果找过程”的审美方式(陈振濂,2017)。
图2 从信息传输视角解读书法创作与欣赏过程Fig.2 Interpretation of calligraphy creation and appreciation process from the perspective of information transmission
顺序感和运动感本质上都是观测者从作品中感知到的信息,由于难以直接测量其确切的信息量,本文针对二者具有的不同内涵,选取适合的感受特征进行测量。
1.2.1 顺序感的度量
度量顺序感的基本思想是,顺序感与作品笔触痕迹上任意两处的先后时序判定的确定程度成正比。本文分两个层次定义顺序感。
1)两点间顺序感。设作品上有两点A与B,构造一种顺序感的度量,具体为
OAB=2PAB-1
(1)
式中,PAB为平均一位观测者判定A先于B的概率,称OAB为有向顺序感,取值范围[-1,1],用来度量A先于B的确定程度;绝对值|OAB|表示A与B的顺序判定的确定程度,即无向顺序感。
2)全局顺序感。对于一幅作品,假定经n次操作,每次以均匀随机方式从墨迹区域选择两个点,并度量二者的顺序感,得到序列{o1,o2,…,oi,…,on},其中oi对应第i次操作得到的两点间顺序感。若n趋于无穷大,即穷举了所有在墨迹区域内任意选择两点的情况,由此即度量了整幅画面的顺序感O,计算为
(2)
1.2.2 顺序感的测定
对于任意作品,式(1)可通过主观排序实验实现,测定其上选取的有限个标记点两两之间的顺序感。例如,选取n个标记点,令测试者对它们的先后顺序进行排序,则相当于对它们进行两两之间的顺序判断,那么其中任意两点i与j之间的顺序感Oij,可用频度对式(1)进行估算,即
(3)
式中,num(i>j)表示判断第i点先于第j点的测试者人数。若n个点均为在画面上随机选定的,且n趋向于无穷大,测试者数量也无穷大,那么式(3)就化为了式(1)。实践中需权衡精度与工作量,通过专家选定足数量的标记点,并招募充足的测试者进行排序。这时,整幅画面的顺序感度量O即为两两之间实测顺序感的均值,其估算为
(4)
以一个预实验为例,说明上述度量的一种实测方法。图3所示的两幅图像上人为选取了8个红色标记点(用字母A—G表示),并让46位测试者对标记点进行排序,相当于对这些标记点进行了两两之间的顺序判断。然后,采用式(4)的方法进行计算,算得图3(a)(b)的无向顺序感近似为0.86和0.21,量化地体现了二者顺序感的差别。
图3 艺术作品样例Fig.3 Sample artworks((a) Sun Guoting’s calligraphy;(b) a piece of abstract painting by Robert Motherwell)
1.3.1 运动感的度量
运动感是观赏者通过静止的图形感受到的运动。为了度量运动感,本文综合物理学和书法理论中相关的思考。物理学对于运动的研究有很长历史,对于物理运动的量化是其基础。牛顿为了给运动建立数学模型,考虑略去运动的具体的事物,以“速度”表达纯粹的运动。因此,本文也采取这种思想,以“主观速度”衡量作品中各个位置的运动感。在传统的书法理论中,毛笔书写的运动常简化为“积点成线”的过程,一些当代的学者将其更细地区分为沿线条的推移运动和线条上的内部运动(邱振中,2011),但总体上可看做沿“中锋运笔”轨迹形成的运动过程。结合上述两方面的思想,考虑以运笔轨迹中轴线上各个位置的“速度”度量运动感。
1.3.2 运动感的测定
基于上述思想,可实现一种运笔速度的主观评测实验,基本方法为:预先让专家标定笔触的“中心轨迹”并选定一些标记点,然后以量表形式让一组观赏者评测在这些标记点感受到的速度(速率及方向)。图3示意了这种思路,观赏者需对图3(a)中数字标记点(数字1—7)和图3(b)中数字标记点(数字1—6)附近体现的运动速度进行评价。结果的一致程度可度量运动感的确定程度,变异程度可度量运动感的强弱。
传统书法作品中,墨迹呈现为静态效果,而当数字媒介介入后,可在墨迹上加入丰富的动效,本文称其为“动态墨迹”。它在影视、游戏和展示等领域已有很多应用案例。然而,目前鲜有对动态墨迹的美学效果进行定量研究。
运用上述可回溯感的测量方法,通过实验研究动态墨迹对书法作品可回溯感的影响。实验目标为检验下列猜想:动态墨迹的运动方式符合原作体现的笔触运动时,作品的可回溯感得到提升,且在图形变换的干扰下能产生较为一致的感受,具有更好的稳定性。
针对这一猜想,将实验的控制变量限定为动态墨迹效果和图形变换。动态墨迹效果的可变性巨大,因此只需制作有限个足以不同程度体现原作笔触运动感的测试素材。镜像和旋转这两种变换方式经常用于抽象绘画审美研究(Mather,2012;Liu 等,2017),故本研究限定到镜像和旋转这两种典型的图形变换。
实验设计要点如下:1)在动态墨迹的制作方面,重点是制作出几种能够不同程度体现笔触运动感的效果。2)选取一个特定的测试样品,施加图形变换避免先验知识对笔顺判断的影响。3)将镜像与旋转的图形变换施加到每一种动态墨迹效果,分别产生8个版本,作为测试样品。4)标记点理论上可以选取笔段上的任意位置,为了简化实验和得到整个汉字的可回溯感,采用专家选取的有限数量标记点。
实验材料取自唐代张旭《古诗四帖》的“丘”字,按实验设计思路制作56个测试样本。制作步骤如下:
1)笔迹评估。首先由经验丰富的书法研究者参考原作,使用定制的编辑工具手动创建笔迹数据,如图4所示。然后沿笔画中轴轨迹等距划分离散点,每个点标注4个属性:速度(速率和方向)、宽度、力量和流量(浓淡)。
图4 笔迹数据创建方法示意图Fig.4 Diagram of the method of creating handwriting data
2)动态化。将笔迹数据映射成动态墨迹效果,并创建7种动画样式,映射方式如表1所示,均采取线性映射,即动效属性=a×轨迹属性+b,a和b为参数,轨迹属性有4种,动效属性有11种,得到图5(b)—(h)所示的7件测试样品。样式1为静态原作;样式2为沿笔触轨迹流动的墨水效果;样式3与样式2流动方向相反;样式4为沿笔触轨迹随机锚定的振荡粒子效果;样式5为流动的墨水效果叠加黑色粒子效果;样式6将样式5的流动方向改为50%正向流动和50%逆向流动;样式7将样式5的流动方向改为20%正向流动和80%逆向流动;样式8将样式6中正向流动设为黄色,逆向流动设为蓝色。
图5 同一书法作品的不同样式Fig.5 Different styles of the same calligraphy work((a) style 1;(b) style 2;(c) style 3;(d) style 4;(e) style 5;(f) style 6;(g) style 7;(h) style 8)
表1 动画参数的映射规则Table 1 The mapping rules of animation parameters
3)添加标记点。对于所有测试样品,在每件样品的相同位置添加10个排序标记点,用以评测顺序感,如图6(a)所示。对前5种样式的测试样品在相同位置添加6个速度标记点,用以评测速度感,如图6(b)所示。
图6 用于测量的标记点Fig.6 Marking points used for measurement((a) ten marking points for measuring sequential perception;(b) six marking points for measuring velocity perception)
4)图形变换。每种样式的测试样品通过90°旋转和镜像变换,得到图7所示的8个变形版本,最终生成64个测试样本(8幅静态图像 + 56个15 s的短视频)。
图7 图形变换后的8个版本Fig.7 Eight versions produced by graphic transform
实验通过在线测试进行。为了降低在线测试实验条件难以控制的影响,采取两种手段:1)仔细设计了筛选的题目,2)增大测试者数量。
实验中,对测试者呈现64个笔顺感知测试样本中的任意一个并持续15 s。每次测评时长不限,测试者有足够的时间来提交满意的答案。测试者需观察并排列10个标记点的书写顺序,测试界面如图8所示。
图8 顺序感测试界面Fig.8 Sequential perception test interface
图9 速度感测试界面Fig.9 Velocity perception test interface
实验共收集1 641份数据,剔除未认真完成测试的数据,剩余1 570份有效数据,平均每个测试样品有25.64个数据,最少为14个。
为了直观展示顺序感的评测实验结果,设计了一种可视化方法,如图10所示。首先,将每种样式对应的8个版本排序数据累积起来,根据式(3)计算出每一对标记点的顺序感;然后每一对顺序标记点间用一条半透明线段连接,该透明线段的粗细变化情况对应两点的顺序感测量值。粗细变化越大表示顺序感越高,粗细变化越小表示顺序感越低,且粗的一端顺序先于细的一端。
图10为顺序感的可视化结果,10个标记点两两之间用线段连接,A点与其他点的连接线段突出显示为绿色。若两个标记点顺序的确定性越显著,则线段的一端越尖锐(图10(b)(c)(e)中绿线),且线段粗的一端笔顺先于细的一端;若两个标记点顺序的确定性越低,那么线段宽度变化越小(图10(a)(d)(g)中绿线两端宽度几乎保持不变)。从可视化的结果可以大致判断8种样式的顺序感强弱。样式5最好(每根线条都很锐利);样式2和样式6次之;样式8再次之;样式1(原作)、样式4和样式7最差(线条粗细变化很弱);样式3逆转了原作的顺序感(线条的尖角指向与图10(b)(e)相反)。
图10 每对标记点感知顺序的可视化Fig.10 Visualization of the perceptual sequence of each pair of marked points((a) style 1;(b) style 2;(c) style 3;(d) style 4;(e) style 5;(f) style 6;(g) style 7;(h) style 8)
采用无向顺序感计算方法(式(4))可算出每个样式在每种图形变换下的全局顺序感(图11中的变换a—h),以及8种变换归一后总体的顺序感(图11中的总计),即测试者对测试样本笔迹顺序感知的一致性。从图11可看出,1)8种样式的总体顺序感排序为样式5>2>6>3>8>1>4>7,依次为0.69,0.51,0.48,0.43,0.21,0.12,0.07和0.06。2)样式2、3和5(3种单向流动墨迹效果)的总体顺序感显著高于样式1(原作)和4(振荡粒子效果)。3)样式4的顺序感与样式1近似,说明振荡粒子效果对顺序感基本没有作用。4)样式2、3和5与样式1在多种变换下的顺序感有显著差异,说明沿运笔轨迹的动效能明显改变顺序感。5)样式1在各种图形变换下几乎都具有高度的顺序感,但总体顺序感极低。原因可能有二,其一因为高顺序感可能是正确也可能是错误的顺序,导致不同变换下顺序判断各不相同,出现各种变换下顺序感高但顺序不一致,所以总的顺序感低。其二因为在不同图形变换下,观测者按照相同的习惯思维判断顺序,造成误判,致使总体顺序感很低。6)样式6的顺序感接近样式2,显著高于预期。在实验之前,猜测为等比例的正逆向流动的粒子效果会混淆顺序感受,显著降低顺序感,但结果并非如此。在样式7中,逆向流动的比例比样式6显著增大,导致顺序感显著下降。通过对测试者的观察和访谈,推测这一现象与双稳态知觉现象(Sterzer和Rees,2008)有关,即对于样式6测试者会偏向于注意到两种流动方向中的一种,忽略另一种。样式6和样式8中正向和逆向流动的比例均为1 ∶1,但样式8中两种流向的粒子和墨迹采用了互补的颜色,可能是这种赋色使测试者倾向于同时留意到正向和逆向的流动效果,而不会单独注意一种流向的粒子,于是难以判断正确顺序,导致顺序感显著降低。总之,从上述结果可以得出一个法则:沿笔迹顺序带有运动粒子的流动墨迹效果可以显著增强原作的顺序感。
图11 顺序感的度量结果(无向顺序感)Fig.11 Measurement results of sense of order (undirected sequentiality)
笔画的运动感知由方向感知和速率感知组成,方向感知的准确性表现为实际角度与感知角度的差值,即角度误差;速度感知的准确性表现为实际相对速率和感知相对速率的差值,即速率误差。由于无法获得原作者运笔的实际数据,故以专家对原作的运笔方向和速率的标注作为基准量。
3.2.1 动态墨迹对运动方向感知的影响
图12显示了不同动态墨迹样式对角度误差的影响。可以看出,样式5和样式2角度感知误差均显著小于样式1,且样式5的角度误差显著小于样式2;而样式4、6、7和8的角度误差与样式1不存在显著差异;样式3的角度误差显著大于样式1,且样式3的角度误差大于90°,说明方向判断与原方向相反,这与笔顺感知的结果(样式3的笔顺感知与原始笔顺相反)相互印证。
图12 不同墨迹样式的运动方向感知Fig.12 Writing direction perception of ink styles
图13显示了8种变换下所有笔触视觉样式的角度感知误差。变换b—h均大于原始变换a。由此可见,笔画方向感知会受到变换方式的误导。但将其与图12进行比较,可直观发现,变换类型对于角度感知的影响低于样式类型的影响。
图13 不同图形变换的运动方向感知Fig.13 Writing direction perception of graphic transforms
为了比较样式和变换类型对角度感知的量化影响,运用SPSS(statistical product service solutions)对角度误差进行双因素方差分析,结果如表2所示。样式和图形变换主效应均非常显著,分别为:F(7,1 547)=26.74,P<0.01;F(7,1 547)=4.34,P<0.01。样式和图形变换交互作用显著,F(7,1 547)=1.91,P<0.01。
表2 双因素方法分析表Table 2 Two-way analysis of variance table
3.2.2 动态墨迹对运动速率感知的影响
速率误差的样式类型和图形变换类型双因素方差分析的结果如表2所示。样式主效应非常显著,F(7,120.78)=3.20,P<0.05;图形变换的主效应不显著,F(7,120.78)=0.70,P=0.67。样式和图形变换的交互作用不显著,F(7,120.78)=1.00,P=0.49。可见动态墨迹能够改变速率感知,但其影响有限。而图形变换对速率感知没有显著影响。
图14显示了专家根据原始作品设定的6个标记点(A—F)的相对速率,C点速率最快(100),B点速率最慢(15)。可以看出,样式对速率感知有显著影响,样式6、7、8与专家设定值更贴近;样式1、4与专家设定速率存在明显偏差,说明没有动态墨迹效果或不恰当的动态效果下,普通大众对运动速率的感知较差。
图14 不同样式的感知速率与专家设定速率Fig.14 Perceived speed of styles and the speed set by an expert
表3显示了测试者在不同样式下的感知速率与专家设定速率的相关系数。样式3、5、6、7、8均与专家设定速率显著正相关,说明这些样式下观者能感知到笔画中各个标记点处运笔的快慢。
表3 各样式间速率感知的相关性分析表Table 3 Correlation analysis table of the perception of writing speed between styles
3.2.3 小结
总体上看,动态墨迹效果对原作的笔触运动感知有一定影响。沿着书写轨迹流动的效果可以改善笔画运动方向的感知,逆着书写轨迹流动的墨迹效果可以逆转笔画运动方向的感知;振荡粒子效果对笔画运动方向的感知没有影响;叠加粒子效果的流动墨迹效果的作品的方向感知优于仅使用流动墨迹效果的作品。观者对笔画书写速率差异的感知能力较弱,因此设计动态墨迹时可放大速率间的差异。
测试者在实验后报告了自身对所呈现作品的认识以及对顺序和运动的判断方法。在书法可回溯感的判断中,48.87%的人依据视觉线索判断,83.31%的人依据书写的规则判断,两种方法兼用的有36.57%。其中视觉线索包括线条前后衔接关系、笔墨流动顺序;书写规则包括从上到下、从左到右等原则。在笔迹鉴定研究中,鉴定人员往往通过笔迹中的“形连”(肉眼可见的笔迹线条)和“意连”(笔画之间的过度和衔接)来解读笔迹中蕴含的书写动作系统的动态信息,把握笔迹的书写时序、方向和速率等(张延霞,2017)。由此可见,视觉线索是回溯书写过程的重要判断依据,添加视觉效果能为书法鉴赏分析提供更多审美辅助。
可回溯感是书法艺术的重要审美特征,经验理论中有很多讨论,但未见对其进行科学测定及运用计算机技术增强该特色。本文将可回溯感分解为顺序感和运动感,尝试以动画技术来增强可回溯感,并提出了度量和测定方法。对张旭草书作品中的 “丘”字设计了7种动态化效果,并实验测定了它们及原作的可回溯感,发现流动墨迹对顺序感和运动感有不同程度的影响。流动墨迹对顺序感有显著影响,恰当的动态墨迹效果(沿运笔方向的流动墨迹)会提升作品的可回溯感,反之不会。在流动墨迹中混入逆向的流动墨迹会降低顺序感,但正逆向墨迹的比例变化与顺序感的变化呈非线性关系,且与墨迹的颜色有关,说明流动墨迹对顺序感的影响有比较复杂的心理机制,有待深入探索。同时,流动墨迹对运动感也有影响,但效果偏弱,特别是速率感知方面并未因动态墨迹而明显加强,这种反直觉的结果值得更深入研究。这些规律是否也适用于“丘”以外的其他素材还属未知。此外,尽管本文提出关于顺序感的理论度量,但采用的实验测量方法精度较低,仅采取专家选择有限标记点的方式,其测量精度还缺乏评估;在测量运动感方面也不够完整,只测量了观测者沿运笔轨迹的速度感知,没有测量诸如“提、按、顿、挫”的运动感知,而这类细节运动感受又是书法中重要的命题。此外,对字体、书体和字形结构等因素的影响也需开展研究。