基于自动化测评系统的小学生汉字书写竞赛实验研究

姜杰 马雨晴等

摘要：汉字书写竞赛具有较高的文化传承、推广意义，却也因纸笔书写介质的限制和低效的组织形式消耗大量的社会资源。该文以前期研发的具有较高效度的汉字书写自动化评测系统为评测工具，开展汉字书写竞赛信息化实践实验以及数据分析研究。研究以南京某小学三四五年级为主要竞赛参与对象开展竞赛实验组织，阐述了信息化条件下汉字书写类竞赛的评测系统、内容设计、竞赛实施方法与流程，展示了本次竞赛的自动化评测成果；以竞赛数据为依据分析了成绩分布特征，对比分析了性别、年级以及先期训练因素导致的成绩差异。本竞赛实验结果表明：前期研发的书写测评系统，通过合理设计相关测评内容、实施流程能够提供汉字书写竞赛以及后续书写考试等大范围信息化评测的支持，在此基础上得来的评测分析数据亦可为后续教学指导提供依据。

关键词：硬笔汉字书写；竞赛实验；自动化评测

中图分类号：G434 文献标识码：A

一、引言

汉字及汉字书写历经六千多年的洗礼，成为中华文明的典型代表。以汉字书写为根基的汉字书法艺术，更是以东方特有的审美形态与人文气质而独秀于世界艺术之林。国人历来重视汉字书写，早在西周时期的“礼、乐、射、御、书、数”六艺中的“书”这一艺，就包含着周王官学对学生书写才能的培养及其考核。此后，不论官学、私学，汉字书写都是不可或缺的基础科目。在中华民族伟大复兴的二十一世纪，为推动中华优秀传统文化的传承与发展，教育部出台《完善中华优秀传统文化教育指导纲要》更是分学段细化了“学习独立识字”“熟练书写正楷字”“临摹名家书法”等具体书写要求，以及“感受汉字形体美”“体会汉字结构艺术”“体会书法美感与意境”等审美要求。

2009年，教育部、国家语委、中央文明办、中国书法家协会等组织联合举办了首届“全国学生规范汉字书写大赛”，各级单位集中组织参赛选手完成软、硬笔作品书写与作品的初复审，采用邮寄方式报送决赛作品，专家评委从书写字体的规范、美观层面进行评分。接着在2013年，中国中央电视台和国家语委联合主办的《中国汉字听写大会》更是掀起了汉字书写的热潮，其比赛形式为主考官出考题词汇，参赛选手现场书写作答，现场评委依据书写字形的正确与否评分。除了以上典型案例，诸多文教单位也举办着各式各样的汉字书写类竞赛以推动汉字规范书写和弘扬书法文化，但存在如下问题：其一、均是采用传统的纸张书写形式，将参赛者汇聚到特定地点，在规定时间完成竞赛过程，需投入大量人力物力财力以及时间来统筹规划实施；其二、较低的组织效率，注定只能覆盖到数量有限且本身汉字书写质量较好参赛选手，竞赛本身文化推广作用大大降低；其三、人工评审，消耗大量人力成本的同时评分信度效度难以保证；其四、相对封闭的赛程组织形式和纸墨作品形式，限制了竞赛活动推广和优秀作品的展示传播。

信息时代，汉字书写竞赛亦可通过信息化平台来组织实施。本研究以书写评测系统为基础，力图通过对评测内容、评测量规、组织流程等进行设计与实施，完成汉字书写竞赛信息化的实践。实现以网络为组织平台，汇集参赛选手，消解时间和空间障碍；实现以网络为评审平台，自动评测、避免人为评分误差，避免了人力资源浪费；实现以网络为传播平台，收集参赛作品、公示获奖作品、展示优秀作品，传播书写文化。

本次竞赛实验，建立在硬笔书写的意义之上，利用本研究团队研发的汉字书写评测平台，采用触摸屏移动终端书写的方式完成竞赛作品。基本方式是基于带手写笔的平板电脑来进行汉字书写训练与竞赛，同时实现书写过程数据的收集，进而通过系统提供自动化评测技术，实现公正客观的评分与统计。本方法借助相关技术，可以拓展到以纸笔书写并自动采集书写数据的方式（如市场上流行的“神笔”等产品）进行评價，以提供更加贴近真实的书写场景。

二、竞赛设计

（一）自动化测评系统

本次竞赛实验选用研究团队前期研发的汉字书写评价与指导平台作为竞赛的自动评测系统。在竞赛实验中，它承担着：信息化“纸笔”的书写数据采集工具以及智能化“评委”的评价评分工具两项职能，其能否真实反映书写者书写质量以及其评测效度如何是整个竞赛的关键保证。信息化“纸笔“的数据采集能否真实反映书写质量上，研究团队前期的研究证明了学生的纸笔书写质量与触摸屏书写质量之间有很高的相关性，通过有限次的触屏书写训练就能实现明显的适应性增强，同时触屏书写训练得到的书写质量提升也能迁移到普通纸笔书写之上。在智能化“评委”的评价评分效度上，前期相关研究，就书写质量在笔画、部件、部件内、部件间、整字等五项一级特征指标下的总计十五项二级特征评价指标，进行了系统智能评测与书写专家评分对比实验，结果显示有较强的一致性，效度检查符合预期，符合应用需求。

在此基础之上，竞赛设计和实施环节还将通过设置赛前“热身任务”、竞赛时不计分的“描红”项来进一步消减触屏书写与纸笔书写适应性差异；并在竞赛字集选取上采取技术措施，进一步保障系统评测有效性与稳定性。

（二）竞赛参与者

本次书写竞赛面向南京市南湖第一小学全体学生及家长接受竞赛报名。实际上，为了试验作为竞赛评测系统的汉字书写评价与教学平台的应用效果，研究团队前期在该校配备的平板电脑上安装了书写教学系统APP，针对三年级、四年级和五年级各一个班，以每周一节书写教学课的频率开展了一学期书写教学实验。本次书写竞赛参与者，从三四五年级的原实验班学生，扩充到了全校非实验班学生。主要是考虑到，非实验班的学生，没有在该APP平台上较长时间训练的经验，若是参与到竞赛中，可扩大竞赛实验样本数，提升实验研究的意义的同时，也可以观察他们在少经验状态下的反应。

（三）竞赛设备

两类实验对象隋况不同，处理方式也有所不同：参与过书写实验班的学生延续先前书写实验课的方式，在指定地点使用学校配备的实验书写设备，由教师组织统一进行竞赛；而非实验班则在家中使用自己的（或家长的）设备参与竞赛。其中，学校原实验班的设备为配置标准的Android4.0系统、10.1寸带手写笔平板电脑，非实验班则在“自带设备（BYOD）”意义上，使用自己家的平板或手机。在教育领域，（BYOD）是指学生可以携带或使用个人设备，来支持他们学习的一种技术管理模式。

（四）竞赛用字集的选择标准

根据《义务教育语文课程标准》中小学生识字与写字要求，以及先前的实验已有的数据经验，同时结合小学生的书写习惯，研究团队与学校语文教师协商确定了竞赛任务所用汉字字集。考虑到各实验年级学生情况的不同，即学生所学生字的不同和曾经在实验用APP上书写的经验的不同，各年级选用不同的字集，分别取自各年级的生字字库。但无论是针对哪个年级，均充分考虑所选字集的字体结构分类及难度等诸因素。每个年级的竞赛任务设定了10个字，考虑到汉字的结构特点，里面均尽可能包括了较多的基本部件和基本结构。

（五）竞赛用字集的测试及其他技术准备

考虑到实验平台APP的稳定性，亦考虑到竞赛活动对稳定性的要求更高，事先将拟竞赛用字集在APP上进行强化测试，测试软件对这些字的正确性判断和工整性判斷是否准确，并对测试中出现问题的字进行调换，最终得到竞赛用汉字集（如表1所示）。

在此次竞赛书写任务中，任务设置了三种书写方式有描红、对临和背临，同时考虑小学生的心里接受习惯，系统评分设置起始合格分数为80分，即只要书写正确，所得分值范围就在80-100分之间。虽得分区间显得稍窄，但由于是系统自动打分，稳定性好，分值差异并不影响区分度。关于描红书写，是让参赛者适应触摸屏书写的“热身项目”，且考虑到描红完全按照模板，对评价书写者的书写能力和水平的区分作用不明显，所以在最终给出竞赛成绩的环节，去除描红书写成绩，只计入对临和背临书写得分。最终，设定竞赛时长为30分钟，要求参赛者就竞赛所用字集中的每个字，分别用描红、对临、背临的方式各写两遍。

三、竞赛实施

（一）竞赛宣传和动员

考虑到原有实验班和非实验班两种情况，如何使信息传达至所有可能参加的学生或家长是工作的关键。宣传工作首先是请各班主任或语文教师通知学生关于书写竞赛的事宜，再由班长统计报名学生的信息。其次拟写了宣传文章，由该小学校方发布到其官方微信公众号上，鼓励家长参与以及指导学生参与。

最终的参赛选手覆盖六个年级，非实验班的学生和家长有一百多位愿意参加此次竞赛。为了竞赛开展的效率和便于管理，采用了集中分配账号的方式，由班主任进行统一管理。

（二）非实验班学生的系统适应

在竞赛开展前，考虑到未参与日常教学实验的学生以及家长对触摸屏书写的不适应，所以在竞赛系统中发布了一个“热身任务”。为了方便他们对于软件系统的进一步了解，以及使竞赛过程更有效率，我们提供了竞赛指导，参与者如果遇到偶尔的技术问题或者没有完全了解系统的功能，技术人员都可以及时给予解决。在最后实际竞赛的过程中，由于软件系统各模块结构清晰、功能安排符合汉字书写学习者的思维习惯，非实验班参与者并没有发生实际技术障碍。又及，热身任务的过程，亦是收集参与者笔迹特征的过程，顺便为正式参赛提供笔迹鉴别信息，以防家长无意间过多代替学生介入。

（三）竞赛过程组织

在最后的竞赛中，原实验班在先前实验的基础上，仍按照日常教学实验的顺序轮流集中进行竞赛任务的书写；而非实验班的参赛者则用自有设备完成任务。在竞赛时长管理上，原实验班学生继续延续先前实验的样式，以指定时间段的方式参与竞赛；非实验班使用自带设备，以指定时长的方式参与竞赛。表2所示为本次竞赛参与人员统计数量。

（四）竞赛评价与奖励

在竞赛结束后，我们对学生的成绩进行了统计。首先是利用已有的系统评价体系，从数据库中导人书写成绩，排除掉部分无效数据，然后再按照分数高低进行排名。考虑到不同年级之间相互“竞争”意义不大，且自动化评测在数据处理上比较方便，与学校方商量，每个年级根据分数高低，独立设置一二三等奖，并通过竞赛平台公示获奖作品。

四、竞赛作品实例

竞赛自动化评测系统评价结果的信度毋庸置疑，当然是绝对稳定的。就自动化评测的效度而言，亦在前期研究中有所保证。即本竞赛活动所用评测系统的评测系统的评分标准与机制，是专门经过严格的专家标定的。此处仅给出三四五年级部分获奖实例展示，同时用以说明评测系统自动评价结果的效度——显然与通常主观评测有很高程度的一致性。

三年级学生获奖部分作品实例，如图1所示。

四年级学生获奖部分作品实例，如图2所示。

五年级学生获奖部分作品实例，如图3所示。

五、竞赛数据收集与分析

本次竞赛中通过自动化评价系统收集到的书写成绩数据总计301条，剔除掉因书写错误导致的无效数据，最终获取到283条得分数据，即283个有效账号。首先对竞赛成绩无描红得分数据进行信度分析，采用的是α信度系数的内部一致性信度分析，Cronbachs α系数的值为0.819。而通常Cronbachs α系数的值在0和1之间，如果α系数不超过0.6，一般认为内部一致信度不足；达到0.7-0.8时表示量表具有相当的信度，达0.8-0.9时说明量表信度非常好。因此竞赛得到的数据可靠，可以进一步进行分析统计。

为了观察学生的成绩稳定性，因此利用Spss和Excel软件做了正态分布和相关描述性统计分析。

（一）整体分析

1.对临与背临成绩分析

依前述理由去除掉描红数据后，对对临和背临两种书写方式的数据进行了单因素方差分析，如表3所示。在统计分析上可以通过P-value的大小来判断组间的差异显著性，通常隋况下，当P-value<=0.01有极显著差异，P-value>0.05时没有显著差异，介于二者之间时有显著差异。而这里的P值趋于0，远小于0.01，因此具有统计学意义上的显著差异。当然，这里只从总体上来检验差异显著性，从F值大于Fcrit值也可以看出背临和对临成绩有一定的差异。

再从图4可以看出，学生的背临和对临成绩有差异：背临成绩的频数最大值为30，对临成绩的频数最大值为24；对临成绩正态分布曲线峰值在92.17而背临正态分布曲线峰值在90.96；且对临数据分布比较集中，背临数据分布比较分散。

这种情况比较容易理解。对临情况下，由于有样板参照，学生在“临摹”状态下，可以形成较好的成绩，且成绩分布比较集中。而在背临情况下，学生更多自由发挥，成绩即稍差并分散。考虑到竞赛平台关于书写质量的评价，就是以所提供的字例为模板的，意思是，越是与模板字相近，得分越高，若是与模板字不相近，尽管看起来也不错，但系统也不会给出很高的分数。因此，本次实验即采用了对临与背临相结合的竞赛方式，既使离模板字不远，又给出个人发挥的空间。文中后续的数据分析，均是将对临和背临合并到一起进行的。

2.原实验班和非实验班成绩分析

图5给出了原实验班学生与非实验班学生的成绩分布。非实验班学生的所有年级的平均成绩为90.77，原实验班的成绩为92.02。这里可以看出原实验班的成绩普遍比非实验班成绩高，因此可以说明竞赛前基于该平台进行书写训练，是有一定的效果的。

（二）年级差异分析

考虑到三四五年级有原实验班的参与，数据比较多且比较对称，为了直观的观察年级学生的成绩分布，年级差异分析仅针对原实验班进行。基于所收集的数据，可以得到竞赛成绩分布图如图6。

原实验班中的三个年级的成绩分布如由图6所示。有两个特点值得注意：一是五年级学生的成绩分布比三四年级更为集中；二是五年级成绩反而较三四年级要差，其中三年级学生的成绩峰值为91.8l，四年级的成绩峰值在90，而五年级的学生成绩峰值为88分。

考虑到三四五年级使用的竞赛用字不同，书写难度亦有不同，成绩之间的比较并没有绝对的意义。五年级的成绩比较集中，在我们看来，是一件好事，或者说明其整体上书写水平在提高。但无论如何，本竞赛结果也给我们研究团队一个提示，低年级学生在汉字书写学习的初入阶段中，对写字的态度更加端正，对采用平台进行汉字书写练习的态度也比较端正。而五年级学生则有些“疲劳”，系统给出的成绩并不见得会稳定上升，这值得我们下一步开展实验时加强注意，拿出更切实有效的办法管理学习过程。

（三）性别差异分析

针对性别不同的学生样本进行全数据分析，得到的结果如图7。可以明显看出，女生的整体成绩要优于男生的成绩。结合平时的试验，及竞赛过程中的观察，我们发现这与男女的书写习惯相关，女生的态度明显要比男生端正，因此提醒我们，教师在教学的过程中需要对男生的书写更为关注一些。

为了更详细地了解男女生的汉字书写情况，对于不同的年级的学生也作了进一步分析，发现了一个很有趣的现象。对不同年级的学生进行的分析，主要也是使用三四五年级的数据。

由下页图8可知，在三年级，无论就频数还是正态分布情况看，男生成绩高于女生，就竞赛完成的频数看，男生也普遍多于女生，这一现象与三四五年级整体分析的趋势恰好相反。初步判断可能与他们关于触摸屏书写的适应程度有关。结合先前的实验也发现，三年级的女生在使用书写软件时反馈了一些问题，例如书写不适应等等，而男生对于电子书写软件好奇心强，愿望强烈，适应较快，能很快的上手。

通过下页图9可以看出，无论就频数还是正态分布情况看，四年级中女生成绩高于男生，同时从数据收集的情况看，女生的完成率也高于男生。在竞赛的过程中，结合四年级老师的反馈，女生平时及竞赛时的书写态度要比男生好得多。同时在书写的过程中，在女生遇到写得不好的字的情况下较多会反复去书写，直到自己满意为止，而男生则开始显现出消极态度。

五年级男生和女生的成绩分布如图10所示，延续了女生优于男生的趋势。原因不再赘述。这种现象应该不仅发生在竞赛中，也应该发生在平常的习字训练中，值得引起我们研究团队和语文老师们的注意：若能在平台中嵌入某种激励功能，或者在教学中特别给予关注，或许会使情况好转。

六、结语

本次竞赛的成果实践，首先证明了研究团队前期开发、验证的汉字书评价教学平台，经过合理的设计和实施可以有效的支持汉字书写类竞赛的组织开展；同时也验证了信息化书写竞赛能突破时空限制、实现较低组织与评审成本、实习较大参与覆盖面的目标预期。

由于考试与竞赛有高度的类同，在对评测用字进行诸如：字集选取范围、测评汉字数量、不同结构比例、背临与对临书设置等有效设计基础之上，更大范围汉字书写水平类的考试考核也同样可以信息化实施。

从非实验班学生的参与情况看，学生在自带设备的情况下，经过短暂热身适应阶段，完全可以无障碍参加书写竞赛。这既反映本竞赛平台的参与门槛低，又反映了學生和家长可以较快接受和适应这类信息化书写系统，认可自动化评测的发展趋势。

本次竞赛实验研究中，无论校长、教师还是学生家长，都呈现出积极的态度，认可本实验的价值。在此结果的鼓励下，研究团队拟在竞赛活动的规模扩大和范围推广方面，开展进一步尝试。