视力残疾人员普通话水平测试的定量分析

2024-03-18 05:19韩艳吴月芹王景辉
现代特殊教育 2024年4期
关键词:区分度效度信度

韩艳 吴月芹 王景辉

【基金项目】 本文为江苏高校哲学社会科学研究重大项目“江苏残疾人融合发展水平测度及对策研究”(2020SJZDA131)、南京特殊教育师范学院2023年校级教学改革研究课题“习近平关于调查研究的重要论述融入统计学课程的探索与实践”(2023XJJG29)阶段性研究成果。

【摘要】 以南京特殊教育师范学院中国盲文手语推广服务中心2011年至2023年视力残疾人员普通话水平测试成绩为样本,分析其测试的可靠性和有效性。研究发现,视力残疾人员普通话水平测试的信度和效度良好,验证了视力残疾人员普通话水平测试的科学性和有效性,所采用的测试方法能够实现测试目的。

【关键词】 视力残疾人;普通话水平测试

【中图分类号】 G761

【作者简介】 韩艳,助教,南京特殊教育师范学院数学与信息科学学院(hanyan1209@126.com,南京,210038);吴月芹,副教授,南京特殊教育师范学院特殊教育学院(南京,210038);王景辉,硕士研究生,昆士兰大学工程建筑与信息技术学院(布里斯班,4072)。

一、引言

随着我国特殊教育事业和残疾人事业的快速发展,残疾人的受教育程度明显提高,对工作的需求也越来越迫切。根据第六次全国人口普查和第二次全国残疾人抽样调查结果推算,我国有1263万视力残疾人[1]。对于从事教师、播音主持等行业的视力残疾人来说,普通话非常重要,进行普通话水平测试的需求比较强烈[2]。2000年,教育部《〈教师资格条例〉实施办法》明确规定:“普通话水平应当达到国家语言文字工作委员会颁布的《普通话水平测试等级标准》二级乙等以上标准”,这是申请认定教师资格者应当掌握的教育教学能力之一[3]。普通话等级证书是获得教师资格证的一个必备条件。由于视力残疾,现有的普通话水平测试形式难以满足视力残疾人员需求。大部分视力残疾人教师因为没有教师资格证书,只能充任代课教师。部分视力残疾人员因没有普通话证书,无法获得从事相关职业的资格。所以,视力残疾人员急切需要一种合适的普通话水平测试方法。

开展视力残疾人员普通话水平测试,回应视力残疾人员参加普通话水平测试的诉求,对解决视力残疾人员职业资格认证难题发挥了积极作用。2013年9月,教育部语言文字应用管理司发布了《关于开展视障人员普通话水平测试工作的通知》,视力残疾人员普通话水平测试开始在全国推广[4]。2023年8月28日,教育部和中国残联共同印发《视力残疾和听力残疾人员普通话水平测试管理办法(试行)》[5]。视力残疾和听力残疾人员的普通话水平测试纳入了国家普通话水平测试体系。

信度和效度是影响语言测试科学性、有效性的重要方面。视力残疾人员普通话水平测试的形式为摸读盲文或识读大字版汉字,其测试的难度、区分度、信度与效度在合理区间,才能保证测试的科学性和有效性。本文以视力残疾人员普通话水平测试为研究对象,分析测试的难度、区分度、信度与效度,为视力残疾人员普通话水平测试的科学性、有效性和可行性提供實证依据。

二、研究对象

南京特殊教育师范学院中国盲文手语推广服务中心从2011年开始开展视力残疾人员普通话水平测试研究,已形成了基本完备的测试体系,并在全国20多个省市开展了测试。本文选用中国盲文手语推广服务中心2011年11月至2023年6月视力残疾人员普通话水平测试成绩,共收集有效样本1219个1。视力残疾人员普通话水平测试遵循国家《普通话水平测试大纲》和《普通话水平测试等级标准》等要求。

盲文是适合视力残疾人员的一种特殊文字形式,是国家语言文字的重要组成部分。由于受视力残疾的影响,视力残疾人员通过摸读盲文或识读大字版汉字进行普通话水平测试。该测试内容共四项,满分为100分。第一项“读单音节字词”,共10分,限时4分钟;第二项“读多音节词语”,共20分,限时3分钟;第三项“朗读短文”,共30分,限时5分钟;第四项“命题说话”,从两个可选话题中选定一个话题,按照选定的题目连续说一段话,共40分,限时3分钟。

三、研究结果分析

(一)视力残疾人员普通话水平测试的难度和区分度分析

1.难度分析

测试的难度是反映测试题目难易程度的常用指标。如果测试题目的难度大,则考生得高分的可能性就小。通常情况下,难度系数越小,试卷越难;难度系数越大,试卷越简单。难度系数常采用如下计算公式[6]:

P=[XXmax]

公式中,P代表题目难度,[X]为所有考生在某题目上的平均得分,[Xmax]为该题目的满分。

测算结果发现,视力残疾人员普通话水平测试的整体难度系数以及“读单音节字词”“读多音节词语”“朗读短文”“命题说话”的难度系数均在0.81—0.89之间(详见表1)。“读单音节字词”“读多音节词语”“朗读短文”采用摸读盲文或识读大字版汉字方式,其中“朗读短文”难度系数为0.84,难度略大于前两项。这主要是因为前两项采用了“字字标调”,第三项“朗读短文”部分,共400个音节,视力残疾考生在盲文摸读和大字阅读时容易受到“视野狭窄”的影响,而且盲文短文“一般音节不标调,特殊音节做标调处理”,造成了视力残疾考生摸完盲文后需要再通过上下文语境来确定读音和语义,往往会出现“连停不当、朗读不流畅、回读”等现象,认读难度相对提高。试卷难度取决于测试目的和试题的形式,考虑到视力残疾人员采用盲文试卷或大字试卷进行阅读的特殊性,视力残疾人员普通话水平测试是以考查考生声韵调、语调和语音标准程度、词汇语法规范程度、自然流畅程度为目的,不是考查视力残疾人员使用盲文的熟练程度和文化水平。因此,视力残疾人员普通话水平测试侧重评价的激励功能,测试相对容易,这是合理且符合测试目的的。

表1 视力残疾人员普通话水平测试试卷各题与

试卷整体的难度2

[题目 读单音

节字词 读多音

节词语 朗读

短文 命题

说话 试卷

整体 满分 10 20 30 40 100 平均分 8.46 17.71 25.16 32.24 83.56 难度系数 0.85 0.89 0.84 0.81 0.84 较容易 较容易 较容易 较容易 较容易 ]

2.区分度分析

语言测试的区分度是通过试题有效鉴别考生的语言能力[7]。对于视力残疾人员普通话水平测试而言,是指能够有效鉴别出普通话水平的等级。区分度越大,区分的效果越好。题目区分度通常采用“极端分组法”,对考生测试得分按照总分从高到低进行排序,选取得分最高的27%的考生作为高分组,选取得分最低的27%的考生作为低分组。

主观题目的区分度,计算公式如下[8]:

[Di]=[XiH-XiLHi-Li]

D=[inKiDiinKi]

公式中,[Di]表示第i试题的区分度,D表示试卷的区分度,[XiH]表示第i试题中高分组的平均分,[XiL]表示第i试题中低分组的平均分,[Hi]表示第i试题的最高分,[Li]表示第i试题的最低分,[Ki]表示第i试题的满分。

《普通话水平测试大纲》未明确给出测试的区分度。国内外测验专家根据长期经验,提出如下标准:区分度值在0.4以上,评价优良;区分度值在0.3—0.39,评价合格;区分度值在0.2—0.29,评价尚可,稍作修改更好;区分度值在0.19以下,必须修改或淘汰[9]。测算结果发现,采用人工测试方法,视力残疾人员普通话水平测试“读单音节字词”和“朗读短文”的区分度分别为0.34、0.36,均达到合格的要求,鉴别能力合格(详见表2)。“读多音节词语”的区分度最低,为0.26,评价尚可。该题60%的考生得分集中在16—18分之间,得分相对集中。“命题说话”的区分度最高,为0.40,评价优良,能够有效鉴别出不同普通话水平的视力残疾考生,也最能够反映出考生的实际水平。试卷整体的区分度为0.35,评价合格。

表2 视力残疾人员普通话水平测试试卷各题与

试卷整体的区分度1

[题目 读单音

节字词 读多音

节词语 朗读

短文 命题

说话 试卷

整体 高分组

平均分 9.44 19.08 27.10 34.51 — 低分组

平均分 7.10 15.65 22.44 29.53 — 最高分 10 19.9 28.75 38 — 最低分 3.2 6.7 15.8 25.5 — 区分度 0.34 0.26 0.36 0.40 0.35 合格 尚可 合格 优良 合格 ]

机测数据测算结果发现,试卷整体的区分度为0.40,评价结果为优良,能够有效鉴别出考生的普通话等级(详见表3)。参加视力残疾人员普通话水平测试的考生,大多是高校就读的大学生、特殊教育学校的教师。因此,对视力残疾人员普通话水平测试的区分度要求并不是很高。

表3 视力残疾人员普通话水平测试“命题说话”及

试卷整体的区分度2

[题目 前三项 命题说话 试卷整体 高分组平均分 56.70 35.81 — 低分组平均分 48.10 31.47 — 最高分 57.40 37.00 — 最低分 35.70 26.00 — 区分度 0.40 0.39 0.40 优良 合格 优良 ]

(二)视力残疾人员普通话水平测试的信度与效度分析

1.信度分析

信度是指测试结果的可信程度和稳定程度,是评价测试优劣的重要质量指标。语言测试的信度就是指对同一组考生进行多次相同的语言测试,测试结果的一致性程度。视力残疾人员普通话水平测试均为多重计分的主观试题,考虑实施的可行性,本文研究信度采用克龙巴赫a系数作为指标,系数越高,说明测评方法的可信度越强。计算公式如下[10]:

a=[KK-1][1-i=1KS2iS2X]

公式中,[S2i]表示所有考生在第i题上得分的方差,[S2X]表示所有考生总分的方差,[K]为试卷题目数。

使用人工测试数据测算出视力残疾人员普通话水平测试的信度系数为0.857。普通话水平测试是典型的主观题测试,保证主观题的信度非常重要,主观题的信度和内部一致性信度系数通常要求达到0.7以上[11]。因此,根据主观题的信度要求,视力残疾人员普通话水平测试的信度处于高水平。使用机测数据测算出视力残疾人员普通话水平测试的信度系数为0.652。这主要由于题量的减少和测试样本量较少,对测试信度的计算造成了一定的影响。一般题量越大,信度越高[12]。随着视力残疾人员普通话水平测试在全国推进,用于测算信度的样本量增多,预计信度计算的结果会进一步提高。总体来说,视力残疾人员普通话水平测试具有良好的信度。

2.效度分析

效度是指测试结果的有效性和正确性,是指测试内容能在多大程度体现测试目标。视力残疾人员普通话水平测试的效度是指普通话水平测试是否可以有效、准确地测出视力残疾考生的语言能力。语言测试学家公认结构效度最为重要,相关矩阵分析法是语言测试体系常用的结构效度验证方法[13]。

表4、表5列出了视力残疾人员普通话水平测试各题成绩与总成绩之间的相关系数。各题成绩与总成绩的相关系数均在0.7以上,在p=0.01水平(雙侧)上均显著相关。各题成绩与总分之间的相关系数,在某种程度上反映了测试设计是否符合测试目的[14]。表4和表5显示,视力残疾人员普通话水平测试成绩能够真实反映出视力残疾人使用词汇和语法的规范程度、语言熟练程度和交际策略能力,具有良好的效度。“读单音节字词”和“读多音节词语”题主要测查考生声母、韵母、声调、变调、轻声、儿化读音的标准程度。这两题盲文试卷采用字字标调的方式,减轻了认读困难,相当于在健全人测试试卷上标注好拼音,使测试的有效性有所降低。“朗读短文”仅对生僻字词、专有名词和专业术语等进行“标调处理”,能够准确测查出考生声母、韵母、声调读音标准程度和连读音变、停连、语调以及流畅程度。整体来讲,视力残疾人员普通话水平测试的效度符合要求,能够有效实现测试目的。

表4 视力残疾人员普通话水平测试成绩相关矩阵1

[题目 全部 读单音

节字词 读多音

节词语 朗读

短文 命题

说话 全部 1 0.789** 0.876** 0.899** 0.839** 读单音节字词 — 1 0.775** 0.630** 0.469** 读多音节词语 — — 1 0.711** 0.589** 朗读短文 — — — 1 0.670** 命题说话 — — — — 1 ]

注:** 在 0.01 水平上(双尾),相关性显著,下同。

表5 视力残疾人员普通话水平测试成绩相关矩阵2

[题目 全部 前三项 命题说话 全部 1 0.956** 0.811** 前三项 — 1 0.604** 命题说话 — — 1 ]

四、研究结论

视力残疾人员普通话水平测试的目的是测查视力残疾人员是否达到普通话的某个等级。由于视力残疾人员普通话水平测试的形式是摸读盲文或识读大字版汉字,可能会对测试产生一定影响。基于南京特殊教育师范学院中国盲文手语推广服务中心2011年至2023年视力残疾人员普通话水平测试成绩,通过难度、区分度、信度与效度分析,发现视力残疾人员普通话水平测试是科学的、有效的,符合国家普通话水平测试的总体要求。

党的二十大报告提出,加大国家通用语言文字推广力度。视力残疾人员普通话水平测试的科学性、有效性为国家进一步推广视力残疾人员普通话水平测试提供了实践基础,为贯彻实施《视力残疾和听力残疾人员普通话水平测试管理办法(试行)》提供了有力实证依据。

【参考文献】

[1]中国残疾人联合会.2010年末全国残疾人总数及各类、不同残疾等级人数[EB/OL].(2021-02-20)[2023-08-25].https://www.cdpf.org.cn/zwgk/zccx/cjrgk/15e9ac67d7124f3fb4a23b7e2ac739aa.htm.

[2]吴月芹.视障者普通话水平测试研究[J].现代特殊教育(高等教育研究),2015(4):73-77.

[3]教育部.《教师资格条例》实施办法[EB/OL].(2000-09-23)[2023-08-25].http://www.moe.gov.cn/srcsite/A02/s5911/moe_621/200009/t20000923_180473.

html.

[4]教育部语言文字应用管理司.关于开展视障人员普通话水平测试工作的通知[EB/OL].(2013-09-09)[2023-08-25].http://www.moe.gov.cn/s78/A18/tongzhi/201309/t20130903_156754.html.

[5]教育部办公厅,中国残联办公厅.教育部办公厅、中国残联办公厅关于印发《视力残疾和听力残疾人员普通话水平测试管理办法(试行)》的通知[EB/OL].(2023-09-05)[2023-08-25].http://www.moe.gov.cn/srcsite/A18/s7066/202309/t20230913_1080042.html.

[6][9][10]黄光扬,原霞.教育统计与测量评价新编教程[M].上海:华东师范大学出版社,2020:90-100.

[7]陈蓓琴,韩艳,史玉凤.基于“通用手语”的听障人员普通话水平替代性测试信度、效度分析[J].现代特殊教育(高等教育研究),2021(4):55-59.

[8]赵立新,陈文艺,郭子君.试卷质量的定量评价[J].华南农业大学学报(社会科学版),2004(4):136-141.

[11]杨惠中.有效测试、有效教学、有效使用[J].外国语(上海外国语大学学报),2015(1):2-26.

[12]赵轩,赵静宇,郭学恒,等.基于相关性分析的高考试卷信度与效度研究[J].中国考试,2022(3):37-43.

[13][14]陈哲.大学英语成绩测试的信度与效度关系探析[J].广东海洋大学学报,2011(2):98-101.

Quantitative Andysis of Putonghua Proficiency Test Among the Visually Impaired

HAN Yan  WU Yueqin   Wang Jinghui

Abstract:This article selects the results of Putonghua proficiency test among the visually impaired from 2011 to 2023 by the Promotion Service Centre of China Braille and Sign Language of Nanjing Normal University of Special Education,and analyses the reliability and validity of the test. The results find: the reliability and validity of Putonghua proficiency test for the visually impaired are good,which verifies the scientificity and validity of Putonghua proficiency test for them. The test method adopted can achieve the purpose of the test.

Key words:the visually impaired;Putonghua proficiency test

Authors:HAN Yan,assistant,School of Mathematics and Information Science,Nanjing Normal University of Special Education(hanyan1209@126.com,Nanjing,210038);WU Yueqin,associate professor,School of Special Education,Nanjing Normal University of Special Education(Nanjing,210038);WANG Jinghui,The University of Queensland,Faculty of Engineering,Architecture and Information Technology(Brisbane,4072).

(特約编校:琚四化)

猜你喜欢
区分度效度信度
《广东地区儿童中医体质辨识量表》的信度和效度研究
慈善募捐规制中的国家与社会:兼论《慈善法》的效度和限度
浅谈试卷分析常用的几个参数及其应用
图形推理测量指标相关性考察*
浅观一道题的“区分度”
科技成果评价的信度分析及模型优化
单维参数型与非参数型项目反应理论项目参数的比较研究*
耳鸣残疾问卷中文版的信度和效度检验及其临床应用
被看重感指数在中国大学生中的构念效度
外语形成性评估的效度验证框架