全国卫生专业技术资格考试信度评价及影响因素分析

刘清伟，张学高，胡荣波，汪本奎，陈声宇，张艳春

(1.国家卫生计生委人才交流服务中心，北京 100097；2.国家卫生计生委卫生统计信息中心，北京 100044；3.国家卫生计生委卫生发展研究中心，北京 100191)

2000年，原人事部、卫生部下发《关于加强卫生专业技术职务评聘工作的通知》之后，全国卫生专业技术资格考试工作全面开展。卫生计生行业初、中级职称以考代评，考试实行全国统一组织，统一考试时间，统一考试大纲，统一考试命题，统一合格标准。卫生专业技术资格考试在卫生计生人才队伍建设过程中承担着人才评价的重要角色，是卫生人力资源建设的重要环节。[1]考试的质量主要是以考试的信度和效度来体现，其中信度表示考试成绩的稳定性和可靠性，主要评价测量中的随机误差。效度表示考试的有效性，主要评价测量中的系统误差。而科学、合理地确定测试长度，则是提高考试质量、考试的信度和效度的重要途径之一。如果题量过少，则试题取样的总体代表性就差，不能全面地测试被试的目标特质；但题量过多，造成了题库试题不必要的曝光，同时，考生在限定时间里的负担过重，可能引起疲劳，这两种情况都会降低考试的信度和效度。信度是效度最重要的基础之一。因此在效度难以实际测量的情况下，测量信度就成为检验考试可靠程度可行并有效的方法。[2-5]因此，本文对全国卫生专业技术资格考试信度及其影响因素进行分析，为进一步提高考试信度、效度，提高考试科学性提供理论依据。

1 资料来源与方法

1.1 全国卫生专业技术资格考试试卷结构

2017年全国卫生专业技术资格考试每个专业开考基础知识、相关专业知识、专业知识、专业实践能力4个科目。其中临床医学类等73个专业均采用人机对话的方式进行，前3个科目为100问选择题(包含A1、A2、A3、A4及B1型题)，第四科目为A3、A4及案例分析题型，为80问左右选择题；其他45个专业采用纸笔作答方式进行考试，4个科目都为100问选择题(包含A1、A2、A3、A4及B1型题)。纸笔考试所有试卷题型内部按照试题难度和知识点排序，人机对话考试作答顺序随机。

1.2 数据来源及抽样方法

分析抽取2017年全国卫生专业技术资格考试118个专业中依据考试方式和专业级别分层抽样，选取了6个专业。人机对话考试：内科学(中级)、普通外科学(中级)；纸笔考试：药学(士)、护理学(中级)、临床医学检验技术(师)、公共卫生(中级)。所选专业包含了医、药、护、技、预防的二级学科。样本量：由于护理学考生人数过多，所以随机抽取10000名考生作为样本，其他专业均为全样本。

1.3 研究方法

1.3.1 卫生专业技术资格考试信度的计算方法

根据卫生专业技术资格考试包含题型丰富的特点，信度的计算选用同质性信度值α系数

其中，α代表k为检测项目数量(题量)，σ2xi为每一个检测项目被试者得分的方差，σ2x为被试者在所有检测项目总分的方差。

学者 DeVellis(1991)认为信度值：0.60～0.65(最好不要)；0.65～0.70(最小可接受值)；0.70～0.80(相当好)；0.80～0.90(非常好)。

1.3.2 计算并绘制题量-信度曲线

对抽样专业四个科目进行信度分析。为了在获得测试长度与信度关系的同时，还能够了解影响试卷信度的其他因素，采取两种试题抽样方式分析试卷信度。试卷试题的排序是按照知识点、难度进行排序。第一种，按照试题序号顺序，即从前2题逐渐增加至最大题号数；第二种，不考虑试题序号，随机抽取试题，即从随机抽取2题开始，每增加一道试题都随机抽取，直至到最大题量。对于纸笔考试形式而言，第一种抽样方法即是考生的实际作答顺序；而第二种抽样方法接近于人机对话考试的作答顺序，人机对话考

试为题型内部试题顺序随机。

2 研究结果

2.1 顺序抽样题量-信度计算结果

所有抽样专业在测试长度(题量)10问以内时信度值不稳定，在10问至50问之间信度值迅速升高，达到60问时信度值均在0.76以上，60问后信度值上升缓慢，基本趋于平稳，最大值均在0.83以上，最大值基本为测试长度的最长点，在测试长度内未出现信度值下降现象，四个科目的曲线也呈现高度一致性，其中内科学和外科学专业实践能力的信度值在60问之前相对其他科目上升较慢，而在60问后仍然显现较明显的上升趋势。具体见图1～6。

2.2 随机抽样题量-信度计算结果

随机抽样与顺序抽样在信度值的上升趋势、最大值及四个科目的一致性等方面均相似，60问时信度值都在0.71以上，各个科目最大值与顺序抽样完全相同，都在0.83以上。但是在测试长度60问以下时，信度值相对不稳定，波动较大。内科学和外科学专业实践能力的信度值也没有像顺序抽样一样在60问后仍然显现较明显的上升趋势，而是50问之前上升比顺序抽样明显。具体见图7～12。

图1 护理学(中级)顺序抽样题量-信度曲线

图2 药学初级(士)顺序抽样题量-信度曲线

图3 临床医学检验技术(师)顺序抽样题量-信度曲线

图4 内科学(中级)顺序抽样题量-信度曲线

图5外科学(中级)顺序抽样题量-信度曲线

图6公共卫生(中级)顺序抽样题量-信度曲线

图7 护理学(中级)随机抽样题量-信度曲线

图8 药学初级(士)随机抽样题量-信度曲线

图9 临床医学检验技术初级(师)随机抽样题量-信度曲线

图10 内科学(中级)随机抽样题量-信度曲线

图11外科学(中级)随机抽样题量-信度曲线

图12公共卫生(中级)随机抽样题量-信度曲线

3 讨论与结论

3.1 全国卫生专业技术资格考试信度评价

所抽取全部样本试题按照顺序和随机两种形式抽样，也可以等同为纸笔考试和人机对话考试两种形式在达到最大测试长度时，信度水平均已满足测量学所要求的较高标准(0.8)，并且大多数专业在60题左右时信度水平就已达到0.8，在60题以上就呈缓慢上升趋势。且各个专业、各个科目间的信度值相对均衡，没有出现某一个专业的信度值过高或者过低的现象，也没有出现某个科目的信度值过高或者过低现象，考试信度较好。全国卫生专业技术资格考试信度较高也与所有试题都是客观试题有关。[6]

3.2 全国卫生专业技术资格考试信度影响因素分析

主要通过对比分析，即对于题量-信度曲线中出现的顺序抽样信度值曲线相对于随机抽样信度值曲线平滑进行分析。

3.2.1 测试长度是考试信度的最重要影响因素

不管是顺序抽样还是随机抽样，当试题量达到80问以上时信度系数都以达到0.8，并且已经稳定保持高信度值，该现象也进一步验证了题量是信度最重要的影响因素。随机作答题量较少时信度值不稳定，题量在60问以下时不同考试科目间的信度值大小相对于顺序作答会有所变化，但是当题量大于60问时，不同科目间的信度值大小基本与顺序作答一致，且总体趋势仍然是随着题量的增加信度值增加。此结果对人机对话考试提出了达标信度最低题量的要求，相对于纸笔考试的60问，人机对话考试要70问以上才保持信度稳定。

3.2.2 试题难度的正太分布可以提高考试信度

在题量一定时，如果题目太难，考生得分普遍偏低，整个分数分布变窄，信度值就低，如果题目太容易考生得分普遍偏高，同样会使测验分数变窄，信度值也会低。[7]所以随机抽样时不同难度试题随机出现，所以就会出现题量较少时信度值忽高忽低不稳定的现象。因此试题的难度分布越接近正态分布，考试的信度也越好；

3.2.3 提高试题区分度可以提高考试信度

区分度在试题难度值大或小的两端时水平较低，在顺序抽样时，初始几题的区分度都较低，所以信度值相对稳定的保持低水平，而随机抽样时信度值出现了波动，同难度对信度的影响类同。因此提高试题的区分度也是保证试题信度的重要方法。[7]

3.2.4 增加案例分析题题型题量可以提高考试信度

抽样专业中只有内科学(中级)和外科学(中级)的专业实践能力科目中包含了案例分析题，顺序作答时是先答A3、A4型题，后答案例分析题，所以这两个科目的顺序抽样曲线和随机抽样曲线的差别表现，提示案例分析题这样题型相对于其他题型更容易提高测试信度。

3.2.5 试题按知识点排序可以提高顺序作答考试的信度水平

同一知识点难度有一定的相近性特点，因此在顺序抽样时，同一知识点试题多会连续作答，在随机抽样时同一知识点会随机作答，所以试卷知识点分布即知识结构不仅影响到试卷的内容效度，试题与知识点相关的排序也可以成为影响信度的一个因素；知识点按顺序排序分布可能提升全国卫生专业技术资格考试的信度水平，但是知识点排序对于纸笔考试提升信度水平有意义，而对于人机对话的随机作答方式的信度提高没有贡献。

参考文献：

[1] 张 蕾，张学高，张 宏，等.卫生专业技术资格考试10年发展与展望[J].中国考试，2010，(11)：44-48.

[2] 李 鸣.对合理确定考试题量的探讨[J].韶关大学学报，1995，16(2)43-47.

[3] 竺培梁.测验信度大盘点[J].外国中小学教育，2005，(6)18-25.

[4] 熊丽萍.公开考试中表现性评价信度和效度之研究[D].广州：华南师范大学，2007.

[5] 刘清伟，张学高，汪本奎，等.卫生专业技术资格考试测试长度科学性实证分析[J].中国考试，2010，(4)50-54.

[6] 田文燕.TEM-4测试信度实证研究——以2006-2011年TEM-4试题为例[J].五邑大学学报，2014，16(4)：80-85.

[7] 戴海琦，张 锋，陈雪枫.心理与教育测量(第三版)[M].广州：暨南大学出版社，2011.