“三项岗位人员”考试题库建设的评价与质量监测

姚文龙 韦瑞雪

【摘 要】文章结合在“三项岗位人员”考试题库建设中的工作，对考试题库建设的流程和质量评价指标进行了综述，阐述了实施“三项岗位人员”考试题库质量评价与监测的意义，介绍了“三项岗位人员”考试题库质量评价与监测的指标参数，并对题库评价监测的实施方式进行了探讨。

【关键词】考试题库；质量评价指标；正态分布；评价

【中图分类号】G424.74 【文献标识码】A 【文章编号】1674-0688（2016）10-0106-03

0 引言

“三项岗位人员”是指企业主要负责人、安全生产管理人员和特种作业人员。这三项岗位必须依法参加培训，并通过考试考核，获取安全管理人员资格证或特种作业操作资格证书，方能上岗。

安全资格考试，作为行业准入的安全门槛，是推动行业注重安全意识的一个非常有效的手段，通过考试检验安全管理人员和特种作业人员的安全知识掌握程度，促使企业加强对安全管理人员和特种作业人员的安全培训，从而有效预防安全事故的发生，保障国家的经济民生和社会的稳定。

一般的选拔考试，主要是依据大纲对考生的智力能力进行区分，目标是从考生中选择拔尖的人才。而作为安全资格考试，其目标是要反映出行业的安全要求，是保证行业活动安全的基础，与行业的安全直接相关，资格考试与一般的选择考试或是职业水平考试有很大的不同，对题库题目的要求不同，相应的题库质量评价监测也不一样。

1 “三项岗位人员”考试考核制度的执行方式

判断一个安全管理人员和特种作业人员的安全知识和能力是否达到要求，一般使用如下的方式进行考核。

首先，参照地方行业的发展情况和国家对行业安全的基本要求，制定符合地方行业发展现状的考试考核大纲。这是进行质量评价的前提和标准。要确定行业的准入门槛，应先对地方的行业现状进行调研，组织行业的专家，就地方的发展现状制定考试大纲，从实际的行业安全生产需要考虑，确定考试考核的具体知识点。

其次，依据考核大纲，组织行业专家出题，建立试题库。有了考试大纲，专家按照行业的安全知识要求，结合地方安全生产的案例，针对知识点出题，并对试题的难度进行区分。为了方便信息化考试的要求，试题类型多以判断题、单项选择题、多项选择题3种客观题出题。

最后，组织相关人员考试。为了能更好地反映考试人员的真实水平，一般采用按指定方案组卷抽题的方式进行考试，将考试的结果与大纲的要求对比，判定考生的安全知识水平是否达到相关行业的要求。如果不能达到要求，应再次进行培训，重新进行考核。

可见，试卷的考核结果是作为判断考试人员是否符合要求的主要依据，这样，试卷的质量就很重要了。那么，该如何对题库的质量进行评价和监测呢？

从上面的题库建立和使用可以看出，考试大纲的确定是最为重要的，它不但是培训的依据，也是建立题库的依据。下面将在已经确定大纲的前提下，探讨题库的质量评价与监测的方法。

2 “三项岗位人员”考试题库质量评价与监测的意义

作为安全资格考试标准的具体试卷，其质量的重要性不言而喻。一份质量好的试题，应该符合大纲的要求，考试的结果应能反映出考生的实际认知水平，从而可以对行业的安全生产要求进行指导。反之，如果试题偏离大纲，与实际的生产要求不符，则会使安全培训偏离目标，无益于安全生产工作的推行。因为考核对象是安全管理人员和特种作业人员，对题库的质量评价和监测就更为重要。

各行业都在不断发展和变化之中，对题目进行质量监测正是为了提高试题的质量。为了适应不断发展的行业安全要求，题库在使用一定时间之后，要对试题的各个方面进行统计和分析，对不符合要求的题目进行修改、淘汰，必要时也要对相关大纲进行修订。

3 “三项岗位人员”考试题库质量评价与监测的指标参数

参考国内外文献对试题的质量评估方式，结合安全资格考试在行业生产中的地位，我们认为可以从以下5个方面的指标参数对题库质量进行衡量。

3.1 试题的难度指标P

难度指标P=1-x/y，其中x是所有考试的该题目的得分，y是该题目的指定分值。对于标准化试题，只有对与错这两种状态，很容易识别。考生得分越高，则P值越小，说明难度较低，反之认为该试题难度较高。一般认为0.3以下为低难度，0.3～0.6为中等难度，0.6以上为高难度。作为行业生产中的安全常识，P值也可以小一些。在抽题时，难度指标是控制分数的一个重要依据，作为安全常识内容，难度不应过大，目前国家对安全资格考试的成绩要求是80分。“三项岗位人员”的文化素质普遍不高，因此从安全管理人员和特种作业人员的构成考虑，题目本身的表达意思应当明白易懂，相关的知识是行业的应知应会的内容，其難度不宜过大，一般以P值为0.3～0.6较为合适。

3.2 试题的区分度指标D

区分度指标D=PH/PL，是用来区分考生的能力水平的。PH是排名前27%的考生成绩的平均分，PL是排名后27%的考生成绩的平均分，D值越大，表示区分度越大，该题目越能拉开考生考试的分数，区分其知识掌握程度，对于选拔考试来说，这个指标是有要求的。而对于安全资格的考核，安全管理人员和特种作业人员的水平相差较大，不是作为一种选拔考试，因此试题区分指标D不必过大，考虑D值为0.3就可以了。

3.3 试题的效度指标V

效度指标V是表达试题在多大程度上有效体现大纲的要求。而对于安全资格的考核，效度指标V是一个很重要的指标，直接体现了考试大纲的知识点要求，需要认真进行评估，要求V值达到0.5以上。

3.4 试题的信度指标R

信度指标R是指考试结果的可靠可信程度，就是指考试结果是否能真实地反映考试生的实际认知能力水平，理想值R=1。但考生的认知水平很难进行准确测评，在只使用一份试题的情况下，虽然力图通过各种题型去实施检测，但总是与人的真实水平有差异。一般在确保考试是独立完成情况下的标准化考试，信度指标R应达到0.9指标R。

3.5 考试结果的分布

考生的能力水平和认知是有差别的，理论上说，在外界作用相同的情况下，比如接受同样的培训，因受考生智力的影响，考试的结果不会完全相同，应呈现为正态分布，则可以认为试卷的质量是较好的。

从以上5个指标可以看出，对于安全资格考试，试题库应该是难度适中，有一定的区分度，能客观地反映考生的实际认知水平，符合行业安全考试大纲要求，考生的考试成绩为正态分布，那么这样的试题库就是质量好的试题库。

4 “三项岗位人员”考试题库质量评价与监测的实施方式探讨

针对试题使用的前后，实施试题库质量评价与监测可以使用如下2种方式。

4.1 试题库使用之前进行质量评价

主要是组织行业专家在试题库验收时对试题的质量从4个指标进行质量评估。建议由3个专家对各题的难度进行初步评估，取其平均值作为试题的难度。由3个专家对题目和大纲的效度进行评估，取其平均值得到试题的效度。由企业的专家对试题进行信度的评估，评估试题对行业的适应性，检查试题是否符合行业的实际要求，能否考出考生的实际水平。此外，在每一类题库验收前，组织一次模拟考试，考试人员可由2名安全培训教师和2名经过短时复习的相关企业安全岗位人员参加，以评估试题的题量和难度是否适合当前安全管理人员和特种作业人员的水平和要求。

4.2 試题库使用一段时间之后进行质量评价与监测

经过一段时间的使用之后，考试系统对行业考试的情况进行积累，记录了各题目的答题情况，可以使用计算机对试题的答题情况进行自动处理，主要是针对题目难度和考试结果的分布状态进行分析，从而得出试题对当前安全管理人员和特种作业人员的实际难度，可以使用这个结果对试题的难度进行调整。对于分析结果表示难度偏大的试题，应组织专家分析该试题与大纲的符合程度，进行修正或淘汰。通过分析成绩的分布曲线，对考试的抽题规则进行调整，使之更符合考试大纲的要求，更符合实际生产安全的要求，也可以对考试大纲进行修订，使之适应当前行业发展的要求。

5 总结

综上所述，安全资格考试的质量评价和监测，就是先确定考试大纲，然后对题目进行四维度状态的评价，在使用一定时间之后利用计算机对考试的结果进行分析，根据分析反馈的结果对题库进行修正，尽量做到难度适中，符合大纲的要求，试卷的知识点做到全面覆盖，能反映考生的实际认知水平，并能适度按考生的能力进行区分。从而指导培训机构的培训方向，切实提高“三项岗位人员”的安全意识和安全知识，对安全生产和社会稳定有重大的现实意义。

参 考 文 献

[1]李光明.如何做好题库建设——来自英美考试机构的启示[J].中国考试，2011（12）.

[2]李永华.网络化考试的题库建设及应用研究[J].高教论坛，2013（10）.

[3]高升.题库建设中的试题沉积问题及其应对策略分析[J].中国考试，2010（3）.

[责任编辑：高海明]