基于R软件的评分者可信度分析

谢骐泽

【摘要】评分者可信度分析是指多个评分者对同一批受考核者进行评分时的一致性程度.以两组评委分别对同一批次红葡萄酒的打分数据作为研究对象，在R软件中运用T检验对两组评委打分差异进行显著性分析，结果显示两组评委的打分存在显著性差异；为选出可信度高的评分，分别累加两组评酒员对每种葡萄酒打分的变异系数之和，以此作为两组评酒员的可信度指标.

【关键词】可信度、R软件、显著性分析、T检验、变异系数

一、问题分析

由于两组评委的打分数据较多且复杂，因此，需要对给定数据如何进行合适的处理、分析、应用，解决好这些步骤，根据假设检验模型，两组评酒员的评价结果差异的显著性分析问题即可解决.

二、数据处理与分析

首先对原始数据进行整理：

式中，xij：第i个对第j种红葡萄酒的打分；μ1mj：第m组对第j种红葡萄酒给出的平均分数；n1：红葡萄酒种数.

并对两组评委的打分作差，结果见表1.

对同种样品分数差异分布进行正态分布检验，将表1中的数据输入SPSS软件得出：红葡萄酒差异拟合结果输出h=0，sig=1，说明评分符合正态分布.

本题正态总体的方差未知，所以采用T检验法进行显著性检验.其中μ0=0，α=0.05，将其输入R软件得，p值小于零，故两组评分存在显著性差异.

三、可信度分析

变异系数又称“标准差率”，是衡量资料中各观测值变异程度的另一个统计量.反映单位均值上的离散程度，常用在两个总体均值不等的离散程度的比较上.变异系数可以消除单位和（或）平均数不同对两个或多个资料变异程度比较的影响，习惯用CV表示，计算公式如下：

通过EXCEL计算，得出每组对每种葡萄酒的变异系数，然后对两组评委的评分变异系数进行累加，变异系数小的即表示两组评委的一致性程度高，即该组评价结果可信.

四、小结

专家评审是国内外重大事情决策的重要环节.本文以两组葡萄酒评委对葡萄酒样品的打分可信度进行了量化对比：以评价分数间的一致性评价打分可信度，对于有显著性差异的两组评分，引入变异系数，通过比对变异系数的大小，确定可信度大小.在评审过程中，组织者可以设定专家评审会的可信度指标，最终根据该指标判断专家评审会所得结果的科學性.endprint