行业人才空间分布特征及评价方法研究
——以计算机软件考试为例

2018-07-13 01:40贾子瑞王增利王爱民郑加柱
软件 2018年6期
关键词:区分度信度问卷

贾子瑞,王增利,*,王爱民,郑加柱

(1. 南京林业大学土木工程学院,江苏 南京 210037;2. 辛辛那提大学,美国 45242;3. 南京市科技信息研究所,江苏 南京 210018)

0 引言

全国计算机与软件考试是我国社会主义市场经济条件下评价计算机与软件人才职业技术能力的一项重要标准。近年来,部分省、市的人事管理部门在专业技术资格评审中指出:涉及计算机与软件的专业技术人员,必须通过全国统一的计算机技术与软件专业技术资格(水平)考试。进一步确立了计算机与软件考试在人才职业能力评价中的权威性。但是同时我们也要看到,计算机与软件行业人才职业能力评价标准尚未确立,对于考试越缺乏相应的评价。合理的人才评价方法应当充分考量考生的意见。针对目前国内对职业资格考试研究少的现状,本文希冀能通过研究考生的人才评价体系,对该考试未来发展提供依据和参考,从而促进信息化产业的发展,对现代社会发展起到一定推动作用。

1 研究现状

目前,国内通过构建评价体系来研究当前政策、制度、社会资源等已经成为比较流行的手段。构建评价体系的相关研究已经涉及了很多领域。体系评价最初用于政策评价研究,在研究牧民对草原生态补偿政策中,从补偿标准、发放及时程度、对损失的弥补效果三方面利用问卷调查法进行满意度评价,并构建相应的指标体系,对内蒙古四子王旗地区相关政策的效果做了一些评价,并提出了一些建议[1]。体系评价也用于生态评价方面,在干旱区绿洲生态脆弱度研究中,从压力度、稳定度、敏感度三个方向,通过对当地地理因子、指标进行计算分析,构建生态脆弱度模型,客观评价了吐鲁番地区生态脆弱度情况[2]。在海岛旅游资源评价体系构建研究中,对我国海岛旅游资源评价体系研究进行探讨,依据国家国家标准,从海岛旅游资源、区位特征、区位条件三方面进行测量,构建了4个层次58个指标的评价体系[3]。兰兰在构建高层次人才评价体系研究中,秉承科学性、通用性、实用性、系统优化等原则,运用两次德尔菲法,构建了由三级指标构成的人才评价体系,并在东湖高新区作了实例认证[4]。

构建评价体系的研究中,选取的研究角度各不相同。在建立科技人才评价研究中,由于目前现有的研究主要集中于评价维度和指标构建上,存在着评价维度不全面的问题,评价往往集中于行业特征、科技绩效等方面。针对对评价结果的研究多,评价人员自身素质的研究少的现状,从而构建了从人才特征,科研积累,课题特征三个角度进行考量的评价体系[5]。在人文素质评价体系构建研究中,研究视角视角转向评价主体的多方面选取上,评价方法多方面选择。应当做到定性与定量相结合;自评与客观评价结合;专家评审与同行测评结合[6]。在研究人才培养评价体系中,评价主体的选取变得更加宽泛,评价主体应当由校内老师,学生扩展至用人单位,政府机构;评价目标应当由教师教学转向学生能力;评价内容应当由教师教学拓展至课程、教学资源、学习环境等多方面。评价客体由教师转为非固定,多样的人员,由此构建了由不同单位,机构,部门构成的人才培养评价体系[7]。而在研究农村公共服务现状时,研究视角被分为满意度和需求度两个方面。该研究利用问卷对农民进行满意度与需求度两方面进行调查,即充分研究农民满意度之后,直接通过问卷了解居民对各项设施的需求程度[8]。中国特色积极就业政策评估框架研究对视角进一步细分,相关政策评价应该分为主观与客观指标各占40%和 60%的比重进行,主观评估为满意度、改善度、信心指数等主观评价指标;客观评估为投入产出比、小时工资、再就业几率等客观评价指标[9]。

构建评价体系过程中,指标选取与设置采用不同方法。在医学技术人才研究中,利用Delphi法选取指标,即选取一定数量专家的意见,对指标进行确定和修改[10]。为了使指标选取和计算更精确、合理、规范,在研究农田调整划定方案合理性评价研究中,在研究农田控制质量指标,提出了约束指标体系[11]。即利用法律法规和技术规程的相关要求对评价准则进行修正。该研究通过将地理因素细分、修正,使指标更加精确且具有说服力。在研究西安市免费公园满意度研究中,利用了模糊综合评价法,构建评价矩阵。对各二级指标进行模糊计算,最终得出评价值[12]。该方法在处理定性的,不确定的及信息不完善的问题方面有很大优越性。在校企合作进行医药信息化人才培养模式研究中,由校方和企业二者共同参与,形成了具有一定特色的通过校企合作进行医药信息化人才培养的模式[13]。

由以上对近年评价体系构建的相关论述,可以看出,评价体系虽然已经涉及很多领域,且在政策评价、人才评价领域用途广泛,但是,仍存在一些问题。构建指标体系的目的是对企业、政府现状进行评价与调整,因此询问评价主体的需求虽然重要,但仍不能忽视地区差异的影响。从研究方法上来看,现行的各种人才、政策评价体系往往以某个研究区域为背景,没有考虑到研究区域中的地域差异。作为评价主体,参与评价的人员分布往往会存在明显集聚特点,如某些问题意见达成高度一致,或人群地理分布集聚性明显,从而影响了整个地区的评价结果。对于研究能否准确反映整个研究区域的实际情况还有待商榷,而且参评人员意见由于地区差异往往充满个人意愿与主观色彩。因此选择合理的客观因素对参评人员进行制约与完善显得十分重要。

现有人才评价研究中关于行业人才的研究较少,且对人才空间分布的涉及不多,故借鉴人才与政策评价体系研究的优缺点,构建行业人才评价体系,并以全国计算机软件考试为例,验证该体系的合理性。

2 体系构建

2.1 体系构建依据与原则

考试不仅评价人才的手段,也是一项由政府发起的非强制性的政策。本文认为,现行的各项职业资格考试是一个成型的人才评价方式,起到了一定的衡量人才的作用。考生作为参与者,一定程度上已经认可了考试,对考试总体的有着一定的认知,且有被评价为人才的愿望。因此,考量考生意见对职业资格考试的满意程度可以反映;各地区相关产业作为受益者,针对自身发展现状,对考试的认可程度不同,因此从地区发展差异的角度来进行人才评价也十分重要。

人才评价体系应当结合主观与客观评价,从考生满意度,地区发展差异两个角度进行分析,从而合理、全方位的评判考试的人才区分度。评价体系构建应当从确立评价主体、选取合适的时间和空间尺度入手,并适当结合客观因子。即评价主体应当与评价客体相匹配。评价客体对于评价主体而言,地理分布、职业类型、年龄分布等不能过于悬殊,且评价主体应当具有一定忠诚度;评价客体对于评价主体而言,应当具体、细致,评价角度应当合适,不能过于宽泛,也不能重复。

应当具体问题具体分析。

考生满意度从调查问卷出发,测试人才主体对考试的满意程度。地区差异性从社会宏观视角出发,通过相关产业数据获取,对研究地区相关产业发展、人员素质等做出评价。即在两个不同角度评价研究对象的基础上,再通过两个角度互评,对双方意见都进行研究,提高研究总体的可靠性,从而更加合理的评价该地区对考试的需求程度。

指标选取应当结合当地产业发展现状,充分利用各种研究方法,并通过科学严谨的权重设置,达到构建合理的评价体系的目的。指标选取应当选取能够全方位、完整反映相应评价准则的指标为宜,同时也应当具有一定的重叠性,以便互相验证,增加可靠性。如图1所示。

图1 行业人才评价流程Fig.1 Industry Talent Evaluation Process

2.2 体系框架

人才区分度评价是一项综合性评价。由此分为考生满意度和地区发展度两个角度,结合考生意见、行业发展以及以往研究,考量多方面意见。通过对相应年份的年鉴查询,以及国家相关机构公布的年度数据进行的对比研究,充分考虑各方面因素,并研究讨论后,选取了18个指标,构建了多层次,多指标的评价体系。其中,在考生满意度中增加了考生对行业认可度的分析,在地区发展度中,对考试通过率、平均薪资分别进行分析,从而达到了两个评价主体互评的作用。

考生满意度提取,以社会问卷调查形式进行。问卷调查中设置了11个满意度相关的问题。其中,1~6指标为考生对考试满意度的评价;7~10指标为考生对考试成绩结果的收益性评价,指标11为考生对目前计算机行业的满意程度。

(1)制度合理性:评价考生对全国计算机考试制度满意度。

(2)人才区分度:考生对全国计算机考试能正确评价,选拔人才的满意度。

(3)评价手段:全国计算机考试评价人才的手段的合理程度。

(4)科目设置:全国计算机考试科目设置全面程度。

(5)能力评价:考生对全国计算机考试能合理评价,选拔人才的满意度。

(6)大纲评价:考试大纲设置合理程度。

(7)能力认可:考试结果能正确认同职业水平的能力。

(8)就业帮助:考试结果具有给工作、就业提供帮助的能力。

(9)收入影响:考试结果对收入变化的影响。

(10)能力影响:本次考试对于专业知识和能力影响。

(11)行业认可:考生对目前该行业的认可程度。

社会需求度的角度当中,选取行业现状、行业发展、人员素质等作为评价指标,这些指标可以充分反映社会对该考试的需求。其中行业现状通过对同期年鉴中全省相关行业数据的提取,分析其中的产业规模、从业人数、职称比率等数据得出指标数值。

(1)平均薪资:平均薪资反映了该地区从业人员的薪资水平,一定程度上体现了人员素质高低。

(2)职称比率:该地区每万人中拥有职称的人数。

2.3 分析方法

2.3.1问卷设计

满意度调查方法通常采用问卷调查法。本文设计的问卷分为三部分内容:考生基本情况、现状评价、对考试改革需求。第一部分为考生的各项基本信息及社会属性,如性别、年龄、学历水平、单位属性、职业类型、报考等级和已有等级。第二部分考生现状评价采用李科特五级量表法来设计,并给备选项赋值分别为“非常满意=5,满意=4,说不清楚=3,不满意=2,非常不满意=1”。各项指标均从问卷中获取,测量方式为李克特五分量表法,计算各项指标平均值即可得出相应数值。

2.3.2社会数据处理

在产业发展度角度上看,由于各个因子数值性质不同,量纲各异,因此需要对不同参评因子进行区分,才能与考生满意度进行综合分析。对于与人才区分度正相关的因子,则有:

对于负相关因子有:

式中,S为标准化值;X为该指标的原始值,Xmax为该指标最大值,Xmin为该指标最小值。

2.3.3权重设置

在考生满意度角度中,由于数据量大,各项指标相关度较高,故采用主成分分析法,通过分析不同指标对主成分的贡献度,确定相应权重。

从社会需求度角度上看,通过研究不同因子的重要程度,采用层次分析法确定该角度各项指标权重,权重设置见表1。

表1 全国计算机考试人才区分度评价指标及权重Tab. 1 Indicators and Weights of Differentiating Talents in NCE ExaminationsComputer Examinations

2.3.4因子分析法

本文对江苏省计算机软件人才区分度的评价方法采取因子分析法,对评价人才区分度的考生满意度,产业发展度两个角度的准则及指标中的数值进行权重分析,并对相关数值进行加权求和。最终得到不同地级市的合理性数据,结合各项因子进行客观的分析。

式中,Pd(Personnel discrimination)为人才区分度指数,Ai为角度层、准则层、指标层的各项指数数值,Wi为数值对应的目标权重值。

2.3.5信度效度检验

信度是问卷调查中问卷的可靠性与稳定性。常用的衡量信度指标的方法有:重测信度法、复本信度法、折半信度法、α信度系数法。本文采用α信度系数法。一般认为总量表的信度系数最好在 0.8以上,0.7~0.8之间可以接受;分量表的信度系数最好在0.7以上,0.6~0.7还可以接受。α系数如果在0.6以下就要考虑重新编问卷。本文信度检验结果如表2所示。

信度检验表明,该问卷总体信度良好,两个二级指标的信度全部在可接受范围之内,可以作为该研究的分析对象。

表2 问卷信度效度表Tab. 2 Questionnaire Reliability and Validity

3 实例研究

3.1 研究数据

本文选取的研究区域——江苏省是我国东部计算机行业发展良好的区域,该地产业规模大、专业性强、从业人数众多。近年来,随着社会经济稳步发展,该地区计算机行业人才需求逐渐增加,逐渐成为该地区支柱产业。样本分布如表3所示。

表3 报考人员分布Tab.3 Distribution of applicants

本文的研究数据为参加 2015年上半年计算机软件考试江苏考点的在职人员中随机发放问卷1000份,共回收问卷830份,其中有效问卷788份。问卷有效率达79%,有效问卷中在职人员问卷401份,样本量约占总人数的10%,问卷类型为纸质问卷。

2015年该行业的年鉴数据等。表4为年鉴中提取的社会需求度数据。

3.2 实验分析

通过对考试满意度及地区差异度两个角度进行综合分析,将地区发展度标准化,在1~5范围内,数值越大该考试对人才的区分能力越强(图2)。

从整个江苏省来看,满意度在全省范围内较好。各地级市的社会需求度呈现明显的北部、中部较低,南部较高的格局。以南京,苏州为中心,向四周辐射。且人员素质与当地产业发展无明显关联,产业现状较差的地区也存在着高素质的就业人群。如泰州、扬州等。二者结合,不难看出江苏省的计算机软件人才区分度分布呈自南向北逐渐递减的现象。

3.3 人才区分度评价结果

研究样本内,考生满意度的最终结果为 3.79。该结果表明,考生总体对考试满意度较高,对考试收益性有较高的预期,总体认为该考试具有较强的区分人才的能力。

各项指标中,考生对考试合理性评价最大值为3.96,最小值为 3.74,而大纲评价在考试满意度中占较大比重,说明考生对考试有着足够的重视,详细了解考试大纲,对考试的范围,题型都有较好的认同。在考试收益性中也获得了较好的满意度,最大值为能力提升:3.83;最小值为收入提升:3.38,这也表明收入提升并不是处在第一位的利益驱动,如知识能力的提升,就业帮助,能力认可等也是考生更加期望得到的收益。

各地级市市地区发展度指数见表 4。在全省范围内,地区发展度与产业发达度、产业专业度呈正相关特征,与人员素质呈现明显的负相关特征。如南京地区信息产业发达,专业度在全省也名列前茅,而人员素质却较为低下,人才区分度评价结果显示,该地区信息产业对区分人才的需求很强烈;而宿迁、泰州地区人员素质虽然居于江苏省前列,但地区虽然行业发达度不高,专业度较低,所以该地区行业对考试需求并不是非常强烈。对苏中苏北地区而言,软件产业发展不是很好,故急需大量从业人员参与工作,区分人才的要求并不高,但素质良好从业人员可以一定程度上带动该地区良性发展,避免发展过程中产生的一些社会问题。

总体来看,人才区分度在整个江苏省呈现明显的自南向北逐渐递减的特征,以考生满意度为基础,依据各地产业发展情况的不同而上下波动。各地人才区分度分布曲线分布如图3所示,各地级市按自南向北逐次排列。

表4 地区发展度地区分布Tab.4 Regional Development Area Distribution

由于考生满意度较好,故该考试的人才区分度在整个江苏地区都较高。显然,苏南地区对人才区分的需求更为强烈,由于该地区产业规模大,难免吸引大量低素质的就业者。因此,在该地区推行相应的职业资格考试对行业发展十分有利。苏中、苏北地区尚处在起步阶段,从业人数少,平均素质高,考试在当地推行依旧较为合理,但对区分人才的需求并非十分强烈。

图3 人才区分度分布曲线Fig. 3 Talent Distribution Distribution Curve

3.4 政策建议

问卷中设置对改革需求以及部分现状评价问题,对政策的改进可以起到一些的启发作用。

(1)对相关考前培训和人才继续教育需求上,在792份问卷中,有433份表示有必要进行相应考前培训,其中 172人参加过一部分或全程参与培训;467人表示有必要进行相应的人才继续教育,其中394人对此表示感兴趣或是愿意参加。由此可见,组织具有权威性培训是有市场的,符合考生希望的。2015年江苏考点总报名人数为7808人,据此估计该省每年有 1500~1700人参加相应考前培训;有 3800~4000以上人对人才继续教育抱有兴趣或是参加培训。相应的市场应该得到适当监管与完善。

(2)从目前计算机软件行业从业环境评价来看:在788份调查问卷中,有413人认为从业环境一般,183人认为从业环境很好,持负面评价的有65人;269人认为相关职业资格法律制度需要加大建设;311人认为相关政策应当更加完善。说明目前计算机与软件行业总体环境合理,但仍有改善余地。尤其在江苏省从业人员学历水平较低的环境下,更好的建设计算机与软件资格考试制度,有利于区分人才,改善当地就业环境。

(3)从报名人员分布上来看,报考人员中以专业技术人员为主,330人认为考试制度作用为专业技术水平和能力的标志;190人认为作用是确定工资待遇的依据;165人认为作用是社会对于从业人员的认可;123人认为作用是进入相关岗位的准入依据。对于软件证书效力问题,388人认为证书效力认同度很高,209认为认同度不高;499人希望证书可以与大国际互认。该项结果表明该考试对于技术人员吸引不大,考试大纲、科目设置应当更加贴合实际工作,增加对技术人员的吸引力,实现对不同层级技术人员的区分。证书效力认同度并不高,说明证书并不能完全反映个人相关技术水平,对人才的区分能力有限。相关部门应当适当修改考试内容,注重实践,实现对全行业人才的划分,不仅仅区分基层技术人员素质,对管理层人员也有一定考量。

4 总结

(1)在研究人才区分度问题过程中,不仅仅从考生满意度进行分析,提出地区发展度的指标,结合不同地级市的产业规模、行业发展等地理因子分析,建立多角度,多准则,多指标的综合性评价体系。

(2)问卷设计上,大多数内容采用李克特5级量表法,但仍有部分问题需要结合报考人员分布,行业发展等进行单独分析。问卷总体结果令人满意,考生对该考试满意程度较好,证实了持续实行多年的全国计算机考试具有很好的区分人才的能力。

(3)江苏产业发展势头良好背后,隐藏着空间分布不均匀、产业结构不够良好的问题。这与当地总体产值形成较大反差,合理的考试机制可以提高就业门槛,淘汰低素质从业者,不断精细化产业结构,加快产业结构升级。

(4)总体上看,考试服务人群较为全面,报考人员以基层技术人员为主,也吸引了管理层和政府部门人员的参与,对与区分人才起到了积极的作用,有利于该行业进一步发展;考试人员多分布在苏南地区,对苏中苏北地区吸引力较小,由于地区发展差异,大量人员涌入大城市,加快苏南地区发展的同时,也造成了苏北苏中地区的人才流失现象。应当对目前考试制度进行一些改进,吸引更多基层技术人员参与考试,有利于提升从业人员能力,增强区域竞争力,实现该产业专业化、规模化、国际化发展。

猜你喜欢
区分度信度问卷
《广东地区儿童中医体质辨识量表》的信度和效度研究
浅谈试卷分析常用的几个参数及其应用
问卷网
浅观一道题的“区分度”
科技成果评价的信度分析及模型优化
单维参数型与非参数型项目反应理论项目参数的比较研究*
耳鸣残疾问卷中文版的信度和效度检验及其临床应用
中文版脑性瘫痪儿童生活质量问卷的信度