我国档案服务评价指标体系研究述评

2018-04-17 16:46侯垚
北京档案 2018年3期
关键词:指标体系指标评价

侯垚

摘要:档案服务评价指标体系,是由多个指标组成的相互关联的体系,是反映档案服务工作效益的工具。档案服务评价日益引起社会关注,作为在档案服务评价研究中所占比例最大的评价指标体系更为其重中之重。本文在对我国档案服务评价指标体系研究领域三十多年(1985-2017)的文献调研基础之上,从档案服务评价指标体系的构建原则、内容设计、权重确定、研究方法等方面入手进行综述,提出了从目标定位、体系框架等方面的建议,以推动评价指标体系的规范化制定。

关键词:档案服务档案评价评价指标

Abstract:The evaluation index system of ar? chives service is an interrelated system composed of multiple indexes, which is a tool to reflect the ef? ficiency of the work.Archives service evaluation cause concern increasingly, especially for evalua? tion index system. Through literature research, this paper summarized from such aspects as principles of establishing the evaluation index system of ar? chives service, content design,determination of weight, the research methods. Some suggestions are put forward, such as target orientation, system framework and so on, so as to promote the stan? dardization of the evaluation index system.

Keywords: archives service; archives evalua? tion; evaluation index

一、引言

檔案服务评价是涉及评价原则、评价指标、评估模型与实施方法等方面的综合机制,评价指标体系在其中属于关键环节。制定评价指标体系,通过结果对服务过程进行反馈,对档案服务具有改进管理模式、促进服务质量提升、辅助过程决策、提高利用水平等意义。本文拟从档案服务评价指标体系的构建原则、内容设计、权重确定、研究方法等方面入手,归纳相关领域研究现状,为指标体系的系统分类、优化设计提供参考与建议。

二、文献检索结果与年代分布

(一)文献检索结果

中国知网拥有期刊、博士论文全文数据库和重要的硕士论文、会议、报纸全文数据库,种类齐全、数量丰富。笔者以题名为检索字段,检索时间为2017年9月14日,以“档案”“利用”“服务”“评估”“评价”“指标”等词语进行组配,在中国知网上进行专业检索,得到文献301篇。

检索的难点在于,研究档案服务评价的文献中,有一些在内容上虽然涉及档案服务评价指标,但是在标题、摘要和关键词中很难找到“指标”这个词,即一部分文献研究成果只能通过上述概念检索到,无法直接找出,需通过结合文献内容进一步分析。

(二)年代分布

年代分布是指研究主题的文献数量在不同年代的分布情况(详见图1)。2005年之前,每年文献数量低于10篇;2005年至2008年,文献数量增长速度较快,表明关于档案服务评价指标的研究开始受到学者重视;2008年之后,每年的文献量集中在17篇至25篇之间,预计未来对档案服务评价指标的研究热度还将保持一段时间。

三、我国档案服务评价指标体系的研究现状

档案服务评价指标体系,是由多个指标组成的系统的、相互关联的体系,是反映档案利用服务工作效益的工具。通过上文的分析并结合文献内容,我国档案服务评价指标体系的研究已经具有一定的热度,可以将其分为构建原则、内容设计、权重分析和研究方法等方面。

(一)档案服务评价指标体系的构建原则

档案服务评价指标体系的构建原则起着指导与规范的作用,不同学者对其关注角度存在差异,现有的主要观点一般包括可操作性、系统性、客观性、代表性等。

1.可操作性

结合不同学者的观点,可操作性可从三个方面进行阐释。从数据采集的角度来看,其表示在保证有效性的前提下,指标涉及的数据易于量化、采集、统计、测度与观察。从面向评价者的角度来看,其意味着并不需要评价人员较高水平的知识或技能,指标内容易于理解。从实践角度来看,可操作性表示评价指标应易于指导实践,从现实情况出发,在实际工作中易于使用[1-6]。

2.系统性

相关学者对系统性的理解包括:从一个角度体现在指标应使数据间保持相关性、整体性和层次性,通过指标之间的彼此协调,最终形成完整的指标体系;从另一个角度要求指标体系应全面、多角度、多层次评价档案服务的各个方面,不仅要以多视角出发全面评估,而且从覆盖的功能和维度上达到全面[3,5,7-8]。

3.客观性

不同学者对客观性的认识涉及两个层次:一是反映情况的客观,评价指标应保持客观,体现利用服务和评价的客观状况。二是评价行为必须真实客观,评价时应依据数据与事实情况,做到公平公正,按照评价指标、评价标准进行评价[3-4,6]。

4.代表性

也有学者称其为典型性,是指指标不必追求详尽复杂,在选取时应考虑前瞻性和概括性的评价指标,指标能反映问题核心、反映档案信息服务特性、准确客观反映服务质量即可[3,10]。

笔者认为关于档案服务评价指标体系的构建原则研究较为成熟,比较贴近档案服务评价工作的实际情况。在制定相关原则时,从宏观上应把握档案机构服务发展的现状与趋势,明确档案机构服务在公共服务体系中的定位;從中观上应加强对档案服务机构自身情况的考虑,更加有针对性地制定指标;从微观上应在面对具体环境时坚持问题导向,从实际出发,面向用户需求,保证用户满意度。

(二)档案服务评价指标体系的内容设计

笔者将档案服务评价指标体系的内容设计归纳为三步:顶层设计、逐级展开、分类研究。顶层设计是结合多方因素对内容设计采取的总体思路;逐级展开是指标体系一般需设定两到三个层级,一、二级指标较为抽象概括,三级是具体指标;分类研究体现在同一层级内部依据评价的具体内容进行分类。结合相关文献,将其归纳为馆藏资源、综合服务、机构与制度、基础设施、工作人员五项一级分类指标。

1.馆藏资源

馆藏资源指标的二级分类包括档案资源属性、种类与数量、结构与渠道、馆藏特色,主要基于馆藏资源的特征与结构进行分类。馆藏资源属性既包括档案的真实性、原始性等基本属性,又包括在网络化、数字化环境中的资源共享程度、数字化程度等属性。种类与数量是包括档案种类齐全度、载体多样性、资源更新频率的涉及档案资源数量与种类的指标。结构与渠道包含结构系统性和完整性、资源存储架构、开放档案比例、征集渠道的丰富性、馆际资源利用等指标。馆藏特色的分类包含地方性、民族特色、多语言、不同版本等[3,5,7-9,11-14,15-19]。

2.综合服务

综合服务指标的二级分类包括服务属性、服务功能、服务内容与结构、信息安全等,围绕馆藏资源的综合服务具体展开。服务属性包含针对性、有效性、多样性、吸引性、用户参与性等。服务功能涉及传统、网络和移动新媒体三大角度,形式丰富。服务内容与结构涉及服务指南、服务界面、服务组织、栏目设置、页面层级等指标。信息安全是包括信息监管、用户信息保护、数据存储、数据备份的指标[1-3,5,8-9,13,15,20-25]。

3.机构与制度

机构与制度的二级分类包括机构属性、制度建设属性、管理手段、管理机构等,是服务机构针对自身机构与制度建设情况的评价。机构属性包括机构发展指数、知识创新能力等属性。制度建设属性用来评价机构制度建的完善性、健全性、协调性等。管理手段涉及管理方式、管理内容和对象等。管理机构是包含组织结构、机构设置与分工、机构效率的指标[9,11,16,23,25-26]。

4.基础设施

基础设施的二级指标分类包括馆内概况、设备属性、计算机与网络等,是反映馆内基础设施的指标。馆内概况包含馆内布局、建筑面积、阅览室使用、库房与装具等。设备属性包括设备是否齐全、运行是否良好、先进性、使用率、故障率等属性。计算机与网络是描述网络建设、网络安全与维护、系统与软硬件性能的指标[2-3,5,7,10-11,14,18-19,21-22,27]。

5.工作人员

工作人员的二级指标分类包括组织机制、人员素质、服务态度等,是基于服务人员的评价指标。组织与机制是评估人员结构、激励机制的指标。人员素质包括知识结构、工作经验等。服务态度涉及服务主动性、工作积极性、问题处理的满意度等指标[7-8,11,14-16-,23,26-28]。

还有学者以用户角度对用户满意度、用户访问量、利用人次、查档件数、网页点击率、进馆咨询人数等进行了研究[11,16]。

已有文献对档案服务评价指标体系的研究比较深入,涵盖档案服务的多个方面,尤其是在档案馆自身的服务评价方面。笔者认为目前的问题在于:一是关于内容顶层设计研究的文章较少,顶层设计包含如评价目标、质量评价标准、流程控制等因素,应体现内容设计的全局思维;二是基于用户评价内容的设计并不详细,对基于问题解决与实际需求研究的文章数量不多。

(三)档案服务评价指标体系的权重研究

不同指标的作用大小存在差异,设置权重系数的目的在于衡量指标之间的相对重要性。结合已有文献,常见的权重确定方法有层次分析法、专家调查法、主次指标排队分类法(ABC分类法)、主成分分析法和集值统计迭代法等[2-3,23,26,29]。

权重较高的指标反映出专家学者在权重判定时意见反馈的集中,从内容上结合相关文献,权重较高的指标主要为档案资源的建设与利用情况、服务水平、服务方式、服务过程、服务结果、服务满意度等。员工学习与成长、网站设计、服务设施、保障能力等方面比重较低。基于资源建设和综合服务的比重较大,与上文内容设计的研究相一致,反映出档案服务“资源为王”的特点。

已有文献的研究集中于专家调查法和层次分析法,通过建立层次结构、判断矩阵和一致性检验等流程得出结果。笔者认为指标体系权重确定方法的选取更丰富多样,并且在使用方法时应根据相关理论的发展有所改进。文献在权重确定的叙述中,应将权重的判断过程表达清楚,对排名过程、权重的设定给出详细说明与判断依据。

(四)档案服务评价指标的研究方法

也有学者引入其他领域研究方法对指标体系进行构建,聂永浩和苏云鹏使用平衡计分卡理论,将“学习与成长”“财务”“内部流程”“用户”四个具有一定内在逻辑关系的维度进行了指标体系的建立[23]。丁乙基于改进的ServQual方法,为提问项设计了实际感受值、期望值和可接受最低值三层结构,度量用户期望与实际感知之间的差异从而判断服务水平[10]。朱玉媛、牟凯旋采用绩效棱柱法,从利益相关者的满意度、利益相关者的贡献、组织战略、业务流程和组织能力进行分析,评级涵盖了过程、结果和能力等方面[30]。

与档案服务评价指标体系的内容设计和权重确定方法不同,档案服务评价指标的研究方法是一种从结构上对评价指标进行的有机整合,与层级分类的指标体系相比,打破了固有的排列次序与组织方式,具有一定的系统性与综合性。目前引入其他领域研究方法的文献数量较少,笔者认为与研究方法的适用性有局限并且还需符合档案利用服务的目标和标准有关。在研究方法的使用中,首先应把握方法中各个要素的基本情况,随后进一步分析要素之间的关系与组织方式,达到对方法的总体把握。针对不同的评估需要,考虑评价指标方法的适应情况,对其进行调整,使其符合评价工作的目标与要求。

四、存在的问题与建议

(一)存在的问题

1.从内容上来看,基于用户评价的指标较少,围绕档案服务机构自身情况评价的指标较多

对于如机构、设施和工作人员等基础性指标研究的文献较多,对基于面向用户功能建设上的指标研究较少,没有形成基于用户的评价指标体系,难以获得用户的认可。有些指标缺乏实践基础,难以反映用户的真实感受。

2.从结构与层次来看,缺乏对指标体系框架的系统设计和方法的探究

目前的研究以逐级展开、分类设计为主,相关学者对指标之间逻辑关系的研究较少,对指标体系、设计方法的科学性考虑较少。

3.从可行性上来看,对可行性判定过程和数据支撑的调研明显不足

哪些指标适合当前研究,哪些指标切合主题但是未纳入体系当中,哪些指标仅是泛泛而谈,需要进一步考虑。对指标判定其信度与效度的文章较少,对指标的检验与修正有待加强。

(二)研究建议

1.找准目标定位,明确需求导向

档案服务的利益诉求具有多元化的特点,导致其服务评估的差异性也比较突出,有可能对评价指标体系的建立造成难以集中诉求、方向分散等结果。所以,对评价指标进行整合,有助于协调不同的利益诉求,更好地发挥指标体系的整体效能。在指标内容上具有一定的侧重点(如基于用户视角),确定好指标选取时应该反映什么、衡量什么,有什么功能上的定位。服务效益、成效的评价不能只强调经济效益,不能背离档案利用服务的公共性质。

2.科学精准定义,完善体系框架

指标文字的叙述应科学精准,指标之间涉及的范畴应避免存在冲突,避免含义相近。只有明确体系中每一级指标的内涵与外延,才能让评估人员在把握指标概念的基础上进行科学的评估。指标体系框架、方法设计上要具有系统性、协调性,从整体视角出发,对其他学科的方法有选择的借鉴吸收。通过结合档案服务发展现状,指标体系应反映档案工作特征和评价目的,实现利用工作目标与评价目标的统一。

3.采纳各方建议,综合指导评价

由于立场不同,监管部门、服务机构和档案利用者对指标体系构建的认识存在分歧。档案服务指标体系的建立是一个结合多方的任务,在制定过程中应该采纳各方建议,组建一个由档案监管部门主导,吸收专家学者、服务机构人员和利用者,并且人员比例协调的服务评价组织。

参考文献:

[1]李守红.社会公众参与档案利用的服务质量评价分析[J].办公室业务, 2012(19):191-192.

[2]周彩英.基于AHP和模糊综合评判的档案信息利用服务评价[J].档案学通讯, 2011(3):88-91.

[3]杨霞.社會公众参与的档案利用服务质量评价初探[J].档案学通讯, 2012(4):40-44.

[4]张珊.概述档案利用服务评估指标体系的构建[J].现代经济信息, 2016(5):101.

[5]郑宇.基于AHP网络环境下档案信息资源利用评价体系的构建[J].云南农业大学学报:社会科学, 2015(4): 79-82.

[6]王灿荣.公共档案馆档案信息服务社会化绩效评价内涵探析[J].档案学研究, 2014(3):57-59.

[7]祝洁.档案馆公共服务能力评价研究[J].兰台世界, 2014(2):18-19.

[8]侯振兴,闾燕,袁勤俭.基于用户视角的数字档案馆知识服务能力评价研究[J].现代情报, 2015(3):86-90.

[9]孙玉瑞.中国高校档案网站信息服务评价指标体系构建研究[D].南京大学, 2016.

[10]丁乙.基于用户的档案信息服务评价研究[D].安徽大学, 2016.

[11]寇冰,陈彤, KouBing,等.山西省高校档案利用服务评价指标体系研究[J].山西档案, 2015(6):103-106.

[12]梁孟华.档案网站信息服务质量评价研究[J].档案学通讯, 2012(2):57-61.

[13]王灿荣,王协舟.档案信息服务社会化绩效评价指标体系构建策略[J].档案学研究, 2015(2):66-70.

[14]刘彦丽.对档案信息服务质量评价体系的思考[J].办公室业务, 2013(11):45-47.

[15]董宇,安小米,白文琳,等.档案资源整合视角下的数字档案资源公共服务能力评价指标构建[J].档案学研究, 2015(4):58-63.

[16]于华.档案馆信息利用服务水平的定量评价研究[J].档案管理, 2015(2):19-21.

[17]宋雪雁,张岩琛,王小东,等.公共档案馆微信公众平台服务质量评价研究[J].图书情报工作, 2016(16): 39-49.

[18]蒋超美,王灿荣.基于AHP和模糊综合评价法的档案信息服务绩效评价应用[J].兰台世界, 2016(23):46-49.

[19]胡晓庆.基于层次分析法的数字档案馆档案信息服务质量评价体系建构[J].学理论, 2009(7):120-122.

[20]唐江玲.档案网站信息服务评价指标体系研究[J].四川文理学院学报, 2014(5):150-154.

[21]周彩英,高松俊.档案信息利用服务评价指标个体评析与体系构建[J].兰台世界, 2012(26):29-30.

[22]孙艳丽.档案信息网络服务的影响因素、评价指标与服务对策研究[J].情报科学, 2012(12):1807-1811.

[23]聂勇浩,苏玉鹏.档案馆公共服务评价的指标体系建构——基于平衡计分卡和层次分析法的分析[J].档案学研究, 2013(2):22-26.

[24]周林兴.数字环境下档案馆服务绩效评估研究初探[J].档案与建设, 2012(4):14-17.

[25]陶卫萍.高校档案工作服务模式创新的评价及其方法[J].经营管理者, 2013(11):278-278.

[26]邓磊.基于层次分析法的高校档案利用服务评价体系建设[J].兰台世界, 2015(17):18-19.

[27]梁娜,姜建平.档案利用工作效益评价[J].陕西档案, 1999(5):17-19.

[28]董德民,赵立,严青云.基于公众感知的国家档案馆公共服务质量评价模型研究[J].浙江档案, 2013(12): 19-21.

[29]王小云,蓝少华.档案信息质量评价之指标权重分析及运用——基于层次分析法[J].档案学通讯, 2010(1):41-45.

[30]朱玉媛,牟凯旋.面向公众需求的档案服务绩效评估——基于绩效棱柱的评估模型构建与运行[J].档案管理, 2011(4):4-7.

猜你喜欢
指标体系指标评价
一类带临界指标的非自治Kirchhoff型方程非平凡解的存在性
中药治疗室性早搏系统评价再评价
最新引用指标
层次分析法在生态系统健康评价指标体系中的应用
供给侧改革指标体系初探
基于Moodle的学习评价
Double图的Kirchhoff指标
保加利亚转轨20年评价
多维度巧设听课评价表 促进听评课的务实有效
测土配方施肥指标体系建立中‘3414