国内外开放数据评价研究综述*

盛小平 焦凤枝

(上海大学图书情报档案系 上海 200444)

随着开放数据运动的进一步发展，开放数据评价成为人们关注的焦点之一。国外产生了“开放政府数据指数”“开放数据准备度”“全球开放数据晴雨表”等评价工具，国内开发了“中国开放数林指数”评价方法。同时，有关开放数据评价的理论研究也逐渐走向深入，产生了一系列相关研究成果。尽管国内已发表开放政府数据质量[1]等研究述评，但未见相关综述全面反映国内外开放数据评价研究成果。2021年5月1-2日，笔者选择CNKI期刊文献中的“来源类别”为“核心期刊”和“CSSCI”，以“开放”“数据”“评价”或“评估”作为并列“篇名”检索词，查询并去除重复文献3篇、CSSCI来源扩展版文献5篇、不相关文献9篇后，得到50条相关记录；以同样的篇名检索词查询CNKI硕博论文库，并去除不相关文献后得到30条相关记录；同时，笔者以“open data”与“evaluation”或“measurement”或“assessment”为并列“title”检索词，查询国外主要全文数据库(含EBSCO、Proquest、Elsevier、Springer、Taylor & Francis、Emerald、SAGE Premier、Wiley-Blackwell、Web of science)，去除不相关文献后得到59条相关记录；此外，分别以“开放数据”“open data”作为“正题名”检索词，检索国家图书馆“中文文献库”和“外文文献库”，得到与开放数据评价相关的3本图书，因此，本文共得到142篇相关文献。由于开放数据包括开放政府数据、开放科学数据(或研究数据、科研数据)、开放机构数据、开放个人数据等，且现有研究成果主要集中于开放政府数据和开放科学数据，故本文将两者评价合在一起来综述开放数据评价研究成果。基于所收集文献的文本分析与人工统计，发现开放数据评价涉及的分主题较多，出现频次相对较高的分主题是：数据质量评价(35次)、平台评价(25次)、政策评价(20次)、评价模型(18次)、价值评价(16次)、隐私风险评价(12次)、评价工具(10次)，而其他分主题，如开放数据的技术评价、服务评价、用户参与评价，开放数据生态系统评价、开放数据计划评价、开放数据源评价、开放数据安全评价等，出现频次都在5次以下。为反映国内外开放数据评价的主要研究内容，本文选取出现频次较高(10次以上)的7个分主题，覆盖开放数据评价要素、模型、工具三部分(见图1)。

图1 开放数据评价研究核心内容框架

1 对开放数据政策评价的研究

目前该主题研究主要集中于开放政府数据政策评价与科学数据开放共享政策评价两方面。这些研究可划分为整体性评价和阶段性评价两类。开放数据政策整体性评价是指对开放政府数据或科学数据政策全过程、全要素的评价。国内涌现了2种评价方法：a.基于开放政府数据政策的准备度、执行度、影响力三维度的评价。其中，准备度评价是指对准备实施开放政府数据的各项政策措施包括数据管理、平台建设、组织机构、公众利用能力等方面的评价；执行度评价是对开放政府数据政策具体执行情况的评价，如开放政府数据的数量和质量的评价；影响力评价是指开放政府数据政策给政府和社会带来的效益如社会发展、政治影响的评价[2]；b.基于科学数据开放共享政策评价指标体系的评价，该评价指标体系由4个一级指标(含数据收集、数据存储、数据管理、数据利用)、7个二级指标(含数据提交、数据保存、数据备份、数据审查、数据增删、数据开放共享、权益划分)、25个三级指标(含数据提交的强制性、数据提交格式等)组成[3]。国外涌现了其他评价方法,如基于开放政府数据的政策背景、政策内容、文化三维度的评价。其中，政策背景评价包括对组织层次、政策目标和动机、平台发布的数据、资源配置和经济环境、社会和政治背景、开放数据驱动力与阻抗力等方面的评价；政策内容评价包括对平台发布数据的技术、数据本身和开放数据进程的评价；文化评价包括个人主义文化和集体主义文化的评价[4]。

开放数据政策阶段性评价是指对开放数据政策生命周期中的某一阶段进行评价，涉及前期政策方案评价和政策实施效果评价。目前，国内出现了利用4个一级指标(含目标标准、内容标准、公共价值标准、可行标准)和22个二级指标(含目的性、必要性等)来对开放政府数据前期政策方案进行评价的方法[5]。国外涌现了评价开放数据政策实施效果的方法。如采用数据可用性、共享数据可访问性、数据完整性和数据可理解性四个指标进行评价[6]。

总之，目前人们对开放数据政策评价在评价维度、层次与指标上有明显差异，未形成一种权威的观点。事实上，开放数据政策评价还不能忽视开放数据政策内容、要素、效益与效率的评价。

2 对开放数据平台评价的研究

该主题研究主要涉及平台整体绩效评价以及单项的平台效率、平台可用性和平台服务质量评价。

2.1 对开放数据平台整体绩效评价的研究

开放数据平台整体绩效评价出现了两类评价方法，即二级评价方法和三级评价方法。二级评价方法有5种方法(见表1)。从整体上看，5种二级评价方法在一级评价指标和二级评价指标上各不相同，但一级评价指标多数强调了平台功能与数据质量两方面；从微观评价指标上看，“数据格式”是最常用的评价指标，其次是“数据量”“数据集种类”“完整性”“元数据完整性”“可获取性”“机器可读”“公众参与”“许可”“准确性”等指标。三级评价方法有4种方法(见表2)。它与二级评价方法的主要区别是多数三级评价方法增加了作为一级指标的描述性指标，如基础层、数据层、平台层、应用层等。从整体上看，4种三级评价方法差异很大，但在一级和二级指标上同样强调了平台功能与数据质量两方面。从微观评价指标来看，二级评价指标“互动交流”“导航服务”和三级评价指标“数据集下载量”“数据接口”“数据更新”“检索功能”“分类”出现次数相对较多，其他评价指标往往不同。

表1 二级开放数据平台绩效评价方法

表2 三级开放数据平台绩效评价方法

对于开放数据平台整体绩效评价，国外以二级评价方法为主，国内兼具二级和三级两类评价方法。文献[16]仅提出了三级评价指标体系，并未论证其有效性。

2.2 对开放数据平台效率评价的研究

开放数据平台效率评价主要包括如下3种不同方法：a.以数据量、数据内容、连通率、下载速度、网站总页面数、网站的不重复链接数作为输入指标，和以下载量、访问量、网站外链接量作为输出指标的评价方法[17]；b.以Web对象的数量、连通率、总页面数、不重复链接数、下载时间、网站内容作为输入指标，和以下载量作为唯一输出指标的评价方法[18]；c.以数据集总量、数据领域覆盖度、数据可机读格式占比、承诺高频更新数据集占比、元数据完整性作为输入指标，和以数据集平均访问量、数据集平均下载量作为输出指标的评价方法[19]。当前研究成果中衡量开放数据平台效率的输入和输出指标比较少，可增加用户体验类输入指标和经济效益与社会效益类输出指标。

2.3 对开放数据平台可用性评价的研究

目前有2种开放数据平台可用性评价方法：a.基于系统状态的可见性、系统与现实的匹配性、用户控制与自由等21条可用性原则的评价方法[20]。b.基于开放数据集规范、开放数据集反馈、开放数据集请求三维度的评价方法，其中，开放数据集规范维度包括数据集描述、数据集发布者等7个评价指标，开放数据集反馈维度包括文档和导览、论坛和联系方式等4个评价指标，开放数据集请求维度包括申请书、请求列表、参与过程3个评价指标[21]。在上述评价方法中，国内提出的第一种评价方法强调平台自身功能，将可用性与易用性联系起来的评价方法；国外提出的第二种评价方法是结合平台功能与用户使用效果来进行综合评估的。相对而言，第二种平台可用性评价方法更加合理。

2.4 对开放数据平台服务质量评价的研究

开放数据平台服务质量评价有2种评价方法：a.基于有形性、易用性、可靠性、响应性、移情性5维度的评价方法，其中有形性维度包含可视化、导引性2个指标；易用性维度包含时效性、全面性、规范性3个指标；可靠性维度包含稳定性、安全性2个指标；响应性维度包含快捷性、反馈性2个指标；移情性维度包含交互性、吸引性2个指标[22]。b.基于网站可达性、数据易用性、网页可用性、服务舒适性、用户满意、用户信任6维度的评价方法。其中，网站可达性维度包括网页查找、网站链接有效、网页响应3个指标；数据易用性维度包括数据及时性、数据全面性、数据客观性3个指标；网页可用性维度包括网站导航、检索功能、页面设计效果3个指标；服务舒适性维度包括在线服务、数据下载、用户注册3个指标；用户满意维度包括总体满意度、达到理想满意度、达到预期满意度3个指标；用户信任维度包括对网站内容信任、对网站期望信任、会经常光顾网站3个指标[23]。

以上两种方法分别以SERVQUAL模型和结构方程模型为基础评价了服务质量，前者从服务提供者和使用者的视角出发，而后者仅从使用者的视角，视角的不同致使选取的评价指标呈现差异。易用性、可达性、可靠性及响应性是影响开放数据平台服务质量的关键因素，应都纳入其中。

3 对开放数据质量评价的研究

此主题研究包含开放数据集质量评价与开放数据元数据质量评价两方面。

3.1 对开放数据集质量评价的研究

数据集质量评价主要有两类评价方式：一是直接使用属性指标如准确性、完整性、一致性[24]，可用性、及时性、可理解性[25]，原始性、更新频率、机器可读、全面性[26]，可审核性、可信任性、可见性、覆盖面、互连性[27]等进行评价。二是建立不同的分级评价指标体系进行评价，包括基于重复性、准确性、完整性的三维二级评价方法[28]，和基于数据精度、数据服务、数据时效、数据易用的四维二级评价方法[29]，以及基于可追溯性、及时性、有效性、完整性、一致性、准确性、可理解性的七维二级评价方法[30]。虽然七维评价方法比四维、三维评价方法更加全面，但是由于数据质量属性有多种多样，包括可访问性、准确性、现实性、可用性、可信性、明确性、完整性、综合性、一致性、正确性、及时性、易用性、灵活性、互用性、可解释性、易学性、精确性、不重复、客观性、冗余度、关联性、安全性、时事性、可追踪性、效用性、有效性、价值性等[31]，因此，目前开放数据集质量评价方法仍不全面，不能系统地评估开放数据集质量。

3.2 对开放数据元数据质量评价的研究

开放数据的元数据质量评价也有两类评价方法：一是直接使用完整性、及时性、原始性等6个指标进行评价[32]。二是通过建立二级评价指标体系进行评价(见表3)。在整体上看，3种评价方法都注重对元数据形式质量、内容质量、效用质量进行评价，但评价指标差异较大。从微观评价指标来看，“存在性”“开放性”是3种方法共用的指标，“可获取性”“可发现性”“许可”“文件格式”“开放格式”出现在两种评价方法中，其他评价指标各不相同。这种分歧意味着今后需要加强开放数据元数据质量评价标准建设。

表3 开放数据元数据质量评价方法

4 对开放数据价值评价的研究

该主题集中于价值评价框架与实施利益两方面。目前涌现了2种价值评价框架：a.基于用户目标实现、提供者目标实现2维评价框架。其中，用户目标实现维度评价指标包括数据提供能力、数据搜索及下载能力、用户反馈能力、数据易用性；提供者目标实现维度评价指标包括数据展示能力、数据处理能力、数据上传能力、数据提供者反馈能力[36]。b.基于平台内容、用户参与、开发利用3维评价框架。其中，平台内容维度评价指标包括类目完备性、更新及时性、可读性、可访问性；用户参与维度评价指标包括热度、用户评价；开发利用维度评价指标包括开放应用情况、活动举办情况[37]。

实践调查结果显示，开放政府数据计划实施利益通常是运营利益和技术利益，其次是经济利益，最后是政治与社会利益。这些利益主要包括增加了透明度、重用数据能力，增加公众授权，改进政策制定流程和改善行政管理流程[38]；改进内部流程和自动化的数据服务，提高员工积极性，提高客户友好度和关注度，改善政府形象，提高公民的参与，促进经济增长，提高经济效率[39]。在开放数据价值评价中，国外更倾向于实证研究，国内侧重于理论分析。

5 对开放数据隐私风险评价的研究

国内学者认为，开放数据隐私风险评价需要数据开放者根据自身隐私保护需求，使用标记语言对其提供的原始数据字段等信息进行隐私等级标记，数据使用者通过使用需求语言声明其使用需求，最终通过矩阵计算确定隐私泄露风险等级[40]；国外学者提出了开放数据隐私风险评价模型，该模型由开放数据隐私属性、决策引擎、使用限制、隐私风险缓解措施、隐私风险指示器5部分组成[41]。不过，开放数据风险不仅仅是隐私风险，还包括数据系统性风险、经济风险、政府治理体系风险、国家安全风险等。

在开放数据隐私风险评价方面，英国、法国、新西兰等采取了一些有效措施，如在《隐私法》、《数据保护法》等相关政策法律中明确个人隐私评判标准；运行包括隐私风险评价的隐私影响评估(PIA)工具，实施隐私影响评估；制定包括个人隐私数据如何收集、使用及保管的隐私评估准则[42-44]，这些措施值得我国借鉴。

6 对开放数据评价模型的研究

该主题集中于开放政府数据评价模型研究，可分为一般评价模型和专门评价模型两类。一般评价模型是对开放数据总体情况的评价，涌现了三种评价方法：a.三维三级评价模型，即从数据开放水平、平台完善程度、社会创新三个维度建立三级指标体系来对开放政府数据进行评价[45]；b.四维三级评价模型，即从基础保障层、开放质量层、用户参与层、价值释放层四个维度建立三级指标体系来对开放政府数据进行评价[46]；c.九维二级评价模型，即从政策规划、法律法规、组织领导、个人能力、组织架构、技术基础、开放政府原则、创新、参与九个维度建立二级指标体系来对开放政府数据进行评价[47]。上述三种模型中，三维三级评价模型和四维三级评价模型侧重于开放数据水平与价值的评价；九维二级评价模型侧重于开放政府数据要素的评价。

专门评价模型包括：a.开放数据成熟度模型，往往依据设定的开放数据等级来考察相关开放数据活动的执行情况[48-49]。b.政府数据开放效率评价模型，从数据、技术、资金、利用率、透明度5个维度，利用政府透明度、数据集平均下载量、数据层指数、平台层指数、人均财政支出5个指标进行评价[50]。c.政府开放数据利用效率评价模型，利用数据利用比例、数据应用主题的覆盖程度、数据影响力3个指标来进行评价[51]。在专门评价模型中，国外侧重于构建开放数据成熟度模型，国内侧重于政府数据开放效率评价模型和政府开放数据利用效率评价模型。

7 对开放数据评价工具的研究

该主题中的评价工具是指国内外有代表性的系统完整地评价开放数据并经过实际应用的开放数据评估体系。目前国外已经开发了多种开放数据评价工具，主要包括开放数据准备度、开放数据晴雨表、全球开放数据指数、欧洲公共部门信息记分牌[52]、开放数据清单、“经合组织的开放、有用和可重用的数据指数”(OECD OURdata Index)[53]、开放政府数据指数、欧洲开放数据成熟度评价工具、欧洲开放数据监控仪[54-55]等。上述评价工具在评价目的、评价主体、评价对象、评价方法、数据获取方法等方面各具特色。开放数据晴雨表和开放政府数据指数综合性较高，前者采用了最全面的视角，包括准备、实施和影响；后者专门测量数据集的可用性和开放性，是所有工具中最面向供应方的[52]；仅欧洲开放数据监控仪是通过网络自动采集数据，实现动态评价[54]。不过，评估工具的设计并没有考虑到开放数据水平与发展是会受到国家经济与社会等水平的影响[53]。我国开发的“中国开放数林指数”虽然出现在《中国地方政府数据开放报告》中，但鲜见学术文献研究该评价工具。

8 结 语

综上所述，国内外对于开放数据评价进行了广泛探索，涌现了许多研究成果。这些成果既探讨了一般的和专门的开放数据评价模型以及实用的国外开放数据评价工具，也解析了开放数据政策评价、平台评价、数据质量评价、价值评价、隐私风险评价等具体问题，取得了显著进展。然而，现有研究仍存在如下不足之处：第一，开放数据评价理论有待进一步充实与完善，体现在：a.人们常常将对政府数据开放和政府开放数据、开放政府数据与开放科学数据混淆不清，实际上这些概念彼此不同。b.理论研究出现失衡现象，具体表现为：对开放数据平台层、数据层评价研究居多，而对价值评价研究相对较少，对一个机构开放数据的整体评价研究更少；对政府数据开放评价研究居多，而对科学数据开放评价研究甚少；对国外开放数据评价模型或工具介绍居多，而对国内原创性开放数据评价工具以及对现有工具的二次开发研究甚少。第二，从开放数据评价实践来看，尽管国外实施了许多开放数据评价项目，但多数从国家层面进行，缺少对城市或机构的开放数据评价实践；国内很少像国外一样开展政府开放数据的隐私风险评估与防控。因此，从开放数据评价内容看，未来需加强对价值评价等研究；从开放数据类别上来讲，需加强对开放科学数据、公共数据评价的相关研究。随着国内开放数据的快速发展，我国应该借鉴国外的评价工具与方法，建立一套科学的开放数据评价标准，以评估与优化国内开放数据实践。