信息安全素养测评系统的设计与实现

沈霞娟，高东怀，郭 佳，宁玉文

(1.第四军医大学 网络中心，陕西 西安 710032；2.西北大学 现代教育技术中心，陕西 西安 710069)

信息安全素养测评系统的设计与实现

沈霞娟1，高东怀1，郭 佳2，宁玉文1

(1.第四军医大学 网络中心，陕西 西安 710032；2.西北大学 现代教育技术中心，陕西 西安 710069)

为了有效增强人们的信息安全意识，实现信息安全素养的科学测量，文中设计并开发了一套在线信息安全素养测评系统。文中首先从测评目标、内容、方法和指标体系四个方面阐明了信息安全素养测评的标准体系，然后提出了信息安全素养测评系统的结构模型，详细论述了题库管理、智能组卷、在线测评、成绩管理、统计分析等核心功能模块，最后结合第四军医大学的实践提出了一套可行的系统实施方案和必要的安全防护措施。结果表明，该系统可以详细测量出个体信息安全意识、知识、技能与伦理四个维度的素养水平，能够满足信息安全专项教育和人才选拔的需求。

信息安全；素养；测评系统；评价标准

0 引 言

截止2014年12月，我国网民规模达6.49亿，信息网络正在重塑人们的学习、工作与生活方式。然而，面对复杂多变的网络环境，我国网民的信息安全意识普遍较为薄弱，缺乏警惕性，《第35次中国互联网络发展状况统计报告》指出2014年46.3%的网民遭遇过网络安全问题[1]。习主席强调“没有网络安全就没有国家安全，建设网络强国需要过硬的自主技术、丰富的信息服务、良好的基础设施和高素质的人才队伍”[2]。因此，科学评价并有效提升人们的信息安全素养，已经成为我国信息素养教育的一项紧迫任务。

发达国家非常重视信息安全素养的教育与测评。美国自2009年开始将每年10月定为国家网络安全意识月，并开展丰富多彩的信息安全宣传、教育与竞赛活动[3]。英国的Conscio科技公司与从事信息安全咨询的Hapsis公司合作开发了由30个在线问题组成的信息安全意识评估仪(Information Security Awareness Meter，ISAM),主要对信息安全敏感度、知识和行为进行测量分析，并针对测评主体生成详细的且具有精确诊断效果的报告书[4]。2012年马来西亚理工大学针对银行职员的信息安全素养展开研究[5]，并基于社会认知ABC(Affect-Behavior-Cognitive)评估模型[6]开发了相应的测评工具。我国目前针对信息安全素养的评价研究主要集中在指标体系[7]和测试量表[8]的编制上，缺乏高效实用的测评工具，难以实现信息安全素养的大规模、精细化测评。

因此，文中以教育测量理论为基础，借鉴国外信息安全意识测评工具的设计思路，提出了信息安全素养测评标准体系，设计了信息安全素养测评系统的功能模型，建立了测评结果的多维分析机制，并制定了一套可行的系统实施方案。

1 信息安全素养测评标准体系

1.1 信息安全素养的内涵

信息安全素养是指在信息化条件下，个体针对维护信息安全所表现出来的意识、知识、技能、道德伦理等方面的综合能力。其中：信息安全意识是指个体在信息活动中对信息安全重要性的认识水平，以及自觉获取信息安全资源和察觉信息安全问题的敏锐性[9]；信息安全知识是指个体所需要的信息安全基本概念、基本原理和基本方法；信息安全技能是指为个体对信息安全问题做出防范、处理的技术和能力；信息安全伦理是指个体在信息行为中普遍认同和共同遵守的行为准则和道德规范。

这四个核心要素中，意识是先导，知识是基础，技能是核心，伦理是规范，四者相辅相成，构成协调统一的整体[10]。

1.2 信息安全素养测评

信息安全素养测评属于人才素质测评范畴，是指测评主体采用科学的方法，收集被测评者在信息安全活动领域中的表征信息，针对信息安全素养测评目标体系做出价值判断的过程。

1.2.1 测评目标

信息安全素养测评是为了有效了解被试人员信息安全意识、知识、技能和伦理四个方面的真实水平，使其能够安全可靠地应用信息技术，减少网络失泄密事件的发生。测评结果既可以作为衡量信息安全教育成效的依据，也可为优化信息安全教育方案、选拔信息安全优秀人才提供支撑。

1.2.2 测评内容

美国心理学家麦克利兰在1973年提出了著名的素质冰山模型，根据人员个体素质的不同表现将其划分为表面的“冰山以上部分”和深藏的“冰山以下部分”[11]。在信息安全素养的测评中，信息安全知识和技能属于“冰山以上部分”，其特征容易观察与测量，且较易通过教育来改变和发展；信息安全意识和伦理属于“冰山以下部分”，是人内在的、难以测量的部分，不太容易通过外界的影响而得到改变，但却对人员的行为与表现起着关键性的作用。

1.2.3 测评方法

根据信息安全素养四类测评内容的不同表现特征，并考虑到计算机辅助测评实现的可能性，设计了精细化的分类测评方法。信息安全知识维度，采用选择与判断等通用客观题型进行测量，主要考察被试者信息安全基本概念、原理和方法的掌握程度；信息安全技能维度，参考国家职称计算机测评方式，为被测者提供模拟的计算机实验环境，被试者需要根据测评任务完成相应的安全操作；信息安全意识维度，采用心理学领域成熟的李克特五点量表[12]进行测量，主要考察被试者对其信息安全意识高低水平的自我感知情况；信息安全伦理维度，参照执业医师考试出题规范[13]，根据近年来发生的典型信息安全事件设计情境案例题，促进被试者认同并自觉遵守信息安全法规和网络道德。

1.2.4 测评指标

信息安全素养的科学测评需要依据客观有效的评价指标体系。笔者所在课题组采用过程-目标结构法和AHP层次分析法，通过咨询16位领域专家，设计了包括4个一级指标，8个二级指标和18个三级指标的信息安全素养评价指标体系，已另文发表[14]，较为完整地反映了信息安全素养的核心要素以及评价要求。

2 信息安全素养测评系统的功能设计

为了有效提高信息安全素养测评的信息化和自动化程度，解决纸质测评阅卷工作量大、统计分析难的问题，依据测评指标体系，在教育测量理论的指导下，构建了由自主练习、在线测评、题库管理、智能组卷、统计分析等13个功能模块组成的信息安全素养在线测评系统。该系统采用B/S架构，逻辑上可划分为前台服务、后台管理和系统设置三大业务功能区(见图1)。

图1 信息安全素养测评系统结构图

2.1 前台服务

2.1.1 注册与登录

系统提供自主注册与批量导入两种用户开通方式。为了确保用户信息的真实性和系统的安全性，用户自主注册时需要提供用户名、密码、真实姓名、身份证号等信息，批量导入时系统则提供规则Excel模板以满足集中开户的应用需求。注册成功后，系统支持用户名、手机号与身份证号三种登录认证方式。

2.1.2 自主练习

自主练习模块提供在线信息安全知识考学环境，被试者可以根据指标项、知识点、难度系数等查找相应的试题进行练习。每道试题有三次作答机会，若仍未答对，系统将提示正确答案和解析，并自动生成错题集以便被试者复习使用。

2.1.3 在线测评

在线测评是系统的核心功能模块，系统首先会呈现测评指导语，帮助其了解测评目的、方法和注意事项，然后进入测试环节(见图2)。系统支持一个页面一道题、一个页面一类试题、一个页面显示所有试题三种测评环境，并通过不同颜色对被试者未作答、已作答、已标记、已浏览的题目进行分类标识。被试者完成题目作答后进行在线交卷，系统检查是否存在漏题，若有会进行提示，反之交卷成功。信息安全四个维度的测评试题综合排序，根据指标体系的设置及权重分类计算后生成素养总成绩。

图2 在线测评

2.2 后台管理

2.2.1 题库管理

题库管理主要实现试题的增加、删除、修改、查询与(批量)导入/导出管理。系统依据信息安全素养评价指标体系建立多层级题库目录树。从题目类型上看，系统不仅支持选择、判断、简单、论述等常见题型，还支持李克特五点量表、技能操作等专用题型；从媒体表现形式上看，系统不仅支持文字题，还支持图片、音频、视频等多媒体试题。试题录入时，除了题干、选项、答案、分值等基本信息外，还需标注知识点、难度、区分度、教学要求等教育统计学属性值，为精细化统计分析提供依据。

2.2.2 智能组卷

为了有效实现被试者信息安全意识、知识、技能和伦理四个维度的综合测量，组卷过程中系统根据指标体系进行严格认证，只有当18个三级指标下均有对应题目时组卷方能成功，否则提示重组。该模块支持三种组卷策略：

(1)随机组卷，只需指定测评指标范围、题目类型、题目数量便可自动生成试卷，同一次测评中被试者的试题及选项均不相同；

(2)条件组卷，可在随机组卷的基础上进一步增加质量控制因素，如试题难度系数、使用次数等优化生成试卷质量(见图3)；

(3)手工组卷，允许教师自主选择测评题目，能够较好反映测评重点与关键指标项。

2.2.3 测评设置

测评设置模块提供了丰富的个性化功能，以满足大规模统一测评与各类自主测评的应用需求(见图4)。针对测评时间，系统不仅支持测评有效时间段、答题开始时间、参考次数、倒计时功能的设定，还可以细粒度设定迟到时间以对考生进行约束；针对测评防舞弊，可以开启测试监控设置，在测试过程中定时对考生进行拍照，确保测评的真实性与有效性；针对测评准备，系统支持预设测评指导语，以正确引导被试者客观作答，减少主观因素的干扰。

图3 智能组卷

图4 测评设置

2.2.4 成绩管理

信息安全素养测评结果能够为信息安全专项教育的科学开展提供参考，同时也可以作为信息安全专业人才选拔的依据。该测评系统遵循“分类测评，综合计分”的成绩生成原则，总分100分，及格线为60分。测评结果以评估报告的形式展示，包括被试者基本情况、测评时间、测评得分、评语与建议四部分(见图5)。其中，系统将根据被试者在信息安全意识、知识、技能、伦理四个维度的得分情况分别给出评语，并根据试卷错题自动提取对应知识点生成个性化学习建议，如您应进一步加强安全密码设置、智能手机安全防护、防窃听管理方面的知识学习，充分发挥测评对学习的诊断与导向作用。

图5 信息安全素养测评报告

2.2.5 统计分析

(1)试卷质量分析。

试卷质量分析主要实现试卷质量的评估。系统采用经典测量理论的相关计算公式，提供平均分、标准差、优良率、试卷信度、试卷难度等指标的自动化分析和分数统计。

其中，试卷信度是指测验结果的可靠程度，值在(0，1)之间，通用判断标准为小于0.7将无法使用。系统采用克朗巴赫算法，公式如下[15]:

(1)

试卷难度是指一份试卷的总体难易程度，系统采用的计算公式如下[16]：

(2)

其中：W是试卷满分值；pi与wi分别为第i道试题的难度和满分值；n是试题总数。

(2)试题质量分析。

试题质量分析既可以实现单一试题的被抽次数、难度、区分度和正确率的分析，也可以对全部试题的题型分布、认知层次分布、使用次数分布进行分析，以便掌握试题的整体质量与使用情况，为进一步优化试题提供依据。

(3)信息安全素养群体分析。

信息安全素养群体分析可根据单位、年级、专业、性别等条件进行特定群体的筛选(如第四军医大学2014级临床医学专业学生)，并指定一个测评试卷进行分析，从而实现特定人群的总体平均分、方差、优秀率、及格率、试题正确率的统计分析。

(4)信息安全素养发展分析。

信息安全素养发展分析首先根据约束条件进行群体筛选，然后指定培养周期，系统自动给出多次测评结果，生成素养发展曲线，为管理人员跟踪观察信息安全教育培养过程中学员的素养水平变化提供客观依据。

(5)被试者分析。

为了进一步研究信息安全素养水平与被试者自身因素之间的关系，系统根据测评得分设定不及格、及格、良好、优秀4等级，可根据性别、年龄、专业、学历等筛选条件查看被试者的详细分布情况，以便进行针对性的指导和教育。

2.3 系统设置

系统设置主要实现以下五种功能：

(1)用户管理。系统支持用户信息的新建、查询、修改、删除、分组与统计。

(2)权限管理。系统默认设置管理员、教师、学生、被试者四类角色，不同的角色分配不同的功能权限和数据权限。

(3)公告管理。教师和管理员可以发布测评公告、学习资源和测评报告等信息，支持公开发布与私人信件两种信息发布方式。

(4)初始设置。主要完成题型定义、考生IP范围设定、固定选项初始化等任务。

(5)日志管理。提供可视化系统日志查询与展示，以便管理员快速定位异常问题，提高运维效率。

3 信息安全素养测评系统的实现

为了有效实现信息安全素养测评系统的设计思想，第四军医大学与北京众恒志信科技开发有限公司合作完成了系统开发和部署。

3.1 系统部署方案

信息安全素养测评系统采用J2EE环境开发，部署方式为Apache+Tomcat+MySQL。为了解决大规模并发情况下单机的性能瓶颈问题，系统部署时采用了应用服务器集群模式实现负载均衡(见图6)。系统支持本机集群和多机集群，可以将一台机子上部署的多个系统分组组成本机集群，也可以将多个服务器上的系统组成多机集群，当其中一台节点应用服务器出现故障时，后续连接自动转移到正常服务器。

图6 信息安全素养测评系统部署方案

3.2 系统安全防护

3.2.1 系统安全

信息安全素养测评系统本身的安全性和健壮性，是承担大规模在线测评的必备因素。系统从以下五个方面实现安全防护：

(1)对系统管理员采取密码+加密狗的认证方式，确保证书不可复制，保证系统管理员最高权限的唯一性，并且通过IP限制将管理员登录地点限制于可控范围内。

(2)通过系统日志记录操作明细，实现对操作过程的实时跟踪。

(3)用户管理上采用身份验证与权限划分，严格限定各类用户的权限范围。

(4)当操作进程发生异常时，数据自动回滚，增强系统的健壮性。

(5)采取双服务器模式进行容灾备份，并对数据库进行定期备份。

3.2.2 考试安全

系统从以下三个方面保障考试安全：

(1)测试界面打开时，系统采用Ajax队列请求、sprites分批加载技术，将整张试卷分割成若干部分，每个用户按照不同的随机事件参数定时加载，保证考生迅速打开试卷。

(2)试卷提交时，采用定时与分布式提交机制，将考试的实时作答信息提交至服务器。

(3)提供导出考生答卷功能，将考试作答信息进行纸质存档。

4 结束语

安全高效的应用信息技术是信息时代对人才综合素质的必然要求，也是我国网络强国战略的重要内容。国内信息安全教育的实践刚刚起步，尚未形成系统完善的评价体系。文中以教育测量理论为指导，从自动化测评的角度入手，尝试开展了信息安全素养测评系统的功能设计和分析机制探讨，并结合第四军医大学的实践，给出了系统的实施与部署方案，为实现信息安全素养的科学测量提供新的思路和工具。

[1] 中国互联网络信息中心.第35次中国互联网络发展状况统计报告[R].北京:中国互联网络信息中心,2015:21-22.

[2] 习近平.没有网络安全就没有国家安全[EB/OL].[2015-06-25].http://www.gov.cn/ldhd/2014-02/27/content_2625036.htm.

[3] National cyber security awareness month champion[EB/OL].[2015-09-29].https://www.staysafeonline.org/ncsam/champions.

[4] Information security awareness meter[EB/OL].[2015-09-18].http://www.conscio-technologies.com/ index.php?option=com_content&view=article&id=134&Itemid=185&lang=en.

[5] Qasem B G H.Information security awareness level framework to assess bank employees:Maybank Taman University case study[D].Singapore:University of Technology Malaysia,2012.

[6] ABC assessment model[EB/OL].[2015-10-20].http://study.com/academy/lesson/the-abc-model-of-attitudes-affect-behavior-cognition.html.

[7] 罗 力.国民信息安全素养评价指标体系构建研究[J].重庆大学学报:社会科学版,2012,18(3):81-86.

[8] 高东怀,蔡 华,董李鹏,等.学生网络信息安全素养评价量表设计[J].中国医学教育技术,2013,27(2):173-177.

[9] 董李鹏.本科学员信息安全保密素养测评研究[D].西安:西北大学,2013.

[10] 沈霞娟，高东怀，许 浩，等.大学生信息安全素质教育探索[J].信息安全与通信保密,2014(3):54-55.

[11] 江胜名,潘植华,张 翔.素质冰山模型对中小企业人力资源管理的启示[J].长春大学学报，2012,22(11):1317-1319.

[12] 刘国庆,赵守盈.Rasch模型在李克特量表中的应用[J].贵州师范大学学报：自然科学版,2012,30(1):13-16.

[13] 穆攀伟，肖海鹏，王淑珍，等.与国家执业医师考试接轨的毕业考试实施与体会[J].中国高等医学教育,2013(8):73-74.

[14] 蔡 华,高东怀,董李鹏.基于AHP的学员信息安全素养评价研究[J].信息技术,2013(1):188-192.

[15] 刘新平.教育统计与测评导论[M].北京:科学出版社,2008:192-206.

Design and Implementation of Information Security Literacy Evaluation System

SHEN Xia-juan1,GAO Dong-huai1,GUO Jia2,NING Yu-wen1

(1.Network Center,Fourth Military Medical University,Xi’an 710032,China； 2.Contemporary Educational Technology Center，Northwest University，Xi’an 710069，China)

In order to enhance people’s information security awareness and effectively measure people’s Information Security Literacy (ILS)，an online ILS evaluation system is designed and developed.Firstly,an ILS evaluation standard system including evaluation target,content,method and index is elaborated.Then,an construction model for ILS evaluation system is proposed.The main functions of the system，such as test database management,intelligent evaluation paper building,online evaluation,score management,statistics & analysis,are described in detail.Lastly,the implementation plan and necessary safety measures are carried out by taking the Fourth Military Medical University as an example.The results show that the system can measure the literacy level of information security awareness,knowledge,skills and ethics.The system can meet the needs of information security special education and talents selection.

information security;literacy;evaluation system;evaluation standard

2015-07-22

2015-10-26

时间：2016-03-22

中国高等教育学会信息化科研项目(2014XXH1201YB)：陕西省教育信息化科研项目(13JX03)

沈霞娟(1982-)，女，讲师，硕士，研究方向为信息技术与安全管理；高东怀，教授，硕士，研究方向为教育信息化建设。

http://www.cnki.net/kcms/detail/61.1450.TP.20160322.1522.096.html

TP319

A

1673-629X(2016)04-0090-06

10.3969/j.issn.1673-629X.2016.04.020