国际航行船舶船员英语考试软件有效性研究

王涛 胡旭令

【摘要】国际航行船舶船员英语考试软件以无纸化考试的方式，在题库建设和软件设计分别满足海事主管机关的要求，经试点试用表明，该软件能够有效地简化考试程序、提高考试效率、提升考试的效度和信度，从而反映学员的真实水平。

【关键词】考试软件船员英语信度效度

【基金项目】山东交通学院科研基金项目（Z201245）。

【中图分类号】G64 【文献标识码】A 【文章编号】2095-3089（2014）03-0027-02

国际航行船舶船员专业英语（简称“船员英语”）考试始于2008年，目的在于测试申请注册国际航行船舶船员的人员的英语能力[1]。该考试借鉴高级船员专业英语评估模式，分为听力和口语两部分，最初分别采用传统的纸面考试和直接口语测试方式。为提高考试的信度和效度，课题组受主管机关委托，研发专门考试软件，经过试点试用，基本能够满足主管机关的考试要求。

一、船员英语考试软件的研发

1.软件及数据库的研发

经课题组成员通过对国内其他考试软件的借鉴，结合船员英语考试的特殊要求，开发了船员英语考试软件，并通过相应的权限设置，使得操作简单、界面简洁，大大简化了考试程序。船员英语考试软件考生端界面如图1所示。

图1 船员英语考试系统界面

（1）软硬件要求

考虑到目前省内各航海院校及培训机构无纸化考场的配置情况，以及考试的需要，课题组采用微软公司的Visual Basic 6.0进行考试系统的开发，并使用Access数据库。对于服务器，软件要求为Microsoft Windows 2000 Server，Microsoft Access 2000；硬件实际运行情况为Intel Pentium 4，2.4GH，内存为1G。对考生终端，软件要求为Windows XP，硬件实际运行情况为Intel Pentium 4，2.4GH，内存1G。

（2）系统安全性要求

对于安全性，主要体现在考试系统的设计上，考虑两方面内容：试题库的保密，即考生不能够通过网络访问到考题数据库；考试意外终端，重启后考试信息的保留问题。对于前者，主要采取对数据库设置密码，对考生终端进行设置，使考试界面最大化，无法退出等措施。对于后者，则采用数据即使传输方式，答题情况直接存于服务器，而不是存于终端。

（3）系统稳定性问题

课题组在对软件进行试运行时，发现在考生多于15人同时参加答卷时，容易出现系统自动退出运行。查看原因发现是在程序访问数据库时发生的，估计是数据库访问时，管理员端反应慢的问题。解决办法是，在程序中加入错误处理程序On Error Goto语句。加入了On Error Goto错误处理语句后，就再也没有发生程序终止运行的问题，考试过程非常顺利，软件方面，系统稳定性达到要求。同时，在硬件方面，涉及到计算机的运行的稳定性及电源的不间断供给，目前各院校和培训机构的无纸化机房均已满足不间断电源的要求。

2.试题库的建设

（1）题型设计

根据该项目考试大纲的要求、培训教学实践经验和市场调研结果，课题组对现有试题进行遴选、增加，重新建立符合大纲要求和航运发展需要的试题库，并由专业人士进行音频录音。在题型方面，按照国家海事局《国际航行船舶船员专业英语考试和发证办法》的要求，所有试题均经过主管机关审核合格。设计如表1所示的题型。

表1 船员英语考试题型设计

（2）数量比例

考虑考生基础以及题型设计等因素，试题数量方面，与考试题目数量比例基本为15:1，因采用随机抽取组合的方式，因此考试信度方面能够满足要求。并且，根据航运业和航海知识的发展，定期组织专业教师进行命题和审题，确保题目总数满足要求。

二、船员英语考试软件的试用情况

课题组完成考试软件之后，在主管机关的许可下，选择威海辖区两所航海院校作为试点。这两所院校均为国家海事局认可的船员培训机构，具有多年的船员培训和考试经验，设施设备相对完善，生源稳定。选取上述两所院校2013年度共18期培训班640人作为试用对象，所有考试均顺利完成。

其中前6期172人进行第一阶段软件试用，根据反馈的问题，课题组对软件和试题库进行调整。同时，选取上述两所院校2012年度培训的21期共783人，未采用考试软件的考试情况作为比较。

三、船员英语考试软件的有效性评价

1.船员英语考试软件的优点

（1）简化考试程序，考试效率明显提升

按40人/班的规模计算，未采用考试软件前，要完成一个班的考试及评分，大约需要1至1.5天时间，采用考试软件后，考试时间设定为40分钟，听力试题系统直接评分；口语试题答案，若2名考官同时评分，大约仅需要2至3小时。

（2）增加了考试信度

船员英语考试系统，听力成绩直接同步地显示在服务器和考生终端，公开性明显增加；口语阅卷采用完全打乱顺序、随机抽题评分的方式，考官与考生之间无直接接触；同时，数据库设计方面，成绩直接打印，无法修改。上述措施均保证了考试的公平公开，考试信度方面明显提高。

（3）考试效度获得提高

考试效度是指考试在多大程度上考查了希望考查的内容[2]，即考试是否达到了其预定目的，成绩能否反映出考生的实际语言水平。该系统根据程序中预先设置的知识点分布和难易程度，随机抽题组卷，提高了试卷本身的有效性。同时，人机对话，考生不与考官面对面交流，在一定程度上缓解其紧张情绪，从而能够更有效地发挥其语言水平。此外，答案存储于服务器，考官阅卷时可多次调取语料，能够更加有效地评分。因此，考试效度获得大幅度提高。

2.存在的主要问题及解决思路

经过试用，课题组成员发现该考试软件也存在一定的不足。在实践中，表现出来的最突出的问题是可维护性。软件在应用中不可避免地要进行许多的改进，如果仅在管理员端对软件做出了改进，只需要在管理员端的计算机对软件进行卸载和再次安装即可；而如果在考生端对软件进行了部分的改进，就要对考生端的每一台计算机进行软件的卸载和再安装，特别耗费人力及时间。所以，最好直接采用B/S结构。这样，对软件部分的任何代码修改，仅需要在服务器端对代码文件直接替换即可，节省了人力及时间。

四、结束语

实践证明，课题组开发的船员英语考试软件，能够满足国家海事局对“国际航行船舶船员专业英语”培训的各项要求。系统测试稳定后，一方面用于培训教学，另一方面用于该项目考试，考试方式和成绩受海事局认可，具有很强的应用性和使用率。针对运行过程中发现的各类问题，课题组成员将进一步展开研究，使其更加完善。

参考文献：

[1]中华人民共和国海事局. 国际航行船舶船员专业英语考试和发证办法, 2008.

[2]李筱菊. 语言测试科学与艺术[M].长沙:湖南教育出版社,1997.

作者简介：

王涛（1979– ），男，讲师，主要从事航海技术教学和航海教育研究。