基于内容分析法的在线英语学习词典用户评价模型构建

陈贤德 杨玉玲

(北京语言大学 教师教育学院,北京 100083)

0 引言

词典是语言学习的重要资源,在众多词典类型中,在线双语词典,已成为中国英语学习者的主要选择(Dilin et al.,2021)。但高使用率并不意味着高质量,黄锦鸿(2021)便指出五大在线英语学习词典存在收词差异性较大、系统性不足、及时性不够等缺陷。为指引用户购买和使用词典,引导编者提升词典编纂质量,词典评价研究就显得尤为重要。无论是词典交际观还是认知观,用户需要都应居于重要的地位,表现出学习者倾向(胡文飞,2015),词典评价中更应如此。但目前词典评价大都局限于介绍和描述,评价性特征略显不足,基于用户视角的评论也相对缺乏(王娇 等,2016)。由于网络空间具有虚拟性、宽松性、平等性等特点,用户能够比较真实地将其对产品的满意之处及失望之处表达出来,可成为研究用户偏好的重要资料。基于此,本研究拟通过App store 搜集五部在线英语学习词典用户评论,借助内容分析法,挖掘出用户的潜在需求和使用偏好,并在此基础上构建出用户视角下的在线英语学习词典评价模型。

1 相关研究

词典评价体系包含词典评价理论与实践两个主要组成部分。目前,词典评价理论研究多集中于对评价标准和原则的讨论(罗思明 等,2006)。在总体评价标准上,陈楚祥(1994)较早地提出了“收词是否全面”“立目是否合理”“义项是否分明”等十条标准。邹酆(2004)则从编纂角度、使用角度、总体角度和类别角度探讨了辞书的评价标准。有关双语词典的评价标准,姜治文等(1998)提出了三方面构想:从词典编纂过程的角度对词典进行描写性评论;从编纂质量、校对质量、设计质量等角度对双语词典进行具体评论;从历时分析、共时比较角度对词典进行定性评论。章宜华等(2000)则基于双语词典评奖委员们的评奖经验,从“出版质量”“编纂质量”两方面对双语词典的质量进行考察。魏向清(2001)从人类评价实践的“合目的性”与“合规律性”的两大哲学基本原则出发,对双语词典批评的复合理据进行重点分析,提出了“编纂目的明确,有自主性”“编纂理据充分,有针对性”“编纂质量优良,有学术性”等用于评价双语词典内容质量的六大标准。

虽然国内关于词典标准的讨论较多,但真正将标准用于评价实践的研究却鲜少。国外出现了部分有借鉴意义的评价实践研究。伊妮德·皮尔森(Enid Pearsons) 和 温德琳·尼科尔斯(Wendalyn Nichols) (2013)提出包含“界面友好度”“内容质量”“信息来源广度”等八个评价维度的单语英语词典评价框架,山田茂(Shigeru Yamada) (2013) 则使用该框架评价了 Merriam-Webster、Macmillan 和 Oxford 等在线英语词典。罗伯特·卢(Robert Lew)和阿格涅什卡·沙罗夫斯卡(Agnieszka Szarowska)(2017)在前人研究的基础上,制定了包含“词汇覆盖面”“词条处理”“词汇信息访问”“词汇信息的呈现”等评价维度的在线双语词典评价框架,并以该框架评价了MEGAslownik、Diki、bab.la 等六部英语-波兰语双语词典。刘迪麟(Dilin Liu)等(2021)则借用该评价框架评价了Youdao、Ciba (Power Word)、Bing 等六部汉英在线双语词典并证明该框架具有较强的可操作性。

虽然已有部分研究对词典评价体系的建立进行过探讨,但这些研究更多的是词典学家、语言学家和出版商之间的对话,极大地忽略了用户在评价过程中的作用。因此,纳入用户的评价标准对完善以往的词典评价体系或框架具有重要意义。为弥补前期研究之不足,本文拟基于内容分析法构建起用户视角下的在线英语学习词典的评价框架。

2 研究设计

2.1 研究问题

本研究拟解决以下三个问题:(1)如何对在线英语学习词典用户评论数据进行挖掘,从而发现用户对词典的使用偏好? (2)如何根据用户使用偏好构建在线英语学习词典评价模型? (3)所构建的评价模型是否具有良好的信效度?

2.2 研究过程

内容分析法是一种基于信息特征研究的系统、客观的定量研究方法,其实质是对传播内容中所包含的信息先进行定量的编码分析,然后根据编码结果得出更深层次的定性分析(Neuendork,2016)。本文的研究过程为:收集五部在线英语学习词典用户的积极评论和消极评论,利用ROST CM6 软件分别对积极评价文本和消极评价文本进行句子拆解和词频计算,再利用社会语义网络分析发现高频词之间的语义连接。结合高频词表和社会语义网络分析图提取出分析单元。对分析单元进行编码设计,划分出一级编码和二级编码。编码完成后,将分析单元进行归类,利用Holsti 信度值对归类结果进行信度计算,以保证其有效性。结合词典用户需求研究,构建起用户评价模型,最后对模型的可信度进行验证,如图1所示。

图1 研究过程与思路

2.3 用户评价文本收集

在APP Store 中搜索“词典”,选择五部近一年下载量较大、评价数量较多的在线英语词典作为研究对象,分别为:有道词典、金山词霸、欧路英语词典、牛津高阶英汉双解词典和朗文当代高级词典,词典信息如表1 所示。根据APP Store 评价类型中“最高评价”和“最低评价”筛选出积极评价和消极评价,在筛选过程剔除“恶意评判”“凑字数”“无效重复”等无效评价,五部词典分别筛选出积极评价和消极评价各100 条,积极评价总计500 条,消极评价500 条,样本共计1 000 条。

表1 词典信息及评价文本数量

2.4 词频分析

将500 条积极评价和500 条消极评价储存为txt.文本格式,然后将文本导入ROST CM6 软件中进行分析。先利用ROST CM6 对评价文本进行分词,分词完成后,再对其进行词频统计。为凸显用户需求,在词频表中剔除了“词典”“有道”“牛津”“欧路”等高频词。表2 为消极评价和积极评价中排名前30 的高频词。

表2 积极评价文本和消极评价文本高频词表

据表2 可初步推知,用户的积极评价更为关注词典的微观结构信息如“翻译”“例句”“释义”“发音”等,而消极评价除关注微观结构信息外,还较关注系统的稳定性如“闪退”“消失”,功能的有无如“没有”“离线”。

2.5 社会语义网络分析

词频分析能通过提取的词典评价文本中的高频词反映研究对象的主要特征,但无法反映词组在特定意义上的联系以及文本深层次的结构关系,而社会语义网络分析则能通过构建概念和语义关系的网络图来直观展现要素之间的关系,有助于了解用户的具体使用偏好,如图2 中“英英”指向“释义”,表明“英英释义”作为共现词,在总文本中出现频率较高。社会语义网络分析的过程为,首先分别对总的积极评价文本和消极评价文本进行分词处理,提取高频词并过滤掉无意义词汇后,对文本进行特征分析,并形成VNA 文件,启动NETDRAW,绘制完成社会语义网络图。积极评价社会语义网络如图2,消极评价的语义网络如图3。

图2 积极评价社会语义网络图

图3 消极评价社会语义网络图

积极评价的社会语义网络图中“英语”“例句”“单词”“功能”的节点连接量最大,成为主节点。相较之下,消极评价社会语义网络图更多地展现出用户的情绪,如有大量的“不能”“不准”“错误”等消极评价词。其中“翻译”“没有”“单词”“功能”的节点连接量最大,成为主节点。

2.6 分析单元提取

根据高频词表、社会语义网络图确定100 个分析单元,其中积极评价分析单元共55个,消极评价分析单元共45 个,如表3 所示。

表3 分析单元

2.7 编码设计

确定完分析单元之后需对单元进行编码。编码方案通常有三个来源,分别是数据、已有的相关研究、已有的理论。本研究的目的是基于用户的评价,总结其使用需求,知晓其使用偏好,从而构建出在线词典用户的评价模型,所以一级编码为:使用需求,二级编码为:使用偏好。根据分析单元、词典学理论并结合相关编码研究(韦艳丽 等,2022;程罡 等,2011),将用户需求划分为七个部分:内容需求、界面需求、资源需求、系统需求、经济需求、服务需求和功能需求。

内容需求指用户期望词典能提供准确、详尽、权威的结构信息。界面需求指用户期望在进行查阅时词典界面能带来良好的审美体验。资源需求指词典内置的学习资源能够满足用户不同阶段英语学习的需求或满足用户提升不同言语技能的需求。系统需求指用户对系统稳定性的需求。经济需求则指用户期望在使用词典时能够花费较少的流量、电量,同时期望词典没有额外的付费功能。服务需求指用户期望客服具有友好、及时的服务态度。功能需求指用户期望词典能够具有多样的功能,这些功能是指在词典结构信息之外的额外功能,如是否具有横屏模式、夜间模式、离线模式等。使用需求下可划分出不同的使用偏好,如表4 所示。

表4 单元归类

2.8 单元归类与分析

编码划分完成后,需将100 个分析单元归类。归类必须完全、彻底,能适用于所有分析材料,使所有分析单位都可归入相应的类别,不能出现无处可归的现象,且每一分析单位只能归入一个类别。由于部分分析单元表意较为模糊,还需结合原始评价文本了解具体含义。如“11 解释详细”“46 释义全面”,其典型评价为“解释很详细,很多意思都有”“释义比较全面,可以知道单词的很多意思”,可知用户所要表达的应是义项丰富,具体分类如表4 所示。分类统计结果显示,在线词典用户关注的使用需求顺序依次为内容需求(58%)、资源需求(18%)、功能需求(6%)、界面需求(6%)、系统需求(5%)、经济需求(4%)、服务需求(3%)。

2.9 信度检验

内容分析中的信度可以定义为不同编码员对内容归类的一致性(Daniel et al.,2010:124)。为检验分类的信度,选择了A、B、C 三位硕士研究生作为编码人员,三位编码人员皆有词典编纂和研究经历。对编码人员进行编码培训后,三位编码员独立完成归类任务。归类完成后,采用Holsti 信度值计算内容分析中编码员归类的一致性,其中:

M 为两位编码人员编码一致数量,N1 和N2 分别为编码单位数,n 为编码人员数量。据表5 数据显示,Holsti’s 信度值达到0.983%,满足理论要求(夏长杰 等,2017:28)。

表5 编码信度检验

3 评价模型建立

评价维度确立之后,开始纳入具体的评价项。虽有100 个分析单元作为评价项目确立的依据,但仍遗漏部分项目。遗失的项目多为词典用户不常使用或不关注的微观结构信息,如语用、标记、文化等。雍和明(2003)的调查便指出,有些词典用户甚至没意识到英汉词典中包括有词源信息,52%的被访者从未有过或很少查阅过有关“美国英语”或“正式用语”之类的语言或文体变体方面的信息。

因此,为使评价框架更为完整,还需要纳入“专家引导下”的用户需求调查的研究成果。这些调查多以发放问卷、访谈的方式来进行,而问卷和访谈的题目多是专家依照自身使用或编纂词典经验而确立。一定程度的专家介入使得整个评价框架具有了完整性,最后结合雍和明(2003)、陈玉珍(2007)、胡文飞(2013)等人的研究制定出评价模型,如表6 所示。

表6 用户视角下在线英语学习词典评价模型

4 模型信效度检验

4.1 测试对象及方法

以五部词典中下载量最大的有道作为考察对象。为防止部分用户因之前从未关注过部分项目而导致信度降低,提前告之问卷测量维度,用户完成对未关注项目的尝试后,对50 个项目进行评分(五度量表,“1”表示很不符合,“5”表示“很符合”),问卷通过问卷星系统发送至用户。共收回210 份有效问卷,用户年龄为16-27 岁,词典平均使用时长为12.5个月,平均使用频率为每星期3 次。

4.2 信效度检验

本研究采用 SPSS 26.0 对量表的信效度检验。50 个测试题目,内部一致性信度Cronban'sα 系数为0.765>大于参考值0.6,信度较高。进行探索性因素分析,样本适当性和Bartlett 球形检验的结果显示,KMO 值为0.761,近似卡方值为9 000.90,P<0.001,表明数据适合进行探索性因素分析。

4.3 结果分析

据图4 可知,有道最终得分为3.3 分。在所有需求维度中,“资源需求”均值得分最高,为4.23 分,表明有道向用户提供了较为丰富的学习资源,这些学习资源有助于用户提高言语技能并通过各类英语考试。“功能需求”“社交需求”评分均值得分靠前分别为4.0 分和4.07 分,表明用户认为有道的功能较为丰富,自己的社交需求也能得到一定程度的满足。“经济需求”和“服务需求”均值得分较低分别为2.3 分和2.2 分,表明有道在使用时消耗了较多的流量、电量等,同时部分用户反映有道客服友好性欠佳,存在回复不及时、回复内容无效及强制推销产品等问题。

图4 有道各使用需求得分情况/分

“内容需求”是词典评价的重心。据图5 可知,有道“内容需求”中“收词”“发音”“义项”评分均值得分较高,这表明,有道收词量较大且全面,词语、例证等的发音较为标准、流畅、优美,多义词义项较为丰富且排序较符合用户需求。“翻译”“辨析”“词形”评分较低,这表明,有道内置翻译功能所译文本质量有待提高,拍照翻译、语音翻译在识别文本时存在一定问题。同时,比较缺乏对词语全面、准确的辨析。词形上,因未提供易拼写错单词的正误对照导致得分较低。

图5 有道内容需求各评价项得分情况/分

5 总结与讨论

通过对在线英语学习词典用户评论的内容分析,我们了解到用户的使用偏好,并结合相关文献研究构建出用户视角下的在线词典评价模型。最后,以有道为调查对象,将模型运用于评价实践中,结果显示,模型具有较好的信效度。同时,评价模型的构建过程也可为在线学习词典评价研究提供启示。

评价从本质上来说是客体与主体之间价值关系的体现,价值关系是以主体尺度为依据的关系内容,客体满足主体自身的需求是形成这种价值关系的前提和基础(李守福,2005)。对于在线学习词典而言,其评价主体的构成、需求,主客体之间的关系以及客体的内容构成等都是复杂、多元的,故对其评价应改变以往单一、片面的一元评价模式而应形成系统、全面的多元评价模式,这主要体现在:

评价主体的多元化。以往的词典评价多是以词典学界的专家学者们为评价主体的单一主体评价。接受美学理论认为“在作者、作品与读者的三角关系中,读者绝不仅仅是被动的部分或者仅仅作出一种反应,相反,他自身就是历史的一个能动的构成”(金元浦,2002)。同样,词典编纂是一个传播和分享知识与信息的交际过程,而用户在这一过程中发挥着重要的能动作用。同时,学习词典的“学习性”是为了使学习者获得好的学习效果并有助于教师提高语言教学效果。因此在线学习词典评价的主体不应只局限于专家学者,用户、教师等也应参与到词典评价过程中才能保证评价结果的权威性、客观性和有效性。具体而言,各评价主体可依据自身评估优势有侧重地对词典进行评价。专家学者可借助专业知识评判词典文本编纂的科学性与规范性,如验证是否存在循环释义等问题。教师则基于语言教学经验评判词典的学习性,而用户则基于使用感受可评价词典客服的友好性、界面的美观性等。

评价内容的多元化。传统的词典评价研究主要是“以文本为中心”,但随着信息技术的发展和词典用户需求的扩大,现如今在线词典所能囊括的功能、内容等也更为多样,故其评价内容应不只局限于文本。

评价阶段的多元化。在线词典的编纂和运行是分阶段进行的,大致可分为编写阶段、试用前阶段、小范围运行阶段、运行阶段等,不同阶段的评价主体、评价目的、评价方式都应有所不同。

评价方式的多元化。总体而言,词典评价应坚持定性和定量结合的方法。从评价阶段上看,编写阶段以词典编者团体为评价主体,主要以同伴互评的方式监控词条编写质量。在试用前阶段以非编者的专家学者为评价主体,侧重对词典内容的评价,可采用定量分析法、对比法、综合分析法等。在运行阶段则以用户、教师等为评价主体,侧重对词典使用效果的追踪评价,可采用问卷调查法、访谈法、内容分析法等。

最后,我们须知词典评价的目的不是为了给词典贴标签、排名,而是为了促进词典理论与实践的进步,引导用户选择适合、优质的词典,指导编写团队对词典的功能、内容等进行优化升级。