查询片段中用户信息记录行为预测研究

宋筱璇 刘畅

摘   要：信息记录行为在搜索任务的完成过程中，特别是学习相关的搜索情境中，通常被视为信息使用活动重要的外在表征之一。文章开展了一项用户实验，利用查询片段内的搜索活动来预测用户在搜索过程中是否以及何时发生信息记录行为。结果表明：结合用户在内容页面停留时间和活动转移特征变量，预测准确率达到86.9%。而隐马尔可夫模型（HMM）能够有效地对信息记录行为开展实时预测，特别是在用户的首次查询片段内，准确率更高，为76.65%。研究结果为基于搜索活动对用户的信息记录行为开展实时监测提供了有效的方法，有助于支持信息记录行为和搜索任务完成的搜索系统功能及工具的设计与优化。

关键词：信息记录行为；预测模型；搜索活动；活动转移序列

中图分类号：G252.7   文献标识码：Ａ   DOI：10.11968/tsyqb.1003-6938.2023010

Abstract Note-taking behavior is often regarded as one of the important external representations of information use activities in the completion of search tasks， especially learning-related search tasks. In this study， we conducted a user experiment to investigate whether and when users' note-taking behavior occurs through the search activities in each query segment. The results indicate that combining users' dwell time on content pages and Activity Transition （AT） features resulted in prediction accuracy of 86.9%. Furthermore， this study also found that a Hidden Markov Models （HMMs） was able to identify note-taking behavior in real time with good performance， especially in the first query segments in each search session， with the accuracy of 76.65%. These findings provide the effective approaches for real-time monitoring of users' note-taking behavior based on search activities， and contribute to the design of search systems that better support note-taking behavior and task completion during search.

Key words note-taking behavior; prediction models; search activities; activity transition sequences

搜索活动通常是由搜索者希望完成的任務或目标所驱动。搜索者通过开展一系列的搜索活动与信息对象进行交互，使用那些有用的信息对象来完成任务或实现目标。评价信息检索（Information Retrieval，IR）系统性能最为理想的方式是根据它的实际有用性［1］，即搜索活动中获取的信息对象是否被搜索者实际使用。因此，探索和监测用户搜索过程中的信息使用行为特征，对设计、开发支持信息使用的功能工具，提升IR系统的效率与效果具有重要的价值和意义。Wilson将信息使用行为定义为把信息融入人的现有知识基础中的物理与心理层面的行为［2］。这其中涉及到用户对信息的记忆、理解、分析、整合、迁移、应用等一系列的活动，像是一个活动的黑箱，人们能观测到信息的输入和输出的结果，却难以捕捉和监测信息使用活动的发生过程。

近年来，基于“搜索即学习”这一概念的提出和发展，学习型搜索得到了越来越多研究者的关注［3］。学习型搜索强调学习在搜索活动中的核心地位，关注以学习为目的的搜索情境。该情境中，用户在传统的信息获取活动之外，更加重视信息的分析、处理、使用等相关行为活动的开展［4］。其中，信息记录行为在该情境下，乃至更广泛的搜索情境下，都被视为对用户已获得的信息对象进行理解和加工的信息使用行为的显性代表［5］。已有的学习型搜索的相关研究中，一些研究者围绕搜索过程中用户的信息记录行为及策略的特征规律及情境化影响因素展开了丰富的探索［5-8］。然而，这些研究尚局限于记录行为本身特征的发现，对于记录行为与搜索过程中的其他交互行为，特别是搜索交互活动之间的作用关系有待进一步完善。对于IR系统而言，搜索交互活动是容易被捕捉和监测的，但用户的信息记录行为往往是一种“外部”行为，通过IR系统外部的应用或工具得以实现，如本研究中的记事本文件，这一特征将给系统在非实验场景下直接“理解”用户的信息记录行为，追踪已获得的信息对象是否及何时成功地应用于完成任务或实现目标带来极大的困难。因此，很有必要建立系统内部搜索交互行为与外部信息记录行为之间的关联关系，通过可观测的搜索活动对用户的信息记录行为展开实时预测，以设计和优化当前的检索系统，精准有效地为用户的信息记录与学习活动提供支持。

基于以上背景，本研究以查询片段内的搜索活动作为分析对象，旨在依据搜索活动的特征和规律构建实时有效的信息记录行为预测模型，解决用户搜索过程中信息记录行为是否以及何时发生的问题。具体包括以下三个研究问题：

问题一：信息记录行为发生与否的查询片段内的搜索活动特征有何差异？

问题二：如何识别一个查询片段内用户的信息记录行为是否发生？

问题三：如何基于查询片段内的搜索活动序列对信息记录行为展开实时预测？

1   相关研究

1.1    信息记录行为

信息记录行为及其相关的信息整理、综合工作对搜索任务目标的有效实现具有重要意义，这在许多经典的信息搜索模型中都有所体现。如Kuhlthau的信息搜索过程（Information Search Process，ISP）模型包括六个阶段，其中在第五阶段“收集（collection）”中涉及到对具体的信息内容做详细的记录；最后一个“展示（presentation）”阶段，搜索者开展信息整理与组织，如准备信息大纲用于展示［9］。Jrvelin等在基于任务的信息交互（Task-based information interaction，TBII）模型中关注任务计划、搜索信息项、选择信息项、处理信息项、综合报告五个环节的信息交互活动，其中在处理信息项中涉及对信息的阅读、组织、分析、转化等活动，由复制、笔记记录、注释等技术来实现［10］。Liu等关注用户完成学习型搜索任务过程中的搜索、阅读、记录三类交互活动的特征模式和演化规律，构建了搜索进度模型（Search Pace Model，SPM）［11］。该模型将用户的搜索进度刻画为探索、积累、写作/报告三个子过程，用户的信息记录活动近一半发生在最后的写作/报告子过程中，且在该过程内的活跃程度远高于搜索和阅读活动。

信息记录行为与用户对信息的认知、加工与处理密切相关，已有研究，特别是学习型搜索情境中的相关研究发现，用户的信息记录行为直接影响着搜索产出和绩效评估，且在不同情境中也表现出不同的记录特征。如Vakkari等利用在搜索任务产出的笔记文档中，各内容页面复制/粘贴的词数和次数，评估相应的搜索结果页面的有用性［12］。孟高慧等研究发现学习型搜索任务完成过程中，用户的笔记记录呈现出“粗略采集-线性结构型”“精细采集-线性结构型”和“自由结构型”三种模式，并进一步分析发现采用“粗略采集-线性结构型”记录模式的用户表现出更差的学习产出［5］。刘涵蕊和刘畅分析学习型搜索任务下用户的搜索、阅读、记录行为特征，发现用户的话题熟悉度对记录行为有显著影响，话题熟悉度越低，用户的平均记录时间更长［7］。除了基于文本文字的记录行为，另有一些研究借助概念图、思维导图等学习支持工具对用户的知识建构等活动展开深入分析，这些工具在某种程度上也能被视为对信息内容及其架构的记录整理。如Liu等利用用户在搜索过程中对任务相关的思维导图的绘制和修改，将其搜索过程中的知识改变行为识别为积累、微调、重组、观察四种类型，并根据该行为作用的节点，归纳形成了八种频繁发生的知识改变策略［13］。

信息记录行为对于搜索任务完成的重要性也促使一些搜索系统的设计者开发和优化相关工具和功能来支持搜索过程中的信息整理与记录。如Roy等开发的支持笔记注释功能的SearchX［14］，Choi等开发的支持搜索过程中信息处理和结构化信息组织的知识表达工具OrgBox［15］。然而，现有的这些信息整理记录的辅助工具的功能还相对单一，适用情境也不够明确，因而尚未在大规模的实用系统中被采用。信息搜索，特别是学习型搜索可能表现为相当复杂、多次迭代、循环往复的搜索过程。信息记录行为辅助在何种情境下能够发挥功能效用，最大化用户获益，解决该问题，深入剖析和理解用户搜索过程中的信息记录行为本质的特征规律至关重要。故此，本研究旨在探讨搜索过程中用户是否以及何时发生信息记录行为，构建搜索活动与信息记录行为之间的关系，刻画信息记录行为特征，助力于搜索系统的设计和优化，使其更好地支持搜索过程中的信息记录行为和任务完成。

1.2    基于搜索活动的信息记录行为预测

尽管目前直接讨论信息记录行为预测模型的相关研究还比较缺少，但有一些研究开始探索搜索过程中，特别是学习型搜索情境下的信息记录行为特征规律。如Potthast和Hagen等依据搜索者每次笔记记录的文本长度，归纳出积累型（build up）和精炼型（boil down）两种不同的笔记记录策略［16-17］。积累型策略的搜索者在整个写作过程中不断增加文章的长度，而精炼型策略的搜索者在写作前期先大量积累素材，记录大量的文本文字，接着才对文本进行重新组织，逐渐缩短文章的长度。除了对记录长度的特征分析，刘畅等关注记录的时间特征，根据搜索任务的不同阶段中，用户记录完成度的推进情况，识别出了早期记录型、平均记录型、后期记录型三类记录策略，分析发现搜索者对于当前搜索主题的自信程度和熟悉程度越高，他们越倾向于更晚开始记录活动；而相对的，更不自信或者感知自身对该搜索任务不熟悉的搜索者倾向于选择早期记录型策略［8］。Song等关注学习型搜索过程中用户的搜索、阅读和记录行为的发生和演化特征［18］。研究将整个任务完成时长四等分为四个任务阶段，结果发现，用户的搜索行为主要发生在第一阶段；用户的阅读行为均匀地分布在四个阶段；而用户的记录行为主要集中在搜索任务完成的第四阶段。然而，已有研究仅涉及到信息记录行为本身的特征，将其与用户的其他交互行为分别独立研究，尚未建立起可观测的搜索交互活动与非实验场景中难以观测的，甚至发生在搜索系统“外部”的信息记录行为之间的关系，这亦正是本研究基于搜索活动构建信息记录行为预测模型的原因。

已有研究发现，搜索交互行为可以很好地预测搜索结果的有效性或搜索性能。其中，用户的文档停留时间［19-21］，单次查询的点击次数［12，22］，搜索结果页面的停留时间［23］等指标在文档有用性的预测模型中都被证明是有效的。如Mao等利用文档内容、情境和行为交互多种特征变量来预测用户搜索过程中的有用性判断，结果发现行为交互特征在有用性预测中占有最主要的地位，補充文档内容与情境特征只能略微提高预测性能［24］。

在静态的交互行为特征之外，一些研究发现用户的搜索交互序列在预测搜索性能或搜索意图方面也有不俗的表现。如Hassan等基于用户的点击行为序列，通过马尔科夫模型预测用户搜索目标的完成［22］。Yue等应用隐马尔可夫模型识别搜索过程的各个子环节［25］。研究使用可观测的用户查询式构造、点击行为、书签标记及其他行为特征变量来判别搜索过程的问题定义、信息源选择、查询制定、查询执行、结果查验、信息提取、反馈等七个子阶段。根据已有研究结果可知，除了静态的行为交互特征外，行为交互序列、不同行为活动间的转换或关系也可能是信息记录行为预测的有效指标。因此，本研究关注用户在搜索结果页和内容页面上的交互特征，以及各查询段内的活动转移特征，构建模型来预测信息记录行为是否以及何时发生。

2   研究设计

2.1    用户实验设计

本实验招募了来自北京大学的32名参与者。其中，男性12人，女性20人；年龄分布在18岁-30岁之间；20名本科生，12名研究生；14名来自人文社科相关专业，18名来自理工科相关专业。实验参与者被邀请到实验室，使用实验室提供的台式电脑对提前设计的四个学习型搜索任务展开不限时间的自由搜索。

实验围绕认知学习的接受性学习和评价性学习两种学习模式［26］设计了两类学习型搜索任务（任务描述见表1）。其中接受性学习任务侧重于用户对搜索到的信息进行记忆、理解、整理和再现；评价性学习任务则关注用户对搜索获得的多来源、多角度的信息进行反思、批判和评估，最后形成个人的观点或看法。每名实验参与者需要对两类学习任务展开搜索，每种搜索任务包括两个不同的搜索主题，因此每个被试共搜索四个任务。为防止被试的学习效果对实验结果产生影响，任务顺序采用拉丁方设计进行轮换［27］。

实验开始前，参与者首先签署实验知情同意书并完成一份背景调查问卷，然后开始对四个搜索任务逐一搜索。在每个任务搜索前，实验参与者需完成搜索前问卷，在该问卷中参与者需要在不参考任何外部资料的基础上文字描述对该任务已经了解的信息。在正式搜索的过程中，参与者根据获取和阅读的信息，在提供的电脑记事本文件中摘抄、复制粘贴、转述、重组相关信息，以回答搜索任务中提出的问题。当被试认为自己的记事本文件中已经完整地记录了该搜索任务的答案后，即可停止搜索。搜索结束后，为了评估参与者的知识学习情况，他们被要求关闭浏览器及搜索过程中记录的记事本文件，在不参考任何外部信息的情况下，在搜索后再次文字描述对该任务的了解信息。四个搜索任务全部完成后，实验参与者填写实验后问卷，对信息搜索及系统建设提出相应的建议。实验全程利用Morae Recorder3.3在后台记录用户的搜索交互行为。

鉴于用户的信息记录行为为IR系统难以捕捉和观测的“外部”行为，本研究中操作化地将参与者与记事本文件的交互视为其信息记录行为的发生。笔者不否认这其中存在少数情况下，“记录”的动作并未实际发生，用户可能表现为在记事本文件上的“停留”，但该“停留”亦能从某种程度上代表用户存在信息记录的意愿，对于捕捉和监测用户的信息记录行为仍具有意义。因此，在本研究后续的分析中，当搜索日志中观测到参与者与记事本文件发生了交互即认为当前用户发生了信息记录行为。

2.2    搜索活动变量的提取与计算

查询片段内的搜索活动具体指在一个搜索查询和下一个搜索查询之间发生的所有活动。一个查询片段（Query segment）可能包括一个初始查询、搜索结果页面（SERP）、一系列的内容页面（Content page）、搜索系统外部的其他活动，如使用其他工具应用进行记录、翻译等，然后可能返回到SERP，接着浏览另一个内容页面等。本研究重点关注查询片段内的三类交互活动：与搜索结果页的交互（SERP）、与内容页面的交互（Content page）、与记事本文件的交互（Notepad）。其中，用户与记事本文件的交互或实际发生了信息记录行为，如文字的书写、摘抄；或表达出用户当前强烈的信息记录意愿，如在记事本文件中停留、观察、思考，本研究统一操作化地处理为信息记录行为的发生。由此，根据与记事本文件的交互与否，用户的查询片段表现为两种不同的形态（见图1），信息记录（Taking Notes，TN）查询片段和信息未记录（None Taking Notes，NTN）查询片段。通过分析挖掘TN和NTN查询片段内搜索活动的特征和规律，构建预测模型对用户的信息记录行为展开实时预测。

根据搜索日志记录，从32名实验参与者中共收集了125个有效的搜索会话，另有3个搜索会话由于搜索日志数据缺失而被剔除。在125个搜索会话中，提取了353个查询片段。根据是否发生信息记录行为，353个查询片段分为信息记录（TN）查询片段（N=233）和非信息记录（NTN）查询片段（N=120）。其中，TN查询片段被定义为与记事本文件至少有一次交互；NTN查询片段中参与者没有与记事本文件发生交互。

每个查询片段内，三种类型的交互活动被截取：与搜索结果页的交互、与内容页面的交互、与记事本文件的交互。其中，与记事本文件的交互被视为信息记录行为的发生，即本研究预测的对象；搜索结果页和内容页面的交互变量，即搜索活动相关变量作为预测变量。在具体操作上，一方面，由于页面停留时间已经被发现是评价文档有用性的有力指标，本研究选择与搜索结果页和内容页面上停留时间相关的变量作为静态的行为指标，提取并计算了搜索结果页特征（SERP features，SP）和内容页面特征（Content Page features，CP）变量；另一方面，本研究还重视交互活动之间的动态转换，抽取了活动转移特征（Activity Transition features，AT）相关变量。为了在长度不等的查询片段之间生成可比较的数据，研究计算了各變量的相对比值（本研究中使用的搜索活动变量见表2）。

在搜索结果页特征（SP）中包含三个变量：搜索结果页数量比值、搜索结果页停留时间比值、搜索结果页的平均停留时间。其中，搜索结果页数量比值为查询片段内访问搜索结果页的数量/交互页面总数量（搜索结果页和内容页面总和）；搜索结果页停留时间比值指查询片段内在搜索结果页停留的总时间/在交互页面上（搜索结果页和内容页面）停留的总时间；搜索结果页的平均停留时间为查询片段内在搜索结果页停留的总时间/访问搜索结果页的数量。内容页面特征（CP）变量的计算方法与搜索结果页特征对应变量类似，不再赘述。

对于活动转移特征（AT），研究者先将查询片段内的搜索活动切分成两步转移序列的形式，如一个查询片段由5个搜索活动组成：SCCSC（S表示用户与搜索结果页的交互，C表示与内容页面的交互），该查询片段可切分成4个两步转移序列：SC/CC/CS/SC。接着分别计算每个查询片段内各转移序列的占比，得到SS比值、SC比值、CC比值和CS比值4个活动转移变量。

2.3    信息记录行为预测模型构建

本研究中的信息记录行为预测分为两个阶段，第一阶段的目标是判断一个查询片段内是否发生了信息记录行为。为了检测哪些搜索活动对查询片段内的信息记录行为预测有更好的效果，研究基于搜索活动的不同特征或特征组合构建了7个二值逻辑回归模型，来识别TN和NTN两类查询片段。已有研究表明，用户在内容页面上的停留时间是预测文档有用性的强有力指标之一［19，21］，用户在一个查询片段内花费在内容页面上的时间与文档有用性呈正相关关系［20］。因此，本研究使用内容页面停留时间比值作为信息记录行为预测的基线模型，与其他不同搜索活动特征构成的7个模型的预测效果进行比较。

· SP模型：包括搜索结果页特征；

· CP模型：包括内容页面特征；

· SP+CP模型：结合搜索结果页特征和内容页面特征；

· AT模型：包括活动转移特征；

· SP+AT模型：结合搜索结果页特征和活动转移特征；

· CP+AT模型：結合内容页面特征和活动转移特征；

· SP+CP+AT模型：结合搜索结果页特征、内容页面特征和活动转移特征。

在第一阶段的预测中，解决了查询片段内信息记录行为是否发生的事后预测问题。研究希望进一步揭示这些信息记录行为在查询片段内是何时发生的。为了解决这一问题，在信息记录行为预测的第二阶段，研究采用隐马尔可夫模型（HMM）对查询片段内每一步搜索活动后是否发生信息记录行为开展实时预测。HMM是一个双随机过程，其潜在的随机过程是不可观测（隐藏）的，只能通过另一组产生可观测符号序列的随机过程来体现［28］。本研究的前提假设为信息记录行为的发生与之前的搜索活动有显著的关系。在此基础上，根据HMM模型有以下定义：用户与搜索结果页和内容页面的交互构成了可观测集O，包含两种状态O={S，C}，其中S表示与搜索结果页的交互，C表示与内容页面的交互。用户的信息记录行为为隐藏状态H，包括H={N，T}，其中N为信息记录行为缺失，T为信息记录行为发生。

本研究的353个查询片段中，共有3511次搜索活动（与搜索结果页交互1112次，与内容页面交互2399次），其中1098次搜索活动之后出现信息记录行为，2413次搜索活动之后信息记录行为缺失。研究使用十折交叉验证来评估模型预测性能，将353个查询片段随机分成10个子集，取其中9份用于训练HMM，1份子集用于测试。执行试验程序10次之后，最终的预测性能是这10次试验结果的平均值。

建模过程分为两部分，首先是基于训练数据的参数估计。研究假设隐藏状态{N，T}的初始概率为{0.5，0.5}，利用带信息记录行为状态的搜索活动作为训练数据，如SNCNCTSNCT，通过最大似然估计算法推导HMM的参数，具体如式（1）（2）所示，包括隐藏状态转移概率（Ph）矩阵和观测状态转移概率（Po）矩阵。

在式（1）中，count（NT）指的是训练数据中两个连续的隐藏状态是NT的频次，count（T）为信息记录状态为T的频次。类似地，Ph（T|T），Ph（T|N），Ph（N|N）分别被计算构成了隐藏状态转移概率矩阵（Ph）。在式（2）中，count（ST）表示训练数据中两个连续的活动状态是ST的频次，同样地，Po（C|T），Po（S|N），Po（C|N）被计算构建了观测状态转移概率矩阵（Po）。

接着，基于训练数据集中形成的隐藏状态转移概率矩阵Ph和观测状态转移概率矩阵Po两个参数，使用维特比（Viterbi）算法预测测试数据集在每一步搜索活动后的信息记录行为状态（N或T）。在一个查询片段的第t步，研究根据下式（3）分别计算信息记录行为状态概率Pt（N）和Pt（T）。如果Pt（N）大于Pt（T），则该搜索活动后不发生信息记录行为；否则，则表示发生信息记录行为。

Pt（j）=maxi={N，T}Pt-1（i）Ph（j|i）Po（Ot|j）              （3）

在式（3）中Pt-1（i）表示前一步i的信息记录行为状态概率；Ph（j|i）表示从前一步信息记录状态i到当前信息记录状态j的隐藏状态转移概率；Po（Ot|j）指在当前第t步，信息记录行为状态为j时的观测状态转移概率（Ot为S或C）。

在信息记录行为HMM实时预测方面，本研究对比了三种类型的查询片段集合的预测效果，以探索信息记录行为预测是否受到搜索过程不同阶段的影响，包括：（1）所有查询片段，共353个；（2）首次查询片段，即用户搜索会话中的第一个查询式到第二个查询式之前的所有搜索活动，共125个；（3）末次查询片段，即最后一次查询式之后的搜索活动，共125个。最后，研究利用预测正确率（Accuracy）、召回率（Recall）、准确率（Precision）和调和数F四个指标对预测模型的性能展开评估。

3   研究发现

3.1    信息记录片段与信息未记录片段的搜索活动差异

在233个信息记录（TN）查询片段中，与搜索结果页和内容页面的平均交互次数分别为3.61 次（SD=2.13）和9.32 次（SD=7.83）；在搜索结果页和内容页面上的总停留时间分别为29.73秒 （SD=20.40）和116.69秒（SD=97.81）。在120个非信息记录（NTN）查询片段中，用户平均访问搜索结果页2.25次（SD=1.37），内容页面1.90次（SD=2.55）；在搜索结果页停留共计25秒（SD=14.87），在内容页面停留18.19秒（SD=31.09）。

研究进一步使用Mann-Whitney U检验分析了三类搜索活动特征变量（搜索结果页特征、内容页面特征、活动转移特征）在TN和NTN查询片段之间的差异（结果见表3）。在TN查询片段中，搜索结果页数量比值（35.26% vs. 72.04%）、搜索结果页停留时间比值（28.26% vs. 75.92%）以及每个搜索结果页的平均停留时间（9.11 vs. 13.85秒）均显著低于NTN查询片段；但内容页面数量比值（64.74% vs. 27.96%）、停留时间比值（71.74% vs. 24.08%）以及每个内容页面的平均停留时间（13.85 vs. 10.70秒）均显著高于NTN查询片段。由此可见，用户在TN查询片段中与内容页面的交互更多，而在NTN查询片段中与搜索结果页的交互更充分。在活动转移特征方面，TN查询片段中，用户从一个内容页面转移到另一个不同的内容页面（CC）的频次最多，占比所有转移序列的48.53%。而NTN查询片段中，搜索结果页与内容页面（包括CS和SC）之间的转移比值显著高于TN查询片段。两组间搜索结果页转移的比值（SS）没有显著差异（p>0.05）。

3.2    信息记录片段预测

由TN与NTN中的搜索活动差异可以推测，搜索結果页特征（SP）、内容页面特征（CP）和活动转移特征（AT）可能是预测用户信息记录行为的有效特征变量。为了验证各类变量及其组配的预测效果，本研究采用逻辑回归模型，将预测变量及其组合分为7组加以检验，分别是：SP、CP、SP+CP、AT、SP+AT、CP+AT、SP+CP+AT。预测的基线模型使用前人研究中发现的内容页面停留时间这一指标建立［19-21］。对于构建的所有模型，研究使用预测正确率（Accuracy）、召回率（Recall）、准确率（Precision）和调和数F四个指标对预测效果展开评估（结果见表4）。

预测结果显示，基线模型使用内容页面停留时间比值这一变量，预测正确率达到82.2%，具有较好的预测性能。在此基础之上，添加搜索结果页特征、内容页面特征、活动转移特征的其他变量能够进一步提高预测的精准度，尽管这种提高是相对有限的。SP模型的预测正确率为83.3%，模型中两个显著的变量分别是搜索结果页的数量与停留时间的比值。类似地，CP模型的内容页面数量和停留时间也与预测效果显著相关。SP+CP模型的预测效果与单纯CP模型相同，预测正确率为83.9%。AT模型中的预测精准度略有提高，正确率达84.2%，其中CC比值和CS比值对该模型的预测效果贡献较大。SP+AT模型中有3个变量显著，分别是CS比值、SC比值和搜索结果页停留时间比值，正确率为84.5%。CP+AT模型和SP+CP+AT模型预测正确率为86.9%，预测效果一致且最好。该模型中的CS比值、SC比值和内容页面停留时间比值被发现显著影响预测效果。由此可知，用户与内容页面相关的搜索活动以及活动转换，尤其是在搜索结果页和内容页面之间的转换，对预测用户查询片段内的信息记录行为贡献最大。

3.3    信息记录行为实时预测

上一节中，研究实现了对每个查询片段内信息记录行为是否发生的预测，并发现用户在搜索结果页与内容页面之间的活动转换能够有效提升预测的效果。尽管利用该方法构建的模型，预测精准度相对较高，但属于事后预测，即当用户完成了当前整个查询片段之后对信息记录行为展开的判断，据此指导下一轮查询的展开。在此基础之上，本研究希望能够进一步细化监测的粒度，开展实时预测，发现查询片段内用户的信息记录行为是何时（在何种交互活动之后）发生的。为此，研究构建了隐马尔可夫模型（HMM）对查询片段内每一步搜索活动后的信息记录行为状态展开预测，并进一步比较了三组不同的查询片段：所有查询片段、首次查询片段、末次查询片段的预测效果，以探索整个搜索任务完成过程的哪个阶段对于信息记录行为发生的实时预测更有效。

根据2.3所述，本研究的HMM模型中，用户的信息记录行为为隐藏状态（记录T或不记录N），模型的关键是建构可观测状态（与搜索结果页的交互S和与内容页面的交互C）到隐藏状态的映射，即观测状态转移矩阵（不同查询片段的观测状态转移矩阵见图2）。对于所有的查询片段而言，用户与搜索结果页进行一次交互之后，信息记录行为的发生概率为7.27%；与内容页面进行一次交互后，信息记录行为的发生概率为36.06%。在首次查询片段中，用户与搜索结果页交互后，进行信息记录的可能性更低，下降至5.23%；然而，在访问过一个内容页面后，他们更有可能记录信息，概率达到43.44%。末次查询片段中，用户信息记录的意愿相较于之前的查询片段明显提高。特别是从S到T的转换概率增加至14.94%。这一结果表明在搜索任务完成的最后阶段，用户更可能直接使用来自搜索结果页的信息进行记录。总体而言，用户在访问内容页面后发生信息记录行为的概率远高于访问搜索结果页后相应的概率，并且在访问内容页面后信息记录行为发生的概率上，末次查询片段（48.49%）>首次查询片段（43.44%）>所有查询片段（36.06%）。这一结果暗示，在搜索任务完成的中间阶段，内容页面的信息记录利用率没有任务完成的前、后阶段高。

建立在观测状态转移概率的基础上，研究对三组查询片段和基线模型的信息记录行为预测效果进行了比较。由于尚未发现已有研究中对何种交互活动后的信息记录行为发生这一研究问题展开预测，在基线模型的确立上，研究赋予N（无信息记录行为）作为每一步搜索活动后的默认值，基于该默认值得到基线模型的预测正确率为68.73%，即在所有的搜索活动之后，有68.73%的可能性不产生信息记录行为（三组查询片段的预测效果见表5）。结果发现在信息记录行为的实时预测中，首次查询片段的预测精准度更高，达到76.65%，这可能暗示HMM的模型构建方法对于识别用户搜索过程前期的信息记录行为的作用更大。

4   讨论

4.1    搜索活动与信息记录行为的关系

搜索活动对于信息检索系统的评估具有重要意义。研究者认为，理想情况下，应该根据搜索活动在支持搜索者实现搜索目标方面的有用性来评估IR系统［29］。而信息项是否被搜索者实际使用正是一系列搜索活动有用性评估的一个重要表征。信息记录是一个由感知转化为联想、分析、综合，再转化为文字表达的復杂的思维过程，可以被视为对已获得的信息进行理解和加工的使用行为的重要表征之一［5］。因此，在搜索过程中对搜索者的信息记录行为展开追踪和监测是很有必要的；另一方面，如果IR系统能够设计功能或提供工具来支持搜索过程中的信息记录，对于搜索者高效完成搜索任务，实现搜索目标是很有帮助的，这就需要IR系统能够更加全面深入地理解和捕捉搜索者的信息记录行为特征和规律，如信息记录行为是何时发生的。然而，在大多数情况下，搜索者的信息记录行为发生在搜索系统的“外部”，或发生在整个搜索会话结束后，或伴生在搜索过程中但借由其他外部系统实现，如文本文档，这都使得IR系统无法直接观察追踪到用户的信息记录行为。鉴于以上问题，本研究首先探索了搜索活动与信息记录行为之间的关系，为IR系统基于“内部”搜索交互行为理解和识别搜索者的信息记录特征提供操作路径。

本研究通过对搜索者查询片段内的搜索结果页、内容页面、活动转移三类特征变量与信息记录行为间的关系的分析，发现这些可观测的搜索活动与用户的信息记录行为存在显著相关关系。当搜索者与内容页面有更多的交互时，如在内容页面上停留的时间更长或访问更多的内容页面，他们更可能在该查询片段内发生信息记录行为；反之，搜索者如果将更多的精力花费在与搜索结果页的交互中，则信息记录的概率降低。在页面交互特征之外，本研究还揭示了用户活动转移的特征规律。在发生了信息记录行为的查询片段中，用户从一个内容页面跳转到另一个不同的内容页面的概率更高；而当没有信息记录发生时，用户在搜索结果页和内容页面（SC和CS）之间的跳转概率比在TN查询片段中更高，这一频繁跳转的特征也暗示着用户当前对使用哪些信息项或如何使用信息项来完成任务目标存在不确定性。

4.2    信息记录行为预测

基于搜索活动与信息记录行为之间的关系，本研究分为两个阶段构建信息记录行为的预测模型。第一阶段对查询片段内是否发生了信息记录行为展开事后判别。根据模型性能表明，结合内容页面的行为交互特征和活动转移特征构建模型可以获得更好的预测效果。具体地，内容页面停留时间、CS和SC活动转换对成功预测用户在查询片段中是否发生信息记录行为的贡献最大。内容页面停留时间这一变量对于评估有用性的重要意义在以往的研究中已经有所体现［19-21］。本研究的一个新发现是，整合活动转移特征构建模型可以提高预测性能。搜索者的活动转移序列作为活动的动态描述，比单个活动更能传达、重现用户在整个搜索过程中的动作、策略与发展态势，对于追踪与监测用户的信息记录行为具有关键作用。

本研究在第二阶段构建了隐马尔科夫模型（HMM）对查询片段中每步搜索活动后的信息记录行为状态展开建模，实时预测信息记录行为在搜索过程中何时发生的问题。结果表明，HMM在一定程度上能够有效识别查询片段内信息记录行为的发生，总体正确率达到71.4%。研究还进一步比较了利用HMM模型在搜索任务完成全过程的不同阶段的预测效果，结果发现，相较于所有查询片段和末次查询片段，用户的首次查询片段预测信息记录行为的效果最好。这一结果表明，搜索过程早期阶段的用户信息记录行为能够被更好地识别出来。这一结果也与之前的一些研究发现相吻合。在之前的研究中发现用户在首次查询片段中的行为交互活动与后期的行为交互间存在显著的差异［30-31］，一些研究证明了用户在首次查询片段内的交互能够相对更好地预测当前搜索任务的难度或任务类型［32-33］。当搜索复杂任务时，用户更需要随着任务的推进实时调整他们的搜索策略，因此，在任务完成过程的中后期，用户信息记录行为的预测将变得更加困难。未来，本研究将考虑将任务特征、个人特征等更多情境因素与行为特征相结合来预测搜索过程中信息记录行为的发生发展规律，以便增强IR系统对用户信息记录的理解、追踪和预感知能力，为个性化、情景化的信息记录提供相匹配的支持功能工具，实现信息记录与搜索任务的高效完成。

5   结语

本研究以可观测的搜索活动为基础，构建逻辑回归模型和隐马尔可夫模型解决了用户搜索过程中信息记录行为是否以及何时发生的问题。研究发现用户在内容页面上的交互特征和活动转换特征对于信息记录行为的预测具有重要贡献。此外，研究还发现，隐马尔可夫模型对于从一系列的搜索交互序列中实时监测用户的信息记录行为有较好的性能，特别是对于用户的首个查询片段内的信息记录行为预测。本研究的发现有助于深入理解和剖析用户的信息记录行为特征规律，为基于信息实际使用情况评估IR系统性能提供了可能，也为高效支持搜索过程中信息处理与记录的搜索系统功能的优化和设计提供了依据。

参考文献：

［1］  Cole M，Liu J，Belkin N J，et al.Usefulness as the criterion for evaluation of interactive information retrieval［A］.Proceedings of the Third Workshop on Human-Computer Interaction and Information Retrieval Cambridge［C］.HCIR，2009：1-4.

［2］  Wilson T D.Human information behavior［J］.Informing science，2000，3：49.

［3］  宋筱璇，刘畅，陈建龙.搜索即学习主题的相关研究综述［J］.图书情报工作，2021，65（10）：113-126.

［4］  宋筱璇，刘畅.学习型搜索中用户信息源选择和使用策略研究［J］.情报学报，2019，38（6）：655-666.

［5］  孟高慧，宋筱璇，张潇月，等.学习型搜索中的笔记记录行为与学习产出的关联探究［J］.图书情报工作，2022，66（8）：42-54.

［6］  Wu J Y，Xie C.Using time pressure and note-taking to prevent digital distraction behavior and enhance online search performance：Perspectives from the load theory of attention and cognitive control［J］.Computers in Human Behavior，2018（88）：244-254.

［7］  劉涵蕊，刘畅.认知风格与话题熟悉度对学习型任务下搜索交互行为的影响研究［J］.情报理论与实践，2018，41（4）：56-62.

［8］  刘畅，宋筱璇，杨子傲.用户信息搜索中的学习行为及过程探究［J］.大学图书馆学报，2019，37（4）：36-45.

［9］  Kuhlthau C C.Inside the search process：Information seeking from the user's perspective［J］.Journal of the American society for information science，1991，42（5）：361-371.

［10］  Jrvelin K，Vakkari P，Arvola P，et al.Task-based information interaction evaluation：The viewpoint of program theory［J］.ACM Transactions on Information Systems，2015，33（1）：1-30.

［11］  Liu C，Song X，Hansen P.Characterising userstask completion process in learning-related tasks：A search pace model［J］.Journal of Information Science，2021：01655515211060527.

［12］  Vakkari P，Vlske M，Potthast M，et al.Modeling the usefulness of search results as measured by information use［J］.Information Processing & Management，2019，56（3）：879-894.

［13］  Liu C，Song X，Liu H，et al.Modelling knowledge change behaviors in learning-related tasks［C］.Proceedings of CIKM 2020 workshop：1st international workshop on investigating learning during Web search.Ireland：CEUR-WS，2020.

［14］  Roy N，Torre M V，Gadiraju U，et al.Note the highlight：incorporating active reading tools in a search as learning environment［C］.Proceedings of the 2021 Conference on Human Information Interaction and Retrieval，2021：229-238.

［15］  Choi B，Arguello J，Capra R，et al.The Influences of a Knowledge Representation Tool on Searchers with Varying Cognitive Abilities［J］.ACM Transactions on Information Systems，2023，41（1）：1-35.

［16］  Potthast M，Hagen M，Vlske M，et al.Crowdsourcing interaction logs to understand text reuse from the Web［A］.Proceedings of the 51st annual meeting of the Association for Computational Linguistics［C］.Sofia：Association for Computational Linguistics，2013：1212-1221.

［17］  Hagen M，Potthast M，Vlske M，et al.How writers search：analyzing the search and writing logs of non-fictional essays［A］.Proceedings of the 2016 conference on human information interaction and retrieval［C］.New York：ACM，2016：193-202.

［18］  Song X，Liu C，Liu H.Characterizing and exploring users' task completion process at different stages in learning related tasks［J］.Proceedings of the Association for Information Science and Technology，2018，55（1）：460-469.

［19］  Liu C，Belkin N J，Cole M J.Personalization of search results using interaction behaviors in search sessions［C］.Proceedings of the 35th international ACM SIGIR conference on Research and development in information retrieval，2012：205-214.

［20］  Liu C，Gwizdka J，Liu J.Helping identify when users find useful documents：examination of query reformulation intervals［C］.Proceedings of the third symposium on Information interaction in context，2010：215-224.

［21］  Liu J，Belkin N J.Personalizing information retrieval for multi session tasks：Examining the roles of task stage，task type，and topic knowledge on the interpretation of dwell time as an indicator of document usefulness［J］.Journal of the Association for Information Science and Technology，2015，66（1）：58-81.

［22］  Hassan A，Jones R，Klinkner K L.Beyond DCG：user behavior as a predictor of a successful search［C］.Proceedings of the third ACM international conference on Web search and data mining，2010：221-230.

［23］  Fox S，Karnawat K，Mydland M，et al.Evaluating implicit measures to improve web search［J］.ACM Transactions on Information Systems （TOIS），2005，23（2）：147-168.

［24］  Mao J，Liu Y，Luan H，et al.Understanding and predicting usefulness judgment in web search［C］.Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval，2017：1169-1172.

［25］  Yue Z，Han S，He D.Modeling search processes using hidden states in collaborative exploratory web search［C］.Proceedings of the 17th ACM conference on Computer supported cooperative work & social computing，2014：820-830.

［26］  Rieh S Y，Collins-Thompson K，Hansen P，et al.Towards searching as a learning process：a review of current perspectives and future directions［J］.Journal of Information Science，2016，42（1）：19-34.

［27］  劉畅，赵瑜，杨帆.信息检索用户实验设计中时间限制和任务次序的影响研究［J］.图书情报工作，2015，59（1）：99-105.

［28］  Rabiner L，Juang B.An introduction to hidden Markov models［J］.IEEE ASSP magazine，1986，3（1）：4-16.

［29］  Belkin N J.On the evaluation of interactive information retrieval systems［J］.The Janus Faced Scholar.A Festschrift in Honour of Peter Ingwersen，2010：13-21.

［30］  Jiang J，He D，Allan J.Searching，browsing，and clicking in a search session：Changes in user behavior by task and over time［C］.Proceedings of the 37th international ACM SIGIR conference on Research & development in information retrieval，2014：607-616.

［31］  Liu C，Wei Y.The impacts of time constraint on users' search strategy during search process［J］.Proceedings of the Association for Information Science and Technology，2016，53（1）：1-9.

［32］  Liu C，Liu J，Belkin N J.Predicting search task difficulty at different search stages［C］.Proceedings of the 23rd ACM international conference on conference on information and knowledge management，2014：569-578.

［33］  Mitsui M，Liu J，Shah C.How much is too much？ Whole session vs.first query behaviors in task type prediction［C］.The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval，2018：1141-1144.

作者简介：宋筱璇（1992-），女，南京农业大学信息管理学院讲师，研究方向：信息行为、交互式信息检索；刘畅（1983-），女，北京大学信息管理系长聘副教授，博士生导师，研究方向：信息行为、交互式信息检索、信息服务。