放射治疗信息系统可用性评估模型构建研究

江明尹，李 强，王道雄，孙冬杰

（华中科技大学同济医学院附属同济医院器材科，武汉430030）

0 引言

伴随着科学技术的不断发展，不少高精尖放射治疗技术不断进入临床，并应用于患者的肿瘤治疗，大大提高了患者的肿瘤治疗质量和就医安全性。然而，新放射治疗技术的应用在提高患者就医质量的同时，不可避免地引入了新的使用风险。美国医学物理师协会2016年发布的The report of Task Group 100 of the AAPM：application of risk analysis methods to radiation therapy quality management报告表明，35．4%的放射治疗失误是由人为使用失误引起的[1]。相关研究表明，人为使用失误的发生与医疗器械可用性设计密切相关[2]。可用性设计低劣的放射治疗信息系统未能考虑终端用户的使用能力、知识水平及身体限制等因素，易引发使用人员的人为使用失误。因此，如何客观评估当前在用放射治疗信息系统的可用性是提高放射治疗信息系统可用性设计水平的关键[3]。目前，针对放射治疗产品可用性主要从主观和客观2个方面展开测量评估。如Chan等[4]利用客观评价指标任务完成时间、任务错误率和主观使用意愿评价量表作为可用性评估指标，评估了优化设计前后放射治疗信息系统的可用性。Mazur等[5]通过可用性测试研究了放疗物理师在放射治疗计划系统上执行测试任务时主观工作负荷和客观工作负荷(瞳孔直径、眨眼速率)评价指标之间的相关关系。Jiang等[6]从用户体验的角度，利用美国国家航空航天局任务负荷指数(national aeronautics and space administration task load index，NASA-TLX)量表、测试后可用性问卷(poststudy system usability questionnaire，PSSUQ)评价了3种不同放射治疗信息系统的可用性设计。

当前，评价放射治疗产品可用性时，研究学者大多采用1种或2种客观评估指标(如任务时间、错误率等)[4]、主观评价量表指标和眼动指标[5-6]，可用性评价的指标集过于单一，未能全面囊括放射治疗产品可用性设计对用户使用的影响。此外，评价指标过于单一容易导致评价的结果发生偏移。因此，丰富放射治疗产品可用性评价指标，可在一定程度上确保评价结果的准确性。研究表明，用户的皮肤导电性、皮肤温度、呼吸频率、心率等作为使用放射治疗产品时产生的直接生理反应，可用于评估放射治疗产品可用性设计对用户生理状态的影响程度[7]。因此，本文采用效率、主观评价量表、眼动和生理等可用性评价指标，通过用户更为准确地评估放射治疗产品的可用性。此外，考虑到已有研究未能综合整合不同类型的评价指标，使之形成系统的可用性评估模型，本研究采用偏最小二乘回归法建立多指标融合的放射治疗信息系统可用性评估模型，实现对放射治疗信息系统可用性较为准确的评估。

1 研究方法

1.1 研究对象

本研究纳入了临床在用不同厂家和品牌型号的A(产品型号：Trilogy®linear accelerator system，软件版本：Varian 9．1 control system)、B(产品型号：XHA600E system，软件版本：XHA600E control system 1．3．12．174)2种放射治疗信息系统作为本次可用性的研究对象。

1.2 放射治疗信息系统可用性评价指标选取

为了有效评估在用放射治疗信息系统的可用性，本研究拟从效率、主观评价量表、眼动和生理4个维度选择多个评价指标，综合表征放射治疗信息系统的可用性。

1.2.1 主观评价量表

(1)系统可用性量表(system usability scale，SUS)。

放射治疗信息系统可用性可使用SUS进行评判。SUS由10个主观评测条目构成，包含5个正向测评条目和5个反向测评条目，所有测评条目采用5分评分制(1～5分，1分为非常不同意，5分为非常同意)，被试的评估得分经过换算转换为百分制得分[8]。研究表明，当SUS得分＞70分时，被评估系统的可用性是可以接受的[9]。

(2)任务难易程度量表。

放疗技师在放射治疗信息系统上完成的特定测试任务的难易程度通过9分制Likert scale(1分为非常困难，5分为中立，9分为非常容易)进行评估，以便研究人员从放疗技师主观维度了解放射治疗信息系统的易用程度。

(3)NASA-TLX量表。

NASA-TLX量表由美国宇航局设计，用于评判被试在完成试验任务时的工作负荷，主要包含脑力需求、体力需求、时间需求、业绩水平、受挫程度以及努力程度6个评测维度[10]。从6个维度对被试进行评分，并换算成百分制得分，从而获得被试完成实验任务的工作负荷。

(4)有用性、满意度、易用性(usefulness，satisfaction，and ease of use，USE)量表(界面友好性评估量表)。

USE量表主要从有效性、易用性、易学性以及满意度4个维度综合评估产品人机交互界面设计友好性[11]。USE量表共计30个评价条目，每个条目的评分分布从1分(不同意)到7分(非常同意)。

1.2.2 效率评价指标

将任务完成时间作为效率评价指标，通过任务完成时间评测被试完成实验任务的效率。

1.2.3 眼动指标

借助已有可用性研究文献[12-14]，本次研究中选取了如下眼动评价指标：瞳孔大小、注视点个数、平均注视时间、总注视时间、眨眼次数、平均眨眼时间、眨眼频率、眼跳次数、总眼跳时间。

1.2.4 生理指标

为进一步完善放射治疗信息系统可用性评价指标，本研究将被试完成实验任务时的生理信号作为可用性评价指标。依据已有研究[7]，本研究将皮肤导电性、皮肤温度、呼吸频率、心率4个生理指标作为可用性评价指标。

1.3 实验任务

本研究的目的是对2种临床在用放射治疗信息系统开展可用性测试研究，建立放射治疗信息系统可用性评估模型，用于临床在用放射治疗信息系统的可用性评估。因此，依据临床使用人员日常使用的功能和操作流程，提炼了以下4个任务用于可用性测试：(1)查找患者信息及导入放射治疗计划；(2)审核患者放射治疗计划；(3)患者进行放射治疗时读取治疗界面参数信息；(4)读取放射治疗信息系统联锁报警信息。

1.4 被试选取

放射治疗信息系统一般由放疗技师进行操作，因此选取放疗技师作为本研究的被试。项目组通过制定严格的筛选标准，共选取了30名放疗技师参与本研究。参与研究的放疗技师具有丰富的放射治疗信息系统操作经验，从而能够对本研究的测试内容进行正确应答。

1.5 实验设备

实验的数据采集设备包括用于记录被试眼动数据的Tobii Glasses 2眼动仪和采集被试生理数据的PsyLAB生理采集系统。

1.6 放射治疗信息系统可用性测试实验流程

在进行正式实验测试前，所有被试都处于良好的健康状态。具体实验流程如图1所示。

图1 放射治疗信息系统可用性测试实验流程图

(1)实验流程介绍及被试资料收集。项目研究人员简要向被试介绍实验流程以及实验注意事项，并利用问卷收集被试人口学资料。

(2)熟悉实验放射治疗信息系统。实验前，项目研究人员将对被试进行实验放射治疗信息系统的操作培训，避免被试出现使用偏倚。同时，被试在测试人员的指导下可进行与实验任务无关的操作。

(3)调试数据采集设备。实验前，对眼动、生理数据采集设备进行调试，为被试佩戴好数据采集设备，使数据采集设备处于可用状态。

(4)采集生理基线资料，进行眼动仪校准。实验前，需要采集被试在静息状态下的3 min生理信号基线资料，用作后期的数据处理。同时，需要被试在研究人员的指导下校准眼动仪，确保实验中采集的数据准确可靠。

(5)正式实验。被试在研究人员的引导下完成4个测试任务。在被试完成实验任务过程中，研究人员将采集被试的眼动、生理和任务完成时间数据。被试在某一型号放射治疗信息系统完成所有试验任务后，依次填写任务难易程度量表、NASA-TLX量表、USE量表和SUS。填写完主观评价量表后，被试依据实验流程开展下一个放射治疗信息系统的可用性测试实验。

2 放射治疗信息系统可用性评估模型的构建

2.1 建模指标的筛选

通过实验研究，共获得30名被试在2种不同型号放射治疗信息系统进行可用性测试的效率(任务完成时间)、主观评价量表(任务难易程度量表、USE量表、NASA-TLX量表、SUS)、眼动数据和生理数据。首先，进行数据的整理，剔除异常数据；其次，将SUS得分作为分类变量。研究表明，当SUS得分＞70分时，被评估系统的可用性是可以接受的；当SUS得分≤70分时，被评估系统的可用性不可接受[9]。

通过整理，共获得60组有效数据。以SUS得分作为分类变量将所获得的60组数据分为2组(＞70分作为一组，≤70分作为另一组)。然后再以SUS得分作为影响因素，利用SPSS 26.0统计软件对放射治疗信息系统可用性测试实验获得的效率数据、主观评价量表数据、眼动数据和生理数据进行方差齐性检验，结果见表1。

表1 放射治疗信息系统可用性评价指标方差齐性检验

方差齐性检验的结果表明，所有可用性评价指标(效率指标、主观评价量表、眼动指标和生理指标)P均＞0.05，可进一步用于放射治疗信息系统可用性评估建模研究。同时，研究人员利用SPSS 26.0统计分析软件的P-P图功能对所有指标数据的分布进行了检验，结果表明，所有数据均近似服从正态分布。在此基础上，研究人员进一步对所有可用性评价指标进行单因素方差分析，结果见表2。

表2 放射治疗信息系统可用性评价指标单因素方差分析

单因素方差分析结果表明，效率指标(任务完成时间)、主观评价量表(任务难易程度量表、USE量表、NASA-TLX量表)、眼动指标(眨眼频率、总注视时间)6个指标P＜0.05，可用于放射治疗信息系统的可用性评估建模。生理指标由于不满足建模指标入选条件，未能纳入建模研究。

2.2 模型构建方法的选择

为正确建立放射治疗信息系统可用性评估模型，必须确认评估指标间的相关关系，表3揭示了建模指标间的相关系数。通过统计学相关分析方法，可以判断两变量之间是否存在相关关系。已有研究表明：当变量之间存在高度相关关系时，变量相关系数绝对值在0.8~1.0；当变量之间存在强相关关系时，变量相关系数绝对值在0.6~0.8；当变量之间存在中等程度相关关系时，变量相关系数绝对值在0.4~0.6；当变量之间存在弱相关关系时，变量相关系数绝对值在0.2~0.4；当变量之间为极弱相关或不相关关系时，变量相关系数绝对值低于0.2[15]。

表3 放射治疗信息系统可用性建模指标间相关关系(r值)

建模指标相关关系分析表明，不同可用性评价指标间存在多重共线性关系，各个评价指标并非相互独立，传统的多元回归建模方法并不一定完全适用。因此，本研究选择偏最小二乘回归法作为建模方法。偏最小二乘回归法建模所需要的样本量少，能解决建模指标高度相关问题，并能较好地解释多个自变量与因变量的关系，且建模结果更加稳定可靠，更适用于本研究的模型构建[16]。

2.3 放射治疗信息系统可用性评估模型建立

以效率指标(任务完成时间)、主观评价量表(任务难易程度量表、USE量表、NASA-TLX量表)、眼动指标(眨眼频率和总注视时间)作为自变量，以SUS得分作为因变量。同时，从获得的60组样本数据中随机挑选53组作为训练样本进行建模，剩余7组作为模型验证样本，并利用MATLAB软件作为建模工具，标准化建模数据集，编写偏最小二乘回归代码，从而获得放射治疗信息系统可用性评估模型：

式中，Y为SUS预测得分；X1为任务完成时间；X2为任务难易程度量表得分；X3为USE量表得分；X4为NASA-TLX量表得分；X5为眨眼频率；X6为总注视时间。

2.4 放射治疗信息系统可用性评估模型解释

由获得的放射治疗信息系统可用性评估模型可知，在所有可用性评价指标中，起重要作用的指标是USE量表和眨眼频率，其次为任务难易程度量表和总注视时间。在这些可用性评价指标中，任务完成时间、任务难易程度量表、NASA-TLX量表和总注视时间4个指标起负向作用，USE量表和眨眼频率这2个指标起正向作用。使用人员在放射治疗信息系统完成操作任务时间越长，主观感觉任务完成难度越大，工作负荷越大；在完成任务时使用人员总注视时间越长，表明放射治疗信息系统可用性越差。此外，使用人员USE量表评分越高，眨眼频率数值越大，表明放射治疗信息系统可用性越好。

2.5 放射治疗信息系统可用性评估模型有效性验证

为验证放射治疗信息系统可用性评估模型的有效性，将7组剩余的评价指标数据代入所得评估模型中，获得放射治疗信息系统SUS预测得分，并利用SPSS 26.0统计软件将模型SUS预测得分与实际得分进行配对样本t检验。结果表明，预测值与实际值比较P=0.593＞0.05，表明预测值与实际值无显著性差异，说明研究获得的放射治疗信息系统可用性评估模型有效，可用作放射治疗信息系统的可用性评估。图2为模型可用性预测得分与实际得分对比图。

图2 放射治疗信息系统可用性评估模型预测得分和实际得分对比

3 讨论

研究结果表明，效率指标(任务完成时间)、主观评价指标(任务难易程度量表、USE量表和NASATLX量表)、眼动指标(眨眼频率和总注视时间)可用于放射治疗信息系统可用性设计评估。任务完成时间作为效率考核指标，常常用于评价医疗器械可用性设计的优劣。医疗器械可用性设计的优劣关系到使用人员的操作效率，在本研究中，任务完成时间在单因素方差分析中具有显著性差异，表明放射治疗信息系统制造厂商需要注重放射治疗信息系统的使用效率。此外，不少可用性研究将主观评价量表作为可用性评估的重要指标。如任务难易程度量表，Uzawa等[17]评估呼吸机可用性时，将任务难易程度量表作为评价呼吸机可用性的主观评价指标，通过获取使用人员完成任务时的主观感知难易度侧面评估医疗器械可用性设计的优劣。同时，医疗器械可用性设计优劣同样会影响使用人员的工作负荷(NASA-TLX量表得分)和用户友好体验(USE量表得分)。研究表明，可用性设计较差的医疗器械产品会增大使用人员的工作负荷和降低用户体验[18]。

另外，眼动指标中的眨眼频率和总注视时间在单因素方差分析中也存在着显著性差异。注视时间代表被试完成任务时关注某块兴趣区域的停留时间，反映了被试获取试验任务相关信息的难易程度。相关研究结果表明，注视时间持续越长，被试的认知负荷越大，医疗器械可用性设计越差[19]。同时，相关研究还表明，眨眼频率与被试的工作负荷存在相关关系[5]。被试的眨眼频率会随着工作负荷的增大而降低。因此，本研究中将眨眼频率作为放射治疗信息系统的可用性评价指标。

此外，在本研究中，不同可用性评价指标之间存在着相关关系，如任务完成时间与USE量表、眨眼频率呈负相关，与任务难易程度量表、NASA-TLX量表和总注视时间呈正相关，表明被试任务完成时间越长，工作负荷越大，主观感知任务难易程度越大，放射治疗信息系统可用性设计越差。因此，可以综合使用多种指标表征系统可用性。本研究建立的放射治疗信息系统可用性评估模型可靠有效。放射治疗信息系统制造厂商可依据研究建立的模型有针对性地优化、改进系统可用性设计，进一步提高临床使用人员的用户体验。

4 结语

本文以放射治疗信息系统可用性设计为研究对象，选取了30名放疗技师在2种临床在用放射治疗信息系统上完成特定的实验任务，运用效率指标、主观评价量表、眼动指标和生理指标综合评估放射治疗信息系统的可用性。通过对实验采集的评价指标数据进行方差齐性检验和单因素方差分析，筛选了6个可用性评价指标用于评估建模，利用偏最小二乘回归法筛选建模指标，建立了放射治疗信息系统可用性评估模型，并对评估模型的有效性进行了验证。研究表明，效率指标、主观评价量表和眼动指标会因为放射治疗信息系统可用性设计的不同产生不同变化。本文建立的放射治疗信息系统可用性评估模型可通过主观和客观测量数据对放射治疗信息系统的可用性进行评判，为放射治疗信息系统的可用性优化设计提供了优化方法和评价工具。