陶功财,张楠,尚志忠,张元元,张婷,2,张俊华,马彬,2
众所周知,保证系统评价结论真实性的前提之一是对纳入研究的偏倚风险进行科学评估,对动物实验系统评价亦不例外。SYRCLE动物实验风险评估工具(SYRCLE’s risk of bias tool for animal studies)是目前唯一专门针对动物实验内在真实性的评估工具[1],2014年由来自荷兰SYRCLE实验动物中心的Hooijmans等[2]多名学者,基于Cochrane随机对照试验偏倚风险评估工具研发。截止目前,已有不少已发表的动物实验系统评价开始采用该工具对其纳入研究的偏倚风险进行评估[3-6]。
为使读者正确的理解和使用SYRCLE风险偏倚评估工具,本文以一项干预性研究《双孢菇胞内和胞外多糖对伴刀豆凝集素A诱导免疫性肝损伤小鼠的保护作用》[7]为例,采用SYRCLE评估工具对其风险偏倚进行评估。
SYRCLE工具共包括10个条目,22个亚条目,涉及的偏倚类型包括选择性偏倚、实施偏倚、测量偏倚、失访偏倚、报告偏倚和其他偏倚,适用于干预性动物实验偏倚风险的评估[8]。该评估工具中10个条目的评估结果最终以“是”、“否”和“不确定”表示,其中“是”代表低风险偏倚,“否”代表高风险偏倚,“不确定”代表不确定风险偏倚。
2.1 选择性偏倚对选择性偏倚的评估,SYRCLE动物实验偏倚风险评估工具包括序列产生、基线特征、和隐蔽分组3个条目。
2.1.1 条目1:序列产生序列产生主要是指在对实验动物分组时,依据其分配序列产生的方法,以判断其产生方法和应用是否正确。若文献中明确说明采用如随机数字表、计算机随机发生器等具体的随机分配方法,则评估为“是”;若明确描述未使用随机分配方法或在分组的时候采用以下描述方法:①根据判断或者调查者的偏好来分配;②根据实验室测试或者一系列测试结果来分配;③根据干预的有效性进行分配;④根据出生日期的奇偶数进行序列生成;⑤根据动物编号或者笼子编号规则进行序列产生;则评估为“否”;若文献中提供的信息不充分,无法确定其具体的随机方法(可能仅提到“随机”),则评估为“不确定”。
示例文献中,在该部分的描述为“将ICR小鼠随机分为正常对照组、模型组、阳性药组、IPS和EPS组,每组15只”,虽然说明是随机分配,但并未提及具体的随机方法,评价人员无法确定其分配序列产生的具体方法是否充分。因此,该条目的评估结果为“不确定”。
2.1.2 条目2:基线特征实验动物的随机分配,在目前的动物相关研究中并未成为标准实践模式。而且,大部分动物实验的样本量相对较小,重要的基线特征差异有可能出现。因此,在动物实验中,评估实验组和对照组基线特征的相似性就显得尤为重要。就基线特征而言,SYRCLE动物实验偏倚风险评估工具可以对以下3个亚条目进行评估:
①亚条目1:实验组和对照组基线特征的分配是否均衡?基线特征的数目和类型取决于需要评价的问题,在开始评估其偏倚风险之前,评价者需集体讨论哪些基线特征需要用于组间的比较。一般而言,基线特征和/或混杂因素包含:动物的性别、年龄、体重以及实验中感兴趣结局指标的基线值等。若经过判断组间基线特征均衡,则评估为“是”;反之,则为“否”;若未提供相关信息导致无法判断,则为“不确定”。示例文献探讨的是双孢菇胞内和胞外多糖对免疫性肝损伤小鼠的保护效果。经过评价小组的集体讨论,认为实验小鼠的体重,性别和一些重要结局指标包括胸腺指数、肝/脾指数等的基线值均应在组间均衡,以保证基线特征的可比性。但在示例文献中,仅见到“研究对象均为雄性ICR小鼠,SPF级,18~22 g”的报告,其他相关信息均未见报告。因此,该亚条目的评估结果为“不确定”。
②亚条目2:如果不是,研究者是否对未平均分配的基线特征进行调整?只有当亚条目1评估结果为“否”时,才有必要继续评估亚条目2。若经过判断,研究者自己提及了调整方式,经过调整后使得原来不均衡的基线特征变得均衡,则评估为“是”;反之,则为“否”;若未提供相关信息导致无法判断,则为“不确定”。由于示例文献中对亚条目1的评估结果为“不确定”,故不需要对亚条目2进行评估
③亚条目3:疾病诱导的时间安排是否充分/正确?就疾病诱导时间安排而言,基本原则如下:对预防性研究而言,疾病诱导应在干预分配之后;对干预性研究而言,疾病诱导应在随机分配之前进行,或是在随机分配之后进行,则要求疾病诱导时间是随机的,同时对实施干预措施的人员施盲,使其不知道动物接受了何种干预。若疾病诱导时间安排与上述描述一致,则评估为“是”;反之,则评估为“否”,这里需要注意的是,干预性研究中,如果疾病诱导在随机分配之后,但诱导时间并非随机,且亦未对实施干预人员施盲,则仍然评估为“否”;若提供信息不充分,无法确定疾病诱导的具体时间安排,则评估为“不确定”。这里需要注意的是,在干预性研究中,如果已判断疾病诱导发生在随机分配之后,但疾病诱导时间是否随机,是否同时对实施干预措施的人员施盲等方面的信息不充分无法判断时,则仍然评估为“不确定”。示例文献属于干预性研究,在该部分文献中描述为“将小鼠随机分组,末次给药4 h后,除正常对照组外,模型组、IPS组、EPS组和阳性药组均尾静脉注射Con A 25 mg/kg诱导Con A免疫性肝损伤模型”。由此,可以明确判断示例文献中,疾病诱导发生在随机分组之后,但疾病诱导时间是否随机,是否同时对实施干预措施的人员施盲均不清楚。因此,该亚条目的评估结果为“不确定”。
综合考虑以上三个亚条目的评估结果,示例文献在条目2(基线特征)上的评估结果为“不确定”。
2.1.3 条目3:隐蔽分组隐蔽分组是指采用一定的随机方法对研究对象进行分组后,使试验实施者和研究对象对其将被分在试验组或对照组不可预知。若文献中明确说明例如由第三方对实验组进行随机编码,然后编号不透明、密封的信封等方法来实现随机序列的不可预测性,则评估为“是”;若未进行隐蔽分组工作,或者采用了不正确、不充分的隐蔽分组的方法,如:①公开随机化表;②使用信封但未进行适当的安全保障;③交替或循环分配;④据出生日期分配;⑤根据动物编号进行分配;⑥其他任何明确的非随机公开过程等,则评估结果为“否”;若文献中提供的信息不充分,无法判断是否实施隐蔽分组,则评估为“不确定”。
示例文献中,在该部分的描述为“将ICR小鼠随机分为正常对照组、模型组、阳性药组、IPS和EPS组,每组15只”,所提供的信息不充分,无法判断是否实施隐蔽分组。因此,该条目的评估结果为“不确定”。
2.2 实施偏倚对实施偏倚的评估,SYRCLE动物实验偏倚风险评估工具共包括动物随机安置法和盲法两个条目。
2.2.1 条目4:动物安置随机化研究显示[2,9-11]:实验动物的安置方式对其结果具有重要影响,SYRCLE动物实验偏倚风险评估工具可以从以下2个亚条目进行评估:①亚条目1:研究者在动物房中是否随机安置笼子或动物?②亚条目2:结局或结局指标是否未受到非随机安置动物的影响?
若文献中明确说明或评价者经过判断,研究者在动物房中随机安置笼子或动物(亚条目1,例如结果评价中的动物经过随机选择),或研究者在动物房中未随机安置,但其结局或结局指标并未受到非随机安置动物的影响(亚条目2,例如来自不同实验组的动物的饲养条件相同),则均评估为“是”;反之,则评估为“否”;若提供的相关信息不充分导致无法判断,则评估为“不确定”。
示例文献中,该部分描述为“饲养条件:温度22~26℃,湿度50%~70%,昼夜间断照明,每天添加饲料2次,换水1次,小鼠自由进食、饮水”。经判断所有实验动物的饲养条件和环境相同。因此,该条目4评估结果为“是”。
2.2.2 条目5:盲法(对动物饲养者和研究者施盲)干预措施的实施过程是盲法应用的主要阶段之一,在动物实验中尽管不需要对动物施盲,但在干预措施的实施过程中,研究者大多又同为动物饲养者。因此,有必要对动物饲养者和研究者施盲,以降低或避免在干预措施的实施过程中产生的主观偏倚。
若文献中明确说明或评价者经过判断,研究者采取以下措施施盲:①每个动物的身份证和笼子/动物标签被编码相同的外观;②顺序编号的药物容器外观相同;③两组动物在相同的环境下给与干预;④在整个实验过程中,动物饲养条件的安置是随机的;则评估为“是”。反之,若文献中说明或评价者经过判断,未实施盲法或采用了以下不恰当的施盲方法:①给笼子标签涂色(A组红色标签,B组黄色标签);②对实验组和对照组可见的结果有预期差异;③在整个实验过程中,动物饲养条件的安置并非随机;④设计实验与实施实验、分析数据的是同一个人;⑤两组动物未在相同的环境下给与干预;⑥两组动物干预环境不同的情况;⑦给予安慰剂和药物的时间不同;⑧实验组和对照组中仪器的使用有差别;则评估为“否”;若提供的相关信息不充分导致无法判断,则评估为“不确定”。
示例文献中,在该部分描述为“IPS或EPS组ig给予IPS或EPS 100、200和400 mg/kg;阳性药组ig给予水飞蓟宾47.25 mg/kg,正常对照组和模型组ig给予等体积生理盐水,1/d,连续给药12 d”所提供的信息不充分,无法判断是否对饲养者和研究者施盲。因此,该条目评估为“不确定”。
2.3 测量偏倚对于测量偏倚的评估,SYRCLE动物实验偏倚风险评估工具共包括随机性结果评估和盲法两个条目。
2.3.1 条目6:随机性结果评估若文献中明确说明,或评价者经过判断确定,研究者采用:如随机数字表、或计算器随机发生器等正确的随机方法选取实验动物用于结果评价,则评估为“是”;反之,则评估为“否”;若提供的相关信息不充分导致无法判断,则评估为“不确定”。这里需要注意的是,若文献中仅提及采用“随机方法”选取实验动物用于结果评价,但具体随机方法不清楚,则仍评估为“不确定”。
示例文献中,在该部分的描述为“每组随机取3只小鼠进行模型指标鉴定”,其具体的随机方法不清楚。因此,该条目评估结果为“不确定”。
2.3.2 条目7:盲法(结果评价者)盲法在结果测量阶段的应用,是为了避免由于测量人员知晓动物接受何种干预措施,导致对结果测量产生的主观偏差。SYRCLE动物实验偏倚风险评估工具可以从以下2个亚条目进行评估:①亚条目1:是否有措施保证对结果评价者的施盲方法不被打破?②亚条目2:对结果评价者未采用盲法,但通过评价可知未实施盲法并不影响其结局指标的测定?
若文献中明确说明或评价者经过判断,在结果的测量过程中,作者对对照组和实验组使用结果评价方法相同,或随机选取动物用于结果的测量;亦或未对结果测量者施盲,但并不影响对其结果指标的测定(例如针对某些客观指标),则评估为“是”。反之,则评估为“否”;若提供的相关信息不充分导致无法判断,则评估为“不确定”。
示例文献中,在该部分描述为“禁食不禁水后8 h,肝损伤程度达到高峰,眼球取血,之后处死小鼠,分别称取肝、脾和胸腺进行实验指标的测定”,所提供的信息不充分,无法判断是否对测量人员实施盲法。因此,条目7的评估结果为“不确定”。
2.4 失访偏倚在SYRCLE动物实验偏倚风险评估工具中,主要通过对不完整数据报告(条目8)情况的分析与判断,确定失访偏倚的程度。
2.4.1 条目8:不完整数据报告就不完整数据报告而言,SYRCLE动物实验偏倚风险评估工具可以从以下4个亚条目进行评估:①亚条目1:是否所有动物都纳入最后的分析?②亚条目2:是否报告缺失数据不会影响结果真实性的原因?③亚条目3:缺失数据是否在各干预组内相当,且各组缺失原因相似?④亚条目4:对缺失数据是否采用恰当的方法进行估算?
当亚条目1的评估结果为“否”时,才有必要进一步评估亚条目2、3和4。经评价者判断:所有动物都纳入最后分析;或者有数据缺失,但详细说明了缺失数据不影响最终结果真实性的原因,如各干预组缺失数据相当且原因相似,或采用了恰当的方法对缺失数据的影响进行了评估等,则评估为“是”;反之则评估为“否”;若文献中提供的信息不充分,无法判断是否存在数据的丢失,则评估为“不确定”。
示例文献中,在该部分的描述为“在正式实验中,ConA注射后3 h,模型组、IPS和EPS 100mg/kg组各有1只小鼠死亡。8 h后,每组随机取3只小鼠进行模型指标鉴定”, 经判断可知,存在缺失数据,但未对缺失数据是否影响最终结果真实性的原因进行任何说明。因此,综合判断条目8的评估结果为“否”。
2.5 选择性报告偏倚在SYRCLE动物实验偏倚风险评估工具中,主要通过对选择性结果报告的评估来判断是否存在选择性报告的可能性。
2.5.1 条目9:选择性结果报告就选择性结果报告而言,SYRCLE动物实验偏倚风险评估工具可以对以下两个亚条目进行评估:①亚条目1:是否可获取研究计划书,所有的主要和次要结局是否均按计划书预先说明的方式报告?②亚条目2:无法获取研究计划书,但已发表的文章中很清楚地报告了所有预期结果?
经评价者判断,获得研究计划书,计划方案中的预设所有指标均得到全部报告;或者,未获得研究计划书,但在发表的论文中已清楚报告了所有结局指标(如比较论文的方法和结果部分),则评估为“是”;反之,则评估为“否”;若文献中提供的信息不充分,无法判断是否存在选择性结果报告,则评估为“不确定”。
示例文献中,方法和结果部分均描述了免疫器官脏器指数测定、小鼠脾中T淋巴细胞亚群CD4+和CD8+百分比及CD4+/CD8+比值的测定、血清中IFN-γ和TNF-α含量的测定、肝组织SOD活性和MDA含量检测、肝组织病理观察,故可判断出所有预期结果均已被报告,因此,该条目评估为“是”。
2.6 其他偏倚其他偏倚是指除上述偏倚类型之外,研究中是否存在其他可能会导致偏倚产生的问题。
2.6.1 条目10:其他偏倚来源就其他偏倚来源而言,不同的实验研究会有不同的偏倚来源,这需要根据特定研究而确定。SYRCLE动物实验偏倚风险评估工具提供以下五个亚条目进行评估:①亚条目1:是否无污染(共用药品)?②亚条目2:是否没有来自资助者的不恰当影响?③亚条目3:是否没有分析单位错误?④亚条目4:是否不存在与实验设计相关的偏倚风险?⑤亚条目5:是否有新的动物加入到实验组和对照组以弥补从原始种群中退出的样本?
若研究中不存在上述提及的任一情况,则评估为“是”;反之,则评估为“否”;若文献中提供的信息不充分,无法确定是否存在该问题,则评估为“不确定”。但需要注意的是,上述提及的亚条目也仅是SYRCLE动物实验偏倚风险评估工具提供的一些共性问题。因此,在具体判断时,除考虑以上亚条目中涉及的问题外,还需要根据研究的具体情况进行增减。
经评估者判断,示例文献中无以上可导致其他偏倚的问题,因此,该条目评估为“是”。
本文选取2017年发表的一篇动物实验研究报告,使用SYRCLE工具评估其偏倚风险,其整体偏倚风险程度为“高”。除条目4、9和10的评估结果为“是”,条目8评估结果为“否”以外,其余条目均评估为“不确定”。
我们在应用SYRCLE工具评估此系统评价时,先由两人分别进行评估,再由另一人核对,有分歧或不确定时相互讨论或咨询第三人解决。需要注意的是目前该工具在评估时尚存在一些问题,如在选择性报告偏倚中,由于目前未对原始动物实验进行全面的注册,因此,几乎无法获取研究计划书,仅依据已发表文章在方法和结果部分的一致性来判断,有失偏颇。此外,我们发现SYRCLE工具所评价的许多条目在该示例文献中并无详细的信息说明,导致同行科研人员在阅读和判读该研究时产生较大的难度。
因此,我们建议动物实验相关研究人员有必要对SYRCLE动物实验偏倚风险评估工具进行系统学习和研究,采取恰当措施降低各类偏倚风险,如随机分组、对动物饲养人员和结果评价者施盲等,以保证动物实验结果的可信度。本文评估的是一篇干预性动物实验,未体现该工具在评估非干预性动物实验的优越性,日后需进一步探讨。