医疗设备Bland-Altman一致性分析中文报告的系统评价

闻 浩，刘玉秀，于 浩

0 引 言

临床研究经常需要评价两种测量方法测量结果的一致性。目前临床测量中用于评价定量数据两种测量结果一致性的方法包括配对t检验、简单相关分析和回归分析方法，也有关于采用决定系数、组内相关系数(intra-class correlation coefficients，ICC)、一致性相关系数(concordance correlation coefficient, CCC)以及Bland-Altman法评价一致性的方法[1-2]。各种方法均在一致性研究领域广泛应用，但也同时存在着各自显而易见的缺陷和问题：配对t检验属于一种差别性检验，该种检验方法只是检验两组数据集中位置是否相同，其检验的阴性结果通常仅说明两者差异尚无统计学意义，而不能判断两者的一致性情况，且仅对系统误差敏感；相关分析只是关注检验数据同步变化的方向和紧密程度，且对于系统误差不敏感；ICC指测量者之间的变异占总变异的比例，无法直接反映一致性。由Altman和Bland于1983年提出并于1986年进一步完善的Bland-Altman法因其分析直观和理解简单，一经提出即得到广泛应用，成为一致性评价方法的里程碑[3-4]。尽管Bland-Altman方法是一组在国际上得到广泛认可，是应用最为活跃的方法之一，但并没有很好解决设计类型选择、样本含量估计、数据行为分析、一致界值确定、一致性推断方法以及方法本身统计学性能评价等诸多问题[5]。本研究通过检索大型检索数据库收录Bland-Altman方法判断不同医疗测量设备一致性检验的相关学术论文，并对其中涉及一致性方法验证内容从方法选用、数据行为判别、Bland-Altman图坐标轴表述、可信区间判断等方面存在的问题设计完整的信息采集表，建立数据库，对选出文献有关一致性研究所存在问题依照PRISMA指南要求形成系统综述；根据研究结果提出关于Bland-Altman一致性临床研究使用的规范性改进策略。

1 资料与方法

1.1 文献检索利用大型检索数据库(Viper、万方以及中国知网等)，合理设计检索策略，在保证研究文献查全率的基础上提高查准率。检索日期限定为2019年7月1日至2019年12月31日。以中国知网检索条件为例：发表时间 between(2019-07-01,2019-12-31)并且( ( ( ( (全文=中英文扩展(Bland-Altman))或者(全文=中英文扩展(Bland Altman))) 或者( (全文=中英文扩展(bland altman))或者(全文=中英文扩展(bland-altman)) ) )并且( (全文=设备)或者(全文=仪器) ) )并且 (全文=一致性) ) (精确匹配),：医药卫生科技; 数据库：文献跨库检索。

1.2文献纳入标准①主要研究目的为评价医疗测量设备定量一致性分析；②采用了包含Bland-Altman方法在内的一致性分析；③一致性分析方法的应用旨在分辨研究对象(测量方法)的可替代性；④文献公开发表于2019年7月1日至2019年12月31日期间。

1.3文献排除标准①文献旨在针对Bland-Altman一致性分析的方法学构建及讨论；②针对医疗测量设备一致性分析以外，使用Bland-Altman进行一致性评价的相关文献，如对于某些主观评价指标的一致性分析应用；③用于学术会议交流、知识信息普及等文献资料；④各数据库资源重复文献；⑤无法获取全文文献。

1.4统计Bland-Altman方法基本应用情况通过对相关文献的梳理，大致了解Bland-Altman方法在不同研究时期、学科以及领域之间的应用发展变化情况，判断得出大致的应用特征趋势；宏观分析归纳相关文献的总量、学科以及年代分布、研究层次、应用方向等信息；掌握Bland-Altman一致性评价方法使用情况，记录一致性研究方法选择与具体使用等细节内容。

1.5文献信息采集表设计基于方法应用与合理性关键要素设计信息采集表，并收集汇总信息。本研究组前期通过进行充分文献复习、定期会议讨论、咨询同行专家、开展系统评价、提炼整合条目，并邀请多学科专家，通过头脑风暴法、Delphi专家咨询法集成专家智慧和意见建议，形成报告条目的基本框架；最后在组内研究论证，形成基于专家共识的RiBAM推荐(RiBAM recommendation)，撰写相应的“说明和详述”(E&E)文件[6]。信息主要分为文献基本信息以及方法学应用情况2部分。其中，基本信息部分包含文献的文题、作者、学科、发表年限以及使用软件等情况；方法学部分主要包含Bland-Altman散点图绘制(包括数量，横轴、纵轴与横线代表含义)，LoA定义以及是否提供LoA95%(包括计算方法)、本量估计、重复性、界值制订、基本数据行为的考察以及其他方法(包括配对t检验、相关分析、回归分析、组内相关系数以及一致性相关系数等)同时应用情况，并考虑其间结果的差异性情况。

1.6与既往同类研究的结果进行比较通过检索2000年至今国内外关于Bland-Altman一致性分析报告质量的评价文献，并对涉及条目的正确报告率进行比较，其中包括正确的X轴坐标、正确的LoA定义、报告LoA的可信区间、LoA与事现定义的一致性界值进行比较、评价差值与均值之间的关系、考虑到重复性的情况等。

1.7统计学分析对于检索获得并符合研究分析的相关文献进行信息录入。使用Microsoft Excel 2007对数据进行整理，通过SPSS 21.0软件进行统计学分析。计数资料以n(%)形式表示，率的比较采用χ2检验或Fisher精确概率法。以P≤0.05为差异有统计学意义。

2 结 果

2.1 文献检索结果通过对国内数据库以及网络信息资源的初筛，检索命中相关文献147篇。在剔除重复文献(21篇)、无法下载文献(3篇)、与主题不符(23篇)、与发表时期不符(3篇)、非实(试)验性研究(1篇)以及因期刊编校错误导致无法统计(6篇)的文献后，最终纳入潜在与研究主题相关的全文文献90篇。文献筛选流程及结果见图1。

2.2一致性分析方法的基本应用情况在纳入分析的90篇文献中，单独使用Bland-Altman一致性分析方法进行一致性分析的文献占20%(18/90)，同时使用2种分析方法文献占44.4%(40/90)，使用分析方法种类≥4种文献占6.7%(6/90)。在纳入研究的文献中，除Bland-Altman法外，使用占比最高为相关分析法(包括Pearson和Spearman)42.2%(38/90)，其次为差异性分析(包括配对t检验、配对χ2检验、配对秩和检验、单因素方差分析等)32.2%(29/90)、组内相关系数21.1%(19/90)等。见表1。用于2种研究对象一致性分析的文献占84.4%(76/90)，3种对象进行一致性分析共涉及6篇(6.7%)、4种7篇(7.8%)。

图 1 纳入研究文献筛选流程

表 1 90篇医疗测量仪器Bland-Altman一致性评价报告分析方法使用情况

2.3Bland-Altman一致性分析方法应用情况相关主题词检索结果显示，2015-2019年国内共刊发Bland-Altman相关文献1664篇。按一级学科分类，仅45篇(2.7%)文献涉及基础方法学研究，其余文献均为应用性研究，其中一级学科以临床研究(76.5%，1276/1664)为著。见图2。国内关于Bland-Altman一致性方法的研究多为应用性研究，而针对基础方法学的研究鲜有报道。

2.4纳入Bland-Altman一致性分析应用性文献的学科分布在90篇纳入分析的文献中，研究主题涉及医学影像学最多(42.2%，38/90)、医学检验学(21.1%，19/90)、眼科学(10%，9/90)、生物医学工程(10%，9/90)；此外包括护理学3篇，解剖学、麻醉学、肾脏病学各2篇，心脏内科学、胸外科学、军事医学、骨科学、耳鼻喉科学、公共卫生学各1篇，见图3。在应用领域最多的医学影像学与医学检验中，两者交叉学科占比差异有统计学意义(89.5%vs31.6%，χ2=17.613，P<0.05)；而其中医学影像学与心脏内科学交叉比例最高(67.6%，23/34)。一方面说明Bland-Altman一致性评价的方法在临床科研中有着极大的应用范围；另一方面也显示出该方法在以医学影像学参与的交叉学科研究中所发挥的重要作用。

图 2 国内2015-2019年Bland-Altman一致性评价研究相关主题文献量分布

图 3 90篇医疗测量仪器Bland-Altman一致性评价报告学科分布情况

2.5纳入Bland-Altman一致性分析应用性文献的错误类型统计在纳入的90篇文献中，在Bland-Altman法评价一致性研究报告规范性方面，仅有2篇(2.2%)文献进行了样本量估计，且描述了具体方法；17篇描述了一致性界值，而其中仅6篇(35.3%)说明了具体依据并注明参考文献；88.9%(80/90)文献未明确95% LoA计算方法；有86.7%(78/90)的文献提供了散点图，而在图形设计中最大的差异集中在对横轴与纵轴含义的表达方面，分别有88.5%(69/78)和87.2%(68/78)的文献将横轴与纵轴分别设定为两者的均值和差值；90篇文献中，对于数据行为进行考察的比例仅为6.7%(6/90)。32篇(35.6%)文献描述了具体使用软件名称及版本号。在一致性判定依据方面，仅有7篇(7.8%)文献表达“与临床允许范围比较”，低于使用“计算95% LoA内的点是否达到95%”(28.9%，26/90)和“计算95%CI内的点是否达到95%”(21.1%，19/90)两种方法；未发现采用95% LoA的95% CI与事先设定的临床可接受界值进行比较的正确方法；仍有36.7%(33/90)的文献未注明一致性判定依据。对于该方法的重复性进行评价和考虑的仅为6.7%(6/90)；有85.6%(77/90)文献缺少对于Bland-Altman一致性分析文献的引用，而在引用的13项研究中，有92.3%(12/13)的文献引用了Bland-Altman方法学研究内容。具体问题类型及数量分布见表2。

表 2 90篇Bland-Altman一致性分析应用文献主要问题分布

2.6与既往研究及标注Bland-Altman文献研究的比较将本研究统计结果与既往同类文献进行比较后发现，所有条目均低于国外报告的正确率。见表3。本文13篇引用Bland-Altman一致性分析文献的研究与总文献比较，正确标注X轴坐标、正确LoA定义的比例差异均无统计学意义(P=0.454、P=0.777)，研究的文献选择存在引用矮化的现象。

表 3 本研究与既往部分Bland-Altman分析报告质量的统计比较[n(%)]

3 讨 论

尽管Bland-Altman方法已得到国内外众多研究人员的广泛认可，成为应用最为活跃的方法之一，但在应用方面尚存有较多纰漏，进而影响其对于一致性评价结论正确性的取得。本研究拟通过定性系统评价的方法，了解Bland-Altman方法在医疗测量设备替代研究中的应用情况，并分析存在的主要使用问题，为制订Bland-Altman一致性评价的方法应用策略、改进报告质量、促进其科学规范应用提供参考[7-10]。

国内外已有部分研究针对Bland-Altman一致性分析方法应用情况相继展开。Zaki等[11]于2012年通过与5个电子数据库(Medline、Ovid、PubMed、Science Direct和Scopus)的文献进行检索，对所筛选出的210篇医疗仪器或器械一致性评价文献进行分析。结果发现，其中117篇(56%)文献只采用了1种一致性检验的统计学方法，使用2种以上统计学方法为93篇(44%)；使用Bland-Altman方法的178篇(85%)，其中只使用该方法的99篇(56%)。但对于是否恰当使用了Bland-Altman方法作者没有具体涉及。Mantha等[12]对于1996至1998年间7种麻醉学杂志发表的临床测量方法比较的44项研究进行了分析报道，旨在确定两种方法是否存在互换使用的可能。其中42项(95.4%)研究用到了LoA方法。文章从方法的重复性、一致限(实际上是指一致界值)定义、Bland-Altman图X轴设定、差值与X轴相关性和可信区间报告5个方面进行了评价。42篇中使用Bland-Altman图的38篇(90.5%)、评价重复性的9篇(21.4%)、评价相关性的4篇(9.5%)、事先定义一致界值的3篇(7.1%)、报告可信区间的只有1篇(2.4%)。使用Bland-Altman图的38篇中X轴正确使用两方法结果均值的36篇(94.7%)。Dewitte等[13]2002年报道了1995至2001年期间发表在ClinChem杂志上的带有Bland-Altman图的文章。结果发现，其数量呈逐年增加趋势，96篇文献中出现98幅图，其中75幅图(76.5%)的Y轴用差值、20幅图(20.4%)用百分比值、3幅图(3.1%)用对数尺度；而X轴用参照方法测量结果的有13幅(13.3%)。这些文献中只有67篇(69.8%)提供LoA，最严重的问题是仅2篇与临床可接受的差值(clinically acceptalbe difference between two methods)进行比较。该研究还分析了1996至2001年发表在ClinicalChemistryandLaboratoryMedicine和AnnalsofClinicalBiochemistry两本杂志上一致性评价文献，在75篇检出文献中共有103幅Bland-Altman图，通过肉眼可见，57篇(76%)差值变异随测量值增加和/或存在比例性偏倚，而87%的图存在技术瑕疵(technical flaws)。其中解释数据时用一致限与事先确定的允许误差限值作比较的不足10%。本研究亦发现，满足Bland-Altman一致性评价结果与临床可接受差值以及事先确定的允许误差限制进行对比的研究比例仍旧很少(4.3%)，故规范化操作应强调对此类问题的把控。

Berthelsen和Nilsson[14]于2006年综述了ActaAnaesthesiolScand1989至2005年间发表的用Altman-Bland法的文献50篇，发现11篇(22%)考虑到2种方法的重复性，11篇(22%)报告了偏倚的可信区间，7篇(14%)报告了LoA的可信区间；11篇(22%)因没有提供Bland-Altman图而妨碍了结果的解释；13篇(26%)图的差值和测量结果间有明显相关，并不适合于标准的Bland-Altman分析，似乎可用对数转换来解决，但并未见作者采用数据转换方法。本研究中，纳入文献中约10.7%的研究未提供散点图，较大程度上影响了对于一致性判断结果的采集。图形化是Bland-Altman一致性分析最重要的特点之一，对于直观了解包括极值点在内的各数据信息有着极为重要的意义。因此，在方法的使用过程中，应着重对于散点图的正确绘制与解读。Chhapola等[5]2014年以Pubmed、Google、Scholar为搜索引擎，检索了2012年之后发表的实验室方法比较研究文献，评价了Bland-Altman法分析评价一致性的统计学报告质量。该研究事先设定了6条报告标准：①正确的X轴标尺；②正确的LoA定义；③报告了LoA可信区间；④LoA与事先定义的临床一致界值进行了比较；⑤评价差值(Y轴)与均值(X轴)间的关系；⑥考虑到重复性情况。结果表明，50项研究中X轴和LoA正确表达的比例为94%，与预定临床界值比较的比例为74%，报告可信区间的为6%，评价Y轴与X轴变量关系的为28%，对重复性进行评价的为38%。

Olofsen等[15]2014年对重复测量设计的95%LOA的可信区间估计进行了澄清，并提出报告Bland-Altman分析结果的标准格式，包括6个方面：①重复测量的类型，区别对待“真值变化”和“真值不变”2中不同情形的说明；②差值均数(偏倚)、LoA及其95%可信区间；③差值的标准差和标准误；④个体内变异和个体间变异或ICC及其标准误；⑤反映测量精度的重复性系数；⑥合理性考察的诊断图形及有关说明。

上述通过文献调查分析了方法比较研究一致性评价方法学研究的现状，可见Bland-Altman方法应用的广泛性及应用不合理的严重性，但有的问题也随着对于方法学的深入研究在不断改善[16]。如陆梦洁等[17]已根据Bland-Altman方法，采用LoA可信区间进行一致性推断的原理对相应的样本含量公式进行了理论推导，并借助Monte-Carlo模拟方法对计算公式进行了正确性验证。

关于定量方法比较研究Bland-Altman一致性评价的方法学研究数据分析方面目前还需要解决的几方面问题：①缺少对数据行为的考察。没有对标准Bland-Altman方法应用的3个条件进行统计学鉴定，无论条件满足与否，均一味套用标准Bland-Altman方法，致使结论的正确性受到严重质疑。如何判定数据的行为，尤其是对于重复测量设计Bland-Altman法一致性评价的应用条件考察，尽管可以参照常规的绘制重复测量数据Bland-Altman图和差值直方图的常规方法进行粗略判定，但毕竟不够精细，需要在方法学上进一步完善。②一致性评判的方法和标准存在误用。已有研究人员意识到直接使用差值位于95%LoA两个限值之间的百分比是否小于95%，以及直接用95%LoA是否位于事先确定的上下一致界值之间来进行一致性判定的方法，都是严重的错误。也认识到应该使用95%LoA的95%可信区间作为与一致界值对比的判定，但是，用Bland-Altman给出的可信区间估计方法存在性能不足的问题。尤其是对于重复测量设计的一致性评价仍采用原来的Bland-Altman一致限LoA及其可信区间估计方法，而不考虑重复测量的特点，按照各次测量是独立的来处理，将会影响结果的可靠性。Hamilton通过随机模拟阐明，如果忽略重复测量按照独立处理，所计算的LoA可信区间即使在大样本量情况下统计学性能依然低下。③方法实现的计算工具需要进一步开发完善。有些软件如MedCalc等可实现基本功能，但不够系统、全面，不能满足实际评价的需要。④缺少具有全面性、透明性的研究报告指导原则和规范。现有的一致性研究报告质量堪忧，需要多学科专家联合制定相关的报告规范以增强研究报告的质量。

值得注意的是，在本研究初筛命中的147篇涉及Bland-Altman一致性评价方法的应用性文献中，有6篇已刊文献存在Bland-Altman相关描述的重大错误，其中包括Bland-Altman相关结果缺失、散点图排版顺序错误、不同一致性分析方法结果混淆以及若干书写与拼写错误。由此可见，医学出版专业技术人员作为医学研究报告最后的把关人应进一步加强专业学习与知识拓展，减少粗浅问题的出现与暴露，从而提高医学科研成果转化的效率。

综上所述，尽管对于定量测量结果的Bland-Altman一致性评价方法在专业领域应用逐年成迅猛增长，虽然在方法学应用方面有所提升，但问题仍较为集中和明显，急需方法学研究者和应用者从理论研究和实际应用2个方面均应给予高度关注[18-19]。