智能图像分析在IgA肾病免疫荧光病理诊断中的应用

马祯一　　钱萍　　俞芳　赵俊　　陈建清

[摘要] 目的 依靠深度學习的智能图像分析对IgA肾病精确检测及诊断，使临床采取有效的防治手段，是减少终末期肾病的发病率及病死率的关键。 方法 选取2016年1月至2019年6月我院肾病科收治的肾病病例共452例，排除因肾穿刺送检标本数量少，无法出具病理诊断;排除肾穿刺病理诊断疑似诊断者，排除未行免疫荧光检查患者后，确诊IgA肾病患者共135例进行图像分析，采用国际通用5级半定量法评价，选择传统图像处理方法分割提取荧光沉积区域。将输入图像进行颜色空间转换，在颜色和亮度两个特征维度，采用自适应阈值方法产生二值化图像。然后使用区域分离与合并，获得独立的沉积区域，再计算各个沉积区域的轮廓、面积和平均亮度，得出计算机自动识别荧光沉积强度和形状的过程。 结果 基于深度学习的人工智能图像分析能实现对IgA肾病免疫荧光结果的判读，与病理诊断医生结果相比符合率较高，IgA达88.9%，IgG达85.8%，IgM达83.8%，C3达88.6%，因此其可以协助病理诊断医生对IgA肾病免疫荧光的判读。 结论 充分利用计算机技术及网络技术改变病理工作流程，提高病理诊断医生的工作效率，减少因疲劳阅片发生的误诊率，使病理诊断更加精准及客观。

[关键词] IgA肾病;免疫荧光;智能图像分析;深度学习

[中图分类号] R737.9          [文献标识码] B          [文章编号] 1673-9701（2021）09-0147-05

Application of intelligent image analysis in immunofluorescence pathological diagnosis of IgA nephropathy

MA Zhenyi1   QIAN Ping1   YU Fang1   ZHAO Jun1   CHEN Jianqing2

1.Department of Pathology，Jiaxing Hospital of Traditional Chinese Medicine Affiliated to Zhejiang Chinese Medical University，Jiaxing   314001，China;2.Department of Information，Jiaxing Hospital of Traditional Chinese Medicine Affiliated to Zhejiang Chinese Medical University，Jiaxing   314001，China

[Abstract] Objective It is the key to reduce the incidence and mortality of end-stage renal disease to accurately detect and diagnose IgA nephropathy by relying on intelligent image analysis of deep learning，and to adopt effective prevention and treatment measures in clinic. Methods In this research，a total of 452 nephrotic cases admitted to the department of nephropathy in our hospital from January 2016 to June 2019 were selected. After excluding those because the number of specimens sent for renal puncture was small and pathological diagnosis could not be issued， those with suspected diagnosis of renal puncture pathology and those without immunofluorescence examination， a total of 135 patients with IgA nephropathy were diagnosed for image analysis. Meanwhile，they were evaluated by international five-level semi-quantitative method，and the fluorescence precipitation area was extracted by traditional image processing method. The input image was transformed into color space，and the binary image was generated by adaptive threshold method in the two feature dimensions of color and brightness. Then，independent deposition areas were obtained by region separation and combination，and then the contour， area and average brightness of each deposition area were calculated， and the process of automatic recognition of fluorescence deposition intensity and shape by computer was obtained. Results On the basis of deep learning，artificial intelligence image analysis can realize the interpretation of immunofluorescence results of IgA nephropathy. Compared with the results of pathological diagnosis doctors，the coincidence rate was higher， IgA reached 88.9%，IgG reached 85.8%，IgM reached 83.8% and C3 reached 88.6%. Therefore，it could assist pathological diagnosis doctors in the interpretation of IgA nephropathy immunofluorescence. Conclusion It is time to make full use of computer technology and network technology to change the pathological workflow，improve the work efficiency of pathological diagnosis doctors，reduce the misdiagnosis rate due to fatigue，and make pathological diagnosis more accurate and objective.

[Key words] IgA nephropathy; Immunofluorescence; Intelligent image analysis; Deep learning

IgA肾病（IgA nephropathy，IgAN）是以IgA为主的免疫复合物沉积，伴系膜细胞及基质增生为主和补体C3等膜攻击复合物（Membrane attack complex，MAC）沉积于肾小球系膜区的肾小球疾病。在全世界范围内，IgA肾病认为是世界上最常见的原发性肾小球肾炎，20%～40%的患者在20年内进展为终末期肾病[1]。所以尽早明确诊断IgA肾病，能够采取有效的防治手段，是减少终末期肾病的发病率及病死率的关键之一。现阶段肾活检组织病理检查包括光学检查、免疫病理检查及电镜检查。而IgA肾病的确诊首先依赖于免疫荧光或免疫组化检查。IgA肾病的免疫学表现为以IgA为主的肾小球系膜区或伴有毛细血管壁的高强度、粗大颗粒状或团块状沉积。其是IgA肾病诊断的金标准，并可在一定程度上判断疾病的预后，在病理诊断中具有重要价值。随着医疗电子化、云计算平台的快速发展[2]及人工智能影像识别、辅助诊断[3]等方面也开始大量应用，本研究也将在此基础上对135例IgA肾病免疫荧光切片图像进行分析，采用国际通用5级半定量法评价，选择传统图像处理方法分割提取荧光沉淀区域。将输入图像进行色彩空间转换，在颜色和亮度两个特征维度，采用自适应阈值方法产生二值化图像。然后使用区域分离与合并，获得独立的沉积区域，再计算各个沉积区域的轮廓、面积和平均亮度，得出计算机自动识别荧光沉积强度和形状的过程。本研究旨在评估深度学习的人工智能（Artificial intelligence，AI）图像分析在IgA肾病免疫荧光病理诊断中协助病理医生诊断的应用价值，现报道如下。

1 资料与方法

1.1 一般资料

1.1.1 实验数据收集  本研究收集2016年1月至2019年6月在我院肾病科收治的肾病病例共452例，以上数据作为患者的隐私，在进入大数据库前已征得患者的同意，排除因肾穿刺送检标本数量少，无法出具病理诊断;排除肾穿刺病理诊断疑似诊断者，排除未行免疫荧光检查患者后，确诊IgA肾病患者共135例，获取免疫荧光图片1350张作为研究对象，其中IgA、IgG、IgM、C3、C1q每项均摄荧光涂片2张（×200一张，×400一张），包括各项的阳性及阴性图片。

1.1.2  病理资料采集  肾组织免疫荧光检查包括冰冻切片和石蜡切片。冰冻切片相对石蜡切片而言稍偏厚，细胞结构重叠或不清[4]，但石蜡虽然能避免冰冻切片较厚的缺点，但染色背景高，特异性差，因此为了减少特异性荧光的减弱，目前仍使用冰冻切片制片。应用冰冻切片进行直接免疫荧光检查是肾活检免疫病理检查的重要方法[5]。因此，所有肾活检标本恒温冷冻切片，厚5 μm，采用DAKOU公司直接免疫荧光检测试剂盒对IgA、IgG、IgM、C3、C1q进行检测，缓冲甘油封片。由于荧光减弱的速度较快，为了不影响对沉积强度、形态、部位、分布形式的判读，及时进行摄图及扫描，以保证智能诊断的准确性。使用德国莱卡（Leica）DM2500免疫荧光显微镜进行摄图存档及荧光扫描模式下多层扫描获得清晰图片。

1.1.3 IgA肾病免疫荧光病理诊断标准  IgA为主在肾小球系膜区或伴有毛细血管壁的高强度、团块状或粗大颗粒状IgA沉积为IgA肾病。

1.1.4 评价方式  沉积强度根据国际上通用的5级半定量法评价：即低倍镜下不显示荧光、高倍镜下似乎可见为“-”;低倍镜下似乎可见、高倍鏡下可见为“+”;低倍镜下可见、高倍镜下清晰可见“++”;低倍镜下可见，高倍镜下耀眼“+++”;高倍镜下刺眼“++++”。沉积形态：连续线型、不连续颗粒状、团块状、不规则等。沉积部位：肾小球毛细血管区、系膜区、肾小管基底膜等。荧光的分布方式为局灶、弥漫和节段。

1.2 方法

1.2.1 人工诊断信息采集  临床诊断组由三位高年资肾脏病理医师对1350张图像进行判读，彼此间为互盲，分别给出免疫荧光从沉积强度、形态、部位、分布形式的诊断结果，并将2次以上相同诊断结果作为最终诊断结果，为临床诊断组。

1.2.2 观察指标  IgAN临床诊断组与智能诊断组诊断免疫荧光阳性符合率=智能诊断组阳性符合数/临床诊断组阳性符合数×100%。

1.2.3智能诊断信息采集  智能诊断[6]组对所有免疫荧光图像进行标准化处理，再经数据增广和增强后，将样本分成训练集、验证集和测试集，确保三个样本之间相互独立。事先使用训练集和验证集完成人工智能诊断系统的开发和调教，然后将测试集样本输入人工智能（AI）诊断系统，获取智能诊断报告。①人工智能（AI）诊断系统。采用人工图像特征设计和深度神经网络特征提取相互集成的方法，其开发和调教的过程，即为图像特征设计、人工神经网络结构的开发以及人工神经网络数据调整的过程。采用Opencv跨平台计算机视觉和机器学习软件开发，在小样本阶段，采用人工图像特征设计方法，主要依据荧光沉积区域亮度的色彩差异，采用图像颜色空间转换，区域自适应阈值算法，分割荧光沉积区域，然后再采用图像形态学处理，最后提取区域轮廓（图1）。②软件设计。智能图像分析软件学习模型技术，按密度、反差、形状等条件对图像进行识别、修正及归类，还可以对图像进行边缘提取、色彩识别等，在基于人工图像特征提取荧光沉积区域的基础上，设计了具有一定自动化的沉积区域标注软件。该软件可以高效率对大量IgA荧光图片进行标注，即标注工具事先生成好可能的荧光沉积区域的边界，然后人工修正区域，删除多余区域，增加遗漏区域。在进行人工标注的同时，可以同步完成荧光病理分析，提供关于图像的分析结果及数据。③深度神经网络学习。在完成大量人工标注的IgA荧光图片后，可以进一步开展基于深度神经网络的荧光沉积区域提取和分析算法。本研究采用U-Net医学细胞分割工具作为分割的主要网络，并在U-Net主干网络的基础上，增加一个分支网络用于对区域边缘建模，边缘建模方式参考CASENet语义边缘检测算法。训练过程采用迁移学习法，在COCO等公开数据集上完成神经网络预训练，然后使用标注的IgA数据集，采用数据增强方式扩展集，训练最终的分隔和边缘提取网络。通过提取相关特征进行训练好的神经网络可以有效识别输入的图像，并按照设置的图像进行训练、学习、分类，使机器实现“思考、学习和决策” [7]。

2 结果

2.1 智能标准化

本研究利用深度学习模型[8]，通过以深度神经网络为主的人工智能技术建立人工智能诊断系统，对IgA肾病病理诊断的免疫荧光染色标本进行诊断并描述，统计出其准确性、敏感性及特异性，并与临床诊断组进行比较，进一步将智能分析系统标准化。采用人工图像特征设计方法，主要依据荧光沉积区域亮度的色彩差异，采用图像颜色空间转换，区域自适应阈值算法，分割荧光沉积区域，然后再采用图像形态学处理，最后提取区域轮廓。通过自动化的沉积区域标注软件，标注事先生成好可能的荧光沉积区域的边界，然后人工修正区域，删除多余区域，增加遗漏区域，最终得出诊断。

2.2 智能诊断组与临床诊断组诊断符合数

由表1～5可知，IgA肾病免疫病理学表现主要为肾小球系膜区或伴有毛细血管壁的高强度、粗大颗粒状或团块状IgA沉积;约75.5%见IgG沉积;50.3%见IgM沉积，但强度较IgA弱;81.5%见C3沉积，沉积的部位和形状与IgA相似，无C1q沉积。并且智能神经网络诊断系统[9]通过不断的深度学习，对图像进行分析，与临床诊断的符合率相比，能够提供关于图像的科学数据较高，IgA达88.9%，IgG达85.8%，IgM达83.8%，C3达88.6%。由此可见，随着对深度学习和图像诊断深入研究，在医学图像处理领域，借助计算机进行图像处理与分析诊断是该领域的前沿研究[10]。

3 讨论

采用一系列的荧光图像训练一个神经网络，这个网络可以通过提取相关特征进行训练识别，并按照设置对荧光图像进行分类。通过人工智能诊断系統对IgA肾病病理免疫荧光染色标本进行诊断研究，对于图像识别在临床的应用具有一定的意义。在研究过程中发现多个因素会影响诊断的准确率：①免疫荧光剂衰减速度快的特性，需要在完成标本制作后快速扫描成图，1 h内摄图可以提高诊断准确性;②制片质量也会影响诊断的准确性，特别是切片厚度、荧光沉淀区覆盖均匀度均会影响诊断;③系统需对图像进行边缘提取，色彩识别、亮度等因素一定程度上影响了图像提取的准确性，因此需有效控制图像区域自适应阈值。因此，图像分析需要根据病理学专家的意见调整算法及参数，同时减少干扰因素，这样才能辅助病理诊断医生对IgA肾病免疫荧光的判读。随着标记数据的增多及质量的提高，以及智能图像分析系统的不断升级优化，检测结果符合率也将会不断提高。

目前，人工智能在国内外均处于发展阶段[11]，随着互联网、大数据[12]、云计算的快速发展，从最初的神经网络和模糊逻辑，到现在的深度学习、图像探索。由于算法、算力、大数据及图像处理各方面的进步，人工智能在医学领域中的应用也十分广泛。从最初的功能模仿到针对性的深度学习，从皮肤镜图像黑色素瘤[13]的识别到胸部CT肺结节检测的效能评估[14]，利用计算机图像处理模式识别技术对医学图像进行分析处理已引起研究人员的广泛关注，并取得很大的研究进展，在图像识别领域获得成功的大量基础卷积神经网络结构（Convolutional neural network，CNN），其算法特别是图像识别领域获得大家公认，也均应用于医学影像的分割与检测任务中。深度学习算法的提出，给病理切片图像的研究带来了新的思路，为该领域注入了新活力[15]。

随着大数据、云计算等技术的发展，人工智能发展也突飞猛进，医疗辅助诊断领域逐渐开始慢慢兴起。深度学习由于其易学性、通用性及高效性而适用于计算机辅助医疗[16]。因此充分利用计算机技术及网络技术改变病理工作流程，提高病理诊断医生的工作效率，减少因疲劳阅片发生的误诊率，使病理诊断更加精准及客观[17]，也可以减少诊断结果因不同观察人员的主观感觉不同而产生诊断的误差[18]。智能分析为病理诊断提供了一系列的定量化指标使医生的主观经验的影响因素降低，提高了病理诊断的准确性。智能图像分析系统最大的优点就是智能化，可以对图像进行分析后提供出计算机对于图像的科学数据及分析结果。其还能发现人眼不易察觉的细节，学习到更高层面上的特征，从而不断完善数字病理诊断知识体系[19]。

虽然人工智能在不断进步、不断发展，目前人工智能还是在模仿、实验和学习阶段，并未超越或达到人类的认知能力和水平，而且学习的分割及特征展示能力有限，因此需要不断地进行学习及改进。本研究对于数据采集限于回顾性病例，因此也存在一定的选择偏倚，并对于AI诊断的相关人文伦理、隐私问题、责任事故划分等依然没有定论[20]。病理人工智能是一项极富挑战性的技术，涵盖了广泛的科学及技术，包含了医学诊断、图像处理、机器学习、复杂计算等很多学科的不同领域。所以需要搭建反应快速、操作简单和能够智能诊断的信息化系统以满足病理科在人工智能方面的需求，促进人工智能技术的发展。

[参考文献]

[1] 董雪，解汝娟.IgA肾病机制的研究进展[J].医学综述，2018，24（11）：2187-2190，2195.

[2] 辛玉晶，周翔.人工智能在乳腺癌图像分析中的研究进展[J].癌症进展，2020，18（5）：433-435，447.

[3] 刘念，陈宏翔.人工智能在皮肤科领域的应用与发展[J].中华皮肤科杂志，2019，52（1）：63-66.

[4] 罗教秀，储兵，曹晓珊，等.免疫荧光和几种特殊染色在肾活检病理诊断中的应用[J].河北医学，2017，23（6）：898-901.

[5] 陈余朋，张声，郑珂，等.肾脏穿刺活检标本免疫荧光制作体会[J].中国现代医生，2009，47（33）：154-155.

[6] 梁书彤，郭茂祖，赵玲玲.基于机器学习的医疗决策支持系统综述[J].计算机工程与应用，2019，55（19）：1-11.

[7] 王雯秋，孙晓东.人工智能辅助眼底影像——机遇与挑战并存[J].中华眼视光学与视觉科学杂志，2019，21（3）：166-169.

[8] 刘勘，陈露.面向医疗分诊的深度神经网络学习[J].数据分析与知识发现，2019，3（6）：99-108.

[9] 张世豪，冼丽英，高敏，等.基于深度学习的神经网络智能图像识别技术应用于宫颈鳞状上皮内病变细胞学筛查的可行性研究[J].中國临床新医学，2019，12（3）：282-285.

[10] 夏靖媛，纪小龙.计算机深度学习与智能图像诊断对胃高分化腺癌病理诊断的价值[J].世界华人消化杂志，2017，25（12）：1043-1049.

[11] 刘红英.“互联网+”背景下人工智能发展现状分析[J].电脑知识与技术，2018，14（16）：172-173.

[12] 陈素琼，王惠来，向天雨.医疗大数据应用现状研究[J].中国数字医学，2017，12（9）：30-31，55.

[13] 张杰，赵惠军，李贤威，等.基于深度学习方法检测皮肤镜图像中黑色素瘤的研究进展与展望[J].医疗卫生装备，2018，39（11）：90-95.

[14] 李欣菱，郭芳芳，周振，等.基于深度学习的人工智能胸部CT肺结节检测效能评估[J].中国肺癌杂志，2019，22（6）：336-340.

[15] Litjens G，Sanchez CI，Timofeeva N，et al.Deep learning as a tool for increased accuracy and efficiency of histopathological diagnosis[J].Scientific Reports，2016，6（1）：26 286.

[16] 张鹏，徐欣楠，王洪伟，等.基于深度学习的计算机辅助肺癌诊断方法[J].计算机辅助设计与图形学学报，2018， 30（1）：90-99.

[17] 闫雯，汤烨，张益肇，等.深度学习在数字病理中的应用[J].中国生物医学工程学报，2018，37（1）：95-105.

[18] 郑众喜.拥抱数字病理时代[J].实用医院临床杂志，2017，14（5）：6-9.

[19] 许燕，汤烨，闫雯，等.病理人工智能的现状和展望[J].中华病理学杂志，2017，46（9）：593-595.

[20] 刘志鹏，侯瑞刚，李雯，等.AI医学影像学诊断新模式前景的调查研究[J].山东医学高等专科学校学报，2020， 42（3）：224-226.

（收稿日期：2020-10-26）