智能化糖尿病眼底病变诊断系统

倪纯+陈慕凡+瞿蒙+戴领+盛斌+李华婷+李平+吴强+贾伟平

摘 要 糖尿病视网膜病能造成患者视力损失或失明。我们提出了一个让患者了解自己的视网膜状况的智能糖尿病眼底诊断系统，包含云服务器和手机端应用。患者可自主拍摄眼底图像，并通过手机应用上传至服务器。服务器端将对图像进行分析处理，包括视盘和黄斑区的定位，血管分割，病变检测和病变分级。根据国际标准，对于非增生性糖尿病视网膜病变（NPDR）分为正常、轻度、中度和重度四个等级，采用图像分割的方法来提高效率。采用医院提供的眼底图像进行测试，总体达到85%的准确率。

关键词 糖尿病视网膜病筛查 眼底镜 多尺度线性算子

中图分类号：R587.2； R770.41 文献标识码：A 文章编号：1006-1533（2017）23-0020-05

Intelligentized diabetic retinopathy diagnosis system

NI Chun1， CHEN Mufan1， QU Meng1， DAI Ling1， SHENG Bin1*， LI Huating2， LI Ping3， WU Qiang2， JIA Weiping2（1. School of Electronic Information and Electrical Engineering， Shanghai Jiao Tong University， Shanghai 200240， China； 2. Shanghai Sixth Peoples Hospital， Shanghai 200233， China； 3. Faculty of Information Technology， Macau University of Science and Technology， Macau）

ABSTRACT Diabetic Retinopathy （DR）， the most common one of diabetic eye diseases， can cause loss of vision or blindness. We propose an automatic diabetic retinopathy diagnostic system to help patients know about their retinal conditions. The images are taken through the phone application and then transmitted to a cloud server to be analyzed， including localization of optic disk and macular， vessel segmentation， detection of lesions， and grading of DR. We use a multi-scale line operator to improve accuracy in segmenting small-scale vessels， a binary mask and image restoration to reduce the effect of the existence of vessels on optic disk localization. After the analysis， the fundus images are then graded as normal， mild Non-Proliferative Diabetic Retinopathy （NPDR）， moderate NPDR or severe NPDR. The grading process uses region segmentation to improve the efficiency. The final grading results are tested based on the fundus images provided by the hospitals. We evaluate our system through comparing our grading results with those graded by experts， which comes out with an overall accuracy of up to 85%.

KEY WORDS diabetic retinopathy screening； ophthalmoscope； multi-scale line operator

1 糖尿病視网膜病的研究现状

糖尿病视网膜病是最普遍的糖尿病眼部疾病之一[1]。而在视网膜特征和病变的检测上，主要的挑战在于小尺度血管的分割的准确率不高[2]。对于眼底图像的获取，目前的研究主要专注于智能手机照相机的图像质量的提高，而对于患者来说，同时用透镜对准他们的眼睛并拍摄照片是非常不方便的。我们致力解决两个问题：①眼底图像的检测能更准确吗？②视网膜病变的分级能否更加高效？基于Ricci的工作[3]，我们使用了多尺度的线性算子以提高小尺度血管的分割精确度[4-6]。此外，我们使用了二值遮罩和图像修复以减少血管的存在对定位视盘的影响[7-9]。我们进行预处理，诸如形态学操作和滤波操作[10-11]。在病变分级上，我们把图片分成互不重叠的三个区域，每次只分析其中一个区域，效率自然也提高了。

2 研究内容及方法

2.1 图像处理

我们首先提取出图像的G通道并进行灰度反转，随后通过形态学腐蚀操作来定位眼底图像的视网膜边界区域，再迭代地采用形态学膨胀操作对视网膜边界区域向外扩充，在扩充过程中，对边界上的像素点进行均值滤波，依次完成扩充边界。由于血管灰度较背景像素低，在眼底图像中呈现类似边缘的结构，而一般的边缘算子检测出来的血管不够完整，而且受光照不均等噪声影响，会产生一些“假血管”，分割精度有待提高[12-14]。针对血管局部呈现线性结构这一特征，我们设计了一个多尺度直线（line）算子，且该line算子可以旋转以匹配不同方向的血管。对于每一个像素点（i，j），用此算子进行滤波得到一系列灰度值L（i，j），取其中最大值。最终的输出表示如下：endprint

在微血管瘤的检测中，现有的很多方法不能很好的应用于视盘存在病变、视盘亮度丢失等情况的眼底图像中。首先我们提取原图像的G通道，因为G通道的图像保留了大量的对比度信息，视盘更加明显。接下来对G通道图像进行均值滤波，为了消除背景中极个别亮点对视盘的中心定位产生的影响，均值滤波过后检测图像中最亮的像素点，求这些像素点的坐标的平均值作为视盘的中心点。为了减小计算量、节省时间，可选取感兴趣区域（ROI），ROI的选取是以刚得到的中心点为中心选取一个160×160像素大小的区域。接下来对感兴趣区域进行血管的分割，用血管分割的结果作为图像修复的模板mask。然后使用基于快速行进的图像修复算法对ROI进行修复。以视盘中心点为中心，等间距地向外散发出20条射线，检测第i条射线上的第j个点的梯度值。公式如下：

对这些点使用快速椭圆拟合算法，拟合出视盘边界（图2）。

黄斑区检测基于视盘的定位。黄斑区是眼底图像的一个重要结构其表现为眼底图像的中央暗斑。为了使其更加明显我们对图像进行直方图均衡化以增强图像的对比度。为了定位黄斑区可先选取图像的中间部分作为感兴趣区域以减少计算量以及减小图像周围噪声的影响。硬性渗出是导致反照视网膜和失明的一大因素。本文算法主要基于对比度来区分出硬性渗出区域。因为血管区域与周围区域的对比度也不低（血管较暗，周围较亮），因而在对原彩色图像灰度化后，需要通过形态学闭操作来消除血管对检测产生的影响。接着通过11×11的算子对图像中每个像素的邻域进行方差计算，选取方差大于某个阈值的点作为渗出区域边界候选点，并进行形态学上的闭操作来填补区域间的小洞。通过反复的腐蚀、重建操作，将背景灰度逐步填充到渗出区域内，获取无病变的背景图像。重建、填充等步骤主要作用在于将背景灰度逐步填充到渗出区域内。最后将背景图像与原始图像做差，显然，差值较大之处即为渗出区域，将差值矩阵进行阈值分割，并将符合条件的点标记在原图上即可得到渗出区域。

2.2 病症分级

為了提高运算速度，将图像分割成三部分（图3）。首先，我们检测区域1中的病变（包括渗出、出血、微血管瘤），如果检测出其中一类，便分为重度NPDR，停止检测。否则，继续检测区域2。同样地，若在区域 2中检测出任何的病变，便定义为中度NPDR，停止检测。否则继续检测区域3，若在区域3中检测出病变，则为轻度NPDR，否则该图像正常。

2.3 图像获取

智能手机检眼镜是借助智能手机获得视网膜图像的便携式设备。设计的光学检眼镜如图4所示，由三个主要部件组成：智能手机，视网膜镜片和人眼。

在以前使用视网膜镜片[7]的研究中，没有使用任何框架来稳定智能手机和镜头的位置。在我们的方法中，框架能够确保照相机的中心线和透镜的中心线之间的重叠。此外，鉴于不同人的屈光度差异，智能手机和视网膜镜片之间的框架被设计为可调节的（图5）。

3 实验结果

3.1 图像处理

使用了DRIVE， DIARETDB1， DIARETDB0和STEAR这四个公开的数据库来评估我们的算法。DRIVE包含40张分辨率为768×584的彩色眼底图片，STARE包含20张分辨率为605×700的彩色图片，另两个数据库共包含219张分辨率为1 500×1 152的彩色眼底图片，包括25张无异常的图像和194张不同等级的图像。不同方法的血管分割结果可见图6。Jiang[5]和Zhang[6]的方法会有血管缺失或多余的状况，而我们的方法没有这种问题。考虑到病变的存在会影响视盘和黄斑区的检测结果，我们在测试的时候，同时选用了有异常的和正常的图片（图7）。可见我们的定位方法不受病变的影响。在处理时间上，也进行了测试和评估。我们用CAL[7]方法来评估血管分割算法，C、A、L三者的乘积表示算法的质量，其值为C、A、L分值（表1）[7]。

视盘定位的准确率比较见表2。尽管Yu和Youssif的方法的准确率略高，但是他们的运算时间更长，分别为4.7 s和210 s，而我们的方法仅不到1 s。

对于病变的检测，本文算法也取得了很高的准确率，微血管瘤、出血和渗出的检测准确率分别为99.7%，98.4%和98.1%。当然，算法性能也是我们同时要考虑的一大因素。表3比较了和其他方法的计算时间。

同时也要考虑到，实际情况下，由于患者不熟悉操作或外部环境问题，拍摄的图像很有可能曝光不足、曝光过度、位置不对或四周黄斑。检测结果见图8。

3.2 病症分级

我们使用约100张眼底图像进行检测，并与其它方法的评分准确度进行了比较，结果见表4。

3.3 图像获取endprint

用戶可以调整智能手机和视网膜镜片之间的距离，以获得视网膜的合理视图。最后，用户可以改变焦距以获得图像的清晰视图。以下内容包含图像的实验和评估智能眼镜的质量。受到现存研究[19]的启发的启发，我们使用kappa统计，做了这个实验评估测试。在瞳孔扩张后，采取100例患者（200眼）的样本量，比较智能手机（iPhone 5）320检眼镜和被认为是用于评估图像质量的标准装置扫描激光检眼镜（佳能OCT-HS100）拍摄的图像的分级结果（表5）。通过不同设备从同一患者拍摄的眼底图像之间的分级结果的一致性显示了智能眼镜的图像质量是否合格。一致性越高，图像质量越好。图像根据国际临床糖尿病视网膜病变严重程度评分。

4 结论及讨论

我们提出了一个完全智能化的糖尿病眼底病变诊断系统，能够自主拍摄图像、分析并生成分析报告，特别是在特征和病变的检测上提高了准确率和效率。检眼镜包含间接的视网膜镜片，智能手机和它们之间的框架。用户可以首先将智能相机的中心线和视网膜透镜的中心线对准在同一条线上。然后，以简化模型眼睛为样本，用户可以调整模型眼与视网膜长度之间的距离。研究结果也表明分析图像的结果不错。因此，病人能较好地使用该系统来检查他们的眼睛状况，从而决定是否就医做进一步检查。未来，我们将优化手机应用并进一步提高算法的准确率。

参考文献

[1] Qi J， Yang P， Fan D， et al. A survey of physical activity monitoring and assessment using internet of things technology[C]. IEEE Intl Conf CIT/IUCC/DASC/PICOM， 2015： 2353-2358.

[2] Gao F， Li T， Hu J， et al. Comparative analysis of three purication protocols for retinal ganglion cells from rat[J]. Mol Vis， 2016， 22： 387-400.

[3] Ricci E， Perfetti R. Retinal blood vessel segmentation using line operators and support vector classication[J]. IEEE Trans Med Imaging， 2007， 26（10）： 1357-1365.

[4] Sekhar S， Al-Nuaimy W， Nandi A. Automated localisation of optic disk and fovea in retinal fundus images[C]. European Signal Process Conf， 2008： 1-5.

[5] Jiang X， Mojon D. Adaptive local thresholding by verification-based multithreshold probing with application to vessel detection in retinal images[J]. IEEE Trans Pattern Anal Mach Intell， 2003， 25（1）： 131-137.

[6] Zhang B， Zhang L， Zhang L， et al. Retinal vessel extraction by matched filter with first-order derivative of Gaussian[J]. Comp in Biol and Med， 2010， 40（4）： 438-445.

[7] Gegundez-Arias ME， Aquino A， Bravo JM， et al. A function for quality evaluation of retinal vessel segmentations[J]. IEEE Trans Med Imaging， 2012， 31（2）： 231-239.

[8] Yu H， Barriga ES， Agurto C， et al. Fast localization and segmentation of optic disk in retinal images using directional matched filtering and level sets[J]. IEEE Trans Info Tech in Biomed， 2012， 16（4）： 644-657.

[9] Youssif AA-HA-R， Ghalwash AZ， Ghoneim AASA-R. Optic disc detection from normalized digital fundus images by means of a vessels direction matched filter[J]. IEEE Trans Med Imaging， 2008， 27（1）： 11-18.

[10] Hoover A， Goldbaum M. Locating the optic nerve in a retinal image using the fuzzy convergence of the blood vessels[J]. IEEE Trans Med Imaging， 2003， 22（8）： 951-958.endprint

[11] Sinha N， Babu RV， Optic disk localization using L1 minimization[C]. IEEE Intl Conf Image Process， 2012， 2829-2832.

[12] Marin D， Aquino A， Gegundez-Arias ME， et al. A new supervised method for blood vessel segmentation in retinal images by using gray-level and moment invariants-based features[J]. IEEE Trans Med Imaging， 2011， 30（1）： 146-158.

[13] Lupascu CA， Tegolo D， Rosa LD. Automated detection of optic disc location in retinal images[C]. IEEE Intl Sym Comp-Based Med Sys， 2008： 17-22.

[14] Lu S， Lim JH. Automatic optic disc detection from retinal images by a line operator[J]. IEEE Trans Biomed Eng， 2011， 58（1）： 88-94.

[15] Qu M， Ni C， Chen M， et al. Automatic diabetic retinopathy diagnostic system based on adjustable ophthalmoscope and multi-scale line operator[J]. Pervasive Mob Comput， 2017， 41： 490-503.

[16] Zhang X， Thibault G， Decencière E， et al. Exudate detection in color retinal images for mass screening of diabetic retinopathy[J]. Med Image Anal， 2014， 18（7）： 1026-1043.

[17] Dutta MK， Ganguly S， Srivastava K， et al. An efficient grading algorithm for non-proliferative diabetic retinopathy using region based detection[C]. Intl Conf Telecom and Sig Process， 2015： 743-747.

[18] Hatanaka Y， Nakagawa T， Hayashi Y， et al. Improvement of automated detection method of hemorrhages in fundus images[C]. Annual Intl Conf IEEE Eng in Med and Biol Society， 2008： 5429-5432.

[19] Russo A， Morescalchi F， Costagliola C， et al. Comparison of smartphone ophthalmoscopy with slit-lamp biomicroscopy for grading diabetic retinopathy[J] Amer J Ophthalmol， 2015， 159（2）： 360-364.endprint