郑绍华陈 健潘 林郭 健余 轮
①(福州大学物理与信息工程学院 福州 350108)②(福建医科大学附属第一医院眼科中心 福州 350005)
彩色眼底图像已经广泛地应用于系统性疾病如糖尿病性视网膜病变(Diabetic Retinopathy, DR)、青光眼、高血压等眼科相关疾病的辅助诊断或筛查中[1]。黄斑、视盘与血管一起是视网膜后极部最重要的3个解剖结构。视盘是视神经的始端和血管的发源端,呈亮白色圆盘状,直径约为1.5 mm。黄斑则在视盘的颞侧3.5 mm处并稍下方,是视力最敏锐的部分。DR可造成黄斑区的损害,引起糖尿病性黄斑水肿(Diabetic Macular Edema, DME),即由糖尿病引起的黄斑中央凹(Macula Fovea)一个视盘直径(Optic Disk Diameter, ODD)范围内的细胞外液积聚所致的视网膜增厚或硬性渗出沉积,是导致糖尿病患者视力损害的主要原因[2]。DME的早期检测是防止视力损伤的最好方法之一,一旦发现,应立即治疗。
黄斑和视盘作为眼底图像的重要特征,在眼底图像分析中有着重要的作用。黄斑定位在 DME图像的评估中显得尤为重要,因为 DME的严重程度是根据硬性渗出是否接近或涉及黄斑区域来判定的[2]。目前,关于视盘检测的文献报道较多,而关于黄斑检测的研究则较少,主要的原因是成像因素或视网膜病变的影响使得黄斑检测的难度较大[3]。关于视盘检测方法大致可分为两类,一类是利用视盘的外观信息如亮度、对比度、形状等作为检测特征,如早期文献[4]假设视盘为最亮最大的像素聚集区域,但检测正确率较低,在出现较大的亮斑病灶或光照不均时容易产生错误;而后文献[5]针对提取的每一块亮斑特征应用主成分分析方法来提高视盘的识别正确率。另一类是结合血管特性的视盘检测方法,如文献[6]提出了一种基于模糊收敛的方法来寻找血管的起始点——视盘;文献[7]提出一种基于血管方向匹配滤波器的方法;文献[8]采用自适应数学形态学方法提取主干拱形血管来确定视盘的位置。在国内,文献[9]提出基于血管分割和交叉网络的视盘检测自动定位方法;文献[10]提出基于投影的视盘检测方法,都取得了良好的检测结果。
关于黄斑的检测,现有的方法一般都是依赖于视盘的定位信息及(或)血管拱形的坐标信息[3,1113]-或综合方法[14]。文献[11]较早实现根据视盘中心位置及血管拱形抛物线拟合定位出黄斑;文献[12]提出一种基于监督分类的血管主干点分布模型相继检测出血管拱形、视盘和黄斑的方法;文献[3]提出一种结合模型匹配和k最近邻(k-Nearest Neighbor, kNN)算法检测视盘和黄斑的方法;文献[13]同样利用视盘定位信息、拱形血管及血管密度来定位黄斑。国内还未见有相关文献报道。这些方法中,由于黄斑的定位依赖于视盘信息会造成其定位正确率低于视盘检测正确率。基于此,依据黄斑区域从边缘到中心逐步变暗的特点,本文提出了一种基于定向局部对比度(Directional Local Contrast, DLC)滤波方法,直接检测出黄斑的候选区域,并根据黄斑区域无血管或仅有少量微细血管的特点,定位出真实的黄斑。反过来,依据黄斑的位置信息可以简单地确定出视盘区域。
完整的算法流程如图1所示。流程分两条主线,一是应用DLC滤波寻找黄斑候选点,二是进行血管提取,二者均在眼底图像的绿色通道上进行。在眼底图像处理中,为了减小计算量,一般把高分辨的原始图像尺寸重置为宽度 600~750像素左右(保持宽高比)[3]。由于黄斑结构较大,其检测算法的输入图像尺寸还可更小,经实验验证,原始图像的尺寸重置为宽度500像素并不影响黄斑的检测结果。
DLC是一种对比度滤波器[15]。关于DLC算法的定义和性质描述为:假设像素p的亮度为Ip,沿着方向角θ的像素p的DLC定义为
图1 算法流程图
因此,像素p的DLC向量就可以定义为
其中n为角度的个数,可以根据实际需要把360°均等划分。可以看出DLC向量表征着像素与周围相邻像素之间的关系。
在一幅正常彩色眼底图像中,黄斑区域呈暗红色或红褐色,黄斑边缘到中心逐步变暗,黄斑中央凹是视网膜最暗的区域。若对黄斑区域应用DLC算法,黄斑中心区域像素的DLC向量的每一个分量都将小于零。验证如下:截取一黄斑区域,大小 100×100,如图3所示,图3(a), 3(b)分别为彩色和绿色分量图,图 3(c)中的白线为要进行 DLC运算的24个像素点标记。DLC运算取θ角为15°(360°共划分为24个角度),半径r取15。24个像素点从左到右进行DLC计算,结果如图4所示。图4中的24幅子图分别表示所取24个像素对应的DLC向量的24个分量值曲线。
图2 像素p沿方向θ半径r的相邻像素集
图3 黄斑区域
从图 4可以看出,从第 9~17个像素(标星点)的DLC向量的24个分量均小于0,而其余像素的DLC向量分量均存在过零点。第9~17个像素处于图 3(c)中白线的中间段,即处于黄斑中央凹区域。因此若对整幅眼底图像进行DLC滤波,将可以获得黄斑区域的候选点。选取一幅重度DME、对比度较差的眼底图像,如图5(a)所示,其绿色分量的DLC运算结果如图(b)所示。因图像尺寸重置为 500,其ODD约为80像素,所以DLC半径取50像素(略大于ODD),方向角个数取24。
图4 24个像素DLC向量
从图 5(b)可以看出,存在着多个黄斑获选点,这些干扰来源于同样呈暗红色的血管和出血斑。其中,血管的干扰为粗血管干扰,可以通过提取血管消除;出血斑的干扰可以通过判断候选点所在局部区域的血管密度排除,因为在眼底图像中,黄斑所处区域一般没有血管或仅有少量微细血管存在,而出血斑则主要出现在血管附近。因此需要提取血管,但无需血管的精细分割,较容易实现。
图5 DLC运算示意
血管分割是眼底图像处理与分析中的研究热点之一,由于光照不均、低对比度及病灶的影响使得血管的分割特别是微细血管的分割任务相当困难[16]。血管分割不是本文的重点,本文仅需要血管的粗细分割,但为了消除光照不均、低对比度及病灶对血管分割的影响,综合应用了对比度受限自适应直方图均衡(Contrast Limited Adaptive Histogram Equalization, CLAHE)[17]、多方向线性结构元素形态学运算、非线性增强及自适应阈值等通用技术。血管分割的具体步骤为:
步骤 1 预处理含提取绿色通道、尺寸重置及去除噪声,如图6(a)所示。
步骤 2 应用CLAHE技术,结果如图6(b)所示。
步骤 3 应用多方向线性结构元素形态学技术去除背景,见式(5):
步骤..4 归一化后进行非线性增强,增强算子[18]见式(6),结果如图6(d)。
图6 眼底图像血管分割
步骤 5 最后取图 6(d)非零像素的均值作为阈值并去除8连通面积小于100个像素的斑块可获得最终的血管网络图6(e)。
有了图6(e)的血管二值图,通过判断图5(b)中白色像素是否为血管像素就可以排除大部分由于血管引起的干扰,仅剩下如图6(f)中7个候选点,若要求黄斑处于大致中心,处于视场边缘的1, 2, 3号候选点也可略去,仅剩4, 5, 6, 7号。计算各个以候选点质心为圆心1.5倍ODD范围内的血管密度,容易得出 4号候选点血管密度最小为真正的黄斑。4号候选点的质心就定位为黄斑中心,如图 7(a)中十字标识。
在眼底图像中,黄斑一般在视盘的颞侧约 2.5倍 ODD的偏下方,因此有了黄斑中心的定位,在其偏(左/右)上方位置可容易确定视盘的感兴趣区域。
(1)首先判断左右眼。根据已有的血管网络图,以黄斑中心为中线,计算左右两边的血管密度,密度大的一侧拥有视盘,因为视盘为血管的起始,血管丰富且粗大。
(2)确定视盘区域。如图6(e)所示,左半部分血管密度大,所以视盘区域在黄斑中心的偏左上方。视盘区域定位如图 7(a)所示白色方框,距离黄斑中心1.5倍ODD,宽2倍ODD,高3倍ODD,偏上2倍ODD,偏下1倍ODD,即一个大小为3 ODD×2 ODD的区域。本文取ODD为80像素。
视盘感兴趣区域的确定是视盘检测关键步骤,若需要精确检测视盘的轮廓,可采用现有的结合数学形态学与区域主动轮廓模型的方法[19]。有了黄斑和视盘的定位信息,就可以建立眼底图像的黄斑坐标系统,如图7(b)所示,黄斑中心半径为1/3 ODD,内圆半径为1 ODD,外圆半径为2 ODD。此坐标系统可用于 DME图像的自动评估或筛查,若硬性渗出涉及黄斑中心区即为重度DME,落在内圆范围即为中度DME,落在外圆外即为轻度DME[20,21]。
对一个自动医学系统进行性能评价是相当重要的。本文实验数据选择网上公开的美国哈密尔顿眼科研究所黄斑水肿数据集(Hamilton Eye Institute Macular Edema Dataset, HEI-MED)[22],该数据集于 2012年设立的作为糖尿病性黄斑水肿自动评估的标准数据库,共有169幅,是一个包含多个种族混合、无重复患者、不同图像质量及不同程度视网膜病变的眼底图像数据集,其中正常图像115幅,病变图像54幅。图8给出了其中3幅视网膜病变严重或黄斑区域对比度最差或背景纹理最复杂的图像经DLC运算的结果。
图7 视盘区域定位及黄斑坐标系统示意
图8(a)属于重度DME,黄斑区域受硬性渗出影响严重,用DLC很好地检测出了黄斑。图8(b)黄斑区域光照不均,用 DLC仍可检测出微弱黄斑。图8(c)中眼底背景纹理较为复杂,同时受光照不均的影响,使得黄斑检测较为困难,但用DLC很好地检测出了黄斑。可见 DLC在针对背景纹理复杂的情况,黄斑检测的效果反而很好,原因在于纹理宽度都小于所取的DLC半径。可以证实,DLC滤波方法与黄斑局部特征相吻合。
经过对HEI-MED数据集中169幅眼底图像进行DLC黄斑检测实验,也发现存在3幅图像未能检测出正确的黄斑候选点,如图9所示。图9(a)为重度DME,黄斑区域几乎被硬性渗出覆盖,因此未能检测出黄斑。图9(b)属于中度DME,虽然黄斑区域未涉及硬性渗出,但存在一个由于镜头脏引起的圆形亮斑,因此也未能正确地检测出黄斑,用DLC检测出的黄斑候选点偏离了近1倍ODD。图9(c)则是由于光照的影响黄斑区域几乎不可见,也因此未能检测出黄斑。
图8 DLC检测黄斑实例
图9 DLC黄斑检测失败实例
经统计,115幅正常图像能正确检测出黄斑114幅(除了 2512.jpg),正确率达 99.1%;54幅病变图像能正确检测出黄斑52幅(除了235.jpg和736.jpg),正确率达96.3%;整体169幅中成功检测166幅,成功率为98.2%;同样地,都可以定位出视盘区域。表1给出了本文方法与现有最具代表的方法的检测结果对比。从表1中可以看出,文献[11]取得了最好的检测正确率,但数据集小且未指明是否有针对病变的眼底图像;文献[3]和文献[12]也取得了较高的检测正确率,但其采用的是监督分类的方法,且对病变图像的检测正确率会低一些;文献[13]也取得了较好的检测结果,但算法相对复杂。由于黄斑检测受到的关注较少,目前还没有专门的、公开的测试数据集,所以在表1中的各文献都采用了本地的数据集。由于黄斑检测是 DME的关键步骤,所以本文选择了HEI-MED数据集,但此数据集于2012年才设立,目前主要用于硬性渗出的检测,未见其上有黄斑检测的文献报道。因此,虽然表1中的比较是相对的,但可以看出本文方法的检测结果应不低于现有的方法甚至更优,而且本文方法计算较为简单且无监督,在实际应用中具有很大的优势。
表1 黄斑与视盘检测结果对比
黄斑和视盘均是眼底图像中最重要的解剖结构,对它们的预先检测定位是DR图像的自动处理与分析的关键步骤。由于直接对黄斑检测定位的难度较大,现有的黄斑定位一般都是依赖于视盘的定位信息及血管拱形的坐标信息,造成黄斑定位的正确率要低于视盘定位的正确率,而针对糖尿病性黄斑水肿眼底图像的自动评价或筛查系统,黄斑定位比视盘定位来得重要。本文引入方向局部对比度滤波结合局部血管密度的方法,实现了一种先定位黄斑再定位视盘的新方法,有效地提高了黄斑和视盘的定位正确率。实验选取了网络公开的 HEI-MED数据集中169幅眼底图像,正确检测黄斑和视盘166幅,检测正确率高达 98.2%,不低于甚至要优于监督分类的检测结果,且本文方法计算较为简单无监督,具有一定的优势。该研究工作为糖尿病性视网膜病变计算机辅助诊断或自动筛查特别是斑水肿自动评估奠定了良好的基础,具有重要的眼科临床应用价值。
[1] Abràmoff M D, Garvin M K, and Sonka M. Retinal imaging and image analysis[J]. IEEE Reviews in Biomedical Engineering, 2010, 3: 169-208.
[2] Deepak K S and Sivaswamy J. Automatic assessment of macular edema from color retinal images[J]. IEEE Transactions on Medical Imaging, 2012, 31(3): 766-776.
[3] Niemeijer M, Abràmoff M D, and Van Ginneken B. Fast detection of the optic disc and fovea in color fundus photographs[J]. Medical Image Analysis, 2009, 13(6):859-870.
[4] Sinthanayothin C, Boyce J F, Cook H L, et al.. Automated localisation of the optic disc, fovea, and retinal blood vessels from digital colour fundus images[J]. British Journal of Ophthalmology, 1999, 83(8): 902-910.
[5] Li H and Chutatape O. Automatic location of optic disk in retinal images[C]. Proceedings of IEEE International Conference on Image Processing, Thessaloniki, Greece, 2001,2: 837-840.
[6] Hoover A and Goldbaum M. Locating the optic nerve in a retinal image using the fuzzy convergence of the blood vessels[J]. IEEE Transactions on Medical Imaging, 2003,22(8): 951-958.
[7] Abdel-Razik Youssif A A H, Ghalwash A Z, and Abdel-Rahman Ghoneim A A S. Optic disc detection from normalized digital fundus images by means of a vessels’direction matched filter[J]. IEEE Transactions on Medical Imaging, 2008, 27(1): 11-18.
[8] Welfer D, Scharcanski J, Kitamura C M, et al.. Segmentation of the optic disk in color eye fundus images using an adaptive morphological approach[J]. Computers in Biology and Medicine, 2010, 40(2): 124-137.
[9] 李居朋, 陈后金, 张新媛. 基于交叉网络的眼底视神经乳头自动定位[J]. 电子与信息学报, 2009, 31(5): 1170-1174.Li Ju-peng, Chen Hou-jin, and Zhang Xin-yuan. Automatic localization of optic nerve head in the fundus images based on cross-network[J]. Journal of Electronics & Information Technology, 2009, 31(5): 1170-1174.
[10] 张东波, 易瑶, 赵圆圆. 基于投影的视网膜眼底图像视盘检测方法[J]. 中国生物医学工程学报, 2013, 32(4): 477-483.Zhang Dong-bo, Yi Yao, and Zhao Yuan-yuan. Projection based optic disk detection method in retinal fundus image[J].Chinese Journal of Biomedical Engineering, 2013, 32(4):477-483.
[11] Li H and Chutatape O. Automated feature extraction in color retinal images by a model based approach[J]. IEEE Transactions on Biomedical Engineering, 2004, 51(2):246-254.
[12] Niemeijer M, Abràmoff M D, and Van Ginneken B.Segmentation of the optic disc, macula and vascular arch in fundus photographs[J]. IEEE Transactions on Medical Imaging, 2007, 26(1): 116-127.
[13] Chin K S, Trucco E, Tan L, et al.. Automatic fovea location in retinal images using anatomical priors and vessel density[J].Pattern Recognition Letters, 2013, 34(10): 1152-1158.
[14] Qureshi R J, Kovacs L, Harangi B, et al.. Combining algorithms for automatic detection of optic disc and macula in fundus images[J]. Computer Vision and Image Understanding, 2012, 116(1): 138-145.
[15] Zhang M and Liu J C. Directional local Contrast based blood vessel detection in retinal images[C]. Proceedings of IEEE International Conference on Image Processing, San Antonio,TX, USA, 2007, 4: IV-317-IV-320.
[16] 吴骏, 肖志涛, 张芳, 等. 结合自适应脉冲耦合神经网络和最大类间方差准则的眼底图像血管自动检测方法[J]. 电子与信息学报, 2013, 35(10): 2411-2417.Wu Jun, Xiao Zhi-tao, Zhang Fang, et al.. Combing adaptive pulse coupled neural network and maximal categories variance criterion for blood vessels automatic detection in fundus image[J]. Journal of Electronics & Information Technology, 2013, 35(10): 2411-2417.
[17] Stark J A. Adaptive image contrast enhancement using generalizations of histogram equalization[J]. IEEE Transactions on Image Processing, 2000, 9(5): 889-896.
[18] Patel V M, Easley G R, and Healy D M. A new multiresolution generalized directional filter bank design and application in image enhancement[C]. Proceedings of 15th IEEE International Conference on Image Processing, San Diego, CA, USA, 2008: 2816-2819.
[19] Soliman O S, Platoš J, Hassanien A E, et al.. Automatic localization and boundary detection of retina in images using basic image processing filters[C]. Proceedings of the 3rd International Conference on Intelligent Human Computer Interaction, Prague, Czech Republic, 2013, 179: 169-182.
[20] Tariq A, Akram M U, Shaukat A, et al.. Automated detection and grading of diabetic maculopathy in digital retinal images[J]. Journal of Digital Imaging, 2013, 26(4): 803-812.[21] Welfer D, Scharcanski J, Cavalcanti P G, et al.. Grading the Severity of Diabetic Macular Edema Cases Based on Color Eye Fundus Images[M]. Color Medical Image Analysis,Springer Netherlands, 2013: 109-127.
[22] Hamilton Eye Institute Macular Edema Dataset [OL].http://vibot.u-bourgogne.fr/luca/heimed.php. 2012.