基于结构检测模型的白内障连续环形撕囊边界检测方法

刘卫朋，韩 达,，李 桢，边桂彬

(1.河北工业大学 人工智能与数据科学学院，天津 300130；2.中国科学院自动化研究所 复杂系统管理与控制国家重点实验室，北京 100190)

0 引言

白内障是全球首位致盲性眼病。它会使视力下降，甚至导致失明。白内障是由眼组织中的晶状体蛋白质变性而发生浑浊引起的症状。根据白内障产生和发展的不同区域，可将其分为三类：核性白内障，皮质性白内障和后囊膜下白内障[1-4]。在所有的白内障中，老年性白内障是较为常见的眼科疾病，占视力致盲问题的25%～50%。白内障已成为人们生存质量的重大威胁，其危害程度紧随肿瘤和心血管疾病。随着社会老龄化程度加重，白内障发病率逐年增长，如果这些白内障患者无法及时接受适当治疗，会造成视力下降、病人的生活质量下降，此外会继发青光眼，造成不可逆的视神经损伤，还能引起过敏性炎症。世界卫生组织(WHO)公布的统计数据表明，每年有超过1 500万的白内障致盲者。此外，仅在中国和印度就发现了因为白内障致盲[5-7]的人数为1 800万。

白内障手术是用人工晶体替换患病变晶状体的过程。首先，眼科医生使用专用手术器械对眼球制作切口。下一个步骤是连续环形撕囊操作，这一步骤在整个手术中起着至关重要的作用。 第三，对眼球进行水分离操作，该步骤旨在分离眼睛的组织和组织液。第四步是超声乳化，它会破碎病变晶状体。之后，进行去核操作，在此步骤中将清除所有残留物。下一个操作是注射粘弹剂，这一部分的目的是方便人工晶状体的植入。在植入了人工晶状体并调整位置之后，需要清洁眼球内的辅助药剂和其他处理后，手术结束。图1中展示了白内障手术的标志性步骤。

图1 白内障手术的主要步骤

近年来，手术机器人成为高端医疗装备的重要研究方向。高难度的手术可分解为医生的一般手术操作及机器人的复杂精细操作，关键手术步骤由机器人辅助完成，医生的手术操作难度明显降低，手术精细度、安全性显著提高。外科医生和研究人员从飞速发展的计算机视觉和医学影像处理技术中受益良多[8]。探索并测试了关于自主心脏手术机器人的理论。此外，在白内障手术中探索撕囊术的边界提取[9]以实现机器人手术[10]。研究了用于白内障手术机器人机械臂虚拟约束的算法[11]。则通过深度学习方法实现了针对白内障手术视频高速分割。

为了实现机器人辅助白内障手术操作，需要术中实时提取连续环形撕囊的边界，为机器人运动控制提供虚拟约束。如图2(a)(d)所示，提取工作的主要挑战在于边界与周围环境的对比度低。图2列出了几个典型的图像，它们代表了手术期间发生的不同类型的干扰。第一种类型的干扰是由进行手术时的灯光反射引起的，如图2(b)所示。第二类干扰是由于撕囊过程中操作不准确而导致边界部分缺失，如图2(c)所示。

第三类干扰是手术过程中由于气体混入而产生的气泡干扰，如图2(e)所示。这3种不同类型的干扰增加了检测边界的难度。此外，肉眼不易识别的边界和眼球内组织等很容易导致错误检测，如图2(f)所示。

图2 撕囊边界检测面临的主要挑战

为了更直观地反映目标边界像素与图像周围背景之间的低对比度，本研究绘制了图像的灰度值图表，以说明将边界检测方法应用于白内障手术的撕囊边界检测时所面临的挑战，如图3。

图3 边界像素与周围像素灰度值对比

从图像直观得出，研究的目标边界与周围图像对比度较低，不易于直观感受。这就给执行白内障手术的医生提供了巨大的挑战。而像素灰度折线图则显示待检测像素值与周围20像素内像素差值较小，同样不利于机器视觉的检测和提取。

为了克服上述挑战，本研究提出了特定的解决方法。首先，预处理可以显着提高输入图像的对比度。接下来，提出了一种结构检测模型来检测连续环形撕囊边界。最后，本研究应用的局部阈值和后处理能够消除干扰和噪声而不会影响边界像素。

本文的主要贡献归纳如下：

1)结合了预处理和结构检测模型的提取方案能够在低对比度的情况下检测出更精细的晶状体前囊撕取边界。

2)利用局部阈值和后期处理能够检测并消除小的干扰，而不会同时影响边界像素。

3)该方案的鲁棒性由3种不同干扰下的满意结果所证实。

4)对所提方案的和已建立的检测方案进行比较和评估。

本文的其余部分安排如下。第1章具体解释了具有准确性和鲁棒性撕囊边界的结构检测模型和边界提取方案。第2章介绍了一系列手术图像的实验结果和评估。最后，结论和讨论将在第3章中进行。

1 算法的阐述

提出的算法包括预处理、结构检测模型、局部阈值和后处理。首先，实施预处理以增加图像的对比度并使其便于应用模型。然后，建立结构检测模型以检测白内障手术图像中撕囊边界。接下来，在检测到细节之后进行局部阈值清除其中的干扰像素。最后，后处理可以消除干扰并获得撕囊的边界。算法的框架如图4所示。

图4 边界检测流程图

2 算法的阐述

2.1 预处理

预处理过程的工作流程描述如下：将小波变换分解应用于原始图像，并获得4个分别称为低-低，低-高，高-低和高-高的子带图像。我们需要处理的照明因子仅存在于低-低子带图像中，并且可以通过奇异值分解来处理。借助此属性，原始图像可以同时通过一般直方图均衡和自适应直方图均衡进行处理[12]。通过应用逆离散小波变换，可以将两个分离通道的图像重建为具有高对比度的最终图像。

图5列出了输入图像和相应的响应图像的灰度直方图和三维等高线图，以说明预处理的有效性。

图5 预处理前后效果对比

2.2 结构检测模型

在本节中，将建立边界检测模型以检测撕囊边界。

首先对输入图像与高斯滤波器进行卷积，以便对其进行平滑处理。

Ixx=I*Gσxx(x,y)

(1)

Iyy=I*Gσyy(x,y)

(2)

Ixy=I*Gσxy(x,y)=Iyx

(3)

其中:Gσxx(x,y)代表高斯函数Gσ(x,y)在x轴的二阶偏导数,Gσyy(x,y)代表高斯函数Gσ(x,y)在y轴的二阶偏导数,Gσxy(x,y)代表高斯函数Gσ(x,y)在x轴和y轴的二阶偏导数。σ代表高斯函数Gσ(x,y)的尺度。

定义二阶特征矩阵如下：

(4)

建立矩阵后，结构检测模型的原理可以描述如下:二阶偏导数表示二维图像中导数的变化情况；矩阵的两个特征值表示图像在两个特征向量指示的方向上的各向异性。如果使用特征向量和特征值构成椭圆，则椭圆可以表示某一点处的各向异性变化。结构越线性，各向异性越强。显然，圆具有最强的各向同性。如图6所示。

图6 特征值和特征向量及对应点在图像中结构

特征矩阵的特征值可以更好地描述线状结构信息。根据该特性，高斯二阶偏导数的目标边界及其响应相对较大，而在均匀的背景中是均匀的，因此响应较小。我们使用e1和e2表示矩阵特征矩的特征值，λ1和λ2作为对应的两个特征值，并假定|λ1|<|λ2|，然后定义两个变量，分别命名为Rb和S，如下所示：

Rb=λ1/λ2

(5)

(6)

图像中的像素是否为边界像素可以通过Rb和S判定识别。根据上面讨论的信息，我们得出结论:只有当检测到干扰像素时，Rb就能得到一个较大的值；如果λ1=0或者λ1非常小，此时Rb的值接近0。但是，当检测到是背景像素而非边界像素时，S就会得到一个较小的值。考虑到特征矩阵的特性，不同的特征值将对应不同的检测结果。结合假设条件|λ1|<|λ2|，我们列出了其特征值的三中不同情况，如图7所示。

图7 不同特征值及其在图像中对应的不同结构

结构检测模型的传递函数定义如下：

(7)

基于以上讨论的特性，结构检测模型能够检测边界像素，而与周围背景无关。预处理后的输入图像及其对气泡和反射光的响应如图8所示。

图8 线状结构和块状结构的识别

2.3 局部阈值处理

在本节中应用局部阈值以消除在先前过程中错误检测到的干扰。由于存在细小的血管和低对比度区域，我们可能会错误地将边界像素检测为非边界像素。

为了正确区分边界像素，通过使用滑动子窗口从应用模型后的图像中分割像素来应用局部阈值。阈值设定如下：

Th(x,y)=m(x,y)+k·v(x,y)

(8)

m(x,y)和v(x,y)在式(8)中分别是滑动子图像的均值和标准差。滑动子窗口的大小可以自由选择，这里我们使用9×9；同时，k是一个预定的常数，当k设置为1时将获得最佳响应结果。

当在结构检测模型的响应图像上应用局部阈值时，其对应的算法为：

(9)

在上述过程中，原始图像被转换为二值图像。在逐像素比较之后，如果满足限定条件R(x,y)>Th(x,y)，则将像素标记为白色，反之将其标记为黑色。在此过程的步骤之后，大多数干扰像素已被消除。

3种典型类型的干扰和输入图像的结果在图9中列出，可以得出结论，局部阈值消除了部分内部干扰。

图9 局部阈值应用前后对比

2.4 后处理

采用后处理的目的在于去除一些非边界像素并得到结果。这一过程尽可能需要消除干扰，并同时保留边界像素。首先，应用连接操作来连接分离的干扰像素。然后，使用收缩操作来使连接的干扰细化。最后，进行清除操作以获得最终结果。工作原理如图10所示，白色和灰色边框中的图像部分被放大以显示该算法工作过程，对应解释连接、细化和清除3种操作。首先，连接操作可以将单独的干扰连接成连接的干扰，这可以方便地处理。处理过程如下：

图10 后处理各操作及原理

Xk=(Xk⊕B)∩A;k=1,2,3···

(10)

式(10)表示找到集合中的单独元素并使它们连接。X0是一个数组{1}，每个连接的元素中都包含元素1，而非连接元素都均为元素0。接下来，收缩操作可以减小干扰，并易于实施清除操作。定义如下：

A⊗{B}=((···((A⊗B1)⊗B2)···)⊗Bn,

{B}={B1,B2,···Bn}

(11)

式(11)用于细化A；它代表结构元素序列的细化。最后，清除操作适于清除干扰。处理如下：

(12)

其中:X等于输入图像I，但所有对象的非接触像素都已清除。

3 实验结果与分析

3.1 数据集和相关参数设定

实验数据来自手术的实时视频。为了验证所提出方法的性能，将手术视频处理为单个图像。最终获得了不同的连续环形撕囊术的图像并进行了测试，以验证所提出的方法。

在进行对比实验之前，必须正确地选择一些关键参数。该方法有多个参数，实验表明，其中只有3个参数对算法的检测提取性能有重大影响。它们分别是：尺度大小σ，阈值系数k和滑动窗口的大小N×N。

针对不同的尺度σ进行测试，以选择其理想参数。根据实验，如果σ设置得太小，边界将无法很好地提取并且容易丢失；相反，如果σ设置得太大，一些干扰将被误检边界像素。

滑动子图像的大小也会影响检测结果。子图像的值设定过小会增加处理时间，从而增加系统负担；子图像尺寸值设定过大会导致不精确的检测结果。

阈值系数k对局部阈值的过程有影响，从而影响检测结果。如果k的值太小，将导致阈值过小，并错误地将背景像素识别为边界像素；相反，如果将该值设置得太大，则会产生宽松的阈值，并且会丢失一些真实的边界像素。

在图11中，横坐标表示3种不同干扰情况下的测试情况，以纵坐标表示测试20张图像时，能够检测出80%边界的数量。根据图11(a)的直方图可得尺度大小取σ=1将收到满意的结果。从图11(b)所示直方图得出的结论是子图像的大小取9×9将收到最佳响应。如图11(c)所示，在3种情况下，阈值系数取k=1性能良好且稳定。

图11 关键参数的设定对检测过程的影响

3.2 定性评估

将结构检测方案与一些代表性的边界检测方案进行了比较，以证明其有效性。分别在给定的图像数据集中使用Canny[12]，Roberts[13]和Tensor Voting[14]。

Canny算子很容易在白内障图像中检测到错误的检测结果。其在图12(b1)(b2)(b3)中的结果表明，尽管这一方法检测到边界，但同时保留了很多干扰。

图12 不同方法所得结果及人工标注数据

从图12(c1)(c2)(c3)得出结论，Roberts检测子的表现并不令人满意。它的算法是依靠在对角线方向上两个相邻像素之间的差异近似边缘幅度以检测边缘。与Canny检测器的结果相比，检测到的干扰减少了许多，但是检测到的边界会也同时减少。

图12(d1)(d2)(d3)中的结果表明，Tensor Voting不适用于此处。它在边界检测领域，尤其是在低对比度图像中，具有独特的检测优势。其原理是通过球张量和棒状张量不断迭代检测边界和缺失曲线。如图中所见，它确实检测到了Canny和Roberts都检测不到的边界像素，但由于其对干扰的响应敏感特性，使得其将粘弹剂和眼内组织也识别为边界。

图12(e1)(e2)(e3)展示了结构检测模型的检测结果，可以得出，这一方案的性能优于Canny算子，Roberts检测子和Tensor Voting三种方法。如图12所示，Canny可以很好地检测边界，但是容易导致错误检测。Roberts的倾斜检测功能使它容易将边界附近的干扰像素识别为目标像素，从而增加了误报率。辅助药物和眼内组织对张量投票的迭代过程具有不可逆的影响，从而检测了较多干扰。

3.3 定量评估

除去定性评估之外，实验还进行了定量评估，以将所提出的方法与上述3种代表性方法进行比较。在这项研究中，列出了3个性能指标，包括精确度(Pr)，召回率(Re)和F测度(Fm)，其定义如下：

(13)

(14)

(15)

其中:TP，FP和FN分别代表真阳性，假阳性和假阴性。Fm可以评估这些方法的整体性能。

根据计算的指标，结果记录在图13中。如图所示，该方法的精确度/召回率曲线高于Canny检测器，Roberts检测器和Tensor Voting方法，证明了该方法的准确性和高计算效率。

图13 不同方法所得结果定量对比

实验同时记录了每种方法的运行时间，以证明该方法具有较高的计算效率。表1汇总了所有这些方法对尺寸为300×450像素的测试图像的平均处理时间，以进行比较。从表1可以得出结论，该方法具有较高的计算效率。

表1 不同方法耗时记录

4 结果及讨论

本次研究提出了一种新的边界提取方案，用于白内障图像中的连续环形撕囊边界检测，并已通过从医院收集的数据集验证了其性能。所提出的模型可以提取连续环形撕囊的边界，该边界是在结构检测模型之后计算出来的，可以通过局部阈值和后处理来消除干扰。

实验结果表明，在评价白内障连续环形撕囊边界方面，该方案比传统的Canny算子，Roberts检测子和Tensor Voting具有更好的检测判别能力。通过应用结构检测模型方案，即使在低对比度条件或不同类型的干扰情况下，也可以提取连续环形撕囊的边界。

连续曲线撕囊的边界可以为白内障手术机器人提供必要的反馈信息。我们的工作可以增加对手术机器人虚拟固定装置的约束。实验结果表明，该方案鲁棒性良好，F测度取得了0.915的结果。将图像处理的结果用作机器人运动控制的虚拟约束，可以使机器人操作更加安全，提高了操作的精度。

5 结束语

本文研究了白内障连续环形撕囊边界的提取方案，并且实现了在白内障手术视频中提取连续环形撕囊边界这一目的。经过实验验证，所提方法具有良好的可行性和效果，与多种图像处理方案对比表明，在提取的精确度和准确度上有大幅提升，能够为手术医师或机器人辅助手术操作提供良好的约束信息，提升手术的安全性和精准度。