基于光流算法的医学柔式内窥镜系统

刘 桥，李 晗，何凌杰

(长沙理工大学电气与信息工程学院，湖南长沙 410114)

柔式内窥镜是一种微创性的医学手段，用于检测人体内腔，如图1所示。普遍的医学手段有胃镜、食道检测以及结肠道镜等。在传统的肠道内窥镜［1］检查中，医生注视着一个监控器，其上显示着由肠道内窥镜头部的图像传感器得到的实时图像。当医生把肠道内窥镜推入肠道时，会通过转动肠道内窥镜末端的手术控制手柄，来调整角度使内窥镜的头部对准肠道的腔道，只有内窥镜的前端正对腔道时，内窥镜才能顺利地进入肠道。这是一种被动的方式，带有一定柔性的装置在腔道组织上滑行时，对腔道壁面产生压力，有可能对人体内部软组织造成擦伤和拉伤，一旦这个压力超过一定阈值时，还可能造成组织破损。同时人体腔道的结构比较复杂，存在多处弯道，仅凭手感把内窥镜顺利插入到深处并非易事。

图1 柔式内窥镜工作原理图

因此，为了给医师提供清晰的图像、安全的操纵环境，内窥镜图像集中应保持在内腔壁最远的部分，即使内窥镜处于内腔的中心线位置。本文研究设计一个机器人柔式内窥镜系统，即一个视觉伺服系统(Visual Servo － System)［2－3］来引导操纵柔式内窥镜进行常规的胃镜检查。在基于光流算法的自主机器人避障系统［4］设计中，光流是用于计算到图像中特征点的相对距离，并且通过均衡移动机器人两侧光流值的大小来实现机器人避障。研究这种方法是因为操纵内窥镜通过内腔的任务与自主机器人避障任务相似。如果能恢复场景中关键的第三维信息，那么就可以通过深度估算［5］来操纵控制内窥镜躲避距离其最近的物体。本文将自主机器人避障系统中光流算法的思路，引用到机器人柔式内窥镜系统中，提出了一种基于LK光流算法的机器人柔式内窥镜系统，并对常用的图像灰度算法进行了仿真模拟的对比实验。

1 基于LK光流的算法

本文利用基于LK光流算法的机器人柔式内窥镜系统的方式来恢复近似球形的全景深度信息。光学距离的依赖环境可以很容易地被球型摄像模型描绘出来。M是目标点，p∈R3，p映射到球面上，S2，如图2(a)所示

对于每个点q=M(p)，定义

为从P到摄像机的光学中心的距离。

当摄像机在静态环境中移动，光流θ(q)是θR(q)旋转分量和平移分量θT(q)的总和

这里V指光学中心的平移速度;Ω指光学中心的转动速度，深度信息包含在θT(q)中，常规获得θT(q)的方法是取消转动光流θR(q)，通过测程法来估算Ω。然而，利用内窥镜不能直接获得此数据，在这里运用运动学模型的输入来估算Ω的方法并不可行。由于摄像机前端的运动高度依赖内窥镜的整体形状，因此选择单独使用光流作为输入。

为估算摄像机的运动，使用中央区域作为参考区域，即图2(a)的区域C。在区域C中，平移速度V大约在摄像机光轴的方向，因此，q大约与V在相同的方向。这就使得(I－qqT)V变得很小，因为它是V于该平面正交的q的投影。另外，由于图像的中心距离摄像机较远，所以1/λ(q)也很小，因此，根据C可得，θT(q)≈0，θ(q)≈θR(q)= － Ω × q，所以 θ(q)能够被用于估算Ω。

图2 球形摄像机模型示意图

所获得的Ω可从整个摄像图像的光流中计算平移部分θT(q)，这样就可以控制内窥镜，使其远离那些距离摄像机最近的点。

Lucas－Kanade光流算法具有计算简单、对较小的场景和较小运动的光流估计精度较高的优点，正好适用于胃镜检查的环境，利用这种算法从两个后续摄像机图像中获取稀疏光流场(sparse flow)。光流矢量对(ui，vi)∈S2×S2，其中下标 i表示第 i个矢量对(i=1，…，n)，ui和vi分别表示运动物体的运动矢量投影与二维平面得到的瞬时变化率。对于vi落在中心区域C的矢量对，估算从ui到vi的旋转角度。这些旋转被表示为一个正交的旋转矩阵R。利用正交旋转矩阵R，可以将属于每一个矢量对(ui，vi)的平移流矢量计算出来，定义

其中，Δt是帧时间;R－1vi是 vi的摄像机旋转补偿［13］。

通过计算光流矢量θTi来得到所需的摄像头旋转速度ω。一个移动摄像机所拍摄的图像中，离摄像机较近的特征点产生更大的光流矢量，因此可以分别计算摄像机左右两侧特征点的光流矢量，图像将被分为左(L)和右(R)区域，如图2(b)。左侧光流平均矢量模φL和左侧光流平均矢量模φR定义为

通过计算图像左右两侧平均光流矢量模的差来判断内窥镜的相对位置，计算方法为

当φR－φL＜0时，可认为肠道内腔障碍物在左侧的可能性大;当φR－φL＞0时，可认为肠道内腔障碍物在右侧的可能性大。摄像机绕x轴所需的旋转速度是ωx，可以从式(5)和式(6)中得到

其中，K是恒定的增益;绕y轴旋转速度是ωy，利用顶部和底部的图像分离，其算法与式(7)相似。

2 基于图像灰度的算法

因为胃镜的光源和探测器可以认为几乎是在同一个平面上并且非常接近，在这种情况下，肠道表面越接近光源的地方照明越充分。因此，考虑到观察点的角度，肠道内最深的部分对应着图像上最暗的区域，如图3(a)所示。采用暗区提取法［6］进行内窥镜图像寻径，通过自适应阈值获得二值图像后将其处理以获得腔壁的轮廓形状，图像中的黑暗区域通过阈值转换得到二进制图像，用于查找及确定内腔口的位置。

图3 基于灰度的图像的处理

为定位到内腔的中央方向，将图3(a)的图像进行灰度反转，计算反转图像中黑暗区域的中心。采用灰度质心算法快速给区域中心定位。定义反转图像的灰度质心点C。反转图像I″(x，y)定义为

其中，I'(x，y)是I(x，y)的应用直方图均衡化。灰度中心点C通过圆心区域A来计算，将所需的区域集中在图像中，具有直径等于图像高度的性质。这里采用一个圆形区域，希望在旋转摄像头绕光轴的同时算法不变。它还可以防止图像中暗角落照明不均匀的情况出现，如图3(a)所示。灰度质心点C计算公式为

这里，∑A代表A面积的总和。

摄像机所需要的转速，ωx绕着X轴，ωy绕着 Y轴，其定义为

其中，K是一个恒定的增益。对于旋转的摄像头，该暗部区域的中心将在该图像的中心。因此，摄像机的移动方向即为内腔中心的方向。

3 两种算法的仿真

针对内窥镜诊疗环境的特殊性和复杂性，分析医生在内窥镜检查中的动作和决策方式，在此基础上提出了采用计算机视觉方法引导柔式内窥镜的介入。在柔式内窥镜手术中，可以通过视频传感器ADVC55［7］采集腔道内实时图像并传输到计算机，计算机自动处理分析图像，自动控制和调节柔式内窥镜头部的姿态或给医生适当的建议使内窥镜顺利进入肠道。

对改进的LK光流和灰度图像这两种算法用Matlab 7.0编写，运行硬件为 3.00 GHz PentiumIV CPU，512 MB RAM，在二维空间中提取结果。为定制虚拟条件下图像的仿真环境，该系统的闭环性能在模拟柔性内窥镜检查的过程中也进行了验证。图4是用本文所介绍的基于LK光流和灰度图像两种算法来处理的，所得到的结果可以用于校正和调整柔式内窥镜介入。在这次仿真实验中，没有考虑内腔和内窥镜之间的相互影响，而内腔部分采用的是人体模型。

图4 柔式内窥镜手术操作仿真

图4(a)采用美国Silicon Graphics公司生产的“IRISExplorer”数据可视化软件展示了本次仿真实验的虚拟环境图，图4(b)为在Matlab 7.0的环境下两种算法的柔式内窥镜介入内腔的运动轨迹的仿真图。在图4(b)中，实线为图像灰度算法下的柔式内窥镜的路径，虚线为LK光流算法下，柔式内窥镜的路径。为更好地评估两种算法的性能，计算了仿真中内窥镜的实际运行轨迹与内腔的中心线之间的“均方根距离”。在改进的LK光流算法下，“均方根距离”为21%，而图像灰度值算法为24%。从两组数据中来看，LK光流算法的实验效果更符合期望。

4 结束语

本文设计了一个柔式内窥镜机器人操纵控制系统，它能够控制柔式内窥镜从口腔安全、精确地进入到十二指肠等内腔管道。将光流算法引用到医学内窥镜视觉导航系统中，并对常用的图像灰度算法进行了分析比较。仿真并检测了基于LK光流算法和图像灰度算法在柔式内窥镜介入内腔管道时的位置和性能。实验比较表明:本文设计的基于LK光流算法得到的内腔管道中心路径要更加精确、安全。

本文的研究工作在未来将集中在提高系统性能上。整个系统的性能可以通过结合具有更复杂的特征空间的控制器来进行改善结合，它使用视觉算法的输出来引导柔式内窥镜的行动路径，并且考虑内窥镜的固有特性。将来的研究中也将包括性能评定下让该系统在更逼真的环境中进行研究和仿真。

［1］Harewood G C.Relationship of colonoscopy completion rates and endoscopist features［J］.Digestive Diseases and Sciences，2005，50(1):47 －51.

［2］Burkhardt M R，Soper T D，Yoon W J，et al.Controlling the trajectory of a flexible ultrathin endoscope for fully automated bladder surveillance ［J］.IEEE/ASME Transactions on Mechatronics，2014，19(1):366 －373.

［3］Phee S J，Ng W S，Chen I M.Locomotion and steering aspects in automation of colonoscopy.I.A literature review［J］.Engineering in Medicine and Biology Magazine，IEEE，2002，196(5):784 －795.

［4］肖雪，秦贵和，陈筠瀚.基于光流的自主移动机器人避障系统［J］.计算机工程，2013，39(10):305 －308.

［5］罗桂娥.双目立体视觉深度感知与三维重建若干问题研究［D］.长沙:中南大学，2013.

［6］史少龙，伊达一.改进型灰度质心实时算法研究［J］.光电工程，2013，40(20):18 －24.

［7］Paolo Dario，Blake Hannaford，Ariama Menciassi.Smart surgical tools and augmenting devices［J］.IEEE Transactions on Robotics and Automation，2003，19(5):782－792.