光学显微注射过程中人类卵细胞分割的实现

Foundation item: Supported by the Foundation of the International Cooperation of Guangdong Provincial Department of Science and Technology(2012B050600011)

† 通信作者： 田联房(1969-),男,教授,博士生导师,主要从事模式识别与人工智能研究.E-mail: chlftian@scut.edu.cn

光学显微注射过程中人类卵细胞分割的实现*

秦传波田联房†杜启亮

(华南理工大学 自动化科学与工程学院, 广东 广州 510640)

摘要：针对卵胞浆内单精子显微注射过程中人类细胞质、注射针和卵细胞极体的分割问题,首先根据分割目标形状的差异性,采用骨架形态学算子提取感兴趣区域;接着采用改进的模糊聚类方法,依据局部灰度和局部方差特征对边界模糊、噪声较大的预处理图像进行粗分类;然后在模糊聚类的基础上设定水平集初始化位置和演化控制参数,实现细胞质、极体和注射针的分割;最后针对细胞质内的部分注射针图像,采用直接拟合标记出完整注射针图像.实验测试结果表明,文中算法可以实现人类卵细胞的细胞质、极体和注射针的正确分割.

关键词：卵胞浆内单精子显微注射;骨架提取;分割;模糊c-均值;注射

基金项目：*广东省科技厅国际合作项目(2012B050600011);高等学校博士学科点专项科研基金新教师课题(20120172120032);华南理工大学中央高校基本科研业务费专项资金资助项目(2014ZZ0045);广州市科信局国际合作项目(2012J5100001)

作者简介：秦传波(1982-),男,博士生,主要从事模式识别与人工智能研究.E-mail: tenround@163.com

文章编号：1000-565X(2015)05-0066-07

中图分类号：TN391.41

doi:10.3969/j.issn.1000-565X.2015.05.011

收稿日期：2014-08-28

近年来,实现细胞显微注射的自动化是当前生物基因工程技术的重点研究方向.在卵胞浆内单精子显微注射(ICSI)实验装置的研发上,国内外已有学者展开基础研究工作[1-4],搭建了基于光学显微的注射平台.而对于卵细胞的特征分析,Manna等[5]使用纹理特征实现对卵细胞的分类和选择,为进一步提高ICSI成功率做准备.Basile等[6]通过图像预处理从细胞质中心开辟出一块矩形区域,经Harr小波变换后提取卵细胞的多个统计纹理特征,再用模糊c-均值(FCM)聚类实现不同程度颗粒度的卵细胞分类.Caponetti等[7-8]先用模糊数学方法实现分割,并结合纹理特征实现卵细胞分类,但运用Hough变换[9]实现圆形细胞质的预分割,无法应用到细胞形变的情况,并且没有分割出细胞的极体.Boldak[10]提出了一种基于外部静电声力驱动的全局活动轮廓蛇模型,虽然分割出了细胞质的轮廓,但要手动初始化演化轮廓,且没有实现细胞极体的分割.对于注射针的运动控制,Zhang等[11]基于显微视觉研究了对注射针移动的闭环控制方法,同时用卡尔曼滤波器实现注射针内精子运动的定位和跟踪.赵新等[12]对显微图像中显微针深度信息进行提取,并用吸持针和注射针对插实验进行了验证.综上所述,ICSI的各种实验装置和卵细胞的特征分析受到了学者的广泛关注,但有关卵细胞显微注射过程中卵细胞的准确分割和定位问题的研究鲜见报道,而这是细胞显微注射自动化的关键所在.

为此,文中在形态学骨架提取的预处理基础上,采用基于模糊聚类的水平集方法[13-14]来实现目标分割.在ICSI图像中,卵细胞的细胞壁和透明带之间的宽度超过2个像素,可用形态学方法提取边界且不被破坏.因此，文中首先运用二值形态学中骨架提取的思想实现细胞质和极体的粗分割,提取目标中包含一段注射针末端和细胞质的预处理图像；考虑到预分割图像强度不均匀、易受大量噪声污染、颗粒度较强等问题,文中采用改进的FCM算法,利用像素的局部灰度和空间信息进行模糊聚类,实现细胞质、极体和细胞内注射针的粗分类.然后基于聚类结果实现水平集位置的初始化和设置水平集曲线演化的参数[15-17],实现目标的正确分割,并依据分割结果通过直线检测拟合出注射针的位置.最后采用文献[18-21]算法和文中算法对光学显微临床图像[22]进行实验,并比较其分割结果.

1基于模糊聚类的水平集分割

ICSI注射的情景如图1所示.卵细胞注射主要分为人类卵细胞、注射针和吸附针3个对象.其中,卵细胞周边模糊区域为透明带,透明带内侧黑色宽曲线带为细胞壁,细胞壁所包围的物质为细胞质,细胞质的右上方圆形颗粒状物质为卵细胞的极体;吸附针用来吸附和固定卵细胞;长细条状的显微注射针用于精子的运输和注射.在ICSI过程中需要确保注射针正确刺入细胞的位置,不能损害细胞的极体.极体是卵细胞成长过程中减数分裂的产物,为早期胚胎的发育提供能量贮备,对ICSI的成功率和婴儿性别结果有较大的影响.同时在细胞注射过程中判断是否真正刺穿细胞质.故实现卵细胞的分割至为重要.文中分割算法的流程如图2所示.

图1　细胞注射示例

1.1感兴趣图像预分割

Basile等[6]用模糊数学形态算子和Hough变换[9]实现卵细胞的预分割,但仅局限于处理圆形的卵细胞.在ICSI图像中,卵细胞随着注射针刺入而发生形变,Hough变换虽然可以检测圆或椭圆,但无法在这种形变情况下进行细胞分割.由于注射针的一段刺入卵细胞,而且细胞质、注射针和极体的灰度值比较接近,细胞放射冠的边缘也比较模糊,不宜用阈值分割方法实现分割.考虑到卵细胞的内细胞壁形成的带宽大于2个像素宽度,文中结合形态学算子和骨架提取的知识来实现目标的粗分割.二值图像骨架化可以将对象简化为线条,但不修改图像的基本结构,同时良好地保留图像的基本轮廓.

图2　文中分割算法流程图

对图3(a)所示原始图像进行预处理.首先，用最大类间方差法得到完整的二值图像,经膨胀操作后提取骨架,结果如图3(b)所示.骨架化完整地保留了细胞质、极体、吸附针和注射针的轮廓,其宽度为单个像素宽度,注射针骨架化为单像素直线,骨架化的图像中细胞质是连通的.其次,通过区域填充和标记后,使用规则滤波器把卵细胞的细胞质从周边的对象背景中分离出来.最后,提取出感兴趣区域(ROI),结果如图3(c)所示.

图3　图像预处理

1.2改进的模糊聚类算法

图像预处理所提取的ROI图像有3个分割对象:细胞质、极体和细胞质内一段注射针.ICSI图像数据是从光学显微镜下采集得到的,存在光照不均和噪声污染问题.传统FCM性能指标是一种全局能量方差最小的目标代价函数,当出现异常点时有较差的聚类结果.而噪声在现实生物医学图像中不可避免.因此,文中考虑加入局部特性[13-14],使当前中心点像素的分类由其近邻域内像素的分类标记共同决定,进而改进传统FCM对噪声敏感的问题.

假定采集到的实际图像y由真实图像x和偏置域b组成,且b在局部范围内是缓慢变化的,图像y共有N个像素,那么有

yk=xk+bk,∀k∈{1,2,…,N}

(1)

则标准的FCM目标代价函数可写成如下形式:

(2)

式中:p是模糊隶属度加权指数,影响最终分类的模糊程度;xq为真实图像局部窗口内第q个像素点;uik和vi分别是隶属度和聚类中心;Rk表示以xk为中心的近邻域;Nr是近邻域Rk中像素的个数;α是近邻域的控制参数,取值反比于图像的信噪比.将式(1)代入式(2)得

(3)

式中,yq为采集图像局部窗口内第q个像素点,bq为偏置.

使用Lagrange乘子求式(3)的最优问题:

(4)

(5)

(6)

同理,对偏置域bk进行估计,求一阶偏导数并令其结果为0,可以求得

(7)

对于每个像素点，在其5×5的近邻域内计算局部均值和局部方差，以此,为聚类特征.依据标准FCM聚类步骤进行运算.对图4(a)所示的预处理得到的ROI图像,用改进的模糊聚类算法进行聚类,卵细胞质和极体的聚类结果见图4(b)，细胞质内部基本平滑,边界相对清晰,极体的主要边界区域得以和细胞质分离；ROI图像中部分注射针的图像见图4(c),周边的细胞轮廓可以在后续操作中去除.

图4　基于ROI图像的改进FCM聚类结果

1.3结合模糊聚类的水平集模型

模糊聚类得到的结果是一个粗略的理想分类,可用聚类结果导出水平集演化的初始位置,从而减少曲线深化运算量,提高分割精度.水平集方法易于结合先验知识来引导或驱动轮廓的演化.Li等[17]提出了无需初始化的变分水平集方法,其原始的变分方程为

(8)

(9)

式中,ν系数取值的正负决定初始轮廓相对于待分割目标做收缩或膨胀演化,以及演化的速度.对于实际分割问题,期望远离目标边界时,演化速度快;反之,演化速度慢.当轮廓跨过目标边界时,可以自动改变演化方向,而非一成不变.因此,自适应地改变系数ν的取值，更适合实际分割需求,令模糊聚类隶属度的图像为I,那么对于图像中像素k(其隶属度为rk),有

νk=G(rk)=1-2rk,rk∈(0,1)

(10)

水平集的演变方程更新为

(11)

其他参数的选取如下[17]:

1.4水平集的初始化及演化

模糊聚类得到一个粗糙的分类结果后,可以从聚类结果导出水平集演化的初始位置,从而减少运算量.假设选定模糊聚类隶属度的图像为I,设定一个可调整的阈值,得到二值图像像素:

(12)

那么,水平集初始化函数表达为

φ0=-4ε(0.5-Bk),ε=1.5

(13)

利用有限差分法实现数值化求解,时间偏导数值化采用前向差分,空间偏导数值化则采用中心差分[16].在聚类图像的基础上,文中分别基于卵细胞质的聚类结果和注射针的聚类结果并结合水平集方程来实现分割.

图5　细胞与注射针分割结果及水平集演化3D图

Fig.5Segmentation results of cell and injection pipette and 3D photo of level set evolution

图5(a)为细胞质与极体的分割图像,比较光滑和准确地演化出边界轮廓;图5(b)为水平集演化的三维(3D)效果图,3D图中间空的斜长低谷为注射针图像,其右下方相对独立的一个小区为极体;图5(c)为卵细胞质内部一段注射针的分割结果.考虑到注射针的线性特点,文中在二值化的基础上,并结合图5(c)实现直线检测.图6(c)给出了注射针的完整分割图像.

图6　注射针的直线拟合

2实验和结果讨论

文中实验所用光学显微临床图像(大小为320×240)来源于美国佛罗里达州生殖科学和技术研究所[22]，运行环境Windows XP,Matlab R2011a,Pentium Dual CPU 3.2GHz,2GB内存.

2.1ROI预分割提取

ICSI分为4个阶段:准备接触、刺穿过程、注射和退针.在各阶段细胞因注射针刺入而发生形变,形态由圆形变成近似椭圆.Hough变换能检测出近似圆形轮廓[6-8],但对严重形变情况失效,故文中采用形态学骨架算子来提取感兴趣目标.

图7　ROI图像提取预处理

预分割结果(见图7)表明,在ICSI的各个阶段可以完整获取细胞质和极体的粗轮廓,方法简单而高效.退针情形与刺穿后和接触阶段类似,不再单独展示.

2.2各聚类算法实验结果对比

对于预分割ROI图像,采用文中改进的模糊聚类方法进一步分割出细胞质和极体的轮廓,同时分割出已经刺入细胞质内部的部分注射针图像,并与其他两种聚类算法(传统FCM聚类算法、均值漂移法[15])的分割结果(见图8)进行对比分析.从图可知:由于图像的颗粒度较大且灰度值相接近,传统FCM聚类算法很难将细胞质、极体和注射针区分开来;均值漂移法虽然可以实现细胞质和注射针的分类,但极体区域的分类较乱,且运算量大;文中算法因考虑了灰度局部特性而取得了良好的分割效果.

图8　3种聚类算法的分割结果对比

Fig.8Comparison of segmentation results among three clustering algorithms

2.3各种水平集分割算法的对比

在ICSI的4个阶段(准备接触、刺穿过程、注射和退针),分别采用4种水平集分割算法(C-V[18]、LBF[19]、LCV[20]、LIF[21])和文中算法进行分割评估.每个阶段用采集得到的30幅图像做测试，即每种算法用120幅图像做测试.分别统计4个阶段中每种算法分割细胞质和极体的成功率,结果见图9.

图9　几种算法对细胞质和极体的分割成功率比较

Fig.9Comparison of success rates of segmentation among several algorithms on polar and cytoplasm

由图9(a)可知,在ICSI过程的4个阶段,5种算法在刺穿阶段和注射阶段对细胞质的分割成功率均下跌,但文中算法的分割成功率下跌幅度最小,成功率基本保持在90%以上.产生下跌的主要原因是注射针的刺入使细胞质发生了弹性形变,注射针的灰度和细胞质接近,且流动的细胞质液体表现为图像的噪声.C-V、LBF和LCV算法的整体分割成功率波动较大,且基本上在60%以下,而在注射阶段则远低于50%.相比于文中算法,LIF算法的分割成功率在刺穿和注射阶段下降了10%～20%.这表明文中算法具有更好的鲁棒性.

由图9(b)可知,在ICSI过程的4个阶段,5种算法在刺穿阶段和注射阶段对卵细胞极体的分割成功率依然下跌,但文中算法对极体的分割成功率基本上在90%以上且保持不变.与细胞质的分割结果相比,LCV算法对卵细胞极体的分割成功率有较大的提升.C-V、LBF算法对极体的整体分割成功率波动较大,且基本上在40%以下;LIF算法对极体的分割成功率总体上低于80%,效果远低于对细胞质的分割成功率.可见,文中算法取得了最稳定的分割结果.

以刺穿状态为例对各种算法的分割结果进行对比分析.从图10(b)可知,全局C-V模型没有考虑局部强度的不一致性,故分割目标杂乱,卵细胞质内细长的条状注射针的分割效果比较差，而且对于周边噪声较大的卵细胞极体,分离出来的可能性较小.从图10(c)可知:LBF局部分割模型克服了分片常数C-V模型的不足，但局部信息的引入使得局部分割明显存在局部小轮廓,卵细胞的极体出现过分割,且存在与细胞质粘连现象,而对于周边噪声较大的卵细胞极体,则不能完全保证后续处理可以把极体从其周边区域中分割出来;虽然注射针的轮廓相对清晰,但细胞质充满噪声.从图10(d)可知,LCV算法是在C-V模型的基础上增加了局部信息,故可以分割出较完整的细胞极体,但卵细胞质内注射针的图像噪声较大,可以区分注射针的轮廓.从图10(e)可知,LIF算法的运算高效且抗噪能力强,能较好地分离细胞的极体和细胞质内部的一段注射针轮廓，但存在极体和细胞粘连的情况.从图10(f)可知，文中算法对极体和细胞质的分割效果明显，且在注射的4个阶段均保持较好的分割效果.

图10　不同算法的分割结果对比

Fig.10Comparison of segmentation results among different algorithms

针对ICSI中4个阶段的各种形变情况，图11给出了文中算法的分割结果.从图11(a)可知，在注射针与卵细胞接触状态,卵细胞本身只有极小的形变；从图11(b)可知,注射针开始接触卵细胞时,卵细胞本身有明显的形变；从图11(d)-11(e)可知,在注射针刺穿卵细胞的状态,卵细胞质形态反弹,近似椭圆;退针状态与图11(f)的注射状态相似.由上述过程可知,细胞质和极体均得到独立地分割,极体在注射过程中因受注射针挤压卵细胞而产生形变，极体的图像发生改变,导致分割结果略有形变.

图11　文中算法在不同阶段的分割结果

Fig.11Segmentation results of the proposed algorithm at diffe-rent stages

由于注射针的挤压，卵细胞本体呈现形变相对严重的椭圆但细胞质和极体均被完整地分割，基本上不存在错误分割的情况，表明文中算法具有极强的鲁棒性.

3结论

针对ICSI卵细胞注射过程中的分割问题,文中先采用形态学骨架提取方法实现细胞质的初步分割，然后基于改进的模糊聚类估计出近似轮廓并作为水平集的初始化位置，通过调整变分水平集模型的参数可实现细胞质、极体和注射针的分割.直线检测结果表明,文中算法可实现完整注射针的定位.今后拟实现序列图像的实时跟踪与分割，考虑将局部纹理特征作为先验信息，依据目标和背景的概率密度分布距离度量，并结合水平集方法来实现分割.

参考文献：

[1] Ladjal H,Hanus L,Ferreira A.Micro-to-nano biomechanical modeling for assisted biological cell injection [J].IEEE Tran-sactions on Biomedical Engineering,2013,60(9):461-2471.

[2]田桂中,侯丽雅,章维一.显微注射中细胞位姿调节技术及实验研究 [J].中国机械工程,2009,20(4):500-503.

Tian Gui-zhong,Hou Li-ya,Zhang Wei-yi.Mechanical ana-lysis and experimental research on adjusting technology for cellular position and attitude in micro-injection [J].China Mechanical Engineering,2009,20(4):500-503.

[3]孙明竹.面向复杂作业的微操作机器人系统视觉反馈与定位研究 [D].天津:南开大学信息技术科学学院,2009.

[4]Chen H I,Shih M C.Visual control of an automatic mani-pulation system by microscope and pneumatic actuator [J].IEEE Transactions on Automation Science and Engineering,2013,10(1):215-218.

[5]Manna C,Nanni L,Lumini A,et al.Artificial intelligence techniques for embryo and oocyte classification [J].Reproductive Biomedicine Online,2013,26(1):42-49.

[6]Basile T,Caponetti L,Castellano G,et al.A texture-based image processing approach for the description of human oocyte cytoplasm [J].IEEE Transactions on Instrumentation and Measurement,2010,59(10):2591-2601.

[7]Caponetti L,Castellano G,Corsini V,et al.Multiresolution texture analysis for human oocyte cytoplasm description [C]∥Proceedings of IEEE International Workshop on Medical Measurements and Applications.Cetraro:IEEE,2009:150-155.

[8]Caponetti L,Castellano G,Basile M,et al.Fuzzy mathema-tical morphology for biological image segmentation [J].Applied Intelligence,2014,41(1):1-11.

[9]Gonzalez R,Woods R.Digital image processing [M].3rd ed.Upper Saddle River:Prentice-Hall,2006.

[10]Boldak C.Elevated active contour with global image energy based on electrostatic force [J].Zeszyty Naukowe Politechniki Biatosockiej Informatyka,2010,6(1):5-21.

[11]Zhang X，Leung C，Lu Z，et al.Controlled aspiration and positioning of biological cells in a micropipette [J].IEEE Transactions on Biomedical Engineering,2012,59(4):1032-1040.

[12]赵新,孙明竹,卢桂章,等.基于显微图像处理的微操作工具深度信息提取方法 [J].自动化学报，2007，33(9):917-923.

Zhao Xin,Sun Ming-zhu,Lu Gui-zhang,et al.An approach to extract depth information of micro tool by microscopic image processing [J].Acta Automatica Sinica,2007,33(9):917-923.

[13]Li B,Chui C，Chang S，et al.Integrating spatial fuzzy clustering with level set methods for automated medical image segmentation [J].Computers in Biology and Medicine,2011，41(1):1-10.

[14]Ahmed M N，Yamany S M,Mohamed N，et al.A modified fuzzyc-means algorithm for bias field estimation and segmentation of MRI data [J].IEEE Transactions on Medical Imaging,2002,21(3):193-199.

[15]Bai P,Liu Q,Li L,et al.A novel region-based level set method initialized with mean shift clustering for automated medical image segmentation [J].Computers in Bio-logy and Medicine,2013,43(11):1827-1832.

[16]Li C,Kao C，Gore J，et al.Minimization of region-scalable fitting energy for image segmentation [J].IEEE Transactions on Image Processing,2008,17(10):1940-1949.

[17]Li C,Xu C，Gui C，et al.Level set evolution without re-initialization:a new variational formulation [C]∥Procee-dings of 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Diego:IEEE，2005:430-436.

[18]Chan T，Vese L.Active contours without edges [J].IEEE Transactions on Image Processing，2001，10(2):266-277.

[19]Li C，Kao C Y，Gore J C，et al.Implicit active contours driven by local binary fitting energy [C]∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Minneapolis:IEEE，2007:1-7.

[20]Wang X，Huang D，Xu H.An efficient local Chan-Vese model for image segmentation [J].Pattern Recognition,2010，43(3):603-618.

[21]Wang L，He L，Mishra A，et al.Active contours driven by local Gaussian distribution fitting energy [J].Signal Processing，2009，89(12):2435-2447.

[22]Florida Institute for Reproductive Sciences and Technologies.ICSI videos [DB/OL].(2013-09-05)[2014-06-01].http:∥www.firstivf.net/laboratory_tour.htm.

Realization of Human Oocytes Segmentation in the Process

of Optical Micro-Injection

QinChuan-boTianLian-fangDuQi-liang

(School of Automation Science and Engineering,South China University of Technology,Guangzhou 510640,Guangdong,China)

Abstract:Aiming at the segmentation of human cytoplasm, injection pipette and egg polar body in the process of intra-cytoplasmic sperm injection (ICSI), firstly, the operator of mathematical morphology is adopted to detect the region of interest according to the difference in shapes of segmentation targets. Secondly, according to local gray level and local variance,an improved fuzzy clustering method is used to implement the rough classification of preprocessing images with fuzzy boundaries and noises.Then,the level set algorithm is used to carry out the segmentation of cytoplasm,polar body and injection pipette, with its initialization location and controlling parameters being set according to fuzzy clustering results. Finally,line fitting is employed to mark the whole injection pipette from the local images of injection pipette inserted in cytoplasm.Experimental results show that the proposed algorithm can implement the segmentation of human oocyte cytoplasm,polar body and injection pipette correctly.

Key words: intra-cytoplasmic sperm injection;skeleton extraction;segmentation;fuzzyc-means;injection