多聚焦宫颈细胞图像融合方法✴

汪传忠,史 俊,武海燕

多聚焦图像融合是按照一定的融合规则,把同一视野中的不同聚焦点的图像进行相关的处理,再通过图像处理技术将图像中清晰部分组成一幅新的、满足某种需求的图像.图像融合作为一种有效的融合技术,已经广泛应用于机器视觉、医疗诊断、军事、遥感等领域[1-3].当前,宫颈病变细胞排查不仅需要获取更高分辨率的宫颈细胞图像,更需要完整精确的宫颈细胞表面的信息.由于受到显微镜光学成像机制和现实物理条件的限制,在显微图像的应用和处理中,常常遇到这样的问题:在显微光学成像系统中,低倍显微镜工作距离长,景深比较大,由于显微镜物镜焦深范围小,随着放大倍数的增大,景深会相应减小[4],只有那些在聚焦平面或其附近的物体才是可见的,这使得物体不可能在一幅图像中完全聚焦清晰.本文所用宫颈细胞图像是通过医学显微镜在40倍镜头下采集获取的,从采集到的宫颈细胞图像上可以很明显的看出,聚焦的部分比较清晰,不聚焦的部分比较模糊,从而影响宫颈病变细胞的排查和诊断.

图像融合通常分为像素级融合、特征级融合和决策级融合 3个层次.其中像素级融合方法主要有:像素灰度值的平均或加权平均;像素灰度值选大;像素灰度值选小[5].这些方法具有算法简单、计算速度快的优点,但是融合效果较差,很难应用于多聚焦图像融合中.小波技术是在20世纪80年代中期发展起来的,具有以下优点:①具有良好的时域频域局部性;②多分辨率的特征;③其他一些塔形分解所不具有的优点.小波变换将原始图像分解成具有不同空间分辨率和频域特性的子图像,反应了原始图像的局部特征变换,在多个分阶层、多个频带上进行融合.通常的融合算法是进行简单的加权和直接选取最大小波系数或选用计算方差等进行融合[6].本文提出了一种基于小波分解的多聚焦宫颈细胞图像融合算法,采用‘sym4’分解并做3层小波分解获取相应的高频和低频分量;对于小波分解得到的高频分量,基于绝对值最大的原则选择最佳高频系数;对于小波分解得到的低频分量,基于自适应分块原则,计算其图像的单位像素灰度梯度来选择最佳低频系数;然后对融合结果进行一致性校验;最后获取整幅清晰的宫颈细胞融合图像.

1 景深及透镜成像原理[7-9]

镜头的原理就如同透镜成像[7],景深与透镜的关系如图1所示.

图1 景深与透镜的关系Fig.1 The relation between focus depth and optical lens

利用相似三角形的性质,得到式(1)

式中:F表示镜头拍摄时的光圈值,即控制光通量的参数,光圈值F=镜头焦距/镜头口径的有效直径.

δ表示弥散圆直径,通常用作相对参数使用.根据式(1),求出景深距离

从式(2)可以看出,景深可以通过加机圈延长像距等方式来增大,但是相应的会减小视场[8-9].

2 小波变换及其多分辨率分解

2.1 小波变换

设ψ(t)∈L2(R)(表示平方可积的实数空间,即能量有限的信号空间),其傅里叶变换为.当满足允许条件

时,称 ψ(t)为一个基本小波或母小波.经伸缩和平移后,可以得到一个小波序列

式中:a为伸缩因子;b为平移因子.

对于任意的函数f(t)∈L2(R)的连续小波变换为

其逆变换为

2.2 分辨率分解

多分辨率结构是利用对图像进行自底向顶的分解,每一层图像都是前一层图像经过某种模板滤波形成的.由于显微镜物镜焦深范围小,随着放大倍数的增大,景深会相应减小.在高倍镜成像条件下,景深非常有限,使得显微图像中的目标不可能在同一聚焦下完全清晰可见.为了解决这一问题,我们引入了基于多分辨率分析的图像融合方法,利用多分辨率技术将图像进行二维小波分解,分别得到图像的低频分量、水平高频分量、垂直高频分量和对角分量.图像经过二层小波分解的示意图如图2所示.其中C2为图像的低频分量,集中了主要能量;(i=1,2,…,n;λ=h,v,d)分别表示水平高频分量、垂直高频分量和对角分量,高频分量对应着图像的细节部分.

基于小波分解的多聚焦彩色图像融合流程图如图3所示.

图2 图像的二层小波分解示意图Fig.2 The diagram of the 2-layer wavelet decomposition of a image

图3 基于小波分解的多聚焦彩色图像融合流程图Fig.3 The flowchart of wavelet-based fusion of multi-focus color image

具体的融合过程为:①将n幅多聚焦彩色图像的R、G、B3个波段转换到IHS空间,得到I、H、S3个分量;②将I分量进行3层小波分解,获取相应的高频分量C3和低频分量D(i=1,2,3;λ=h,v,d).其中,对于高频分量,采用绝对最大值原则,得到的融合图像的细节比待融合图像更加丰富、清晰.③对于低频分量,先计算n幅图像块的清晰度,本文选择图像的单位像素灰度梯度作为清晰测度,用FOX表示图像x的第i块清晰测度,用MAX_FOX表示清晰测度最大值,用NUM(x)表示满足要求的图像x的个数,用TH表示自设定阈值.其中图像的单位像素灰度梯度函数

式中:I(x,y)表示图像(x,y)点处的灰度值;f(I)表示梯度函数值;N表示像素总和.④按照以下规则对图像进行自适应分块:如果MAXFOX-FOX＜TH且NUM(x)≥2,继续细分图像块;在其他情况下,直接取清晰度最大所对应的图像块作为融合图像.⑤将细分后的图像块重复执行步骤 ③,④,当所分块小于一定大小时就停止这种循环,本文的最小块为4×4.⑥对融合结果进行一致性校验,通常一致性检测的领域窗口设为3×3或3×5,获取新的I分量.⑦计算n幅图像的亮度,取亮度最大对应的H和S分量,将新的IHS模型通过逆变换为RGB模型,最后得到融合彩色图像.

3 试验结果及分析

对多幅图像进行融合,需要将每幅图像的优点保留下来并集中到一幅新的图像中.待融合的多聚焦宫颈细胞彩色图像,不同聚焦的8帧图像,如图4的(a)至(h)所示,大小为208×208.本文选择‘sym4’小波基,对于给定长度的图像,它是具有较高的消失矩的非对称小波[10,11],有助于增强高频分辨能力.本文采用‘sym4’分解并做3层小波分解,得到相应的试验结果,如图4的(i)和(j)所示.

图4 多聚焦宫颈细胞彩色图像融合结果Fig.4 The fusion outcome of the multi-focus image of cervical cell

4 结 论

在多聚焦宫颈细胞图像融合过程中,融合规则、融合算子和图像清晰度度量方法是 3个关键的技术.融合规则能够直接体现出后续融合的效果;融合算子是对图像融合进行算法优化的关键技术;图像清晰度度量方法是辨识清晰图像的重要保证.本文提出了一种基于小波分解的多聚焦宫颈细胞图像融合算法,同时利用图像的单位像素灰度梯度函数作为图像清晰度度量方法,通过对多聚焦宫颈细胞图像融合试验表明该方法是可行的.

[1]Aggarwal J K.Multisensor Fusion for Computer Vision[M].Springer Verlag,Berlin,Germ-any,1993.

[2]Hall D L,Llinas J.An introduction to multisensor data fusion[J].Proc.IEEE,1997,85(1):6-23.

[3]Varshney P K.Multisensor data fusion[J].Electron.Common.Eng.J.,1997,9(12):224-253.

[4]戴宜全,郑翔,杨福俊,等.基于小波分解的多聚焦图像融合.江苏力学学术大会2008暨第四届苏港力学及其应用论坛,2008.

[5]覃征.数字图像融合[M].西安:西安交通大学出版社,2004.

[6]刘振慧,高晶敏,催天横.一种基于小波变换的图像融合新算法[J].计算机工程与应用,2007,43(12):74-76.

Liu Zhenhui,Gao Jingmin,Cui Tianheng.Novel image fusion algorithm based on wavelet transform[J].Computer Engineering and Applications,2007,43(12):74-76.(in Chinese)

[7]吕茂钰.光学零件制造[M].北京:机械工业出版社,1977.

[8]张登臣,郁道银.实用光学设计方法与现代化光学系统[M].北京:机械工业出版社,1995.

[9]包学诚.摄像镜头的光学原理及应用技巧[M].上海:上海交通大学出版社,1999.

[10]飞思科技产品研发中心.小波分析理论与MATLAB7实现[M].北京:电子工业出版社,2005.

[11]成礼智,王红霞,罗永.小波的理论与应用[M].北京:科学出版社,2004.