顾鹏翔,杨 波,宗 卉
(上海理工大学 光电信息与计算机工程学院,上海 200093)
显微成像是一门比较成熟的技术,而无透镜全息显微镜则是一项新兴的,具有广阔前景的计算成像技术。无透镜全息显微镜没有复杂的光学透镜系统,是通过全息成像[1]、图像重建技术以及图像传感器的使用来实现的,因此结构简单、轻巧、成本低,对于远程医疗、野外检测、高校课堂实验这些实时的应用场景需要比较短的处理时间的生物检测等方面有着重要的意义。
为了使成像结构尽可能紧凑,将参考光和物光在同一方向上共同传播,并用数字图像传感器阵列记录这两束光产生的干涉图样的强度。由于记录的全息图像只包含了复杂场的强度信息,因此光在反向传播过程中将在原始图像上产生伪影。同离轴全息结构不同,离轴全息可以通过角谱传播去除伪影,而伪影将会对像质产生很大的影响。由于数字全息显微镜中样本到传感器的距离很小,样本和传感器的视场大小是相同的,因此,伪影的影响将进一步放大。在数字全息术中,可以通过施加伪影不满足的物理约束来消除伪影,基于这种约束,通过迭代以减少错误算法来实现[2]。对于单个物体,这种方法所需的全息图的测量很简单,但是在处理密集连接的样本(例如血液红细胞、病理学切片等)时,会带来很大的挑战[3]。为了解决这一问题,需要进行多次多样的测量,例如样本到传感器的距离、照明角度、波长等。然而,之前的研究表明,对于病理学的切片或者生物组织等密集连接的样本,需要进行过度采样[4]。例如,在对血液红细胞进行多高度测量时,通常需要8幅,甚至更多的具有不同高度(样本到传感器距离)的全息图才能得到高质量的重建图像。这不仅增加了测量的数据,也增加了处理的时间。基于上述问题,提出一种基于小波稀疏化的全息显微成像技术。
对于生物样本,可以在某些小波域进行稀疏表示,用基于小波域的稀疏约束进行图像重建以减少所需全息图的测量,并且得到像质比较好的图像。实验表明,对于紧密连接的生物样本(例如血液红细胞、病理切片等),三个不同的样本到传感器距离的全息图就能实现迭代重建。
本文所述的稀疏约束方法同之前报告中的压缩全息有很大的不同。对于孤立的物体,自由的空间传播本身就是一种有效的压缩感知的编码机制,可以从传统的低采样预测出高维度的数据。而本文所述的基于小波的稀疏重建是对密集连接的样本而不是孤立的,并且可以在20 mm2的视场(等于传感器的范围)实现对血液红细胞样本的显微成像。
这种基于稀疏的图像重建方法可以扩展到其它相关的显微镜成像中,例如多角度或者多波长的图像重建[5-8]。还可以结合最近比较热门的超分辨宽视场技术以及多路复用彩色图像技术,可以进一步减少全息测量的数量,利用一些新的算法,可以实现高效便捷的显微技术。
稀疏表示是近年来图像处理和模式识别方向的研究热点。信号稀疏表示的目的就是在给定的超完备字典中用尽可能少的原子来表示信号,可以获得信号更为简洁的表示方式,从而更容易地获取信号中所蕴含的信息,方便更进一步对信号进行加工处理,如压缩、编码等[9]。信号稀疏表示方向的研究热点主要集中在稀疏分解算法、超完备原子字典和稀疏表示的应用等方面。信号稀疏表示的两大主要任务就是字典的生成和信号的稀疏分解。对于字典的选择,一般有分析字典和学习字典两大类。常用的分析字典有小波字典、超完备DCT字典和曲波字典等,常用的学习字典的方法有MOD算法、K-SVD算法等。一个信号可以稀疏地表示为冗余字典中少量原子的线性组合。
字 典D=(d1,d2,···,dm)∈Rn*m(m>n) ,其 中每一个原子dj∈Rn,信号x∈Rn可以表示为
式中a=[α1,α2,···,αm] 为分解系数,当a中非零元素的数目仅为k个时,称a为k稀疏信号,或者称信号x在字典D下是k稀疏信号。若m=n,字典D为完备字典,字典内的各个原子相互正交;若m>n时,字典D是冗余的;若m≫n,字典D为过完备字典,字典内的各个原子并不是相互独立的[10]。
图1形象地表示了稀疏表示的基本原理。
图1 稀疏表示的基本原理Fig.1 The operation principle of sparse representation
在获得了一系列宽视场、低分辨率,具有不同样本到传感器距离的全息图后,这些全息图的信息可以表示为
式中: λ 为照明波长;n为折射率;zi为样本到传感器之间的距离;o为对象函数;A为参考平面的振幅。ASP[.] 算子表示自由空间传播的角谱,其计算方法是将信号进行空间傅里叶变换,然后乘光学传递函数H(vx,vy;λ,n,zi) ,其中光学传递函数为
式(3)相当于一个低通滤波器,vx与vy为空间频率之后进行傅里叶反变换,全息图的强度Ii(x,y)是通过传感器获取的,它的采样间隔和像素间距是相对应的。为了使图像恢复的更好,还需要进行数字注册,使得全息图的相位等信息都是相关的[11]。
首先用无透镜全息显微镜获得3幅初始图像,通过角谱传播理论,得到恢复的初始图像,再进行小波稀疏处理,得到高分辨率的图像。为了评价3幅图的恢复效果,将8幅图通过多高度迭代的算法恢复作为对比[12],用SSIM算法比较相似度。
这种方法是一种错误减少算法,利用不同高度的全息图作为一种物理约束,使得图像在每一次迭代中进行不断的校正。如果将距离CCD传感器最远的全息图看做第1幅图的话,传播到第2幅图时进行振幅约束,这里的振幅是得到的全息图强度的平方根,此时,全息图得到了更新,以此类推,直到传播到最后一个全息图(第8幅或者16幅);到达最后一幅图后,进行反向传播,同样将振幅不断进行更新,直到回到第1幅图完成第1次迭代。此算法通常需要迭代30次或者达到收敛标准后停止。此算法在基于稀疏的图像重建算法当中作为初始的输入,之后再进行稀疏约束等操作[13]。
基于小波稀疏的多高度恢复算法流程图如图2所示。
图2 基于小波稀疏的多高度恢复算法流程图Fig.2 Flowchart of multi-height recovery algorithm based on wavelet sparsity
此算法的基本思路参考图3所示。
图3 多高度恢复算法Fig.3 Multi-height recovery algorithm
第一步:对3幅不同高度的全息图进行正向角谱传播,物理约束后,振幅得到校正,进行反向角谱传播,最终回到物平面,得到较高分辨率的全息图,作为下一步的输入。
第二步:将上一步结果进行小波正变换,得到一系列小波系数,此时,还不认为是稀疏的,需要进一步稀疏化。
第三步:确定稀疏域,并不断更新稀疏域的振幅,这里需要保证小波系数中大的值不变,同时更新其余的系数,将系数值很小的变为零。
第四步:减少稀疏域以外区域的错误,通过放缩来调节系数的大小。
第五步:在小波域中,对图像进行阈值去燥处理,最后,进行小波反变化。不断重复以上步骤,直到收敛为止[14]。
运用SSIM算法对基于小波稀疏的恢复图像进行像质评估[15]。SSIM算法是基于结构相似性的图像质量评价,结构性表现在图像的像素间存在着很强的相关性,而大多数的质量评估方法是使用线性变换来分解图像信号,例如,均方误差(MSE)、峰值信噪比(PSNR)等,不涉及相关性,因此,这种方法可以更加直观的来比较失真图像与参考图像结构的相似性。
SSIM测量系统是通过检查图像的对比度、亮度、结构之间的关系来获取信息。其中,图像的对比度是通过标准偏差 σp来评估的,其表达式为
式中:N为分块总数,利用的是滑动窗将图像分块;xi、yi分别为x、y方向的像素指数; μp代表第p幅图(即Up)的亮度。
结构是通过计算两个图像的协方差 σ1,2来评估的,其表达式为
根据以上可将两幅图的SSIM定义为
式中C1,C2是稳定常数。为了避免分母为0造成系统的不稳定,令C1=(k1L)2,C2=(k2L)2,k1≪1,k2≪1 ,k1,k2为值很小的常数,L为图像灰度级数,对于8 bit灰度图像,L=255 。
无透镜全息显微镜如图4所示。一种局部相干光源(氙灯附在单色器上,带宽5 nm),耦合到单模光纤(直径100 μm)。取样距离(光源到样本的距离)Z1为10 cm,传感器距离(样本到传感器的距离)Z2为0.7~1 mm。使用CCD传感器对样品进行采样,此时,样品的视场等于CCD的有效区域,这样得到无透镜全息图,通过对不同Z2上的样品进行多重强度测量来重建密集样本的图像。考虑到在线全息图可能出现的旋转和变化,需要对成像数据进行数字注册、对准,然后经过迭代处理,恢复缺失的光学信息,这样就可以在不需要任何复杂的光学系统的情况下,实现样本的显微成像[16]。
图4 全息显微镜工作图Fig.4 Hologram microscopy
为了验证基于小波稀疏的图像重建算法,在不同的高度(即样品到传感器的距离)获得了一组(8幅)图。首先,将基于迭代的多高度恢复方法应用于这8幅全息图上,并将此恢复的高分辨图作为参考图像,如图5所示。用基于小波稀疏的方法来恢复同样的3幅不同高度的图像,效果是可以与8幅图的恢复结果相对比的,如图6所示。为了量化图像重建的质量,我们对这些图像进行SSIM计算,结果如表1所示。对于人体血液样本,用基于小波稀疏的重建方法,其SSIM值为0.840 7;在此基础上,用4幅不同高度的全息图进行小波稀疏恢复,结果如图7所示,其SSIM值为0.870 3。
图5 8幅图迭代重建结果Fig.5 Iterative reconstruction results of eight images
图6 3幅图小波稀疏重建结果Fig.6 Iterative reconstruction results of three images
表1 不同切片对应恢复方法的SSIM值Tab.1 The SSIM value of different slices corresponds to the recovery method
图7 4幅图小波稀疏重建结果Fig.7 Iterative reconstruction results of four images
以上结果表明,我们可以减少至少两倍的全息图数量将图像恢复出来,这不仅减少了测量的次数和时间,同时还能满足空间分辨率以及显微镜的视野,这对于无透镜显微镜的实现及其重要。在基于稀疏的多高度恢复方法中,我们使用了一个CCD传感器,它的像素大小为 2.2 μm,达到了传统台式显微镜的分辨率。这不仅不需要显微镜复杂的设计结构,也不需要很多的镜片来成像,还降低了显微镜的成本。
我们已经证明了多高度全息成像可以用稀疏表示来恢复图像,但同时,基于稀疏的信号恢复还可以用于其它的物理测量,例如,多角度照明,波长扫描等,这些在生物样品的测量方面运用非常广泛。
另外,本文所述的小波变换可以是很多种小波变换,例如μmCDF97小波变化,这在压缩图像方面也有很大的运用。对于稀疏表示,还可以运用自适应的方法,例如字典学习都可以达到稀疏化,超分辨的目的。对于本项工作而言,其主要目的是减少原始数据的测量,同时保证图像的质量,因此,选择合适的测量方法以达到所要求的目标是最重要的。
重构算法中一个很重要的方面就是初始化,当在自由空间传播时,低空间频率的信号包含了关于样本的大部分信息,因此低频小波带是不能被认为是稀疏的。另一方面是各个全息图的距离需要经过不断的尝试,找到初始化最优时的距离。
本文研究了一种基于小波稀疏的图像重建算法,用于对密集连接的样本进行数字在线全息成像。这种算法能够利用不同的高度(样品到传感器距离)的少量全息图来重构生物样本的图像,这比之前基于迭代的多高度重建方法中使用的全息图的数量至少减少了两倍。使用人体血液切片实现了无透镜超分辨的要求,且视野达到了20 mm2,这对于生物医学、临床医学等方面都会有很大的帮助,大大提高了实验效率,同时还降低了显微镜的成本。这种基于稀疏的重建方法还可以运用在其他超分辨全息成像技术中,例如,多个照明角度或多个照明波长,这些成像技术都可以用来增强相干全息显微镜的空间带宽。