中继透镜分辨率在像素编码曝光成像中对图像重构质量的影响分析*

贺芷椰 张彦东 唐春华 李军利 李四维† 于斌‡

1) (深圳大学物理与光电工程学院,深圳市光子学与生物光子学重点实验室,光电子器件与系统教育部/广东省重点实验室,深圳 518060)

2) (珠海城市职业技术学院,珠海 519000)

3) (马来西亚敦胡先翁大学,柔佛州巴株巴辖 83000)

像素编码曝光成像技术是一种先进的高速成像技术,其利用数字微镜器件(digital micromirror device,DMD)对相机每个像素的曝光进行编码,将多帧图像信息融入到单帧编码图像中,然后再利用解码算法进行图像重构,将低帧频相机的图像采集速率提升数倍,实现低帧频相机的高速成像.在该技术中,DMD 的像素与相机像素之间的精确匹配是实现编码曝光成像的前提,因此,相关研究人员主要关注于如何实现像素的精确匹配.然而,两者之间中继成像系统的分辨率作为编码曝光成像的另一重要影响因素,却鲜有人研究和分析.为此,本文从理论上分析了中继成像系统的分辨率对解码图像重建效果的影响,并结合模拟和实际成像实验对理论分析进行验证.在此基础上,搭建了像素编码曝光成像系统,提出了一种基于条纹相位的成像系统点扩散函数估计方法,并将Richard-Lucy 反卷积算法引入到编码图像的重构过程中,有效改善编码曝光成像的质量,对于像素编码曝光成像技术的发展具有重要的意义.

1 引言

高速成像技术是研究瞬态变化现象的一种必不可少的工具,被广泛应用于工业、医疗和军事等重要领域[1−4].CCD 或CMOS,作为最为常用的成像探测器,具有体积小、图像质量高、成本低等优点,在光学成像技术中起着重要作用.但是,受到传感器阵列读出和存储数据时间的限制,传统CCD 或CMOS 的图像采集帧率通常为30 Hz,难以捕捉高速变化的动态物体场景[5−7],然而现有的高速探测器不仅价格昂贵,并且体积较大,难以得到广泛的产业化应用.为了解决上述问题,多种基于像素编码曝光技术的高速成像方法被提出[8−13],在2009 年,Bub 等[8]将像素编码曝光技术引入到生命科学领域,提出了一种时间像素复用(temporal pixel multiplexing,TPM)的成像方法,将原有的低帧率探测器的数据采集效率提升了25 倍,实现了心脏细胞的钙瞬变观测.同年,Ri 等[9]提出了一种单次曝光三维测量方法,该方法通过像素编码曝光技术将包含被测物体轮廓信息的四张相移条纹图像记录在单帧编码图像中,从而可以仅使用一次相机曝光和后期处理来计算出物体的三维信息,实现动态物体的实时三维测量.在2013 年,Liu[10]将像素编码曝光和压缩感知算法相结合,并通过视频学习的方法建立冗余的算法字典,可以有效地从编码图像中重建出高分辨率的动态物体图像信息,有效改善像素编码曝光成像分辨率与成像速度此消彼长的问题.2016 年,Feng 等[11]对像素编码曝光成像技术进行了系统的理论分析,并设计了三元素中值排序算法以实现对曝光元素的排序和组合,最后依据时间序列从编码图像中提取多幅高分辨率的子帧,大大地提高了成像系统的时间分辨率.2018 年,Khan 等[12]基于频域时分复用理论,通过像素编码曝光技术将不同时刻的图像信息放置在编码图像傅里叶域的相互不重叠区域,然后再通过数字滤波将多帧图像信息提取出来,实现高速成像.2021 年,Niu 等[13]在 Khan 工作基础上提出了一种高速高动态的成像方法,该方法基于频域时分复用技术将不同曝光值的图像编码在单帧图像中,然后通过图像提取和融合来重构出一张高分辨、高动态的图像,相比于传统高动态成像技术具有更高的时间分辨率.

综上所述,像素编码曝光成像技术可以按照一定规律对相机上每个像素的曝光进行调制,从而将多帧图像信息记录在单帧编码图像中,然后再利用后期处理算法对多帧图像信息进行重构,最终实现低帧率相机的高速成像[14−20].其中,数字微镜器件(digital micromirror device,DMD)与CCD 像素的匹配与校准是实现高精度图像调制编码的前提.因此,一些研究人员[21,22]开展了微镜与像素的匹配方法研究工作,实现高精度的像素匹配.值得一提的是,像素编码曝光的成像效果不仅受到像素匹配的影响,在DMD 与CCD 之间的中继透镜的分辨率同样是一个重要的影响因素,即使像素完全配准,中继透镜较低的分辨率依旧会使不同图像在编码过程中产生串扰,造成最终重构图像的模糊.为了解决这一问题,本文通过理论、模拟以及实际成像实验来系统地分析中继透镜的分辨率对像素编码曝光成像结果的影响.在此基础上,本文针对像素编码曝光成像技术提出了一种基于光栅条纹相位的中继透镜点扩散函数的测量方法,并利用Richard-Lucy 反卷积算法对编码图像进行反卷积处理,有效改善低分辨率中继透镜条件下的像素编码曝光成像结果.

2 像素编码曝光成像技术的基本原理

2.1 光路设计及成像原理

根据像素编码曝光成像技术,本文设计并搭建了一套像素编码曝光成像系统,光路如图1(a)和图1(b)所示,首先被测物体表面受到数字光处理(digital light processing,DLP)投影仪照射下产生漫反射,反射的信号光经透镜(组合镜头,Sunvision F 25 mm、慕藤光MT1.0-110-HR)和全内反射(total internal reflection,TIR)棱镜后聚焦到DMD(德州仪器DLP 4500,微镜尺寸7.56 µm)面板上,接着“on”状态的微反射镜会将信号光反射进后续的中继透镜 (慕藤光MZ7.0 X,放大倍率为0.7×至4.5×)中,而“off”状态的则会将多余的信号光反射出系统.最终调制后的信号光经中继透镜聚焦在CCD (映美精DMK 33 UX287,像素尺寸6.9 µm)上并被记录.为了精确控制CCD 上每个像素的曝光起始和持续时间,需要将DMD 的每个微反射镜与CCD 的像素进行精确匹配,如图1(c)所示,从而可以通过改变每个微反射镜“on”和“off”状态的持续时间来控制CCD每个像素曝光时间的长短.

图1 (a) 像素编码曝光成像光路设计;(b) 实验装置;(c) DMD 微反射镜与CCD 像素对应关系Fig.1.(a) Optical configuration design of pixel-wise coded exposure;(b) experimental device;(c) mapping relationship between DMD micro-mirrors and the CCD pixels.

基于上述系统,利用数字采集卡(data acquisition,DAQ)对DMD 和CCD 进行同步触发,通过切换DMD 载入的二值图案来控制每个微反射镜的开关状态,保证每一时刻仅特定位置的CCD 像素进行曝光,从而将不同帧物体的图像信息编码到单帧的图像中,如图2(a)所示.实验将采用文献[8]中的编码方式,其中CCD 每次曝光的时间为T,DMD 编码模板持续的时间为t,具体如图2(b)所示,在相机每次长曝光时间内,对DMD进行四次分时切换,将四幅图像信息编码到单帧图像中.最终,根据编码方式对图像的像素值进行提取,重构出物体在t1—t4四个不同时刻的A,B,C,D 图像信息.

图2 (a) 单帧编码图像;(b) DMD 与CCD 之间的同步控制原理;(c) 不同时刻的重构图像信息Fig.2.(a) Single frame encoded image;(b) principle of synchronous control between DMD and CCD;(c) reconstructed image information at different times.

2.2 像素编码曝光成像理论分析

根据像素编码曝光成像的原理,物体经透镜成像在DMD 上时,其光强信号分布为I0(x,y,N),经模板S(x,y,N) 编码后被中继透镜成像在CCD上,当动态物体经连续编码成像后,其编码后的单帧图像信息可以表示为

式中,k为编码图像个数;∗为卷积运算;h为中继透镜的理论强度点扩散函数(point s(pread func)tion,PSF),采用高斯函数近似,其标准差σ决定了中继透镜的分辨率.根据(1)式可以看出,随着σ增加,图像I的分辨率会逐渐下降,最终导致重构图像的信息错误.为了验证这一点,本文利用数值模拟来分析单个“on”状态的DMD微镜在CCD 上的像素值分布,结果如图3 所示.假设CCD 的像素尺寸为6.9 µm,与实验使用的相机参数一致;当PSF 的σ=2.1 µm,约0.3 CCD pixelsize,微镜反射的信号光全部聚焦在对应的CCD 像素上,没有对相邻的CCD像素产生影响,如图3(a)所示.随着中继透镜分辨率的降低,σ会随之增大,从而造成CCD 上的聚焦光斑尺寸变大,最终对特定像素周边的灰度值产生影响,如图3(b)和图3(c)所示.从图3(b)和图3(c)可以看出,当中继透镜分辨率较低时,不同的图像信息S(x,y,N)·E(x,y,N)会在CCD 的像素之间产生串扰,造成重构图像错误.为了改善这一问题,利用Richard-Lucy 反卷积算法对图像I进行反卷积处理后再进行图像重构,可以有效减少多帧图像在编码过程中的串扰,提高成像效果.

图3 (a) σ=0.3 pixelsize 时的成像效果;(b) σ=0.6 pixelsize 时的成像效果;(c) σ=0.9 pixelsize 时的成像效果Fig.3.(a) Imaging effect of image I when σ=0.3 pixelsize;(b) imaging effect of image I when σ=0.6 pixelsize;(c) imaging effect of image Iwhen σ=0.9 pixelsize.

2.3 中继透镜的点扩散函数确定

在实际应用中,中继透镜的分辨率与理论数值存在一定差异,为了准确地测量中继透镜的实际PSF,传统方法主要利用透镜对尺寸小于分辨率的点状物体或图案进行成像,在相机探测面上形成独立分布的圆形光斑,然后利用二维高斯函数对光斑进行曲面拟合来获得标准差σ,最终利用σ计算出高斯函数的半高宽,即透镜的分辨率.该方法虽然原理简单,但是存在样品制备成本高的问题.为此,本文提出了一种基于光栅条纹相位的PSF 测量方法,该方法不需要额外特制的成像样品,具有更强的适用性,其工作原理如下,首先,利用投影仪向白色参考平面投射四幅相移 π/2 的正弦光栅条纹图案,其分布用公式表示:

式中,I′(x,y) 和I′′(x,y) 分别代表平均背景亮度和调制幅度;φ(x,y) 是期望获取的相位值.

将四幅条纹图像编码到单帧图像中(图4(a))并与数值模拟产生的PSF 图像(图4(b))进行反卷积处理.最终,从编码图像中重构出四幅条纹图案(图4(c))并用

计算折叠相位图像(图4(d)),其在某个周期内的相位变化如图4(e)所示.

图4 (a) 单帧条纹编码图像;(b) 数值模拟产生的PSF;(c) 重构的条纹图像信息;(d) 计算获得的相位图;(e) 图(d)中黄线虚线处的切面相位值Fig.4.(a) Single frame fringe encoded image;(b) numerical simulation of PSF;(c) reconstructed fringe image information;(d) calculated phase diagram;(e) section phase value at dotted line of yellow line in Figure (d).

可以看出,当模拟PSF 的σ与真实值差距较大时,相位切面的线性度较差,随着σ不断接近真实值,曲线的线性度越来越好,因此,本文利用Levenberg-Marquarelt 算法来获取线性度最佳时对应σ,从而精确地获取中继透镜的PSF.

3 模拟与实验

3.1 数值模拟与结果分析

为了进一步验证中继透镜分辨率对编码图像信息准确性的影响,本文根据图1 的系统光路进行成像模拟,其中CCD 像素尺寸设为6.9 µm.首先,实验生成四张模拟图像A,B,C,D,尺寸为300 pixel × 300 pixel,接着将四张图像分别乘以编码模板并与不同σ的PSF 进行卷积处理,最后将编码卷积后的图像的像素值进行直接叠加,获得最终的单帧编码图像,过程如图5 所示.

图5 单帧编码图像Fig.5.Single frame encoded image.

接着,对不同σ值的编码图像进行对比,如图6(a)—(c)所示.通过局部放大的图像信息可以看出,当PSF 的σ为0.3 CCD pixelsize 时,如图6(a)所示,像素之间的边界非常明显.但是随着σ的增加,区域图像变得更为模糊,这说明原始的多帧图像信息在编码中产生了干扰,如图6(b)和图6(c)所示.如果直接对编码图像中A 对应像素位置的像素值进行提取,则重构图像A 中将包含大量多余的信息,如图6(f)和图6(g)所示.可以发现,重构图像A 中包含了BCD 的部分信息,造成图像A 的失真.为了改善这一问题,对编码图像6(a)—(c)进行反卷积处理并再次对像素值进行提取.通过比较图6(i)与图6(f)可以看出,反卷积算法的引入能够有效减少编码图像中像素之间的信息串扰,将重构图像中多余信息很好的滤除.最后,通过对两组重构图像的峰值信噪比(peak signal to noise ratio,PSNR)进行计算和分析,可以发现,中继透镜分辨率的高低直接决定了重构图像质量的好坏,并且Richard-Lucy 反卷积算法的引入能够在一定程度上提升图像最终的重构质量.

图6 (a)—(c) 不同 σ 值的编码图像;(e)—(g) 对编码图像直接提取得到的重构图像;(h)—(k)对编码图像反卷积处理后的重构图像Fig.6.(a)–(c) Coded images of different σ ;(e)–(g) the reconstructed image obtained by directly extracting the coded image;(h)–(k) the reconstructed image after deconvolution of the coded image.

3.2 实际成像实验与结果分析

为了验证真实工作状态下中继透镜分辨率对像素编码曝光成像的影响,本文使用两款不同分辨率的中继透镜(慕藤光MZ7.0X 和陕西维视ZML6.4X),利用自主搭建的编码曝光成像系统进行实际成像实验.开展成像实验之前,为了获取中继透镜的真实PSF 标准差,实验将基于2.3 节的方法进行,首先通过投影条纹图案并相机同步采集来获取编码后的图像,如图7(a)所示.接着,对编码图像进行反卷积处理并重构出四幅不同的条纹图像.然后,通过判断某个周期内相位变化的线性度来确定PSF 标准差的准确性,如图7(d)所示,其为图7(c)中黄线位置的切面相位值的线性拟合结果.最终,通过使用Levenberg-Marquarelt 算法进行8 次迭代计算,获得中继透镜PSF 的标准差σ.经计算,慕藤光MZ7.0X 和陕西维视ZML6.4X的σ分别约为2.7 µm 和4.1 µm,即实际分辨率分别为6.4 µm 和9.7 µm.

图7 (a) 编码图像;(b) 重构的条纹图像信息;(c) 相位图;(d) 图(c)中黄线位置的切面相位值的线性拟合结果Fig.7.(a) Coded images;(b) reconstructed fringe image information;(c) phase diagram;(d) linear fitting results of phase values of the yellow line position in Figure (c).

为了进一步验证中继透镜的分辨率对像素编码曝光成像的影响,使用石膏雕像作为被测样品,通过搭建系统对样品在四个不同的位姿进行成像并编码在一张图像中,如图8(a)和图8(c)所示.接着,分别对编码图像中的像素值进行提取排布,获得两组清晰的重构石膏图像,如图8(a1)—(a4)与图8(c1)—(c4)所示.从图8(a1)—(a4)与 图8(c1)—(c4)可以看出,在两种分辨率条件下重构的石雕表面均存在重影,原本清晰的头发细节变得模糊难以分辨,特别是一些黑色背景区域出现了多余的石雕信息.接着,利用Richard-Lucy 反卷积算法将原图8(a)和图8(c)分别与计算得到的PSF 图像进行反卷积处理并进行图像重构.通过上下两行图片的对比,可以看出经反卷积处理后重构图像的PSNR 得到大幅提升,黑色的背景区域没有出现多余的图像信息.最后,通过对不同分辨率条件下的重构图像质量进行对比分析,可以看出高分辨率相比低分辨率而言能够获得更高质量的重构图像,减少图像之间的信息串扰,实验结果与3.1 节数值模拟结果一致.因此,PSF 在像素编码曝光成像中是一个非常关键的影响因素,低分辨率中继透镜的应用会降低最终重构图像的准确性.

图8 (a) 低分辨率条件下的编码图像及重构结果;(b) 编码图象(a)经反卷积处理及重构的结果;(c) 高分辨率条件下的编码图像及重构结果;(d) 编码图象(c)经反卷积处理及重构的结果Fig.8.(a) Coded images and reconstruction results at low resolution;(b) results of deconvolution and reconstruction of coded image (a);(c) coded images and reconstruction results at high resolution;(d) results of deconvolution and reconstruction of coded image (c).

4 总结

本文理论分析了中继透镜的分辨率对像素编码曝光成像结果的影响.在此基础上,通过模拟实验验证了点扩散函数的尺寸与编码图像重构质量的关系.另外,本文引入了Richard-Lucy 反卷积算法,通过将编码图像与中继透镜的点扩散函数进行反卷积,有效地改善中继透镜分辨率不足造成的影响.在此基础上,本文自主搭建了一套像素编码曝光成像系统,通过实验验证了中继成像透镜的点扩散函数对成像结果的影响.通过本文的工作,不仅可以帮助研究人员更好地开展高速成像技术的相关研究工作,并且能够有效地改善曝光编码成像的图像质量,具有重要的意义.