结构光照明显微空间域超分辨图像重建研究

黄彩虹，朱星星，郭威，易定容，金福江，黄磊

（1 华侨大学 机电及自动化学院，福建 厦门 361021）（2 华侨大学 信息科学与工程学院，福建 厦门 361021）（3 厦门大学 生命科学学院，福建 厦门 361102）

0 引言

光学显微镜广泛用于生物医学研究，但由于光学衍射极限的限制，在普通光场下的最高横向分辨率仅能达到200 nm，限制了光学显微技术的应用范围［1］。在过去的二十年中，已经开发了各种旨在打破衍射极限的超分辨显微技术。例如，HELL S W等［2］提出了受激发射损耗显微术（Stimulated Emission Depletion，STED），GUSTAFSSON M G等［3］提出了结构光照明显微术（Structured Illumination Microscopy，SIM）、RUST M J等［4］提出了随机光学重建显微术（Stochastic Optical Reconstruction Microscopy，STORM）、BETZIG E等［5］提出了光激活定位显微术（Photoactivated Localization Microscopy，PALM），以及由这些技术拓展延伸的一些超分辨成像技术［6］。与其他超分辨显微技术相比，SIM具有成像速度快、光毒性较低、不需要额外复杂样品制备过程等优点，使其成为活体生物医学研究的有力工具。

SIM技术通过对样品施加空间频率接近衍射极限的周期性正弦或余弦条纹结构光，将样品超衍射极限的高频信息耦合到成像系统可探测的频率区域，从而将显微镜的横向分辨率提高1倍。SIM图像重建算法是决定最终获得的超分辨图像质量的关键。为了实现结构光的超分辨率重建，HEINTZMAN R等提出了四步相移法［7］，不久GUSTAFSSON M G等提出了三步相移法［8］，进一步提高了时间分辨率。为了解决三步相移法结构光的初相位、空间频率等参数估计问题，研究者开发了峰值相位算法［9］、图像自相关算法［10］和图像重组变换［11］等算法。为消除噪声和误差对结构光重建的不利影响，去卷积算法也被频繁使用，如广义维纳滤波算法［7］，Richardson-Lucy反卷积算法［12］，基于Hessian矩阵的反卷积算法［13］等。但这些重建超分辨图像的算法主要建立在傅里叶变换和频谱处理的基础上，不可避免地会因为复杂的重建过程以及空间域和频域之间的多次傅立叶变换而减慢图像重建速度［13］。此外，频域操作容易导致在恢复的超分辨图像中出现意想不到的伪影［14］。为了提高SIM的重建速度，TU S J等提出一种基于空间域的结构光图像重建算法（称为“SP-SIM”）［15］，直接在空间域进行图像重建，重建速度比频域法快约5.4倍。DAN D等利用数学中函数的级数展开概念，提出另一种空间域结构光图像重建算法［16］，重建速度比频域法快约7倍。以上空间域结构光超分辨图像重建研究，是以相移为2π/3的结构光为研究对象，构建数学模型并进行解析。在SIM系统中，结构光的周期与显微系统的空间截止频率息息相关，超分辨率程度与结构光空间频率呈正比，受到实验中设备参数的影响，在满足结构光频率接近截止频率的前提下，π/2的相移将被采用。比如，在以数字微镜器件（Digital Micromirror Device，DMD）为空间光调制器的SIM系统中，为了使得结构光频率尽量接近衍射极限，采用了4个DMD像素为条纹周期，这种情况下2π/3相移将无法实现，需要采用π/2的相移［17］。以π/2为相移的结构光照明显微超分辨图像重建，还被确定在获取低调制深度下的重建图像时，相对于2π/3相移有快速准确的优势［11，18］。但目前针对π/2相移只能采用频域法进行重建，进行更多相移情况下结构光的空间域重建研究，将有助于扩展SIM应用的更多探索。

本文提出一种基于空间域的结构光照明显微超分辨图像重建方法，称之为差分结构光照明显微重建算法（Differential SIM，简称DIFF-SIM）。以π/2相移间隔结构光照明显微图像为对象，利用差分SIM、数学推导与简化逐步构建数学模型，通过理论及仿真验证模型可将显微系统的横向分辨率提高1倍，并减少了离焦量的干扰。在DMD-SIM系统上进行实验验证，结果表明无需估计照明模式的频率和相位等参数，在空间域可实现与频域法相近的超分辨率，但重建速度约为所比较频域算法的5倍。

1 DIFF-SIM的原理与方法

在SIM中采用余弦条纹图案结构，结构化照明的强度分布表示为［19，20］式中，I0、m、k0和φ0分别是照明的均值强度、调制深度、空间频率和初相位。由于高空间频率激励图案在投影类型SIM中具有散焦衰减快的特点，因此仅调制图像的聚焦部分，而离焦区域不调制，离焦在检测平面的投影可以简化为非调制项Bout。因此，可以将最终检测到的图像写为

式中，D（r）表示像面上的光场强度分布，I（r）是照明光场强度分布，S（r）是样品荧光分布，⊗表示卷积运算，H（r）是显微系统的点扩散函数。

在频率空间中，可以通过对方程（2）进行傅里叶变换来获得检测图像的频谱［20］

图1示意了结构化照明显微镜频谱状态的扩展过程。图1（a）中如果两个线条图案重叠（相乘），其乘积将包含莫尔条纹，在通过光学成像系统时，原先通过不了样品的高频信息现在转化成低频的“莫尔条纹”从而顺利通过系统被相机记录。图1（b）中传统的显微镜受到衍射极限的限制，其可以检测的低分辨信息集合定义了傅里叶空间的圆形“可观察区域”。图1（c）中正弦条纹照明图案有三个傅立叶分量，两个侧部件的可能位置由同一个圆限定，该圆定义可观察区域（虚线）。红点表示的量对应于照明的三个傅立叶分量。因此，除了正常信息之外，可观察区域将包含源自两个偏移区域图1（d）中的移动信息。图1（e）中经过对结构光的解包裹等操作，系统可以从具有不同方向、不同相位的图像序列中，得到两倍于正常可观察区域大小的信息，相当于两倍于正常分辨率。

为了重建接近各向同性、并覆盖全视场的超分辨率图像，SIM通常获取多个方向照明图案的图像。如采用0°、60°、120°三方向照明，其频谱拓展见图1（f）。或采用0°、90°二方向照明，其频谱拓展如图1（g）。采用三步相移时，三方向照明模式需要9次成像，二方向照明需要6次成像。

图1 结构化照明显微镜频谱的扩展状态Fig.1 Extended state of the spectrum of structured illumination microscope

根据前面所述结构光的基本原理，当取相位为0、π/2、π，可以得到三幅结构光照明图像，表达式为

因为离焦的强度保持不变，所以可以减去两个相邻的原始图像来消除背景，并利用三角函数的两角和差公式进行化简得

取D1_12(r)为复数实部，D1_23(r)为复数虚部，构造一个新的函数Dc1(r)，并根据欧拉公式ei·r=cosr+i·sinr进行化简，可得到

根据卷积公式［21］，并令t=r-t′，有

根据式（7），结合傅里叶变换频移特性，式（6）可以化简为

由于|eiθ|=1，则通过取Dc，1（r）的模

系统的频谱得到了扩展，由于实信号频谱具有共轭对称性，此时将得到空间频率为|k|ϵ（0，|k0|+kc）的样本超分辨图像［15］。

上文讨论的情况仅仅是一个方向，即一维。将讨论扩展到二维，然后通过对0°，60°，120°三个不同方向的Dc，i（r）（i=1、2、3）求和得到一个二维超分辨图像。

图2 显示了算法的流程及对应频谱分析图。图2（a）为算法流程，样品由具有不同方向和相位的余弦条纹顺序照亮，总共记录九个原始图像（三个方向，每个方向三个相位），Di_j（r）是对应于第i个方向、第j个相移照明图案的成像图像，其中i、j=1、2、3。然后，对于每一个方向，使用DIFF-SIM重建超分辨子图像。最后，通过对三个方向的三个重建子图像求和，获得最终的二维超分辨图像D（r）。重建仅在空间域进行，在图2（a）中同时补充了图像|Dc，i(r)|和D（r）的频谱图，仅用于验证对应图像频谱得到了扩展。图2（b）是对流程中图像频谱的分析，首先是宽场图像的频谱，表征常规显微镜观察到的正常频谱，在结构光成像图D1_j的频谱里可以看到通过结构光将高频信息分量带进显微成像频谱中，中心频率分别在k0和-k0。利用公式（5）、（6）、（9），在构建|Dc，1(r)|的过程中，根据零频率点位置频谱将移至坐标中心，最后得到的频谱将包含的频谱，第1组结构光使得|Dc，1(r)|对宽场成像频谱在0°方向进行了扩展。对60°、120°的结构光重复上述过程，将得到其他方向的频谱扩展。由于结构光空间频率k0的最大值为显微系统的截止频率kc，因此，重建结果最大可将传统显微系统的横向分辨率提高1倍。

图2 DIFF-SIM算法流程及频谱分析图Fig.2 DIFF-SIM algorithm flow chart and spectrum analysis diagram

2 实验结果与分析

2.1 超分辨成像及减少离焦干扰的数值模拟

为了分析DIFF-SIM算法的性能，首先进行仿真，并将结果与SIM的频域重建法进行比较，这里选择使用较普遍的频域重建法FairSIM［22］进行比较，FairSIM采用2π/3相移，DIFF-SIM采用π/2相移。

假设一个SIM显微镜，其系统参数为NA=0.95，激发波长λexc=565 nm。在SIM中，创建一个星形黑白条纹图案作为测试样品，如图3（a）。通过将样本与系统点扩散函数卷积，获得样本的宽场（Wide-field，WF）图像，如图3（b）。图中的蓝色弧线示意在用均匀光照射样品情况下，系统宽场的分辨率。采用无参数图像分辨率估计方法［23］，对分辨率进行量化，得到此时宽场图像的分辨率为363 nm。同时，样品被接近系统截止频率的余弦结构光照射，FairSIM和DIFF-SIM被应用于结构光图像的重建，经过重建得到的图像，如图3（c）、2（d）所示。图中白色弧线示意重建图像的分辨率，再次对分辨率进行量化，FairSIM与DIFF-SIM重建结果的分辨率基本一致，为191 nm。该结果验证了DIFF-SIM的分辨率比宽场成像分辨率提高接近1倍，存在的微小差异在由数值模拟引起的允许误差范围内。

图3 算法数值模拟结果Fig.3 Numerical simulation results of the algorithm

为了验证算法具有减少离焦信号干扰的能力。模拟光学切片法对散焦信号消除的方法［24，25］，以4（a）所示洋葱表皮细胞为样本，假设图片的第一行为z=0，即焦平面，图片的其它行都为离焦面，且自上而下行数越大，离焦量就越大。然后，设置一个沿z方向变化的卷积核，使得图片的行数越大，模糊的程度越严重，以模拟随着离焦量逐渐增加导致成像越来越模糊的过程。图4（b）模拟了显微物镜所形成的在焦和离焦区域，其中清晰的部分为在焦部分，模糊的部分为离焦区域。先让图4（a）与余弦条纹相乘，再经过上述的特殊卷积核得到如图4（c）所示的结构光照明图。然后对3步相移，3个方向的结构光照明成像图，利用DIFF-SIM，得到如图4（d）所示的重建图像。在图4（d）中，临近焦面的区域得到保留，与此同时离焦较大的区域都变为黑色，即散焦不断消除并变暗。该结果验证了算法具有减少离焦信号干扰的能力。图4（e）上下图依次为图4（b）和4（d）中白色框所示局部光强的放射状示意图，证明对于焦面部分重建图像分辨率优于宽场图像。

图4 减少离焦干扰的模拟结果Fig.4 Simulation results with reduced out-of-focus interference

2.2 实验和结果

为了进一步验证算法的有效性。参考文献中报道的基于LED照明和DMD投影的SIM系统［11，26］，应用于本实验。实验系统的示意图如图5所示。波长为405、470、565、625 nm的四波长高功率发光二极管组件（LED4D251，Thorlabs）可切换光源被用作激发照明光源，同时配置相应波段带通滤波器。LED光进入全内反射棱镜TIR-Prism，然后反射到DMD芯片（DLP7000UV，Vialux），DMD上加载周期光栅结构条纹。由DMD调制的光通过由准直透镜和物镜组成的光路，以产生投影的余弦条纹照明。sCMOS相机（Flash4，Hamamatsu）用于采集图像。

图5 基于DMD投影的LED照明SIM系统示意图Fig.5 Schematic diagram of the DMD-projection-based LED-illumination SIM system

DMD是一种快速数字开关反射镜阵列，由集成在存储芯片上的数百万个微米平方大小的铝制微镜组成二维阵列，每个微镜构成一个像素。由于每个像素可以单独控制，因此可以快速加载不同相位、不同角度、不同周期的二值条纹，而无需机械的移动或旋转［26］。利用DMD产生正余弦条纹光场的实现方法见图6，取2π/3和π/2相移时，DMD的结构设计如图中所示。由于光学系统的低通滤波效应，只允许不超过截止频率的基频的正弦条纹才能顺利到达焦平面，而其它的高次谐波被阻挡在外，实现了二值条纹到同频率正弦条纹的转变［25］。

图6 利用DMD产生条纹光场方法示意图Fig.6 Schematic diagram of the method of generating fringe light field using DMD

首先进行系统分辨率分析实验，对四色荧光微球进行实验（TetraSpeck，ThermoFisher），直径为200 nm，激发峰λexc选用565 nm。条纹的相移由DMD芯片控制，无需机械运动，荧光球被相位为0、π/2、π，方向为0°、60°、120°的结构光照射，并获取成像图。实验结果如图7所示，相机捕获的均匀照明成像即宽场成像如图7（a），图7（b）为DIFF-SIM重建的超分辨图像。在显微系统的非相干成像中，通常以微小物点像斑的强度半高宽（Full Width at Half Maximum，FWHM）作为系统的分辨率。因此，用高斯分布拟合沿图7（a）、（b）中蓝色线的强度分布，并绘制在图7（c）中。宽场成像的系统分辨率约为370 nm±5 nm，DIFFSIM重建图像的系统分辨率约为233 nm±5 nm。物镜为100X（N.A.0.95），λ=565 nm，此时系统的衍射极限为363 nm，所选用的DMD一个微镜像素的尺寸为13.68 μm，一个周期采用4个DMD像素，经过物镜后一个周期的尺寸约为548 nm，因此结构光照明条纹频率约为衍射极限值的0.66倍，理论分辨率应为宽场分辨率的1.66倍，实验重建得到的系统分辨率约为宽场的1.6倍，考虑光路调节误差、成像像差、实验误差等因素的存在，实验结果基本接近理论值。后期如果能用微镜尺寸更小的DMD，使得结构光频率达到衍射极限，DIFF-SIM将有望在实验中获得接近宽场2倍的系统分辨率。

图7 DIFF-SIM在荧光微球实验数据上的表现Fig.7 Performance of DIFF-SIM on reconstructed fluorescent microsphere raw data

接下来对比DIFF-SIM和FairSIM的实验效果。使用三色染色的牛肺动脉内皮细胞又称BPAE细胞（F36924，ThermoFisher）作为样本，其中线粒体用Mito-Tracker Red CMXRos标记，最大激发波长为579 nm，最大发射波长为599 nm。选用两个方向的照明方案，即结构光方向0°和90°，其频谱扩展状态见图1（g）。该方案由于采集的图片少，可以实现更高的成像速度和重建速度，同时减少对荧光样品的光漂白。BPAE细胞线粒体实验中的激发波长为565 nm，FairSIM采用为0、2π/3、4π/3相位，DIFF-SIM采用0、π/2、π相位，重建后的图像如图8所示。图8（a）是宽场下的成像，图8（b）是FairSIM重建的超分辨图像，图8（c）是DIFF-SIM重建的超分辨图像。图8（d）是图8（a）～（c）中白色方框部分的放大图像，图8（e）是沿图8（d）中白线的强度分布拟合曲线。显然，FairSIM和DIFF-SIM取得了十分接近的超分辨图像效果，将宽场下不能分辨的原信息分开，二者重建的图像差异较小。但图8（e）前半部分DIFF-SIM和FairSIM二者误差较大，不排除实验时局部区域的光场调控随机误差的原因，后期应增加实验，以进一步分析误差原因。

图8 DIFF-SIM在重建BPAE实验上的表现Fig.8 Performance of DIFF-SIM on reconstructed BPAE raw data

下文实验验证算法减少离焦信号干扰的能力。在普通的宽场显微镜中，在焦和离焦光线同时被观测或者记录，大量离焦光线形成的背景严重影响到了在焦光线所形成的目标的分辨。激光扫描共焦显微镜（Laser Scanning Confocal Microscopy，LSCM）不同于宽场均匀照明的方式，它采用聚焦光点照射样品，然后探测端在共轭焦面放置一个小孔，使得只有与小孔共轭焦面的在焦光线才能通过小孔参与成像，而离焦光线都被阻挡在外。“共聚焦”的光路结构实现了在焦目标光线与离焦背景光线的有效分离，不仅能提高成像的对比度和信噪比，更有意义的是使成像具有了“光切片”的能力［23］。以一角硬币为样品，如图9所示，图9（a）为硬币显微图像拼接，图9（b）、（c）、（d）对比了一角硬币样品凹槽的位置（红色框）分别在宽场显微、LSCM和DIFF-SIM下的成像结果。结果显示：类似LSCM，DIFF-SIM有类似光切片的效果、可以排除离焦背景对焦面信息的干扰。对比宽场成像，DIFF-SIM的焦面信息分辨率得到提高。

图9 DIFF-SIM与宽场显微、LSCM的成像结果对比Fig.9 Comparison of imaging results between DIFF-SIM and wide field microscopy and LSCM

为了评估DIFF-SIM算法的效率，需要考虑其处理速度。SIM的频域重建法中的主要操作是快速傅立叶变换，DIFF-SIM法的计算量在取模中，复杂度较低，意味着较少的系统资源开销和更快的处理速度。为了定量测试速度，将FairSIM、DIFF-SIM都用MATLAB 2020A编程，并在同一台计算机上执行（Intel Core i7-4790 CPU@3.6GHz，RAM 16GB）。实验图像分辨率为512像素×512像素，与FairSIM提供的测试图像分辨率一致［22］，在相机模式中，通过选择Binning模式减少采样的分辨率，可以在不缩小视野的前提下，提高相机帧率，减少采样分辨率，该分辨率对于比较两种算法效率不产生影响。进行50次的实验测试，测试获得的平均时间结果如表1所示。FairSIM的平均运算时间是3.9 s，DIFF-SIM的平均执行时间是0.71 s。3.9 s/0.71 s≈5.49，即DIFF-SIM执行速度约是FairSIM的5.49倍。

表1 测试算法的执行时间Table 1 Execution time of the tested algorithms

3 结论

本文报道了一种适用于结构光照明显微系统的空间域超分辨图像重建算法DIFF-SIM。首先进行图像差分，再运用三角函数的两角和差公式对数学模型进行化简，而后构建一个复函数，利用欧拉公式、卷积公式及傅里叶频域特性将模型演化，获得超分辨率信息。当结构光空间频率为显微系统的截止频率时，系统的理论分辨率比常规显微镜提高1倍。重建过程无需估计相位、频率等结构光参数，不进行频域到空间域的变换，从而大大减少了SIM重建所需的时间。重建过程首先通过仿真得到超分辨图像及减少离焦干扰的验证，而后利用实验平台对荧光微球、BPAE细胞进行成像，对重建性能进行评估，获取的超分辨率结果与SIM频域重建法接近，但重建速度约为频域法的5.49倍，解除了现有的空间域重建法仅适用于2π/3相移的制约。本研究表明，DIFF-SIM有利于加快结构光照明显微系统的重建速度，扩展了在空间域进行结构光照明显微超分辨图像重建的应用范围，有助于发挥SIM光照剂量小，光毒性低的技术优势，在活体细胞动态成像和长时间监测上具有良好的应用潜力。