基于DMD的并行共聚焦显微成像系统设计

(1.闽江学院物理与电子信息工程学院，福建 福州 350108；2.福建工业学校，福建 福州 350002)

0 引言

共聚焦显微镜是光学显微镜的一种，其原理由Minsky于1957年首先提出[1]，和传统光学显微镜相比，它具有对比度高、分辨率高和独特的层析能力等特点。自20世纪80年代以来，共聚焦技术集成到光学显微成像中，逐渐应用于微电子制造[2]、材料科学[3]、工业精密测量[4]、生物医学[5]和食品安全[6]等领域，为科学探索、科技创新开辟了新的道路。普通光学显微成像技术在获得焦面信息的同时也获得离焦信息，该离焦信息会使图像清晰度变差，其效果犹如在聚焦处铺上了一层“薄纱”，降低了图像的对比度，而共聚焦显微成像技术抑制了焦面外的杂散光，确保获得的图像只来自样品聚焦处的信息，即像面和观测面是完全“共轭”的，也就去除了“薄纱”的影响[7]。与传统显微成像技术相比，共聚焦显微成像技术不仅能够提高图像的对比度，还能够对样本进行层切扫描，实现样本的三维成像及三维形貌还原[8-9]。

目前应用广泛的激光扫描共聚焦显微镜，是在普通光学显微镜的基础上增加了共聚焦技术和激光扫描技术，共聚焦技术即在光路中增加照明针孔和探测针孔，并使两个针孔与样品的聚焦面共轭，达到点照明和点探测的目的。激光扫描技术即在光路中安装X方向和Y方向振镜，分别用于控制经过照明针孔后的激光光束对样品的X方向和Y方向的逐点扫描照明，结合图像处理算法，获得样品焦面的共聚焦图像。激光扫描共聚焦显微镜横向分辨率可以达到普通光学显微镜的2倍(约200 nm)，轴向分辨率可达几百纳米，但由于使用了针孔照明，抑制杂散光的同时，也减弱了照明光强度，使得探测器端的量子效率低，图像信噪比低，每获得一幅图像需要逐点扫描，成像效率低，系统整体结构复杂，成本高[9]。

基于数字微镜器件 (digital micro-mirror device，DMD)实现的共聚焦显微成像系统，利用DMD作为空间光调制器，产生并行照明针孔，从单点扫描变为多路并行照明，同步对样品表面的不同点进行成像，克服了现有激光扫描共聚焦显微镜扫描速度比较慢、操控振镜或样品运动的机械控制复杂等缺点，系统光路结构简单，成本低[10]。

1 系统的总体设计

本设计包含3个部分：光学系统、电路系统和计算机系统。光学系统有照明和成像两部分光路，电路系统包括DMD控制电路、摄像头触发控制单元和电动载物台控制模块，计算机系统包括实时图像采集及处理、DMD控制、载物台控制和人机交互界面4个部分。系统的总体设计如图1所示。

图1 系统总体设计框图Fig.1 Overall system design block diagram

2 系统光路结构及原理

图2 光学系统设计图Fig.2 Optical system design

系统光路包含照明光路和成像光路两部分，汞灯光源发出的光经过具有科勒照明原理的集光镜组后变成均匀光，由全反射棱镜改变入射角度(与复位状态下的DMD表面成66°夹角)后照射到DMD表面，经过DMD调制的光束经过半反半透棱镜反射后进入显微物镜，照射到样品表面，样品的反射光经过物镜后再次经过半反半透棱镜和管镜后在摄像头上成像，系统的光路如图2所示。为了实现共聚焦显微成像，在光学系统设计中使得DMD、样品和摄像头三者共轭。

图3 DMD及控制器Fig.3 DMD and controller

2.1 DMD及其控制

DMD是TI公司在1987年发明的一款数字光学器件，核心部件由1 024×768个13.68 μm×13.68 μm的正方形微镜单元构成(本系统选用DLP7000-DLP® 0.7 XGA 2xLVDS Type-A DMD款)，可以通过控制器编程控制每个微镜单元在-12°、0°和+12°3个偏转角度之间切换，实现对入射光的调制。作为新型数字光处理器件，DMD目前被广泛应用于数字投影[11]、数字全息成像[12]、数字光刻技术[13-14]、微纳光学测量[15]和结构光照明显微[16]等领域。DMD及其控制器的外形如图3所示。

控制器选用德国ViALUX公司的V-7001VIS套件，该控制器基于TI公司的DLP Discovery 4100芯片组，可用于紫外光波段、可见光波段和近红外波段，支持USB3.0接口，最小可实现1 500 帧·s-1的高速实时数据载入，板载8 G Byte的内存，可暂存1万幅1 024×768像素的照明图案。控制器根据下载到控制器内存中的图像或程序，可以实现对DMD照明模式的控制，以达到对光束进行不同模式的调制，包括实现光点大小、光点间距、线宽和灰度等不同模式的调制。

2.2 照明针孔与探测针孔

共聚焦显微镜除了满足光源、样品和摄像头三者共轭关系外，还具备“点照明和点探测”的特点，以抑制焦点之外的杂散光，达到高成像对比度的目的。

为了实现基于点照明的并行共聚焦显微成像系统，需要通过计算机来设置DMD的控制器，使其控制DMD阵列循环产生阵列点光源，DMD只充当照明针孔的角色，由于DMD的外形尺寸、微镜单元大小和间隙固定，故其参数配置包括针孔大小和周期。综合测量精度、测量范围和测量速度之间的关系，本研究中使用的测量系统的DMD照明参数选择2×2个微镜单元构成照明针孔，x方向或y方向各取4个微镜单元为一个周期T，具体结构如图4所示。

图4 DMD照明针孔和周期设置示意图Fig.4 Schematic diagram of DMD lighting pinhole and cycle setting

对一个周期是T的照明模式， 需要分别在x方向移动该照明模式，一次一个微镜单元的距离，产生T幅空间互补的照明图案，并获取标本相对应的图像；类似地，还需要在y方向移动该照明模式，一次一个微镜单元的距离，产生T幅空间互补的照明图案，并获取此照明条件相对应的样品的图像；因此对周期是T=4的DMD照明基本模式，需要序列获取T×T=16幅DMD照明图案，并获取16幅图像。可以通过计算机产生T×T幅二进制灰度图像，并将这些图像预先下载到DMD控制电路的内存中，同时指定每一幅照明图案的停留时间，DMD就会按照指定的时间序列产生T×T幅在空间上互补的照明图案，这些图像叠加起来，实现一个视场内的(非重复)照明。

共聚焦显微成像技术，既要有照明针孔，又要有探测针孔。将DMD放置在照明光路与成像光路的共用部分中，使DMD既是照明针孔，又是探测针孔时，从获取的光斑图像中可得，在远离光轴中心的斑点明显大于光轴中心处斑点。而将DMD只放置在照明光路中，使得斑点在视场中心与边缘的差异减小。因此光学设计优化结果使得DMD只能作为照明针孔，探测针孔通过DMD微镜与摄像头空间的对应关系、DMD微镜单元与摄像头单个像素尺寸的对应关系实现，该方法实现的探测针孔实际上是虚拟的，也称为“虚拟针孔”。

由于DMD、图像传感器、物镜成像面处的样品面三者共轭，使得DMD也处于图像传感器的成像面上，因此，DMD的微镜单元之间的缝隙也将在图像传感器上显现，即图像传感器上获取的图像具有DMD微镜单元的阴影网格，这成为影响DMD共聚焦显微成像系统图像质量的关键因素之一。根据前述选用器件的参数：DMD微镜单元的尺寸为13.68 μm，摄像头单个像素的尺寸为6.5 μm。设置DMD到摄像头的总体放大倍数为0.950 3(图2中的中间体透镜和管镜)，使得1个DMD微镜单元在摄像头端覆盖2×2个像素，达到DMD边长13.68 μm的正方形微镜与图像传感器两个像素边长13 μm的正方形严格对准。

2.3 图像获取与处理方法

摄像头选用滨松 C11440-22CU数字sCMOS相机，分辨率为2 048×2 048，像元尺寸为6.5 μm×6.5 μm，全分辨率条件下最大帧率为100帧/s。在共聚焦成像过程中，将DMD控制器的触发信号输出端接摄像头的触发信号输入端，并将摄像头设置为外部触发模式，确保DMD每翻转一次到位时，输出一个信号供相机获取图像。DMD处于循环工作模式，摄像头开始曝光的时刻由DMD控制器输出的触发信号控制，为了保证摄像头每次获取图像时发生在DMD已经翻转且处于稳定的状态，应设置DMD的翻转时间大于摄像头的曝光时间，以此种同步捕获模式重复直至取完所有的独立照明模式下的互补图像。

基于虚拟针孔获取图像的方法如下：使用平面反射镜作为样品，按照图4所示的照明模式，下载校准图到DMD上，在摄像头端获取校准成像图，找出照明图与成像图中相关联的点，计算出两幅图像之间的仿射变换矩阵。再获取被测样品的图像，与上述仿射变换矩阵进行运算，得到每个照明模式下的虚拟针孔成像图。至此，用虚拟针孔图滤除了每个共聚焦图像的杂散光之后将16幅图像进行滤波、叠加运算，就得到了基于DMD的共聚焦显微成像图。

3 实验方法与结果

图5 横向分辨率测量结果Fig.5 Lateral resolution measurement

图6 纵向分辨率测量结果Fig.6 Longitudinal resolution measurement

为了检验基于DMD的并行共聚焦显微成像系统的横向与纵向分辨率，选用20× /0.75的物镜，将镀铝膜的平面反射镜放置于载物台上，设置DMD为单点照明模式，在摄像头端获取图像，得到其横向半高宽 (full width of half maximum，FWHM)曲线如图5所示，可得实验测得的横向分辨率为0.57 μm(理论值为0.45 μm)。

选用20×0.75的物镜，将镀铝膜的平面反射镜放置于载物台上，设置DMD为单点照明模式，控制载物台做纵向扫描，扫描范围为40 μm，步进0.1 μm，在摄像头端获取400幅图像，取每幅图像的光强最大值为评价函数，得到纵向FWHM曲线(图6)，可得实验测得的纵向分辨率为1.1 μm(理论值为0.93 μm)。

基于DMD的并行共聚焦显微成像系统除了具有比普通光学显微镜高的分辨率之外，还具有表面层切的能力，设置为明场照明模式，选用电路板中的焊盘作为检测对象，将电路板放置于载物台上，将载物台沿纵向移动，间隔1 μm，依次获取100幅图像，如图7(a)所示，利用最大值合成算法，得到层切还原图像如图7(b)所示。

为了验证基于DMD的并行共聚焦显微成像系统提高了显微成像的对比度和清晰度，以蓝宝石衬底材料作为样品，分别在明场照明模式和并行共聚焦模式下对样品的同一位置进行显微成像实验。明场模式的实验条件为设置DMD全开，在探测端获取样品的显微图像，如图8所示。并行共聚焦模式的实验条件为设置DMD的照明针孔大小为2×2微镜单元，周期为x、y方向均为4个微镜单元，控制DMD产生16幅照明图像，在探测端获取对应的16幅样品图，再经过虚拟针孔处理后由计算机合成，得到基于DMD的并行共聚焦图像，如图9所示。

图7 层析能力测试结果Fig.7 Chromatographic capability test

图8 明场模式下蓝宝石衬底显微图像Fig. 8 Microscopic image of sapphire substrate in bright field mode

图9 并行共聚焦模式下蓝宝石衬底显微图像Fig.9 Microscopic image of sapphire substrate in parallel confocal mode

基于上述在明场照明模式和并行共聚焦模式下对蓝宝石衬底样品获取的同一位置的显微图像，借助于Brenner函数

计算相邻两个像素灰度差的平方，评价两种模式下显微图像的对比度和清晰度，对比结果如表1所示。

表1 明场照明模式和并行共聚焦模式对比度和清晰度评价表

由表1可见，基于DMD的共聚焦显微成像模式比明场情况下获取显微图像的清晰度和对比度提高了1个量级。

4 结语

使用阵列式数字微镜(DMD)作为照明针孔，结合虚拟针孔技术实现并行共聚焦显微成像系统。用数字控制DMD来快速实现针孔密度、单个针孔尺寸大小、针孔分布模式的微秒量级的快速改变，从而实现快速共聚焦观察模式以及普通明场观察模式之间的快速转换。该系统可以直接与普通光学显微镜接口，适用于荧光和非荧光样品，相信该系统在显微成像与微纳测量领域必将会有广泛的应用空间。