显微镜后焦面图像的自动识别与分析

陈漪恺，孔卓冉，孙文杰，张宏超，朱时军，沈中华，陆 健

（南京理工大学 理学院，江苏 南京 210094）

金属-光子晶体复合波导结构对表面波的调控具有丰富的自由度，已经成为集成光子功能器件的核心元件之一，基于此类功能器件的研究在过去十年间引起了人们的广泛关注[1-5]。复合波导的结构和参数设计扩展了基于复合结构器件在光谱分析[6-7]、手性转换[8-9]、分子探测[10-12]和光镊操控[13-14]等光学领域的应用。复合波导结构可以支持多模共存，且模式分布具有高度的空间局域性，是传感、成像、以及超表面器件中的关键元素[1,15-18]，在高通量检测中也可以确保高效率收集和高灵敏探测[19-22]。结合光栅、棱镜、显微镜等表征手段，近场的诸多光行为都可以在远场得到观测[17,23-27]。通常，这类间接的表征手段都需要额外的计算和分析，以及对相应结果的预处理。因此，将图像压缩、图像校准、模式辅助识别分析、图像配准、边缘提取、图像识别等自动化的处理技术运用在结果的后处理过程中会为研究人员带来便利，也让无人值守的高通量数据存储、测试和分析的实现成为可能。目前，图像处理技术广泛应用于机器识别、机械工程以及图像传感等领域[28-30]，在显微成像中，其一般仅仅被用于对电镜结果的提取以及成像结果的算法优化[31-33]。如果提取特定显微系统表征手段中所具有的共同特征，结合模式自身特性以及对应场景的图像处理过程，不仅会大大减少探测及分析的工作量，还可以实现传感成像的自动监测与分析。

因此，本课题组研究制备了一种多模式共存的载物波导结构。通过对金属-光子晶体复合结构的参数调控，所设计的波导结构既可兼顾腔模的高稳定性，亦可体现表面模的高灵敏性[34]。当外界环境变化时，依据模式变化特性，我们提出并搭建了对应的自动分析表征光路。在此过程中可以完全实现光路的自校准、荧光信号的耦合角度测算以及折射率变化监测等多元分析。该技术可以为光子芯片高通量分析、近场光行为的快速表征等智能光子学器件发展提供辅助方案，为揭示分子的光化学和物理过程奠定了基础，具有重要的技术意义。

1 基于模式分布判定的光路自反馈调节

图1为搭建的泄漏辐射显微光路主要部件示意图。选用532 nm波长的固体激光器作为激发光源，出射激光经透镜组扩束并准直后，由分束镜反射到激发物镜中。同时，卤素灯发出的白光经透镜准直后被反射并与激光合束至同一物镜。装置所采用的载物基底是覆有一维光子晶体的盖玻片，将不同折射率的荧光溶液样品滴于载物基底上用于观测。光子晶体由78 nm的氮化硅层和126 nm的二氧化硅层交替沉积组成，缺陷层是厚度为152 nm的二氧化硅[2]。当荧光溶液中的荧光分子被激光激发后，波导模式耦合辐射可以被物镜收集，并由成像透镜组成像于CCD。

图1 实验光路示意图。HL-卤素灯，Ls-透镜组，L-透镜，M-反射镜，Mf-可翻转反射镜，BS-分束镜，O-显微物镜，OS-光学载物基底

对于理想情况下的成像系统，荧光溶液样品中的荧光分子会随机均匀分布，CCD得到的信号也应该均匀对称分布。然而在长时间多波长的高通量数据测量过程中，会来回调节反射光路及CCD位置，难免会出现光束偏移以及CCD靶面倾斜，这在溶液的像面上一般难以区分。即使可以通过反射光束来进行靶面校准，也很难保证光路自身不发生偏移。利用泄漏辐射显微镜的后焦面信息，则可以看出细微的差异[24-25,35]。因此，对CCD采集到的荧光信息模式进行自动化的模式提取分析，同时控制反馈电路校准光路，就可以保证长时间测量的稳定性。调试所采用的激发物镜为数值孔径为1.25的油浸物镜，所选择样品为罗丹明6G（R6G）水溶液，其中荧光分子在532 nm波长的激光激发下会辐射中心波长为560 nm左右的荧光，如图2（a）所示。但是当荧光分子处于基底结构附近时，其辐射将会受到波导结构的调制。常规手段是利用金属的表面等离激元耦合辐射来调控辐射方向和强度。但我们所选取的基底结构是含有不同折射率层的光子晶体结构，调制手段更加丰富，且损耗更小。此基底结构在空气中所支持的TM模式分布如图2（b）所示，可以看出，腔模基本上集中于小角度，且可以被长波激发。而临界角附近的表面模式为波导模式，其在42°附近被截止，只有长波段的光可以激发。所以在空气中，该基底结构无法同时支持多类模式。如果考虑溶液中的耦合情况，则可以发现腔模的辐射情况变化微小，而波导模式的辐射则会将截止角度扩展到约60°。综合考虑到腔模的近垂直耦合出射有利于信号的收集，以及分子的荧光辐射强度，我们选择580 nm的中心波长来完成实验。

图2 （a）荧光染料分子的发射光谱；（b）载物波导结构在空气中的色散曲线（红色虚直线对应着所选择的波长）

当基底结构上方附着含有荧光分子的水溶液时，荧光分子处于载物基底与溶液构成的波导环境中，本应向各个方向辐射的荧光会被耦合定向发射。可以在收集光路中放置一个中心波长为580 nm、带宽为10 nm的带通滤波片用以观测辐射波长下的耦合模式。比如，在某时刻所采集到的信号如图3（a）所示，内部圆形对应的是光子晶体的腔模耦合辐射（CMCE），而外部亮环对应的是波导模式耦合辐射（GMCE）[35]。通过计算机对后焦面像的边缘提取及霍夫变换，如图中红色虚线所示，显然，亮环左右部分和标准圆贴合紧密，而上下部分则有若干个像素的差异。因此，可知此时测试的CCD靶面上下方向略有倾斜。不仅如此，模式的左右或者上下分布不均也可以反映激发光束在横轴或纵轴方向有一定的漂移。显然，图中的对称紫色线框里所采集到的荧光信号并不一致，左侧信号略多于右侧信号，因此激发光的方向在横向有所偏移，具体偏移方向取决于反射光路的设计。这种偏移在对所采集到的信号进行二值化处理时更加明显，如图3（b）。经过处理后的图像凸显模式分布的不对称性，通过对具体不对称度的量化可以计算像素点之间的对比度，结合对比度结果判断CCD靶面的偏差程度，并反馈控制信号至CCD图像传感器倾角的调节螺丝，重新校准CCD的倾角位置。同时也通过光路反馈装置调节激光光束，实时观测像面信息。通过迭代对比校准直到圆环与标准圆的像素对比度一致且各方向信号分布均匀，最终完成光路自反馈调节和校准。

图3 （a）泄漏辐射显微镜探测到的荧光分子后焦面像（虚线环对应着模式的角度分布范围，紫色线框对应着对称图像中像素分布明显不均匀的区域）；（b）后焦面像的二值化处理结果

2 基于荧光后焦面的辐射角度测算和白光后焦面预处理

对于后焦面所探测到的荧光信号，很多时候需要通过其辐射角度来分析模式特征[24]。所以模式角度的测算是模式特征分析过程的一个关键步骤。后焦面成像技术可以完成高空间分辨率的事实耦合辐射角测算，相比于传统的角度扫描等方法更为高效和便捷。具体形式满足如下关系：

其中，r是模式半径，R是视场半径，f是物镜焦距，n是匹配折射率，θ是耦合辐射角，θmax是物镜能收集到的最大角度。根据荧光成像后焦面中的亮环半径及视场半径的比值即可完成角度的测算。但对于荧光信号或拉曼信号来说，其自身信号弱，因此并不易被观测到。而长时间曝光会导致信噪比降低，一般会带来成像对比度的下降，使得测算耦合辐射角更加困难。尤其是对比度的降低会导致视场边缘位置的难以观测和确认。另外，表面模式仅仅当荧光分子处于界面附近才能有效地被耦合辐射，而荧光分子在溶液中的随机分布会导致波导模式耦合辐射湮没在远离界面荧光分子激发的荧光信号中，如图4（a）所示，此时荧光盐溶液位于载物基底上方，被激发后的荧光信号非常弱，对于此时的荧光耦合辐射，角度测算非常困难。

对于同结构下的白光反射测量，反射信号强度远大于辐射信号，因此可以清楚地观测到视场边缘。视场中心代表腔模共振角的暗圆和视场周边代表波导模式耦合共振角的暗环也都清晰可见，如图4（b）所示。通过偶极辐射模拟荧光分子的出射强度分布，可得到不同角度的耦合辐射强度分布，如图4（c）橘黄色实线所示。可以看出，在20°以内以及40°至60°之间都有相对较强的辐射，对应着腔模耦合辐射和波导模式耦合辐射，而各个模式在不同角度的反射率曲线如图4（c）蓝色实线所示，表明在对应角度远场的光会被局域束缚在近场而难以反射。鉴于波导模式耦合辐射的角度和腔模反射共振的角度基本一致，可以利用此模式辐射角度范围内的最大值来完成图像配准，从而确定荧光耦合辐射的视场边缘，完成包括腔模在内的多个模式耦合辐射角度计算，具体的配准方式兼顾特征点提取和互信息相互结合的方式[36]。在此采集状态下，所得到的模式图像基本上为环形和弧形，其特征点不明确，因而自动识别特征点时需要加上一定的判定标准和条件，并结合互信息的方式尝试配准。如图4（d）所示，通过配准可以确定荧光信号波导模式的边缘，用灰色线圈表示。提取的白光后焦面的视场边缘如图中红色线圈，运用到荧光后焦面中就可以知道视场半径。通过先前的计算关系，得到腔模耦合辐射角度为12.28°，波导模式耦合辐射的最大角度为63.48°，与理论结果一致。值得注意的是，对于一些极弱信号的采集，噪声相对较大，此类方式不能保证完全的无人值守，有时候会出现配准失败的情况，需要人为手动添加特征点来辅助配准。

图4 （a）含有荧光分子盐溶液的后焦面荧光像；（b）白光反射下含有荧光分子盐溶液的后焦面像（带通滤波片中心波长580 nm）；（c）不同角度下荧光耦合辐射强度（橘黄线）及不同角度下580 nm白光的反射率（蓝线）；（d）经过配准的后焦面荧光像（虚线对应着同样的视场范围和模式分布大小）

对于白光信号，当完成模式的识别和分析时同样需要一定的配准和图像预处理。这是因为在图像采集时，为了追求实验细节和精度，所采集的图像质量一般都很高，若直接对大量数据进行自动分析，则会延长计算时间，尤其在后期模式的自动化提取过程中，循环扫描并设置种子点会带来额外的计算量。因此，利用配准完成的图像模式提取前的存储压缩，有利于提高模式解析速度。从图5（a）和5（b）可以看出，荧光后焦面像的分布更加集中，反射后焦面像的像素分布则更加均匀。根据前文测算的结果，二者的模式分布几乎一致，对于模式的自动识别提取，我们希望可以让计算机去自动识别荧光后焦面像中代表模式分布的亮环或者反射后焦面像中代表模式分布的暗环。毫无疑问，对于同样的检测程序，荧光后焦面中分布相对集中的像素更有利于计算机去识别和分析，可以大大缩短运算速度。因此，对于反射后焦面像，如果精度要求不高，或者有荧光后焦面的结果作为参照，可以将二者进行配准压缩，再进一步识别，这会极大提高模式自动化识别的运算速度。

图5 后焦面（a）荧光像和（b）反射像的直方图分布

3 基于模式提取的折射率变化监测

当载物基底上的溶液折射率发生变换时，其布洛赫模式耦合辐射（BWCE）的强度也会发生变化。这使得一些含有掺荧光染料的聚合物薄膜层的传感结构有了广阔的应用前景[25,35,37]。但是对于自身含有荧光分子的荧光溶液来说，荧光分子分布于溶液的不同位置，表面模式的耦合辐射往往会湮没在其他荧光信号当中，此时通过白光的反射信息来完成对溶液折射率变化的检测更为有效。图6（a）是荧光水溶液的白光反射后焦面图，图6（b）是荧光盐溶液的白光反射后焦面图。我们在成像装置前添加了中心波长为580 nm的滤波片以及偏振方向为横向的偏振片以观测TM模式变化。可以明显地看出，当荧光溶液折射率发生变化时波导模式的分布有了一定的展宽和移动。此时后焦面图像自动分析技术的优势得以显现。一方面，由于图像的偏移，单纯利用图像相减等常规手段难以完成光强变化的测算，并且，腔模耦合共振的角度也有微小变化，会对模式的识别带来干扰。另一方面，虽然可以手动利用圆弧的半径比完成波导模式耦合共振的角度测算以及折射率变化，但是面向高通量测试的海量数据处理，人为测算需要耗费大量时间。因此，可以利用种子生长法完成图中波导模式耦合辐射的提取[38-41]。这里仅仅考虑TM偏振下的波导模式，如果测量精度足够高，也可以考虑TE偏振下角度分布极小的布洛赫模式变化[35]。这也意味着如果改变模式提取方式，其他更高灵敏度的模式变化也可以被提取分析。

图6 （a）含荧光分子的水溶液和（b）含荧光分子盐溶液的白光反射后焦面像；（c）水溶液后焦面像和（d）盐溶液后焦面像中的自动模式提取结果

首先利用视场范围边缘提取并完成缩放配准，减小不同时刻的测量误差引起的微小图像偏移。再沿着横轴方向自动设置种子生长点，并循环遍历所有像素。利用所生长区域的重心位置以及周长大小做出判定，可以筛选剔除中心的腔模区域、背景区域以及未展宽的波导模式区域，从而筛选出强度急剧变化的区域。为了节约计算时间，仅仅采集了左侧的波导模式变化区域，其结果如图6（c）和6（d）所示，可以看出其强度具有明显的变化。通过计算得知，所提取的模式强度变化值为61.19%。通过参考计算获得折射率和反射强度的关系如图7（a）所示，可见，此时荧光盐溶液的折射率约为1.36。根据所提取模式，自动计算弧内外半径与视场半径比值，进而得到对应角度为60.63°和65.97°。作为对比，数值模拟计算了水溶液下和折射率为1.36盐溶液中不同角度下的反射率，如图7（b）所示，可以看出，对应角度范围正是强度变化最明显的区域。

图7 （a）不同折射率下波导模式在对应角度范围内的相对强度变化率；（b）水溶液和盐溶液样品中不同角度对应的白光反射率分布

4 结论

综上所述，本文基于制备的支持多模共存的波导复合结构，提出且搭建了含自动校准分析功能的泄漏辐射显微镜。通过在后焦面成像结果中利用模式特征引入图像处理技术，完成了实验光路的自反馈调节与校准。基于荧光后焦面像和白光反射后焦面像的一致性，以及互信息和模式特征兼顾的配准技术可以完成耦合角度的测算以及适合图像压缩的存储方式。区域生长等模式提取手段也凸显了后焦面的图像变化。利用模式的自动提取和分析，可以实现样品环境折射率变化的监测。此项工作为无人值守的分子传感监测、成像自动化分析以及智能化光子芯片设计等领域拓宽了应用范围。