全自动推扫式高光谱显微成像系统设计与研究

唐凌宇，葛明锋，董文飞

（1.长春理工大学 机电工程学院，吉林 长春 130022；2.中国科学院 苏州生物医学工程技术研究所，江苏 苏州 215163）

1 引言

光学诊断技术通常包含光学成像诊断技术和光谱诊断技术。前者用于获取样本形态信息，如病理组学分析、细胞成像分析等；后者主要对生物组织的单点获取一定范围的光谱信息，如荧光光谱诊断分析、拉曼光谱诊断分析等。光谱成像技术是二者的结合，能够同时获取生物样本的形态信息和光谱信息，从而实现对生物样本更为全面的分析。

随着光谱成像技术的发展，光学诊断技术在显微领域的应用也越来越广泛。Sorg Brian S.等[1]利用液晶可调谐滤光片分光的高光谱显微成像系统对人体微血管肿瘤的氧运输进行研究，根据对血红蛋白饱和度的测量和荧光蛋白的表达区分肿瘤区域，系统光谱范围为400～720 nm，光谱分辨率为10 nm。Liu Kunxing[2]等人使用基于液晶可调谐滤光片的高光谱显微成像系统实现了对DAPI染色的肝癌细胞核的检测，系统光谱分辨率约为7 nm，40倍物镜下成像区域约为330 μm×330 μm。Eady M[3]等人基于采用声光可调谐高光谱显微成像系统实现了沙门氏菌的快速检测，系统光谱分辨率达到4 nm。Jiansheng Wang[4]等人也使用声光可调谐的高光谱显微成像系统实现肝癌不同分期定量分析，也为肝癌早期诊断提供可能。肖功海等[5]设计基于棱镜-光栅-棱镜分光的显微高光谱成像系统，光谱范围为400～800 nm，光谱分辨率优于5 nm，40倍物镜下的空间分辨率约为1 μm。基于上述系统，李庆利[6]等人从图谱角度对正常大鼠和糖尿病大鼠视网膜组织切片进行了研究。Samuel Ortega等[7-8]同样利用棱镜-光栅-棱镜分光设计了用于自动检测人脑肿瘤组织的高光谱显微成像系统，系统光谱范围在400～1000 nm，光谱分辨率为2.8 nm，实现了10倍物镜下空间分辨率为2.2 μm的成像，结合监督分类算法，利用光谱信息可以区分脑部健康组织和肿瘤组织，特异性高达92%。此外，Pu Hongbin[9]等人也认为高光谱显微成像技术在食品工业中对微生物和残留物的检测方面具有很大的潜力。

上述高光谱显微成像系统中，主要分为凝视型、推扫型两种分光方式。前者采用液晶可调谐或声光可调谐滤光片分光，系统设计简单，应用较广，但是存在光谱分辨率低且不均匀、光谱范围受材料限制、难以实现较宽范围覆盖以及不同谱段存在空间像差、无法对运动目标成像等缺点。后者一般采用光栅或者棱镜分光方式，同时获得样本图谱，光谱分辨率高且采样均匀，但是只能获取一维空间信息，难以自动对焦[10]，无法实现大样本成像，这一缺陷限制了推扫式高光谱显微成像系统的应用。本文将棱镜-光栅分光技术、显微成像技术和自动对焦技术相结合，研制出基于棱镜-光栅分光的全自动推扫式高光谱显微成像系统，可以实现大样本全自动高光谱成像，将进一步促进光谱技术在生物医学领域中应用。

2 推扫式高光谱显微成像系统的设计

2.1 推扫式高光谱显微成像系统的原理

全自动推扫式高光谱显微成像系统原理如图1所示，由高功率LED、视场光阑、聚光镜组成的科勒照明系统实现对生物样本的照明，经过高倍显微物镜成像到分光系统狭缝处，经分光模块后，沿垂直狭缝方向实现光谱色散，沿水平方向保留空间信息，最后成像到高灵敏探测器上，经过光电转化获取生物样本的一维空间信息和光谱信息。当载物台沿着垂直狭缝方向推扫时，可以获取生物样本另一维的空间信息，得到包含生物样本的二维空间信息和光谱信息的数据立方体。推扫式高光谱成像中，采用光栅或者棱镜作为分光模块，但是光栅分光模块结构复杂，如常见的offner成像光谱仪[11]物方与像方在同一侧，不利于与显微镜集成。直视形的棱镜-光栅-棱镜分光模块适合与显微镜集成，但是该模块采用的是体相位全息光栅，且两端均为棱镜，装调难度大，目前芬兰Specim能够提供商品化产品，国内如南京天文光学技术研究所等单位[12]也具备一定设计能力。本系统中采用棱镜-光栅模块进行分光，由于光栅一端是开放的，可以采用表面浮雕型透射光栅，降低了仪器的装调难度和制作成本。

图1 推扫式高光谱显微成像系统示意图Fig.1 Schematic diagram of push-broom hyperspectral microscopic imaging system

2.2 参数设计

为满足大多数生物样本光谱检测需求，光谱范围选取为420～800 nm。照明模块采用科勒照明系统，使得照明均匀且无眩光。物镜选取40倍放大物镜，NA值为0.6，取光谱中间值610 nm，计算得到物方空间分辨率为0.62 μm。经显微成像后，图1狭缝处像方空间分辨率为24.8 μm。分光模块采用课题组自主研发的棱镜-光栅模块，原理如图2所示，光栅刻线数为300 gr/mm，棱镜顶角为13.09°，光谱色散率为76.9 nm/mm。该模块采用消谱线弯曲算法进行优化设计，整体为近直视结构，具有优良的成像及光谱特性。棱镜-光栅分光模块前后的准直镜与会聚镜为对称结构，所构建的系统放大倍率为1∶1，二者焦距均为42.3 mm，F数为2.4。探测器选用高灵敏sCMOS相机，像元大小为6.5 μm，空间维像元数量为2048 pixel，考虑到要与狭缝处像方空间分辨率匹配，采用4 pixel×4 pixel合并，等效单像元尺寸为26 μm，空间维长度13.3 mm，故狭缝尺寸设计为宽26 μm，长13.3 mm。

图2 棱镜-光栅分光原理图Fig.2 Prism grating spectroscopic schematic diagram

根据上述参数计算出的系统空间分辨率为0.65 μm，光谱采样率为2 nm。二维电动运动平台的定位精度需要优于空间分辨率，根据推扫式高光谱成像系统的工作原理，为了获得准确的高光谱图像，必须对二维运动平台的推扫速度进行精确控制。系统的空间采样率与显微物镜的放大倍数、探测器的像元尺寸以及采样速率有关。假设探测器像元尺寸为d×d，显微物镜放大倍率为M，探测器采样帧速率为F，则平台运动速度为

2.3 整机系统

根据2.2中参数进行设计，推扫式高光谱显微成像系统如图3所示。系统光路选用尼康倒置显微镜Eclipse Ti2-U；二维运动平台选用海德星的二维电动载物台HDS-MS.XY 8060，最小步进可达0.05 μm，重复定位精度可达到0.5 μm；电动对焦系统采用步进电机PS3H122R，可以实现±0.3 μm重复性，最小步进0.05 μm；分光成像模块采用课题组自行研发的棱镜-光栅分光模块，通过C口与显微镜右侧成像通道连接；探测器选择鑫图光电的背照式sCMOS科学相机Dhyana 400BSI，像元大小为6.5 μm，像元数量为2048 pixel×2048 pixel。

图3 整机照片Fig.3 Photos of the whole machine

3 系统性能测试

系统集成后需要对其进行性能测试，主要是光谱定标和空间分辨率的测试。

3.1 光谱定标

光谱定标通过HORIBA公司的IHR550单色仪，将其光源耦合进高光谱显微成像系统的照明光路，采用高分辨扫描光谱定标法进行定标[13-14]，其步进波长设为0.2 nm。将各波段的数据进行高斯拟合后，获取各波段中心波长及光谱分辨率，结果如图4所示，光谱采样率为2.06 nm，光谱分辨率均值优于3.5 nm。

图4 光谱定标结果Fig.4 Results of spectral calibration

3.2 空间分辨率的测试

空间分辨率测试通过对Edmund Optics的分辨率板USAF 1951 1X进行推扫成像实现。分辨率板组别编号从−2到9，元素编号从1到6，其中第9组，第1～3号的线对信息分别为512、575、645线对/mm。系统初步调焦后，沿Z轴以2 μm步进进行推扫成像，采集多幅图像，通过拉普拉斯清晰度评价函数评判选择最清晰图像，其第233波段，中心波长为608.3 nm的推扫图像如图5所示。选取第9组，第2号和3号处的图像数据，经过归一化处理后，结果如图6所示。根据空间分辨率定义，系统能够分辨第9组第2号线对，无法分辨第9组第3号线对。根据线对信息，经计算可知系统空间分辨率优于0.87 μm，接近理论设计值。

图5 分辨率板推扫图像Fig.5 Push-broom image of the resolution testing board

图6 空间分辨率测试结果Fig.6 Results of spatial resolution test

4 自动对焦成像

显微成像系统中，景深由波和场的几何光学深度之和得出，即：

其中，D是景深；λ是照明光的波长；n是玻片与前透镜间介质的折射率（空气为1.000）；M是物镜放大倍率，NA为物镜的数值孔径；e为可分辨的最小距离，一般取14 μm。系统中采用尼康S Plan Flour ELWD 40X/0.60显微物镜，经计算景深为2.1 μm。

推扫式高光谱显微成像系统中样本和二维平台会存在不平整情况，大视场推扫过程中很容易出现离焦，影响成像质量，自动对焦是获取大视场显微成像的关键技术。自动对焦主要包括被动对焦和主动对焦，前者在对焦过程中，通过图像清晰度评价函数寻找最佳对焦位置；后者通过主动光源等辅助装置，利用反射回探测器的光线判断离焦方向和离焦程度，从而驱动运动系统完成自动对焦。本文以HE染色的乳腺癌病理切片为研究对象，结合两种自动对焦方法，使用搭建的系统获取乳腺癌病理切片的大视场高光谱显微图像，并对两种对焦方法性能进行比较。

4.1 被动对焦成像

采用被动对焦方式实现大视场成像，在目标区域均匀选择多个采样点，每个采样点在Z轴方向上不同位置进行成像，根据清晰度评价函数和爬山算法，寻找成像最清晰的对焦位置，根据这些点的对焦位置拟合出对焦平面。推扫成像过程中根据位置和对焦平面，自动调整Z轴，实现自动对焦。

4.1.1 对焦位置判断

高光谱显微成像系统直接获取的单帧图像包含一维光谱信息和一维空间信息，由于光谱维信息的干扰，无法采用常规的评价函数进行清晰度评价。根据图像特点仅采用空间维拉普拉斯评价函数进行清晰度评价，即

选定成像区域后，取X轴右移0 μm、912 μm、1700 μm、2500 μm的4个采样点进行对焦位置判断。对每个位置进行粗对焦后选取对焦范围，Z轴方向以1 μm步进，寻找精确对焦位置。采用式（3）的评价结果，如图7（彩图见期刊电子版）所示，对焦位置如表1所示，可以看出由于仅有一维空间信息，算法鲁棒性较弱，容易出现虚假对焦位置。

图7 基于单帧图像清晰度评价曲线Fig.7 Definition evaluation curves based on a singleframe image

表1 单帧图像和推扫图像清晰度评价的对焦位置Tab.1 Focus positions for clarity evaluation based on the single-frame image and the push-broom image

为了能更准确地寻找对焦位置，利用二维空间信息进行清晰度评价，同样选取X轴右移0 μm、912 μm、1700 μm、2500 μm的4个采样点进行对焦位置判断，进行粗对焦后选取对焦范围，每个Z轴位置推扫65 μm（100 pixel）。选取第233波段，中心波长为608.3 nm的二维图像，采用拉普拉斯清晰度评价函数进行评价，结果如图8(彩图见期刊电子版)所示，对焦位置同样如表1所示。由图8和表1可以看出，清晰度评价曲线具有明显的单峰性，可以精准判断对焦位置。

图8 基于推扫图像的清晰度评价曲线Fig.8 Definition evaluation curves based on the pushbroom image

将基于单帧图像和基于推扫图像的清晰度评价方法获取的清晰对焦位置进行对比，可以得出以下结论：

（1）基于单帧图像清晰度评价无法很好地寻找对焦位置；

（2）在2500 μm的范围内，生物样本对焦位置变化超过10 μm，超出成像系统的景深，证明了大视场成像中自动对焦的必要性。

4.1.2 对焦平面建立与自动推扫成像

被动对焦的聚焦策略是选择合适的插值方法在采样点上拟合出对焦平面，当推扫成像时，根据运动位置和拟合的对焦平面，配合对焦电机运动，实现自动对焦。考虑到对焦位置平滑性，所以系统中采用成熟的样条插值，4.1.1中4个采样点的对焦位置插值结果如图9所示。

图9 X轴4个采样点对焦位置插值结果Fig.9 Interpolation results of focusing positions of four sampling points on the X-axis

为实现大视场自动扫描成像，选取样本X轴0 μm、912 μm、1700 μm、2500 μm，Y轴0 μm、912 μm、1700 μm、2500 μm，共16个采样点，经过对各采样点推扫图像的清晰度评价，获取了采样点的对焦位置，如表2所示，通过进行样条插值，获取二维对焦平面，如图10所示。

图10 二维平面插值结果Fig.10 Interpolation results on a two-dimensional plane

表2 Z值数据Tab.2 Z value data Z/μm

4.1.3 大视场自动推扫成像

为获取乳腺癌病理切片大视场数据，成像范围设置为3250 μm×3250 μm，推扫路径如图11所示，在X轴方向推扫3250 μm，采集单幅510 pixel×5000 pixel图像数据，将二维运动平台右移325 μm，保证X方向存在10 pixel重叠，重复推扫10幅图像。推扫过程中根据位置和拟合对焦平面，实时自动对焦。将采集的10幅高光谱显微图像进行拼接，获取5000 pixel×5000 pixel的高光谱病理图像，其中第233波段的图像去除条纹噪声后的结果如图12所示。

图11 推扫路线Fig.11 Push-broom route

图12 基于被动对焦的大视场推扫成像Fig.12 Push-broom imaging with a large field of view based on passive focusing

4.2 主动对焦

主动式对焦是在显微镜的物镜和镜筒之间安装主动对焦光路，原理如图13所示。主动对焦模块由近红外激光光源、光阑、分光镜、可调准直镜以及二向色镜组成，近红外激光光源发射近红外激光，视场受光阑限制，经准直透镜后充满物镜，经物镜聚焦到样本，样本反射回物镜、准直镜，最后聚焦到线传感器上，根据激光在传感器上检测到的位置，能够检测样本与物镜的离焦量。通过对可调准直透镜进行前后调节，调整激光在样品Z轴上聚焦的点，进而改变激光面与成像面之间的距离。其中近红外激光光源波长选择800 nm以上，配合800 nm以上波长反射的二向色镜，以在自动对焦过程中不影响显微镜正常工作。

图13 主动对焦原理示意图Fig.13 Schematic diagram of active focusing principle

系统采用Prior Scientific的PureFocus850模块实现自动对焦，对焦结果通过线探测器两侧离焦量的关系进行判断，当两者之差与两者之和的比值小于0.2时，说明焦面准确。运动过程中，自动对焦模块会根据离焦量实时调整Z轴，保证样本始终处在清晰对焦的位置上。

利用主动对焦模块进行自动对焦前，通过设置激光信号，找到最清晰对准平面，然后开启主动对焦功能。选取4.1.1中同一样本区域，在X轴方向从0 μm到2500 μm，每隔500 μm记录对焦位置，将推扫图像清晰度评价对焦位置进行样条插值，对比结果如表3所示。二者平均误差为0.1 μm，表明被动对焦与主动对焦结果一致性较好，也说明样条插值用于对焦平面建立的可行性。

表3 主动对焦推扫图像的对焦位置Tab.3 Focus position based on active focus push-broom image

与被动对焦成像区域设置一致，采用主动对焦方式进行推扫成像，推扫路径与图11一致。同样将采集的10幅高光谱显微图像进行拼接，获取5000 pixel×5000 pixel的高光谱病理图像，其中第233波段的图像去除条纹噪声后的结果如图14所示。

图14 基于主动对焦的大视场推扫成像Fig.14 Push-broom imaging with a large field of view based on active focusing

4.3 对比分析

通过分析被动对焦和主动对焦成像实验结果，认为二者均可以用于高光谱显微成像系统中。下面将从结构复杂度、成像清晰度以及成像速度3个方面进行对比分析。

对于仪器结构复杂度，被动对焦无需增加额外的硬件，而主动对焦需要增加主动对焦光路，仪器结构更加复杂。被动对焦技术优于主动对焦技术。

从成像清晰度角度分析，在成像区域相同时，被动对焦与主动对焦得到的图像清晰度评价值分别为6.3584×109、6.3590×109，结果说明主动对焦技术略优于被动对焦技术。

主动对焦和被动对焦成像速度的差异主要在于建立对焦平面所需的时间长短。被动对焦中针对选取的点在Z轴方向连续推扫成像，单点用时90 s，16个点合计用时1440 s。主动对焦主要是进行寻找激光面与成像面的位置和调整图像到最清晰，实验中实际分别用时55 s和12 s，合计67 s。大视场推扫成像时间二者接近，单幅推扫均用时125 s，通道切换时被动对焦用时3 s，主动对焦用时7 s（通道切换后需要用时4 s完成离焦到正焦的状态调整），合计用时被动对焦1277 s，主动对焦1313 s。完成大视场推扫成像，二者分别用时2717 s和1380 s，除去推扫成像时间，二者实际对焦时间分别为1467 s和130 s，主动对焦速度显著优于被动对焦。

综上所述，主动对焦成像技术增加了对焦光路，结构复杂，但是显著提高了对焦速度，同时也一定程度上提升了成像清晰度，更适合推扫式高光谱显微成像系统。

5 结论

本文通过将棱镜-光栅分光技术、显微成像技术以及自动对焦技术相结合，设计了一套全自动推扫式高光谱显微成像系统，空间分辨率优于0.87 μm，光谱范围为420～800 nm，光谱分辨率均值优于3.5 nm。以经过HE染色的乳腺癌病理切片为研究对象，通过被动对焦和主动对焦两种方法均实现了40倍物镜下3.25 mm×3.25 mm区域内清晰成像。通过对两种方法进行比较，认为两者均能满足大视场成像要求，但主动对焦通过检测光路辅助能够实现更快速且清晰的成像，更适合推扫式高光谱显微成像系统。本文研发的系统将更加方便地把光谱技术引入显微成像领域，有利于促进光谱技术在生物医学等领域中的应用。