利用微计算机断层扫描技术重建褐飞虱内部结构

2023-01-19 11:56舒润国周行曹子雄贺康李飞
关键词:飞虱深度图像

舒润国,周行,曹子雄,贺康,李飞*

(1.浙江大学农业与生物技术学院昆虫科学研究所,浙江省作物病虫生物学重点实验室,杭州 310058;2.Object Research Systems(ORS)公司,加拿大 蒙特利尔(魁北克)H3B 1A7)

微计算机断层扫描技术(micro-computer tomography technology, Micro CT)是一种常用的非破坏性三维(three-dimensional, 3D)成像和分析技术[1],其主要原理是由X 射线发生器发射X 射线穿透标本,置于另一端的探测器记录该过程,生成射线照片[2]。Micro CT 作为一种成熟的成像方案,已被广泛应用于科学研究的各个领域[3-5]。该技术的主要优点是在维持物体原有形态的情况下,以低至几百纳米的分辨率对物体内部结构进行监测。样品完成扫描后,包含样品空间结构的图像数据集可以直接存储,将样品定格于扫描时的状态。这种技术能以任何可能的角度研究样品外部和内部结构的细节[6]。昆虫体积小、外骨骼和内部结构精细,对其内部组织和器官进行解剖观察时难以维持形态完整性。Micro CT 扫描结果具有高分辨率和无损的特点,可以在不同尺度上对昆虫内部结构进行三维重建[7-9],获得传统形态解剖或组织切片方法难以获得的三维精细结构,以用于精细观察昆虫和比较分析昆虫发育过程中内部形态的结构变化[10-11]。因此,Micro CT在昆虫发育和内部形态观察等领域的研究中具有不可替代的优势。

褐飞虱(brown planthopper, BPH),拉丁名为Nilaparvata lugens,是一种重要的半翅目飞虱科水稻害虫[12]。其在我国广泛分布,北起吉林、南至广东[13]。2017—2021年间,褐飞虱在我国南方地区总体偏重发生。2022年预测的我国褐飞虱发生面积为1.5亿亩次(1亩=667.6 m2)[14]。每年我国有约2 667万hm2水稻田遭受褐飞虱虫害,造成的直接和间接经济损失超过百亿元,对我国水稻生产造成严重危害,也严重影响了我国水稻产量[15]。

了解昆虫内部组织和器官的结构是昆虫发育和基因功能研究的重要基础。利用冷冻电镜(cryoelectron microscopy, Cryo-EM)能够获得昆虫内部器官的立体模型,但样本处理流程复杂、设备成本高昂。相较于冷冻电镜,Micro CT 具有操作简单、成本低的优势,能够提供组织和器官水平的清晰成像。基于此,本研究利用Micro CT观察并重建了褐飞虱的内部结构,以期确定一种适用于昆虫样品的染色方法、样本重建和建模流程,获得褐飞虱消化、生殖、神经以及肌肉等多个不同组织和器官的立体三维模型,为昆虫形态学和发育生物学的研究提供新思路和新方法。

1 材料与方法

1.1 供试材料与设备

1.1.1 供试虫源

褐飞虱来源于浙江大学昆虫基因组与生物信息学实验室。用水稻幼苗饲喂。饲养环境为温度(25±1)℃,相对湿度(60±10)%,光照周期16 h 光照/8 h 黑暗。羽化后3~5 d,挑取10 头成虫用于染色,根据预染结果选取染色效果最好的褐飞虱雌、雄虫各1头,用于后续扫描、3D重构和建模。

1.1.2 试剂和仪器

布因氏固定液,购自上海吉至生化科技有限公司;标准鲁格氏染色液,购自上海源叶生物科技有限公司;磷酸盐缓冲液(phosphate buffer saline,PBS),购自上海抚生实业有限公司。RH-24 摇床,购自美国康宁仪器公司;SkyScan 1272 高分辨率三维X 射线显微镜,购自德国布鲁克公司,详细参数见表1。

表1 SkyScan 1272 CMOS技术参数Table 1 SkyScan 1272 CMOS specifications

1.2 褐飞虱染色、扫描、重构流程

染色流程:使用二氧化碳(CO2)麻醉褐飞虱成虫后,将其转移至含有1 mL 0.5%Triton X-100 PBS(0.5%PBST)的1.5 mL 离心管中。盖上试管盖,于试验台上轻微敲打后孵育5 min,使褐飞虱成虫下沉到离心管底部。采用1 mL 的布因氏溶液固定试虫16~24 h,随后在1 mL PBS 中清洗3 次,每次30 min。清洗完成后使用标准鲁格氏染液染色,转移到摇床上孵育5 d。然后将褐飞虱在PBS中清洗,并用PBS保存以供扫描分析。样品制作完成后的1周内进行扫描[5]。

上样装置:将褐飞虱样本置于PBS中扫描。将200 μL 黄枪头尖端封口,注入PBS 后放入样本,枪头上部使用封口膜密封。以聚丙烯为原材料的枪头壁薄(壁厚200~300 μm)且具有相对较低的X射线吸收,同时其锥形的设计使样品能够稳定地保存。上样装置见图1A。

扫描流程:使用安装SkyScan 软件(Micro CT,v1.2.0,德国布鲁克公司)的戴尔工作站控制SkyScan 1272高分辨率三维X射线显微镜扫描样品(图1B~C)。X 射线源电压和电流分别设置为50 kV、70 μA。用尺寸为1 632像素×1 092像素的传感器,像素为7.4 μm、图片分辨率为4.0 μm 的相机进行扫描,扫描时长为1 h:43 min:42 s。随机移动算法参数值设为30,以纠正样品旋转过程中可能出现的晃动导致的图像模糊。平均帧数设置为6,以增加信噪比。

图1 Micro CT内、外部结构Fig.1 Internal and external structures of Micro CT

重构流程:重建数据借助NRecon 软件(Micro CT,v1.2.0,德国布鲁克公司)完成。Micro CT 数据的重建受采集图像数据的影响,包括图像亮度、对比度。在褐飞虱的重建过程中,使用默认的移位校正来补偿扫描过程中的样品移动(即热波动或缓慢的样品运动),环形伪影矫正和射线硬化补偿设置为默认值。输出图像的位深为16 Bit。重建后的图像尺寸为620×620×912(像素×像素×切片数),每个体素大小为4.0 μm。

1.3 Micro CT 图像分析

在技嘉工作站[i9-11900 英特尔酷睿处理器,3.00 GHz(16 核),128 GB 内存,英伟达GeForce RTX 3070Ti 显卡(8 GB 内存)]上运行Dragonfly 软件[v2022.1,加拿大Object Research Systems(ORS)公司;http://www.theobjects.com/dragonfly]以进行图像分割。图像分割的基础方法是使用3D画笔手动将需要提取的结构标记为感兴趣区域(region of interest,ROI)。为了消除分割过程中的人为偏差,可以使用包含大津算法的画笔快速提取高密度的区域。最后将ROI 转换为三角片网格(mesh)模型以进行定量分析和可视化。图像分割过程中,可以适当使用Dragonfly 软件内置的深度学习功能实现自动分割。

2 结果与分析

2.1 褐飞虱内部组织和器官的建模流程

褐飞虱Micro CT图像建模的流程见图2。使用SkyScan 1272软件控制仪器进行测量规划和数据采集,以得到褐飞虱投影图。利用NRecon软件将褐飞虱投影图重建成切片图像序列组成的数据体,随后将褐飞虱数据体导入Dragonfly 软件进行姿态矫正和有效信号放大。手动绘制部分目标区域,供软件进行深度学习,通过分割预览图和Dice函数评估深度学习分割的准确度。依据深度学习分割的效果决定选择深度学习分割还是手动分割,分割完成后进行手工修复以纠正深度学习分割或手动分割的错误,最终得到褐飞虱内部组织和器官的精确模型。

图2 原始Micro CT图像的三维建模流程Fig.2 3D reconstruction procedures of the original Micro CT images

2.1.1 原始数据预处理

受样品自身姿态和上样装置的影响,样品的XY平面与样品Z轴会存在一定的倾斜,使得组织特征无法被明显识别,影响后续分割的精准性。所以,对采集到的Micro CT原始数据进行姿态矫正是建模前原始数据预处理中不可或缺的一步。图3A1~A3是未进行姿态矫正的原始Micro CT图像,图3B1~B3是进行姿态矫正后的Micro CT图像,可以看出校正后的图像中褐飞虱内部组织呈对称分布,组织特征更为明显。

图3 样本姿态矫正前(A1~A3)和姿态矫正后(B1~B3)的Micro CT图像Fig.3 Micro CT images before sample position correction(A1-A3)and after sample position correction(B1-B3)

Micro CT利用不同组织对X射线吸收的差异,将组织的密度进行量化处理后转化为阈值,并直接作为图像灰度密度值输出。切片图像序列组成的数据体位深通常为8 Bit(256 个灰度级数)或者16 Bit(65 536个灰度级数)。位深越高,图像所记录的灰度级数就越高,包含的密度信息也就越多,更有利于图像分割,因此本研究使用16 Bit 来保存重建后的切片图像。在Dragonfly 软件中进行深度学习图像分割时,基于分割区域的有效灰度密度值通常仅占总灰度级数的一小部分,为充分利用灰度密度的动态范围和提高深度学习模型对灰度数据的识别能力,需要对原始输出图像的灰度密度值采取进一步的归一化处理。具体来说,本研究发现包含有褐飞虱组织的灰度密度值主要位于[0,20 000]这一灰度区间,因此先将数据体中灰度密度值超出20 000的值替换为20 000,再将替换后的数据体灰度密度值通过线性转换使其范围拉伸至[0,65 536]。从图4 中可以看出,有效信号放大后的数据灰度密度直方图(图4B)相对于此前(图4A)明显向右拉伸,表明实际有效的数据所占据灰度密度更多。

图4 有效信号放大前(A)和有效信号放大后(B)的灰度密度直方图Fig.4 Gray density histograms before effective signal amplification(A)and after effective signal amplification(B)

2.1.2 深度学习模型的训练和评估运用

深度学习是以不少于2个隐含层的神经网络对输入进行非线性变换或表示学习的技术。该技术通过构建深层神经网络进行各项分析活动,被广泛应用在图像识别和语音识别中[16]。褐飞虱肌肉组织具有较好的对称性,是较为合适的深度学习样本。因此,以褐飞虱肌肉组织为例,使用Dragonfly 软件进行深度学习模型的训练,以通过少量切片上的标记得到一个可以自动分割本数据体中所有其他切片图像的模型。使用画笔创建绘制不同Z轴位置的X-Y平面褐飞虱肌肉组织的ROI,尽可能选取差异较大的图片绘制ROI以作为输入数据,为深度学习模型训练提供更多的信息。输入的训练数据如图5 和表2所示,沿Z轴方向选取5张代表性切片,目标ROI使用绿色标记,剩余区域为背景ROI,使用紫色标记。

表2 训练数据相关的体素信息Table 2 Voxel information related to training data

图5 训练数据的相关位置信息Fig.5 Related position information of training data

利用模型生成器生成深度学习模型,模型架构为U-N,把同一数据体中与标记切片相邻的若干张切片同时作为模型输入(即Dragonfly 软件中的2.5D 维度),相邻切片图像设置为3,深度学习模型训练参数设置见表3。使用Dragonfly 软件的智能分割向导工具(Segmentation Wizard)时,所有手动标记的训练数据会被分为训练集、验证集、测试集3个部分,训练集用于深度学习模型的直接训练,验证集用于对模型进行调控以减少过拟合[17],测试集用于对训练完的模型进行评分(测试集数据完全不参与模型训练)。输入的5 个样本被软件划分为41个可用图像块(Patch),其中32 个用于训练,7 个用于验证,2个用于测试。为了增加训练数据量,软件使用数据增强功能对原始训练集进行翻转、旋转和扭曲等变形处理以扩充Patch数和提高模型的泛化性。在执行移动步长(stride ratio)=0.25以及图像个数增加20 倍之后,实际用于训练模型的训练集Patch数目达到6 321个。

表3 深度学习模型训练参数Table 3 Training parameters of deep learning model

用训练集损失值和验证集损失值绘制损失函数曲线以评估深度学习训练网络的动态趋势,结果如图6 所示。当循环次数为1~20 时,随着训练循环次数的增加,训练集损失值和验证集损失值整体呈下降趋势,表明深度学习训练网络正常。在循环次数达到20以后,训练集损失值和验证集损失值趋于稳定,代表深度学习训练网络达到优化瓶颈(图6A)。为了得到直观的训练网络展示效果,可在Dragonfly软件中选取一张图片作为“视觉监控”(监控图片无需手工标记),每次循环后深度学习模型会基于训练结果对该图片进行预测,直接展现深度学习模型训练后的分割效果。监控图结果如图6B 所示,C0 图中红色标注为人工绘制的目标区域,C1~C30代表循环第1—30次后深度学习模型识别目标区域的效果。

深度学习模型最初完全无法识别出目标ROI(绿色),随着训练次数的增加,识别的精度逐步提高。当循环次数达到25时,通过监控图可以看出深度学习的结果和手动分割的结果相当接近,代表此时的模型已经可以用于下一步的分割(图6B)。终止学习后,软件会自动对训练后的深度学习模型在测试集上计算Dice分数作为评分,此模型评分结果为0.96(满分为1)。将该模型应用于褐飞虱数据体输出深度学习提取的褐飞虱肌肉ROI(图7)。需要注意的是,本案例中深度学习模型只在这一个数据体的少量切片上进行训练从而提取这一个组织结构,因此该模型只能用于本数据体对应组织的分割,不具有更高的泛化性。更改输入数据(如其他昆虫的数据体)或更改分割组织(例如中枢神经系统),都需要重新进行深度学习模型的训练。此外,利用深度学习分割的方法并不一定适用于所有组织,对于某些组织来说,花费在训练高性能模型所需的时间成本可能超过直接对完整数据体进行人工分割。因此,在深度学习训练分割不能快速达到理想效果时,我们转为基于画笔、轮廓线、插值等传统方法的手动分割。

图6 深度学习模型对应的损失函数曲线(A)和监控图(B)Fig.6 Loss function curve(A)and monitoring pictures(B)of deep learning model

2.1.3 手工修复与立体模型优化

深度学习的运用简化了烦琐耗时的ROI提取过程,但其最终的输出结果仍会存在部分偏差,例如缺失标记和多余标记。人工分割也会存在绘制时的笔误。因此,为进一步提高ROI模型的精确性,深度学习分割或人工分割的结果都需要进行手工修复,即使用3D 画笔填补ROI 缺失部分,擦除多余部分;使用Dragonfly 软件中的ROI 修复程序过滤掉小体积的孤岛ROI,利用平滑算法优化ROI,最后将ROI导出为网格(mesh)。各个阶段产生的结果如图7所示,从左到右依次为深度学习模型分割的肌肉ROI(绿色)、经过手工修复的ROI(紫色)、平滑后的ROI(橙色)和最终的肌肉网格(mesh)模型(黄褐色)。

图7 手工修复与立体模型优化阶段的肌肉模型输出结果Fig.7 Muscle model output results from manual repair and stereological model optimizing stages

2.2 褐飞虱三维模型

依据上述分割流程,重建了褐飞虱体内的中枢神经系统、肌肉组织、消化道和生殖系统(图8)。其中,中枢神经系统、消化道和生殖系统利用深度学习模型未能得到很好的分割效果,故以人工方式进行分割。肌肉组织则采用训练好的深度学习模型进行分割。将深度学习分割和人工分割的结果经人工矫正和立体模型优化后,得到了褐飞虱的中枢神经系统、肌肉组织、消化道和生殖系统的网格模型,并制作展示视频(图8中二维码)。

在褐飞虱中枢神经系统中,其头部复眼视叶、大脑的立体结构层次分明,咽腹侧感觉中枢通过凸缘与大脑相连。前胸神经节、中胸神经节和后胸神经节组成的胸神经节凸起明显。肌肉组织占据了胸节的主要空间,是褐飞虱运动和飞行的结构基础。不同肌肉的形态以及在体内的倾斜角度差异明显,以特定的模式排列于胸节内。食道、中肠和后肠依次相接,马氏管以一定角度环绕于中肠后端,组成消化道。褐飞虱雄性生殖系统模型内,精巢和输精管堆叠于附腺上方,射精管从中伸出。褐飞虱雌性生殖系统模型内,卵巢中可见发育时期不同的卵,侧输卵管位于卵巢的下方,向前汇聚与中输卵管相连(图8)。在得到不同组织和器官的三维模型后,利用Dragonfly软件的测量功能统计模型对应的体积,结果见表4。需要指出的是,本测量结果仅反映单个褐飞虱样本的情况,不具有普遍性。

表4 褐飞虱三维模型结构的体积Table 4 Volumes of structures of 3D model of BPH

图8 褐飞虱内部结构三维模型Fig.8 3D model of internal structures of BPH

2.3 三维重构系统的成本与参数比较

利用德国布鲁克公司的商业SkyScan 1272 Micro CT系统以及加拿大ORS公司的Dragonfly软件,能够实现以最低4.0 μm的像素分辨率对褐飞虱昆虫内部结构进行分析。对其相关成本进行统计估算,并基于冷冻电镜构建褐飞虱模型的成本[18],对不同重构系统的成本进行比较,结果如表5 所示。从中可知:基于Micro CT的三维重构系统的搭建费用为300 多万元,远低于基于冷冻电镜的三维重构系统所需的1 000 多万元。此外,由于冷冻电镜对样品的处理有着特殊要求,还需要采购特殊的样品处理装置(如临界点干燥仪和超薄冷冻切片机)来处理样本,这进一步增加了使用成本。但是,基于Micro CT 的褐飞虱三维重构系统在精度上最高仅能达到4.0 μm,与冷冻电镜的50 nm有着较大差距。以浙江大学仪器共享服务平台公布的信息为参考,两者使用过程中均按照扫描时间计费,使用Micro CT 为600 元/h,冷冻电镜为900 元/h。本研究扫描的褐飞虱,其单个样品扫描成本约为1 000 元。因此,基于冷冻电镜的褐飞虱三维重构的单个样本实际扫描成本为10万~20万元(表5)。由此可得,当研究的尺度位于微米水平时,Micro CT是更为经济便利的成像方案。

3 讨论

作为一种非侵入性成像技术,Micro CT 在材料、生物和医学领域得到了广泛应用。褐飞虱是一种重要的农业害虫,其内部生理结构与之危害性密切相关。因此,系统揭示褐飞虱内部生理结构将有助于揭示该物种深层次的危害机制。但采用传统的解剖学方法将组织从昆虫体内分离的同时,也破坏了组织在个体背景下的分布情况。2021 年,WANG 等[18]利用大尺度三维电镜技术重构出稻飞虱纳米级分辨率的三维结构,发布了首个纳米级的褐飞虱三维结构模型,为褐飞虱形态观察提供了新的方式。但冷冻电镜设备高昂的成本和样品处理的复杂性,使得研究者很难将该技术广泛用于褐飞虱研究结果的展示。由此,本研究以Micro CT为基础,构建了一套适用于褐飞虱的三维模型重构流程,以相对较低的成本完成了包括褐飞虱中枢神经系统、肌肉组织、消化道和生殖系统在内的立体模型构建。同时,该研究也为利用Micro CT构建其他昆虫立体模型提供了参考。

相较于传统的解剖学,Micro CT的主要优势是能够获得精确的形态信息,进而方便研究者了解昆虫内部组织和器官的正确分布位置和不同组织之间的相对位置关系。结果表明,通过合适的染色方法和组织建模流程,无需花费大量的时间和精力对昆虫进行解剖,就可以获得清晰的昆虫组织结构,并从中获得组织和器官的形态学信息。

本研究中的建模流程包括原始数据预处理,深度学习模型的训练和评估运用,人工分割、矫正与立体模型优化三大部分。经过处理后的原始数据,其信息准确度和丰度明显提升,预处理后的图像不仅有助于人工识别目标组织,也有助于深度学习模型提高识别的精确性。传统的Micro CT模型构建,需要手工绘制几百张平面图堆叠得到三维模型,而深度学习只需要输入几张人工绘制的样本,经过模型训练和应用之后就能得到近似人工分割的结果。在训练维度的选择上,使用了2.5D 维度,将当前图像的前后相邻图像也纳入训练范围,增加了立体维度的数据,为深度学习增加了更多的样本量。当训练的结果达到预期时,即可终止训练。深度学习虽然能实现自动化的分割,但受图片质量、训练次数和训练样本量等多种因素的影响,很难达到100%的精确度,因此本研究加入了人工纠错的环节,对深度学习分割的ROI 进行最后校正。需要指出的是,以目前的技术水平,深度学习分割并不能完全适用于所有的组织。对于一些不规则或者无明显特征的组织,有时经过长时间的深度学习训练也很难达到可用的分割效果。以消化道为例,其在褐飞虱体内并不如肌肉一样呈对称分布,而是盘曲环绕在腹部,对此深度学习分割难以取得较好的分割效果。相较于花费较长时间去调整参数训练深度学习模型,采用传统的人工分割时间成本更低。但进行分割时,推荐先使用深度学习进行尝试,最后考虑人工分割方案。

依据此建模流程,重构了褐飞虱中枢神经系统、肌肉组织、消化道和生殖系统的立体模型。与常规解剖相比,本研究建立的模型更为精确地展现了褐飞虱体内的三维结构,也保留了这些组织和器官的原始状态。同时,这些模型还可用于空间体积和长度的定量分析,精准记录褐飞虱生长发育中组织和器官的变化过程。

4 结论

本研究提出了一种基于Micro CT 的褐飞虱内部模型重构流程。基于该流程完成了褐飞虱体内中枢神经系统、肌肉组织、消化道和生殖系统立体模型的构建。研究结果表明,Micro CT可用于褐飞虱组织和器官级别的全背景成像,提供精确的三维形态分析,为褐飞虱的表型研究提供了一种行之有效的新方法。此方法还可以与基因突变研究结合,进行精准的形态变化的定量分析,为褐飞虱的发育提供更为丰富的信息。此外,基于全背景成像的特点,首先可以用该方法系统评估发育缺陷,然后使用高分辨率显微镜显示特定发育缺陷,实现类似光电联用显微技术的效果。

致谢浙江大学农生环测试中心理化分析室的杏朝刚老师在样本扫描方面给予了宝贵的协助和指导,特此感谢!

猜你喜欢
飞虱深度图像
50%吡蚜酮WG对水稻褐飞虱田间药效试验
褐飞虱体内共生菌多样性研究进展
巧用图像中的点、线、面解题
深度理解一元一次方程
三种稻田常见螯蜂对半翅目害虫的寄主偏好性及控害作用
有趣的图像诗
深度观察
深度观察
深度观察
广东省不同地区褐飞虱种群对呋虫胺均已产生中等水平抗性