基于最佳拼接路径的大视野显微图像研究

许阳 刘洪英 庄泉洁

摘要：图像拼接技术是大视野显微数字图像应用中的关键技术之一.随着科学技术的发展，人们更加关心大视野显微数字图像的快速而又准确的图像拼接问题.而现有的传统图像拼接方法是在图像配准之后按照固定的顺序拼接，这对显微数字图像的采集质量以及配准的准确度要求很高，一旦有误差便会沿着固定的路径累加，从而使后续的图像产生错位等问题.通过实验分析，提出了一种优化大视野图像拼接路径的方法，极大地优化了误差累积和配准失败带来的问题，有效地提高了大视野显微数字图像的拼接质量.该方法不仅可用于大视野显微图像的拼接，也适用于其他类型的图像拼接.

关键词：大视野显微数字图像;误差累积;图像配准;最佳拼接路径

中图分类号：TP751文献标志码：ADOI：10.3969/j.issn.l000-5641.2021.06.009

Research on large-field microscopic images based on the best stitching path

XU Yang1，LIU Hongying1，2，ZHUANG Quanjie2

（1. School of Communication and Electronic Engineering. East China Normal University. Shanghai 200241 China;2. Shanghai Lanche Biological Technology Co.，Ltd.，Shanghai 200240，China）

Abstract：Image stitching technology is one of the key technologies in the application of large-field microscopic digital images. The existing traditional image stitching method is to stitch in a fixed order after image registration，and once there is an error，it will be accumulated along a fixed path，thereby causing problems such as misalignment of subsequent images. In this study，through experimental analysis，a method for optimizing the stitching path of the large-field image was proposed，which greatly optimized the problems caused by error accumulation and registration failure，and effectively improved the stitching quality of the large-field microscopic digital image. This method can be used not only for the stitching of large-field microscopic images，but also for other types of stitching.

Keywords：large-field microscopic digital image;error accumulation;image registration;optimal stitching path

0引言

在計算机视觉、图像处理和计算机图形学等研究领域，图像拼接是一项研究重点，它被广泛应用于虚拟现实、医学图像处理、遥感技术和军事领域[1]。图像拼接的作用是将一系列存在关联的图像拼接成一个大视野的高分辨率图像，为图像后续的研究和识别打下坚实的基础.在医学图像处理方面，显微镜的视野较小，医师无法通过1幅图像进行诊断，所以拼接相邻的各幅图像是实现远程会诊的关键环节[2].

现有的图像拼接将研究重点放在了2张图片间的配准，忽略了大视野图像的整体拼接：在面临整体拼接时，采用事先设定的顺序同直接与上一张图片进行拼接.这种传统的按照固定顺序拼接的方法具有简单快速的特点，能完成粗略的图像拼接.但是对图像的采集质量以及配准算法的准确度要求很高，否则误差会沿着固定的路径累加，使后续的图像出现错位等问题.

本研究基于病理切片扫描仪采集图像，围绕医学显微图像的拼接展开实验.由于传统拼接方法存在缺陷，同时病理切片图像注重细节信息，它与病情的诊断密切相关，因此需要优化拼接方法.通过实验分析，本文提出了一种基于最佳拼接路径的大视野显微图像拼接方法[4]，该方法极大地优化了误差累积和配准失败带来的细节信息错位问题，有效地提高了大视野显微数字图像的拼接质量.

1系统平台及拼接方法介绍

1.1系统平台简介

病理切片扫描仪可获取数字化的病理组织切片，并对切片进行快速的扫描与拼接，从而生成完整的大视野显微图像.该系统得到了医学界的认可并被当作医学诊断的基础平台使用[5].它拥有独立色彩处理通道，确保自然准确的色彩还原和图像清晰度.

1.2图像拼接预处理

由于镜头和光源的问题，采集到的图像会出现亮度不均匀的情况[6]，这会影响图像拼接与大视野图像的效果，因此在图像拼接之前需要进行光平衡处理.具体步骤如下.

步骤一：拍摄1张空白图像和1张显微数字图像，将这2张图从RGB（Red，Green，Blue）颜色模式转换成HSV（Hue，Saturation，Value）颜色空间模型.

步骤二：分别取出2张图的亮度通道，计算显微数字图像的亮度平均值m.

步骤三：计算显微数字图像每一点的亮度L与空白图像对应点的亮度L的比值，然后与平均亮度相乘，即（L/L）×m，将该乘积值赋给显微数字图像亮度通道的对应位置.

步骤四：将显微数字图像从HSV模型转换成RGB模式，得到光平衡后的图像.

因为单张图片的对比差别较小，故选取拼接后的大视野图像为例.图1（a）为光平衡前的大视野显微图像，图1（b）为光平衡后的大视野显微图像.从图1（b）可以看到，基本消除了光分量分布不均匀的网格状现象，光平衡预处理的效果比较理想.

1.3图像配准方法

基于图像特征的配准方法有ORB[7]（Oriented FAST and Rotated BRIEF）、SURF[8-9]（Speeded Up Robust Features）、SIFT[（Scale-Invariant Feature Transform），等等[12].利用本文的图像对SURF、SIFT和GPU（Graphics Processing Unit）版本的SURF进行了测试，根据100个样本取平均，结果如表1所示.表1所示分别为配准相应步骤后得到的匹配对数量和算法的耗时，其中，SIFT耗时是SURF的近2倍，而两者最后得到的匹配对却相差无几，故两者中选择SURF算法.由于本文研究是面向病理切片扫描仪的产品化设计，故GPU版本SURF的極低耗时是一个较优的选项.

本文采用GPU版本SURF算法进行配准[13-14]：首先根据先验信息截取相邻视野图像的重叠区域，并转化为灰度图;利用SURF算法找到特征点，计算描述符;通过Brute-Force暴力匹配法得到匹配对;通过寻找最小距离来设置阈值，并通过阈值过滤得到好的匹配对;使用随机抽样一致性（Random Sample Consensus，RANSAC）算法[15]筛选得到更好的匹配对[16].图2为最后配准的匹配对图，取图像特征密集图（图2（a））和特征稀疏图（图2（b））为例.

在确定了SURF特征点匹配过程之后，为了简化寻找大视野显微图像最佳拼接路径的步骤，减少消耗的时间，本文规定拼接路径只能向右方或者向下方拓展.具体步骤：按照S形方式扫描图像，边扫描边配准，配准完之后再进行拼接;对图像分别进行top（上方）和left（左方）两个方向的配准操作，即当前图与top方向的图以及left方向的图进行配准，得到这两个方向的配准度和偏移量.图3（a）为扫描顺序示意图，图3（b）为图像配准关系的网格示意图.

1.4改进的图像拼接方法

GPU版本SURF算法匹配对的相对减少可能对传统大视野图像拼接带来误差.因此本文尝试了新的大视野图像拼接方法.图像配准之后，需要根据配准得到的偏移量按照一定的顺序拼接图像，从而得到大视野显微图像.然而在图像配准的过程中，由于样本不平整、配准误差等原因可能会导致图片配准失败，即得不到配准度和偏移量，从而影响到大视野图像的拼接.本文动态地赋予了这些配准失败的图像1组补偿值[3].经过实验观察与分析，补偿值获取过程如下.

步骤一：读取整个大图像的行数和列数，然后遍历所有的小图像，分别得到top方向偏移量在每一行图像中的平均值，以及left方向偏移量在每一列图像中的平均值.

步骤二：若某一图像的left方向配准度为0，则令它的left方向偏移量等于left在当前列图像中偏移量的平均值;若某一图像的top方向配准度为0，则令它的偏移量等于top在当前行图像中偏移量的平均值.

步骤三：若当前行的图像top方向配准度均为0，得不到偏移量，则令当前图像的top方向偏移量等于配准度最大行的top方向平均偏移量;若当前列的图像left方向配准度均为0，得不到偏移量，则令当前图像的left方向的偏移量等于配准度最大列的left方向的平均偏移量.[3]

设置补偿值后，可以减小配准失败带来的误差，然后根据偏移量来拼接大视野显微图像.本文通过寻找最佳拼接路径的方法来拼接大视野显微图像.步骤如下.

步骤一：按从左至右从上至下的顺序读取图像，先读取第一张图像，若后续读取的图像为第一行或者第一列的，则按照默认方法拼接，即第一行的图像用left方向的偏移量来拼接，第一列的图像用top方向的偏移量来拼接;同时每一张图按照它相对于第一张图的拼接路径，记录下路径上的累积配准度以及累积偏移坐标.

步骤二：非首行且非首列的图像从top和left两个方向的配准度来判断，本文设置判断标准配准度为T，取top和left中T较大的方向来拼接图像;当left和top方向的T不均大于0时，若left方向的标准T为0，则取top方向来拼接;其余情况，选择left方向拼接;然后按照当前图像相对于第一张图的拼接路径，记录下路径上的累积配准度以及累积偏移坐标.

步骤三：通过累积偏移坐标确定当前图像相对于第一张图像的位置，逐步处理每张图像从而完成大视野图像的拼接.

2拼接效果分析

本文实验采用肝脏肿瘤细胞的图像作为研究对象.采集图像后对其进行光平衡预处理;然后进行配准得到一系列的配准度与偏移量;设置一些补偿量，而后根据最佳拼接路径方法，完成拼接并显示图片.

2.1图像数据来源及实验条件

实验的载玻片样本为网上购买的肝脏肿瘤细胞样本，图像采集用的是杭州图谱BigEyelOOOO kpa相机.

硬件环境：运行实验的计算机CPU为Intel （R）Core （TM）i7-6700HQ CPU @2.60 GHz;GPU为NVIDIA GeForce GTX 960M;内存为8.00 GB.

软件环境：操作系统为Microsoft Windows 10专业版（64位）;程序运行平台为Visual Studio 2019;还使用了OpenCV库和MFC库.

2.2拼接效果定性分析

本文对最佳拼接路径方法的标准展开了探索.经过实验分析与筛选得出了2种配准度标准（T），分别为T=T和T=T×T其中，T为累积配准度，T为相邻配准度.分别对这2种配准度标准方法以及传统拼接方法进行了实验分析.传统拼接效果如图4（a）所示;T=T的最佳路径方法效果如图5（a）所示;T=T×T的最佳路径方法效果如图6（a）所示.要想更好地体现拼接效果，可在图4（a）、图5（a）、图6（a）这3幅图中增加图中错位拼接处的放大图，便能更清楚地看到拼接效果.由图4（b）、图5（b）、图6（b）这3幅图可以看到，3种方法的效果图大致上差不多，没有严重的拼接错误.但是观察放大的局部区域细节，可以发现，传统图像在小细胞和杂质的拼接上出现了明显的错位现象;而T=T的最佳路径方法在较小的细胞拼接上也出现了一些错位现象;相比之下，T=T×T的最佳路径方法拼接效果较理想，基本没有错位现象.

2.3拼接效果定量分析

因为图像拼接的效果评判没有金标准，故本文尝试了自定义的标准.经过100组的实验尝试与分析取平均，得到了表2所示的数据.表2中，拼接路径上配准失败的匹配对数量为C，拼接路径上配准对总数为C，失误率P=（C/C）×100%.由于载玻片样本不是理想的平整和配准算法不够完美等原因，拼接路径上存在配准失败的配准对[17].但是以表2数据而言，2种最佳拼接路径方法与传统拼接方法相比，均较好地降低了失误率，其中，标准T=T_d方法的失误率最低.图像配准的连线图如图7（a）所示，若2幅图像配准成功则画1条绿线;传统图像的拼接路径如图7（b）所示;标准为T=T的拼接路径如图7（c）所示;标准为T=TT的拼接路径如图7（d）所示.

根据实验结果分析可得：传统方法的拼接路径上存在配准失败的配准对的概率较大，同时又不能很好地处理配准失败的情况，导致误差的积累而存在的较大失误率;而标准为T=T的最佳路径方法，兼顾了相邻图像的配准权重和路径上的累积权重，降低了拼接路径上存在配准失败的配准对的概率，同时利用本文的补偿值处理配准失败的图像，最终得到了较小的失误率，进一步提升了拼接图像的质量.

2.4拼接效果对后续分类算法的影响

在病理切片扫描仪的实际应用中，会利用拼接后的图像进行细胞的分类与识别，从而进行病理诊断，所以对拼接效果有较高的要求.如果拼接效果不佳，可能会影响病理诊断的结果，造成不可估量的损失.因此，本文从定性和定量这两个方面进行了综合分析，最终选用了标准T=TT的最佳拼接路径方法，较好地提升了拼接图像的质量.

3总结与展望

本文首先说明了传统图像拼接方法的缺陷，研究了图像的配准方法以及补偿值的设置方法;然后提出了优化大视野图像拼接路径的方法，这种方法包括相邻配准度和累积配准度两个指标;根据多次实验的数据结果分析以及不断地改进，最终找到了合适的判断标准，有效地提升了大视野显微数字图像的拼接质量.

从本文实验中，也看到了现有技术的缺陷以及未来的发展前景.现有的病理显微图像配准还是基于传统图像处理的，而类似于本文实验的图像，即很多显微图像的配准区域大多是点状的物质，没有明显的特征，这便为目前流行的基于特征点的匹配算法带来了考验[17].以本文的SURF配准算法为例，本文的3个步骤筛选特征对的同时不可避免地删去了某些正确的特征对，甚至可能保留了某些错误的特征对.针对此类问题，已有学者初步确定了基于神经网络的显微图像配准的研究方向[18-20]，相信通过合理的数据处理以及网络结构调整，能够较好地提升显微图像配准的质量，为病理诊断的发展注入更多的动力.

[参考文献]

[1]王鸿.图像拼接方法及其应用研究[D].长沙：中南大学，2013.

[2]叶志前，吴昊.基于特征点的病理切片图像拼接算法[J].生物医学工程学杂志，2010，27（5）：984-986.

[3]刘炳宪，谢菊元，王焱辉，等.一种图像拼接方法：CN108537730A [P]. 2018-09-14.

[4]许阳，刘洪英，庄泉洁，等.一种大视野图像拼接路径的优化方法：CN110689511A [P]. 2020-01-14.

[5]黄永祯.病理切片数字显微成像光学系统的研究[D].南京：南京理工大学，2014.

[6]吴金杰.一类照度不均匀图像的拼接技术研究[D].杭州：杭州電子科技大学，2012.

[7]RUBLEE E，RABAUD V，KONOLIGE K，et al. ORB：An efficient alternative to SIFT or SURF [C]// 2011 International Conference on Computer Vision. IEEE，2011：2564-2571. DOI：10.1109/ICCV.2011.6126544.

[8]张锐娟，张建奇，杨翠.基于SURF的图像配准方法研究[J].红外与激光工程，2009，38（1）：160-165.

[9]LOWE D G. Distinctive image features from scale-invariant keypoints [J]. International Journal of Computer Vision，2004，60（2）：91- 110.

[10]肖健.SIFT特征匹配算法研究与改进[D].重庆：重庆大学，2012.

[11]LIU L，ZHAN Y Y，LUO Y，et al. Summarization of the scale invariant feature transform [J]. Journal of Image and Graphics，2013，18（8）：885-892.

[12]孙奇.基于特征的图像配准方法的研究与实现[D].沈阳：沈阳航空航天大学，2014.

[13]柴政，刘任任，梁光明.基于机械扫描与改进SURF的显微图像拼接算法[J].计算机技术与发展，2019，29（11）：97-101.

[14]BAY H，TUYTELAARS T，GOOL L. SURF：Speeded up robust features [C]// Proceedings of the 9th European Conference on Computer Vision. Berlin：Springer，2006：404-417. DOI：10.1007/117440232.

[15]谷宗運，谭红春，殷云霞，等.基于SURF和改进的RANSAC算法的医学图像配准[J].中国医学影像学杂志，2014，22（6）：470-475.

[16]FISCHLER M A，BOLLES R C. Random sample consensus：A paradigm for model fitting with applications to image analysis and automated cartography [J]. Communications of the ACM，1981，24（6）：381-395.

[17]马兴民.图像配准若干关键技术研究及应用[D].北京：北京科技大学，2019.

[18]卢佳毅.基于卷积神经网络的肺部CT图像配准方法[D].武汉：华中科技大学，2019.

[19]YI K M，VERDIE Y，FUA P，et al. Learning to assign orientations to feature points [C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE，2016：107-116. DOI：10.1109/CVPR.2016.19.

[20]CAO X H，YANG J H，GAO Y Z，et al. Region-adaptive deformable registration of CT/MRI pelvic images via learning-based image synthesis [J]. IEEE Transactions on Image Processing，2018，27（7）：3500-3512.

（责任编辑：李艺）