医疗器械中的图像拼接质量评价方法

王浩，孟祥峰，刘艳珍，任海萍

中国食品药品检定研究院 光机电室，北京 100050

医疗器械中的图像拼接质量评价方法

王浩，孟祥峰，刘艳珍，任海萍

中国食品药品检定研究院 光机电室，北京 100050

目的开发不同的计算方法，对图像拼接的质量进行评价，为逐步建立医疗器械检验检测中图像质量评价的规范提供依据。方法以显微镜成像为例，在原始图像内部、粗糙拼接图像边界和改善后的拼接图像边界上分布计算了拼接图像边界的二范数误差和相关系数，通过散点图观察计算结果的分布。结果图像边界的二范数误差和相关系数的分布可用于区分粗糙拼接和平滑拼接。结论本文研究了图像拼接面临的问题和量化评价方法，提出了用分类方法评价拼接质量的可行性，为探索客观的评价指标提供参考。

医疗器械；质量控制；医学成像；图像处理

引言

图像拼接[1-3]是成像、广播电视、计算机视觉等领域较为常见的方法，顾名思义，主要作用是将空间位置相邻的多幅图像合并成一幅图像，从而扩大成像范围。图像拼接克服了成像设备视野的局限性，在地理测绘、卫星遥感、工业成像等方面扮演着重要角色[4]。在医疗器械领域中，它的作用同样显著，典型应用包括激光共聚焦显微镜、共聚焦内窥镜、超声、光学相干断层成像、病理切片扫描等设备[5-9]。

图像拼接的具体实现方法有很多，基本的前提是相邻两幅图像存在部分重叠。使用仿射变换、最小二乘、最大似然法等算法[10-11]，可以对两幅图像边界附近的细节特征进行匹配，找出最相似的结构，从而确定重叠区域的范围。使用线性插值、样条曲线拟合等方法将重叠区域进行平滑，即可完成两幅图像的拼接。在医疗器械领域，图像拼接的质量影响最终的诊断或治疗效果，应作为医疗器械有效性的一方面进行考察。然而，目前医疗器械质控领域并没有针对图像拼接的评价标准和方法。

本文从医疗器械质控的角度出发，分析了图像拼接技术的应用情景，列举了图像拼接面临的误差或风险来源，讨论了图像拼接现有的评价方法，定量地比较了图像拼接边界与图像内部的差异，提出了一种新的图像拼接的检验方法，为进一步探索如何建立图像拼接的评价规范提供了参考思路。

1 医疗器械中图像拼接的风险来源

1.1 应用情景分析

医疗器械中的图像拼接应用情景，根据成像目标区域可以简单地分为两大类：平面扫描和曲面扫描。

平面扫描指的是对一个平面进行成像，例如载玻片、组织切片等。平面扫描在显微镜、体外诊断设备领域较为多见，以共聚焦显微镜、病理切片扫描仪为代表。这些技术获得的图像直观，但视野小，需要借助于图像拼接实现大范围成像。B型超声也可以看作平面扫描的一种，用图像拼接技术扩大视野。

曲面扫描指的是对一个曲面进行成像，例如人体各种腔道如血管、消化道、呼吸道的表面。曲面扫描在内窥镜领域较为多见，尤其是探头本身进行螺旋运动的情况，例如光学相干断层成像、超声内镜、共聚焦内窥镜等。这些技术可以快速得到组织断面图像，需要借助于图像拼接技术重建表面信息。传统的电子内窥镜虽然也对曲面进行成像，但对图像拼接的需求较弱，后文不展开讨论。

1.2 图像拼接误差来源

在实际的成像过程中，探头的不规则运动会引起分辨率、对比度、亮度、成像重叠区域等参数的波动，从而给图像拼接带来误差，以下举例说明。

病理切片扫描过程中发生的分辨率变化，见图1。虚线左边可以清晰地看到丝状的蛋白纤维和细胞核，而虚线右边明显出现了模糊。

图1 成像过程中的分辨率变化（病理切片扫描为例）

共聚焦显微镜进行自动扫描和拼接后得到的组织切片的白光图像，见图2。可以看到各扫描区域有明显的马赛克效果，边界明暗变化显著，可能是组织切片跟焦平面存在一定的夹角，使光照呈现结构化的差异。

荧光显微镜拼接后的图像，见图3。由图可以看到虚线方框内的区域亮度弱于周围，可能是成像过程中该区域偏离焦点造成的。

OCT成像过程中的旋转失真，见图4。在图像上0度角方向可以看到环形区域未重合。虽然该问题由曲面扫描产生，但同样会给平面上的图像拼接带来误差。

从以上各种误差的示例来看，图像拼接质量评价应关注拼接边界两边的平滑性、重合性、分辨率和对比度的一致性。

2 评价方法

2.1 主观评价

图像的评价最直观的实现是人眼的观察，即主观评价。它在图像评价领域使用较早，影响较大，典型代表是国际电讯联盟的ITU-R BT.1788《对多媒体视频应用中视频质量的主观评价方法》。我国从GB/T 7401-1987《彩色电视图像质量主观评价方法》开始采用基于主观评价的五级评价方法，其中的五级损伤法被后续一批图像和视频相关标准沿用，例如GY/T134-1998《数字电视图像质量主观评价方法》、GB50348-2004《安全防范工程技术规范》（2015年起开始修订）、GB 50198-2011《民用闭路监视电视系统工程技术规范》等。GB/T 7401-1987提供的五级损伤法的含义，见表1。

与电视和视频行业不同，医疗器械中的图像对比度、分辨率、图像特征千差万别，主观评价受个人因素影响较大。如果依据主观评价，需要耗费大量的人力和时间，并需要繁琐的比对和确认，不满足医疗器械检验检测的实际需求。

表1 GB/T 7401-1987给出的五级损伤法

图2 成像过程中的对比度波动（共聚焦显微镜为例）

图3 成像过程中的亮度波动（荧光显微镜图像为例）

图4 成像过程中重叠区域的改变（OCT图像为例）

2.2 现有客观评价方法

目前，图像评价领域较为公认的客观评价方法有以下两种[12-16]：

（1）基于像素误差的峰值信噪比（Peak Signal to Noise Ratio，PSNR）方法，用于考察图像的整体逼真程度（在GB 50198-2011中已有使用），但并不是针对图像拼接的边界。PSNR的数学表达式如公式(1)所示。

其中I、K为两幅图像的像素矩阵，M、N为图像的行数和列数，n为图像的位深。

（2）基于结构相似度的SSIR方法，数学表达式如公式(2)所示。它由图像的平均值、对比度和互相关系数共同决定，其中x、y为两幅图像的像素矩阵，μx、μy为两幅图像的平均值，σx、σy为两幅图像的标准差，σxy为两幅图像的协方差，C1、C2为常数。SSIR方法在文献中的结果比PSNR更接近主观评价，但依然体现图像整体而不是拼接区域的质量。

2.3 基于分类的边界评价方法

直接评价拼接边界质量的计算过程分为如下主要步骤：

（1）计算拼接之后边界两侧的相关系数和2-范数误差，2-范数误差计算公式为：

其中u、v为图像上相邻的两条线，M为线的维度。

（2）以相关系数为横坐标，2-范数误差为纵坐标，绘制散点图。

（3）在各图像内部中心位置计算相邻两条线的相关系数和2-范数误差，通过联合分布（散点图）开展比对。在不考虑成像过程的跳变和中断情况下，图像内部中心位置可看作理想的图像拼接。

选取显微镜作为示例，由210幅单独的图像（7×30）拼接成一个组织切片的整体图像。每个单独的图像为512×512像素。图5所示为显微镜自动生成的原始拼接图像，在边界上图像有中断和跳变，对比度变化明显。

经过计算，边界和图像内部的相关系数和2-范数误差的散点图，见图6。图像内部和拼接边界的分布截然不同，可以用二次曲线进行判别分析，得到灵敏度和特异性均为100%，这说明在图6的拼接效果下，边界与图像内部在相关系数和2-范数误差上有显著区别。

作为改善，参考业内常见的算法[17-18]，选用仿射变换和线性拟合法对图像重新进行了拼接处理，整体结果，见图7，具体细节上的比较，见图8。可见改善之前，图像在第一行、第二行均有明显的漂移，边界明暗变化剧烈；改善之后图像边界平滑，图像结构完整。当然，图像上依然有平滑和插值的痕迹，但不影响图像信息的辨识。

经过计算，重新拼接后的散点图，见图9。拼接边界和内部的相关系数、2-范数误差的分布大量重叠，使用二次曲线进行判别分析，发现灵敏度和特异性均低于50%，说明边界的连续性和图像内部难以区分，边界拼接的效果得到了显著提高。

根据上述结果可见，边界拼接越粗糙，边界与内部的2-范数误差和相关系数的散点分布距离越大，容易区分；反之，边界拼接越自然平滑，边界与内部的2-范数误差和相关系数的散点分布越接近，难以区分。这在客观上有助于评价图像拼接的效果，也符合主观观察的结果。

图5 显微镜生成的原始拼接图像

图6 原始拼接图像的散点图

图7 重新拼接后的图像

图8 拼接改善前后的局部比对

图9 图像重新拼接后的散点图

3 讨论

从医疗器械质控的角度看，图像拼接的评价主要围绕预期用途来考虑，检验检测需要一个客观的阈值来判断评价结果通过与否，因此难以用图像领域传统的主观分级方法。

对整张图像进行拼接质量评价的金标准，是可溯源的同尺寸同分辨率图像，需要制备相应的标准板，并进行成像和图像的标定。对于显微镜等高分辨率设备而言，标准图像的获取过程可能同样需要图像拼接方法，因此基于图像整体的评价方法的研究有待加强。现有的光学成像分辨率板虽然可以提供标准的分辨率和图形结构，但分辨率数量级变化较大，边界设计过于简单，不完全符合拼接质量评价的需求。超声成像分辨率体模存在类似的问题。

用相关系数和2-范数误差两个量化指标对图像拼接的质量进行评价的思路，主要是基于图像的拼接边界信息，一方面考虑图形结构的相似性；另一方面兼顾图像亮度、对比度方面的一致性。从硬件成像的过程来看，图形结构的相似性反映了成像系统移动路径的重复性和定位精度，路径的漂移量越大，拼接的边界两侧对应的位置差异越大，反之亦然。图像的亮度、对比度反映了成像探头到物体的距离和功率的稳定性。

在基于2-范数和相关系数边界评价算法进行的初步测试中，边界的位置是预先设定的，左右两侧明确属于不同的子图像。在实际使用中，不同的图像拼接算法可能影响最终图像尺寸造成，使边界位置发生变化。如何定义图像边界位置并评价边界拼接质量，需要对更大的区域开展分析，对现有算法进行升级。

现有结果初步说明图像拼接质量的评价可以转化为分类问题，下一步还需要建立数据库系统，在医学成像领域各分支收集拼接前后的图像，建立训练集，开发分类算法，探讨建立具有普遍性的分类器的可能性。

4 结论

针对医疗器械检验中的图像拼接质量评价问题，本文用拼接边界两侧的图像矢量计算相关系数和2-范数误差，发现二者的联合分布能揭示不同拼接质量的区别，初步说明统计分类的方法有助于建立客观的图像拼接质量评价指标。本研究下一步需要在更多更复杂的图像支持下开展深入研究。

[1] Szeliski R.Image alignment and stitching: A tutorial[J].Foundat Trend Comp Graph Vision,2006,2(1):1-104.

[2] Chen C,Klette R.Image stitching-comparisons and newtechniques[A].Proceedings of the 8 th International Conference on Computer Analysis of Images and Patterns[C].London: springer-Verlag,1999:615-622.

[3] Lensch HPA,Heidrich W,Seidel HP.Automated texture registration and stitching for real world models[A].Computer Graphics and Applications 2000 Proceedings[C].New York:the Eighth Pacific Conference on IEEE Xplore,2000:317-452.

[4] Ghosh D,Kaabouch N.A survey on image mosaicing techniques[J].J Visual Commun Imag Repres,2016,34(c):1-11.

[5] Thevenaz P,Unser M.User-friendly semiautomated assembly of accurate image mosaics in microscopy[J].Microsc Res Tech,2007,70(2):135-146.

[6] Chang R,Changchien K,Takada E,et al.Rapid image stitching and computer-aided detection for multipass automated breast ultrasound[J].Med Phys,2010,37(5):2063-2073.

[7] Emmenlauer M,Ronneberger O,Ponti A,et al.XuvTools: free, fast and reliable stitching of large 3D datasets[J].J Micr, 2009,233(1):42-60.

[8] Ouyang M,Jeng W,Wu Y,et al.Image stitching and image reconstruction of intestines captured using radial imaging capsule endoscope[J].Opt Engin,2012,51(5):057004-1-057004-9.

[9] Wang L,Traub J,Weidert S,et al.Parallax-free long bone X-ray image stitching[A].International Conference on Medical Image Computing and Computer-Assisted Intervention[C]. Berlin:Springer-Verlag,2009:173-180.

[10] Zhang F,Liu F.Parallax-tolerant image stitching[A].IEEE Conference on Computer Vision and Pattern Recognition[C]. New York:IEEE,2014:3262-3269.

[11] Brown M,Lowe DG.Automatic Panoramic image stitching using invariant features[J].Int J Comput Vis,2007,74(1):59-73.

[12] 万国挺,王俊平,李锦,等.图像拼接质量评价方法[J].通信学报,2013,34(8):76-81.

[13] Huynh-Thu Q,Ghanbari M.Scope of validity of PSNR in image/ video quality assessment[J].Elect lett,2008,44(13):800-801.

[14] Silvestreblanes J.Structural similarity image quality reliability determining parameters and window size[J].Sign Proc,2011,91(4):1012-1020.

[15] Zou L,Chen J,Zhang J,et al.Assessment approach for image mosaicing algorithms[J].Opt Engin,2011,50(11):0501.

[16] Wu X,Peng J,Shan J,et al.Evaluation of semivariogram features for object-based image classification[J].Geospat Inform Sci, 2015,18(4):159-170.

[17] Qu Z,Lin S,Ju F,et al.The improved algorithm of fast panorama stitching for image sequence and reducing the distortion errors[J].Math Prob Engin,2015:1-12.

[18] Shaikh TS,Patankar AB.Multiple feature extraction techniques in image stitching[J].Int J Comput Appl,2015,123(15):29-33.

本文编辑 袁隽玲

Quality Evaluation Method of Image Stitching in Medical Device

WANG Hao, MENG Xiang-feng, LIU Yan-zhen, REN Hai-ping

Division of Active Medical Device and Medical Optics, National Institutes for Food and Drug Control, Beijing 100050, China

ObjectiveTo establish standard method for providing information to assess image stitching in medical device testing based on developing different calculation methods to evaluate the quality of image stitching.MethodsTaking microscopy as an example, this paper calculated 2-norm and correlation coefficients on the borders of original image interior border, roughly stitched image and improved stitched image. The results were shown in scatter plots.ResultsThe distribution of 2-norm and correlation coefficients on the image border could be used to differentiate rough stitching and smooth stitching.ConclusionThis paper studied the problems and quantified evaluation method, and proposed the feasibility to use classification method for evaluation. It provides reference for further exploration of quantified evaluation parameters.

medical device; quality control; medical imaging; image stitching

TH772; TH776

A

10.3969/j.issn.1674-1633.2017.08.006

1674-1633(2017)08-0020-04

2017-06-14

2017-06-26

国家科技支撑计划项目（2015BAI43H00）；中国食品药品检定研究院中青年基金项目（2015C02）。

任海萍，主任技师，主要研究方向为生物医学工程，医疗器械检定。

通讯作者邮箱：renhaiping@nifdc.org.cn