基于专利文献的胶囊内窥镜图像诊断技术进展

陈淑珍

摘  要： 胶囊内窥镜所拍摄的图像通常由医生进行阅片获得诊断结果，为了便于医生诊断，对胶囊内窥镜拍摄的图像进行处理以辅助诊断具有重要意义。为了分析胶囊内窥镜图像诊断技术的发展现状，本文首先分析了胶囊内窥镜领域全球专利申请人分布，进而选取全球专利申请量最大的申请人作为分析对象，对其在胶囊内窥镜图像诊断方面的技术进行深入分析。通过本文的分析，希望有助于本领域人员进行胶囊内窥镜的研制。

关键词： 胶囊内窥镜;图像诊断;专利分析

中图分类号： TH776;TP39    文献标识码： A    DOI：10.3969/j.issn.1003-6970.2019.07.024

【Abstract】： The images taken by capsule endoscope are usually read by doctors to obtain the diagnosis results. In order to facilitate the diagnosis， it is of great significance to process the images taken by capsule endoscope to assist the diagnosis. To analyze capsule endoscope image diagnosis technology development present situation， this article first analyzes the applicant distribution of patent applications in global， and then the applicant with the largest number of patent applications in the world was selected as the object of analysis， analyzing the technology of image diagnosis of the applicant with the largest number. The analysis in this paper is expected to be helpful to the development of capsule endoscope.

【Key words】： Capsule endoscope; Image diagnosis; Patent analysis

0  引言

胶囊内窥镜，又称无线胶囊内窥镜或者胶囊内镜，是人体消化道系统疾病检查中经常使用的检查仪器，其基本功能是：通过使用者的口部吞咽进行消化道，无创地拍摄消化道系统（包括食道、胃、小肠、大肠等）的图像，并且利用计算机软件进行图像分析，进而为医生进行消化道系统疾病的诊断提供帮助。

对于胶囊内窥镜拍摄的一系列图像，通常由医生进行观察阅片而给出诊断结果，但是拍摄的图像通常有上万张，医生在阅片过程中容易疲劳且容易漏诊，因而本领域专家学者对胶囊内窥镜的计算机图像处理技术进行研究以辅助医生进行诊断，为了使得本领域研究人员能够更好地了解该图像诊断技术的发展现状，有必要对其进行一个深入的分析，从而有利于相关领域研究人员了解最新的技术发展动态，更好地把握技术创新突破口。

本文选用中国专利检索系统文摘数据库（CPRSABS）和德温特世界专利索引数据库（DWPI）数据库作为数据来源，检索时间截止2019年3月1日，检索以分类号结合关键词进行。对于检索得到的结果进行逐条人工去噪、标引，并且进行了胶囊内窥镜全球申请人分布的分析，同时选取了申请量排名第一的申请人对在图像诊断技术方面的专利申请进行分析，以供本领域技术人员参考。

1  胶囊内窥镜全球申请人分布

通过对胶囊内窥镜领域的全球专利申请进行统计，得到排名前三的申请人如图1所示，其中申请量最大的是日本的奥林巴斯公司（其申请量占据排名前三的申请人中总量的74%），其次是以色列的基文影像公司（GIVEN IMAGING）（其申请量占据排名前三的申请人中总量的17%），第三是德国的西门子公司（其申请量占据排名前三的申请人中总量的10%）。

可见，在胶囊内窥镜领域，全球申请量排名前三的申请人均是国外公司，主要技术创新依然掌握在国外公司手中，而日本的奥林巴斯公司从专利申请量而言占据了绝对的优势，远远超过排在后面的基文影像公司和西门子公司。基于此，本文选取奥林巴斯公司作为分析对象。

2  奥林巴斯公司的图像诊断技术分析

通过对奥林巴斯公司在胶囊内窥镜的图像诊断技术方面的专利申请进行分析，可以发现其改进的技术主题主要包括三个方面：粘膜检测、病变部位识别和重点图像挑选，如图2所示，其中粘膜检测占据35%、病变部位识别占据43%、重点图像挑选占据22%，可见更多的改进在于如何识别病变部位。下面针对各个技术主题选择一些重点专利申请作简要介绍。

2.1  粘膜检测

早在2004年，奥林巴斯公司就开始了粘膜检测的研究，JP2006166939A[1]通过判断采集的图像数据的R、G、B浓度值，进行粘膜边界的检测，进而判断是否存在不同性状的粘膜，从而用于判断是否存在巴瑞特（Barrett）粘膜。之后，CN101150977A[2]及CN101966071A[3]中，对胶囊内窥镜拍摄到的图像，根据像素的色调进行粘膜区域和非粘膜区域的区分。JP2012115342A[4]先计算图像的纹理分量，进而根据该纹理分量判别是否粘膜區域。

随着技术的发展，奥林巴斯公司开始对粘膜检测技术进一步改进，CN102697446A[5]根据图像的各个像素的特征量，判定残渣候选区域，进而识别图像中包含的结构边缘，根据结构边缘与残渣候选区域的相对位置关系判断残渣候选区域是否粘膜区域;US2010124365A1[6]对图像的每个像素的颜色特征量进行聚类分析，进而划分出粘膜与管腔内容纳物之间的边界;JP2010187756A[7]计算图像的色调和饱和度构成的颜色平面，并在该平面上进行聚类分析从而判断粘膜区域。

由此可以发现，奥林巴斯公司对粘膜的检测经历了简单的基于图像颜色、纹理的处理，发展对针对颜色、色调、结构特征等特征量作进一步分析，进而更准确地判断粘膜区域的发展阶段。

2.2  病变部位识别

病变部位识别是奥林巴斯公司在对胶囊内窥镜的图像诊断技术中研究最多的方面，其又可以分为病变部位的直接识别以及基于异常候选区域的病变部位识别。

2.2.1  病变部位的直接识别

奥林巴斯公司对病变部位的识别，早期主要根据图像的色彩、轮廓、纹理、色调等来识别病变部位：

CN101170940A[8]根据图像的各像素所表示的色彩信息、轮廓形状、纹理、浓度梯度等来识别规定的特征并检测特征图像区域，从而用于识别是否存在脏器的出血、形状异常等病变。CN101150977A[2]及CN101966071A[3]中根据图像的绿色成分的浓度值，在粘膜区域和非粘膜区域中检测出具有边缘的区域;接着，根据图像的红色成分的浓度值，判定具有边缘的区域是否为包含出血部位的区域，并将包含该出血部位的区域作为怀疑存在病变的区域。WO2006129430A1[9]中，根据图像的颜色信号来计算色调，并基于该色调判断不同图像区域之间的差别，从而识别出包括出血区的部位。CN101116608A[10]中，不仅根据图像的颜色信息检测出血部位，还附加病变标记，并且可以根据对应的病变颜色来显示病变标记。

随着技术的发展，奥林巴斯公司对图像病变部位的识别也更加准确化：CN102737388A[11]根据图像的像素值进行近似面的选择，并且根据该近似面上的值检测异常部位。JP2012238041A[12]根据图像内的边缘信息，将图像分割为分别包含多个像素的多个小区域，并且估计多个小区域分别归属于作为检测对象的特定区域的概率即归属概率，以及计算相互相邻的小区域属于特定区域及非特定区域内的相同区域的程度的连结强度，最后根据归属概率及连结强度来检测病变区域。

2.2.2  基于异常候选区域的病变部位识别

基于异常候选区域的病变部位的识别，即先对胶囊内窥镜获得的图像进行处理，识别出异常部位所在的候选区域，进而在该候选区域中再通过不同的方法查找病变部位。

这种识别方式在早期并不存在，随着技术的发展，从2008年开始，奥林巴斯公司申请了多件异常候选区域识别的专利申请：

JP2009297450A[13]的专利申请，其中计算图像的像素值，对其梯度变化进行建模，从而识别出异常部位的候选区域。CN102056530A[14]通过计算图像不同区域的光流场，并根据光流场的结果比较来检测异常候选区域。CN102254320A[15]和CN102376091A[16]中计算图像的像素值的梯度信息，并根据该梯度信息生成符合条件“区域内部不包含梯度强度为预定值以上的像素、而且区域的边界不以大于预定值的曲率向该区域内侧弯曲”的封闭区域，并且在该封闭区域内根据颜色特征量与基准颜色的偏差检测异常部位，从而能够高精度地识别出人体管腔内的病变部位。JP2012016453A[17]对各像素值的颜色要素进行形态学处理，进而识别异常候选区域。

进而，在识别异常候选区域的基础上，进行病变部位的进一步精确识别：

JP2013085718A[18]和CN103945755A[19]先识别出图像中的出泡区域，进而在出泡区域内识别异常病变部位。WO2013187206A1[20]和CN104812288A[21]中先设定检查区域，然后使用纹理特征量来识别位于检查区域内的被检查者的细微结构是否为异常。CN105828691A[22]先提取像素值比周围高的像素连续规定像素数以上的线形状的区域作为关注区域，再计算基于沿着线形状的区域的一个以上的圆弧的曲率，即曲率特征量，并根据该曲率特征量来判定关注区域内是否存在病变部位。WO2017090166A1[23]根据生物体的管腔内图像中的粘膜壁的轮廓边缘或粘膜壁的表面形状来检测异常候选区域，并根据异常候选区域的纹理信息来确定异常部位。

2.3  重点图像挑选

重点图像挑选主要便于医生更好地从众多的图像中识别出重点需要医生阅读的阳性图像，并且，可以根据识别结果对需要重点关注的图像予以放大、放慢速度等显示，进而提高医生的阅片效率和有效诊断。

JP2013030105A[24]将采集到的图像中拍入了同一对象的区域连结起来，来设定至少1个连结区域，计算连结区域的特征量，根据该特征量计算被拍入对象在各图像中汇集的程度对应的精华指标值，根据该精华指标值来检测精华图像。CN104203065A[25]中根据多个图像之间的相似度、对象物体或场景的识别处理对拍摄获得的图像进行精简，从而得到精简以后的数量减少的精简图像列。CN101170940A[8]对于正常图像和被识别出的存在病变的图像，按照不同的速率进行显示，对于正常图像，较快地进行显示，对于存在病变的图像，放慢显示速率。WO2013024687A1[26]先计算拍摄得到的图像的特征量，特征量例如可以是图像的平均颜色、平均颜色的变化量、平均亮度等，并将该特征量与基准特征量进行比较，判断是否存在阳性图像，并根据判定结果控制图像显示的模式，例如放大、缩小、改变显示速度等。

随着技术的发展，奥林巴斯公司在重点图像的挑选方面，研发出了先挑选异常图像组，进而再从异常图像组中再选取优选图像的方法：

CN106132266A[27]中根據大局类似度或者基于大局类似度的判别参数与阈值之间的比较，提取包含相同的关注区域的关注图像组，并从关注图像组中提取代表图像，其中大局类似度是指不同的关注图像之间，至少包含除了关注区域以外区域的区域之间的类似度;WO2015137016A1[28]通过拍摄得到的一系列的图像组中检测包含异常区域的图像即异常图像，并在异常图像中提取包含相同的异常区域的异常图像组，进而根据异常区域的重要度和视觉辨认性中的至少任意一方，从各个异常图像组中提取代表图像。

3  结论

在胶囊内窥镜领域，全球专利申请量最大的是日本的奥林巴斯公司，通过对奥林巴斯公司在胶囊内窥经图像诊断技术方面的专利进行分析，发现其研发重点主要包括粘膜检测、病变部位识别和重点异常图像挑选这三个方面，其中病变部位识别是研究的重中之重，包括了病变部位的直接识别和基于异常候选区域的病变部位的识别两个主题的识别方式。通过本文的专利分析，有助于相关领域研究人员了解胶囊内窥镜的行业巨头奥林巴斯公司在胶囊内窥镜图像诊断技术方面的专利技术发展现状，并有助于我国企业和研究机构在此基础上加强技术创新，寻找新的突破口，促进我国胶囊内窥镜的研制。

参考文献

[1] 奥林巴斯株式会社. 图像处理方法， JP2006166939A[P]. 2006-06-29.

[2] 奥林巴斯医疗株式会社. 图像处理装置以及图像处理方法， CN101150977A[P]. 2008-03-26.

[3] 奥林巴斯医疗株式会社. 图像处理装置以及图像处理方法， CN101966071A[P]. 2011-02-09.

[4] 奥林巴斯株式会社. 图像处理装置、图像处理方法以及图像处理程序， JP2012115342A[P]. 2012-06-21.

[5] 奥林巴斯株式会社. 图像处理装置和图像处理方法， CN102697446A[P]. 2012-10-03.

[6] Olympus corporation. Image display device， Computer Rea?dable Storage Medium Storing Image Processing Program， and Image Processing Method， US2010124365A1[P]. 2010- 05-20.

[7] 奥林巴斯株式会社. 图像处理装置以及图像处理方法， JP2010187756A[P]. 2010-09-02.

[8] 奥林巴斯医疗株式会社. 图像显示装置， CN101170940A[P]. 2008-04-30.

[9] 奥林巴斯医疗株式会社. 内窥镜诊断支持方法、内窥镜诊断支持装置和内窥镜诊断支持程序， WO2006129430A1[P]. 2006-12-07.

[10] 奥林巴斯医疗株式会社. 图像显示装置， CN101116608A[P]. 2008-02-06.

[11] 奥林巴斯株式会社. 图像处理装置以及图像处理方法， CN102737388A[P]. 2012-10-17.

[12] 奥林巴斯株式会社. 图像处理装置及图像处理方法， JP2012238041A[P]. 2012-12-06.

[13] 奥林巴斯株式会社. 图像处理装置、图像处理程序以及图像处理方法， JP2009297450A[P]. 2009-12-24.

[14] 奥林巴斯医疗株式会社. 图像处理装置、图像处理程序以及图像处理方法， CN102056530A[P]. 2011-05-11.

[15] 奥林巴斯株式会社. 图像处理装置及图像处理方法， CN102254320 A[P]. 2011-11-23.

[16] 奥林巴斯株式会社. 图像处理装置以及图像处理方法， CN102376091A[P]. 2012-03-14.

[17] 奥林巴斯株式会社. 图像处理装置、图像处理方法以及图像处理程序， JP2012016453A[P].  2012-01-26.

[18] 奥林巴斯株式会社. 图像处理装置、图像处理方法及图像处理程序， JP2013085718A[P]. 2013-07-24.

[19] 奥林巴斯株式会社. 图像处理装置以及图像处理方法， CN103945755A[P]. 2014-07-23.

[20] 奥林巴斯株式会社. 图像处理装置、图像处理方法以及图像处理程序， WO2013187206A1[P]. 2013-12-19.

[21] 奥林巴斯株式会社. 图像处理装置、图像处理方法和图像处理程序， CN104812288A[P]. 2015-07-29.

[22] 奥林巴斯株式会社. 图像处理装置、图像处理方法和图像处理程序， CN105828691A[P]. 2016-08-03.

[23] 奥林巴斯株式会社. 图像处理装置、图像处理方法以及图像处理程序， WO2017090166A1[P]. 2017-06-01.

[24] 奥林巴斯株式会社. 图像处理装置、图像处理方法和图像处理程序， JP2013030105A[P]. 2013-02-07.

[25] 奥林巴斯株式会社. 图像处理装置、程序和图像处理方法， CN104203065A[P]. 2014-12-10.

[26] 奧林巴斯株式会社. 图像管理装置、方法和读片用程序， WO2013024687A1[P]. 2013-02-21.

[27] 奥林巴斯株式会社. 图像处理装置、图像处理方法以及图像处理程序， CN106132266A[P]. 2016-11-16.

[28] 奥林巴斯株式会社. 图像处理装置、图像处理方法、及图像处理程序， WO2015137016A1[P]. 2015-09-17.