胶囊内窥镜成像技术专利分析

彭韵

(国家知识产权局专利局专利审查协作四川中心光电部，成都610200)

胶囊内窥镜成像技术专利分析

彭韵

(国家知识产权局专利局专利审查协作四川中心光电部，成都610200)

本文对胶囊内窥镜的成像技术所涉及的三个方面，即图像采集、无线通信和图像处理的主要申请人和申请两趋势进行了分析，并分析了奥林巴斯和基文两家公司在图像处理技术上不同的研发脉络，总结了胶囊内窥镜图像处理技术中研发方向。

胶囊;内窥镜;成像;专利分析

0 引言

随着生活水平的不断提高，人们的饮食结构发生改变，工作压力骤增，消化道疾病也越来越多，已成为最常见最多发的疾病之一。医生通常使用传统的插入式内窥镜进入人体消化道，探测消化道内图像信息和/或进行手术操作，然而这种传统的内窥镜尺寸较大、带有外部操作装置，插入人体肠道深处时很容易对肠壁组长造成损伤，给患者带来巨大的不适和痛苦，随着MEMS技术的快速发展，外形如吞服胶囊大小的体腔内胶囊内窥镜应运而生。胶囊内窥镜在消化道中的一个重要应用是对消化道进行拍摄成像，为医生对消化道疾病的诊断提供直观的依据，胶囊内窥镜的成像技术包括了体腔内图像的采集、通信和处理三个主要部分。

1 图像采集

胶囊内窥镜的图像采集系统主要包括照明系统、光学系统和图像传感器等三部分。由于微型机器人的体积限制，照明系统一般采用高亮度的白光贴片式发光二极管，由于电源的限制，其发光强度一般比较弱，光的照射无法及远，因此如何提高照明系统的发光强度以及照射范围和距离是照明系统的研究重点;消化道内微型机器人的图像传感器主要采用CCD(电荷耦合器件)和CMOS(互补金属氧化物半导体)两种，由于微型机器人的体积和电源的限制，尺寸更小、功耗更低的CMOS图像传感器被采用的更为普遍。而采用可旋转的或多个图像采集系统从而提高微型机器人的图像采集效率，降低漏检率，是本技术分支的发展趋势。

从图2所示的图像采集主要申请人分布情况来看，奥林巴斯、基文、富士、广州宝胆和富士能五家公司排名前5，其中又以奥林巴斯和基文公司的申请量占据垄断地位，这与奥林巴斯和基文在整个胶囊内窥镜领域所占的统治地位也是相符合的。

图1 图像采集主要申请人

图2 无线通信主要申请人

2 无线通信

胶囊内窥镜的无线通信模块包括图像信号的无线发射和控制信号的无线接收。图像信号的无线发射在胶囊内窥镜系统中占有重要的地位，图像的无线通信可以克服引线在体内牵引造成的痛苦和不便，同时微型机器人的运动灵活性也大大增加。图像无线通信的关键是图像通信的质量、图像发射电路的尺寸和功耗。微型机器人工作在人体的消化道中，由于空间位置狭小，它的图像发射电路应当尽可能的小，应由最少的元件构成。胶囊内窥镜的控制信号的无线接一般采用低频信号接收模块，其可以把便携装置的指令传送给微型机器人的控制模块，从而完成参数设定等控制工作，低频信号接收模块的芯片选择也应考虑到抗干扰、低功耗和微型化等因素。

从图4所示的无线通信主要申请人分布情况来看，奥林巴斯、基文、富士、宾得和卡普索五家公司排名前5，其中以奥林巴斯的申请量占据垄断地位，表明奥林巴斯在图像的无线通信技术上展开了大量的研发和布局，远远超过其他公司。

3 图像处理

胶囊内窥镜在检查过程中需要由检查者吞咽后，随着胃肠道蠕动拍摄整个消化道的检查图像，并通过病人随身携带的接收器接受所拍摄的图像数据，最后在终端工作站由阅片医生观察而做出诊断。胶囊内窥镜在病人消化道内存在的时间在8小时以上，检查过程中需要拍摄数万张彩色图像，其拍摄的图像本身具有大量的信息冗余，对其进行压缩和存储是图像处理中的关键技术，并且医生在阅读上万张图像时由于过长的工作时间所导致的漏诊率较高效率较低也是影响胶囊内窥镜发展与普及的重要问题，如何通过图像处理算法对冗余图像进行计算机辅助的筛选，序列图像之间的配准与融合、三维重建等，以及通过计算机图像处理技术辅助医生进行诊断，例如自动识别并标记所拍摄图像中的病灶，均是本技术分支内研究的热点。

图3 图像处理主要申请人

从图6所示的图像处理主要申请人分布情况来看，奥林巴斯、基文、富士、intromedic和卡普索五家公司排名前5，其中以奥林巴斯的申请量占据垄断地位，表明奥林巴斯在图像处理技术上展开了大量的研发和布局，而基文公司在图像处理技术上的申请量也比较突出，表明了基文公司对图像处理技术的重视程度。

4 图象处理技术重要专利分析

最终呈现给用户的是胶囊内窥镜所拍摄的图像，图像质量的好坏直接决定了用户的第一感觉，只有高质量的图像质量才能首先打动用户使用其产品，在基文公司最新的产品中，胶囊内窥镜能够以高达40帧/秒的速度采集图像，最终可获得超过30万张图像，因此如何通过计算机辅助的手段来降低医生的阅片时间，是各大公司的研发重点，本节中将深入分析奥林巴斯和基文两家公司在图像处理技术中最终呈现给用户的图像显示技术上的技术研发脉络，从而展现两家公司在技术研发和布局上的思路，总结技术发展的方向。

4.1 奥林巴斯

奥林巴斯在2004年申请了一系列关于图像浏览界面的专利。CN1777391A中公开了在图像显示装置上显示表示由胶囊内窥镜按时间序列拍摄的图像的整个摄像期间的平均颜色条。将全部摄像图像中被检验的图像，一览显示在检验图像显示栏中，算出各检验图像对应于摄像期间中的哪个时间，用平均颜色条的刻度，在该平均颜色条上以与各检验图像对应的编号进行标记显示。由此，提高拍摄体内所得的图像的检索性，并且，可容易地识别显示图像是哪个脏器的图像。

CN1777390A在图像浏览界面上设置滑块S，该滑块S能在平均颜色条上移动，随着滑块S的移动将与滑块位置对应的摄像时刻的图像显示在图像显示栏中，并将基于摄像图像数据的平均颜色显示在平均颜色条上的时间对应的位置上。

到2007～2008年，奥林巴斯基于上述图像浏览界面作出改进，提供简单的图像识别手段，根据图像的颜色信息检测图像中的病变部位(例如出血部位)，并附加病变标记，在标记显示部中以对应的病变颜色来显示病变标记，滑块不只是起到快速浏览的作用，而且滑块本身的颜色也将根据病变标记发生变化，从而更利于快速的对病变图像进行浏览。

奥林巴斯在2009年申请的三件专利中，均采用了计算机图像识别技术来辅助医生快速的定位病变图像。其中US2010124365A1通过直方图聚类来自动识别胶囊内窥镜所采集的消化道图像中的粘膜区域，其对图像中对颜色特征量的数据分布进行聚类，然后根据图像数据在颜色特征空间中的直方图的双峰性，判断构成一系列消化道内图像的各图像内的粘膜区域。CN101739659A也提供了一种根据直方图来识别粘膜区域的装置，而CN102056530A则提供了一种根据图像中的光流场来检测图像中异常区域的手段。

2010年，奥林巴斯利用颜色空间转换进行图像中粘膜区域识别，其将图像的RGB值转换为色差信号即UV值，然后将UV值转换为由色调H和饱和度S构成的颜色平面(HS颜色平面)，通过在HS颜色平面上的数据聚类来判断采集的图像是否为粘膜区域。2011年奥林巴斯进一步利用图像之中的纹理信息(CN102567988A)和形状信息(CN102525381A)进行图像识别以辅助医生进行快速阅片。

从奥林巴斯公司在计算机辅助阅片技术上技术研发的脉络来看，早期其主要利用图像的多样显示和控件技术来方便医生的浏览;其后又采用了简单的图像识别技术，例如通过颜色信息来识别出血部位，来辅助医生快速的定位病变图像;随后，花样繁多的图像识别技术，如颜色空间、纹理、形状等越来越多的信息被用于图像的识别，从而为医生提供更加准确和多样的浏览手段，进一步提高医生阅片的效率。

4.2 基文公司

基文最早在2001年就提交了一份关于图像流显示控制的专利申请，其提供了通过鼠标滚轮或者操纵杆来控制动态图像显示的技术，通过鼠标滚轮的前后滚动，控制动态图像的前进、后退以及显示速度的加速、减速等，从而为阅片医生提供了一种便捷的图像浏览方式。

随后，基文在2003年提出了双图像流的显示技术，图像流被切分为两部分，分别在两个独立的窗口中进行显示，两个窗口中可显示多种不同的内容。随后在US2004027500A1中提供了更为丰富的图像流显示方案，其中一个窗口显示原图像流，另一个窗口能够显示经过平滑、线性或非线性变换、亮度标准化等预处理的图像流，从而为阅片医生提供更加丰富的显示内容以提高阅片效率。

2004年，基文提交了三份关于图像流显示的申请。在WO2005031650A1中，图像流的显示界面中加入了与奥林巴斯的平均颜色条和滑块技术相类似的颜色条技术，颜色条位于图像流显示窗口的侧面，与奥林巴斯不同的是，基文还进一步在颜色条中加入了解剖位置的标记，或者温度、pH水平的标记，从而为阅片医生提供更为丰富的概览信息。在WO2005062715A2中，基文提供了多达16个或更多图像流同时显示的技术，原始图像流根据时间被切分为16个子图像流，从而为阅片医生一次性提供大量的图像信息，从而尽可能的减少医生的阅片时间，但是与此同时，医生的单位时间内工作强度也将大大增加。

同年，基文在丰富图像流的内容编辑上也开始发力，在US2006074275A1中，图像显示界面提供了编辑按钮，用户可以选择一些特定的编辑方法来编辑所观看的图像流，例如选择每第n个图像来供显示，其中n是根据生成所述图像的身体区域而确定的、选择与症状相关的图像来供显示、选择与预先存在的图像相似的图像来供显示、以及选择具有最佳质量的图像来供显示。

2007年基文公司在图像识别技术上进行了比较深入的研究，WO2007105213A2中，模式识别技术、图像帧的纹理(例如褶皱)提取技术被用于识别肠道中的收缩，从而辅助医生识别病变图像，在估计图像中肠道的中心位置时，其中采用了边缘检测、图像二值化以及形态学骨骼化的技术。

时隔4年后，基文在2011－2012年重新发力，继续在图像流的显示和编辑技术上展开布局。在WO2011135573A1中，用户可自由选择图像流显示的布局阵列，并且利用其功能强大的编辑滤波器，对图像流进行预先识别和分类，预先确定的标准可以包括，病理检测或解剖标志检测的度量或得分，胶囊的估算位置或区域，胶囊在优选部位的可能性，次要传感器信息，胶囊运动或可动性，胶囊方位，帧获取或传送速率等等。

基于布局阵列和编辑滤波器的结合，基文可以说是将图像流显示和编辑技术发挥到了极致，与此同时，也对阅片医生的操作熟练程度提出了更高的要求，其实际使用的体验究竟如何，还有待市场的检验。

5 结论

胶囊内窥镜的一个最主要应用就是进行消化道内成像，因此各公司的研发重点也是在成像技术上。从成像技术的三个子分支技术来看，奥林巴斯和基文两家公司在图像采集、无线通信和图像处理技术上的申请量均占据前两位，值得一提的是，国内的广州宝胆公司进入了图像采集技术申请量的前5位，并且其在2010年后的申请量与奥林巴斯基本持平，展现了国内企业在图像采集技术上与国外巨头相抗衡的实力。

在图像处理技术的研发上，奥林巴斯和基文两家公司各自展现了不同的思路，奥林巴斯在图像显示技术、图像浏览控件以及图像识别上均有所涉猎，而基文公司则专注于其图像流的显示和编辑技术，但殊途同归，两家公司最终均选择了图像识别技术作为其在计算机辅助阅片技术上的研发方向，由此可见，更加智能化的病灶部位计算机自动识别是未来辅助阅片医生快速准确的浏览图像的首选手段。

TH776+.1

A

1002－2376(2015)07－0035－03

2015－03－15