【作 者】赵少鹏,颜国正,刘刚,邝帅
上海交通大学仪器科学与工程系,上海市,200240
数字式胶囊内窥镜系统改进及图像插值
【作 者】赵少鹏,颜国正,刘刚,邝帅
上海交通大学仪器科学与工程系,上海市,200240
传统的胶囊内窥镜采集并传输模拟式图像,抗干扰能力弱,帧率低,分辨率低,该文提出了一种新型的数字式胶囊内窥镜,该胶囊采集传输数字式图像,帧率达到30帧/秒,分辨率为400×400像素。图像在胶囊内部压缩,在上位机上实现图像的解压缩和插值。根据胃肠道图像特点,该文提出了一种新型的插值算法,利用图像平面之间的关系,得到较高质量的彩色图像。
胶囊内窥镜;数字式图像;SCCB协议;图像插值
胃肠道疾病成为人类健康的一个严重威胁。传统检测手段,如肠镜或者胃镜,需要由体外通过口腔或者肛门进入人体,会给患者带来很大的痛苦,而且只能检测胃肠道很少的一部分,不能检测全消化道。胶囊内窥镜的出现改变了这一局面,使患者在无痛的条件下检测全部的胃肠道,得到大量的胃肠道真实信息,为诊断治疗提供了便利[1-3]。
以色列 Given Imaging 公司于2001年首先生产出了第一套检查胃肠道的内窥镜系统, 即M2A内窥镜系统,其尺寸为 Φ11 mm × 30 mm,重约3.7 g,可以工作 6~ 8 h,能够拍摄小肠内壁的图像.日本的RF System Lab 研发了“Norika3”,该系统不用电池,由体外微波提供能量。国内的重庆金山公司在2004年研制了OMOM内窥镜系统,每秒钟可以获取2帧图像。传统的胶囊内窥镜存在一些不足:帧率低,不能得到流畅的视频;分辨率低,采集的图像中包含的诊疗信息不够丰富;采集的图像为模拟式图像,传输到体外的过程中容易被干扰,出现雪花或者条纹,同时模拟式图像不利于后续在上位机上的自动化处理,如模式识别等[5];为了解决这些问题,本文对传统胶囊内窥镜进行了改进,与传统的胶囊内窥镜相比,本文对胶囊的改进如下:
(1) 提高了图像采集帧率,达到每秒钟30帧,分辨率为400×400像素;
(2) 胶囊传出的图像为数字式图像,方便后续的模式判别等自动化处理;
(3) 提出新的插值算法,在较短时间内得到高质量的彩色图像。
本文所设计的胶囊内窥镜系统由以下几个模块构成,如图1所示。胶囊内窥镜系统由体外无线供能发射系统、体内图像胶囊和体外接收处理系统三个部分构成。体外无线供能系统激发产生恒强磁场,胶囊内的线圈通过电磁感性产生电流,为体内图像胶囊无线供能。体内图像胶囊实现图像的采集和传输。体内图像胶囊由光源模块、图像采集模块、无线供能接收模块、微控制(Micro Control Unit, MCU)模块和射频电路模块等组成。体外接收处理系统实现图像的接收、处理、存储和显示等功能。
本文所设计的体内图像胶囊外形为圆柱形,两端过渡为半球形。胶囊的尺寸为Φ12.0 mm×26.0 mm。胶囊总体结构如图1所示,从左到右依次为光源模块、图像采集模块、MCU模块、无线供能接收模块和射频电路模块。光源模块包括白光LED和紫外光LED。一个白光LED和紫外光LED组成一个光源组,放置在同一个位置,每个光源组同一时刻只有一个LED开启。光源模块包括四组并行均匀放置的光源组。MCU模块通过一个简单的控制电路控制光源组内LED的开启和关闭。一般情况下,白光LED处于开启状态,胶囊使用白光作为光源检测消化道,在观测到消化道异常的时候,胶囊关闭白光LED,开启紫外光LED,通过观察基于消化道组织激发的荧光所成的图像判断病变种类和程度。
图1 胶囊内窥镜系统结构图Fig.1 Capsule endoscopy system structure chart
图像采集模块是体内图像胶囊非常重要的一个模块。本文中的图像采集模块由一个CMOS图像采集芯片和图像处理芯片构成,分别采用Omni Vision公司的OV6930和OV420。OV6930是一个微型图像传感器,芯片尺寸为1.815 mm×1.815 mm,感光面尺寸为1.224 mm×1.224 mm。OV420是模数转换器,尺寸为3.21 mm×3.21 mm。OV420通过SCCB协议配置图像采集芯片OV6930,把OV6930输出的模拟信号转换为10 bit高频数字信号,并配置输出图像参数,如白平衡、曝光度、色度等。图像采集模块中,OV6930只和OV420连接,OV420通过SCCB协议来配置OV6930。MCU通过OV420间接配置OV6930,OV420是图像采集模块的控制和传输核心。
MCU配置OV420并通过OV420间接配置OV6930,这些都通过SCCB协议来完成。SCCB协议是Omni Vision公司所生产芯片专用的串行通信控制协议,类似于I2C协议,协议由两根数据线SCL和SDA组成。SCL是时钟信号数据线,SDA是数据传输数据线。SCCB协议时序图如图2所示。
图2 SSCB协议时序图Fig.2 SCCB Protocol sequence diagram
当SCL=1时,驱动SDA从0变为1并保持1.25 μs,之后SDA=0,SCCB协议启动,开始传输数据。当SCL=1时,驱动SDA从0变为1并保持纳米级的时间,SCCB协议终止,停止传输数据。SCCB协议中最小的操作单位为一个phase,每一个phase由9个数据位(bit)组成,前8个数据位为传输的数据,最后一位为从机返回的确认位,该确认位可以忽略。SCCB协议的写操作由三个phase组成,第一个phase写入操作的从器件ID,第二个phase写入器件寄存器地址(如果寄存器地址为16位,需要两个phase先后写入高地址和低地址),第三个phase写入具体的数据。SCCB协议的读操作由两个phase组成,第一个phase写入操作的从器件ID,第二个phase从器件返回具体的数值。单独的读操作不包含寄存器地址,所以实际的读操作之前包括一个没有具体数据的两phase的写操作,缺少具体数据的写操作告知从器件具体的寄存器地址。
图像采集模块的电路图如图1中图像模块所示:OV420作为图像采集模块的传输和控制中心,接收MCU传来的配置程序,同时配置OV6930。OV6930输出的模拟图像信号为Vout,OV420作为模数转换器,把模拟信号转换为数字信号。OV420的输出信号如图3所示:VSYNC为帧同步信号,VSYNC由0变为1并保持一段时间表示输出新的一帧图像,图像传输时VSYNC保持为0。HREF为行同步信号,当新的一帧图像开始传输后,每次HREF为0表示传输图像中一行的数据,HREF为0表示上一行传输结束,等待下一行传输。D0~D9是图像数据信号,在帧信号有效并且行信号也有效时,数据信号有效,高电平表示1,低电平表示0。数据信号的频率为8 MHz。当VSYNC再次从0变为1时,传输下一帧图像。
图3 OV420输出时序图Fig.3 OV420 output sequence diagram
图像插值并不能产生新的图像信息,所以为了提高图像压缩率,降低对传输速度的要求,本文中胶囊采集的图像传输到体外后需插值处理。只有得到高质量的图像,后续的疾病检测工作才能顺利进行。上位机可对图像进行解压缩和插值等操作[4]。
如图4所示:在原始RAW图片中,在每一个像素上,只有红、绿、蓝三种颜色中的一个。用一个颜色平面减去另外一个颜色平面得到色差平面,差值理论取值范围为[-255, 255],但实际差值绝大部分均分布在[-10, 10]内。该像素上的差值往往不大于周围八个像素上最大的差值,也不小于周围8个像素上最小的差值,而且每一个像素上的差值和周围8个像素上的差值有加权平均关系。根据这些特点,在传统的相邻像素权值算法的基础上,本文提出一种基于颜色平面误差修正的加权插值算法。
具体的插值算法步骤如下:
(1) 计算加权系数 计算raw平面每个像素点周围8个方向上的加权系数。在raw平面中,每一个像素点上只有一个颜色的信息,另外两个颜色信息缺失,所以在每一个像素点上只有一个颜色平面内的加权系数。由于不同颜色平面相近,认为WB(i, j)= WR(i, j)= WG(i, j)=W(i, j)。加权系数的计算见公式(1)。
图4 RAW平面图片Fig.4 RAW plane
在本文中,使用下标k表示像素点周围8个像素的权值或其他信息。W1(i, j)表示在像素点(i, j)左边的权值系数,表达式见公式(1)。逆时针旋转,W2(i, j)表示左下方向的权值,以此类推,W8(i, j)表示在像素点(i, j)左上方向上权值系数。
(2) 插值 分别在红绿蓝三个平面采用相邻像素加权系数方法进行单色平面插值。MarkB表征像素点是否有原始图像信息,MarkB1(i, j)表示蓝色平面内像素点(i, j)左方像素点是否拥有原始数据,有则为1,否则为0。蓝色平面像素点(i, j)缺失的蓝色像素值具体计算方法见公式(2)和(3),红色和绿色平面的插值类似。
(3) 修正 计算颜色平面差,见公式(4)。由于绿色平面有一半的原始图片信息,所以以绿色平面为起始平面开始修正。首先使用绿色平面去修正蓝色平面,之后使用蓝色平面去修正红色平面,然后使用红色平面去修正绿色平面。设定阈值T,如果B(i, j)不在区间
[Corr-T, Corr+T ]内,认为B(i, j)插值结果存在较大的误差,用CorrB(i, j)代替B(i, j),完成该像素点的一次修正。见公式(5)和(6)。其余修正同上所述。
本文采用试验中采集的胃肠道图像验证插值算法,采用MSE作为判断标准。实验结果显示,图像原始插值后的MSE均值为26.23,一次修正后减少到15.37,降低41.4%,二次修正后减少到13.2,再次降低14.1%。实验结果表明本文提出的插值修正方法可以有效地提高图片质量。
针对传统模拟式胶囊内窥镜的不足,本文提出了一种改进型的数字式胶囊内窥镜,使用新型的高分辨率图像传感器OV6930,得到帧率为30帧/秒、分辨率为400×400像素的数字式图像,抗干扰能力好,方便后续的图像处理,如模式识别、智能检测等。本文中设计的胶囊内窥镜系统,图像在胶囊内部压缩,在上位机解压缩并插值。针对胃肠道图像的特点,本文提出了新的图像插值方法,通过利用原图像不同颜色平面间的相关关系,对经加权均值方法得到的插值图像进行修正,使用较少的计算量,得到了较高质量的彩色图像。
[1] 许飞, 颜国正, 朱柄全, 等. 视频胶囊内窥镜的改进设计与实验[J]. 电子学报, 2014, 43(3): 605-610.
[2] 王微微, 刘华. 胶囊内窥镜图像采集系统设计[J]. 测控技术, 2013, 32(8): 25-28.
[3] 刘刚, 颜国正, 刘华, 等. 间歇工作图像胶囊内窥镜的设计与实验[J]. 光学精密工程, 2012, 20(10): 2192-2199.
[4] 邱祥玲, 颜国正, 潘国兵. 基于 JPEG 的数字式无线胶囊内窥镜的设计[J]. 测控技术, 2010 (1): 7-9.
[5] 高鹏, 颜国正. 胃肠道无线内窥镜机器人系统[J]. 上海交通大学学报, 2012, 9: 013.
[6] 程磊, 刘波, 徐建省, 等. 基于 OV2640 的微型胶囊内窥镜系统设计[J]. 传感器与微系统, 2014, 33(2): 73-76.
[7] 刘刚, 颜国正, 姜萍萍, 等. 无线供能图像胶囊内窥镜的设计与实验分析[J]. 电子学报, 2013, 41(10): 1983-1987.
[8] 潘国兵, 颜国正, 宋昕帅. 胶囊内窥镜数字无线通信模块的设计[J]. 上海交通大学学报, 2009 (6): 894-897.
lmprovement of Digital Capsule Endoscopy System and Image Interpolation
【 Writers 】ZHAO Shaopeng, YAN Guozheng, LIU Gang, KUANG Shuai
Department of Instrument Science and Engineering, Shanghai Jiao Tong University, Shanghai, 200240
capsule endoscopy, digital image, SCCB protocol, image interpolation
TP391.41;R318.6
A
10.3969/j.issn.1671-7104.2016.01.007
1671-7104(2016)01-0027-03
2015-10-08
国家自然科学基金(31170968);上海市科委基金(14441902800, 15441903100)
赵少鹏,E-mail: zghnzsp@163.com
【 Abstract 】Traditional capsule image collects and transmits analog image, with weak anti-interference ability, low frame rate, low resolution. This paper presents a new digital image capsule, which collects and transmits digital image, with frame rate up to 30 frames / sec and pixels resolution of 400×400. The image is compressed in the capsule, and is transmitted to the outside of the capsule for decompression and interpolation. A new type of interpolation algorithm is proposed, which is based on the relationship between the image planes, to obtain higher quality colour images.