应用于无透镜细胞成像系统的非线性CMOS图像传感器

吕　楠， 余宁梅， 张鹤玖

(西安理工大学 自动化与信息工程学院，陕西 西安 710048)



应用于无透镜细胞成像系统的非线性CMOS图像传感器

吕楠， 余宁梅， 张鹤玖

(西安理工大学 自动化与信息工程学院，陕西 西安 710048)

本文提出了一种应用于无透镜细胞成像系统的非线性CMOS图像传感器结构。以牺牲医疗评估不关心的背景光强区域的对比度为代价，将分段式线性对比度拉伸算法集成于CMOS图像传感器芯片内，在提高细胞区域的对比度的同时提高集成度。利用可配置多频率计数器，通过对背景灰度粗量化、感兴趣细胞区域灰度细量化的方法，在ADC量化精度相同的情况下，增加了细胞光强区域的量化精度和对比度。对ADC的静态特性仿真结果表明，本文提出的非线性CMOS图像传感器满足各个模式下对精度的要求。通过Matlab仿真对比分析了片外分段式线性对比度拉伸和本文提出的芯片内部的对比度拉伸。仿真结果表明，采用本文方法形成的细胞图像精度更高、细节效果更清晰，这为后续图像数据处理提供了有利条件。

无透镜成像； CMOS图像传感器； 非线性单斜率ADC； 分段式线性对比度拉伸； 数字可配置多频率计数器

细胞检测一直是医疗及时诊断(Point-of-Care)的一个重要依据和重要指标。细胞种类、细胞个数以及细胞图像也已经成为了评估疾病和健康标准的重要医学手段[1-2]。近年来，随着智慧医疗及物联网概念的普及，对医疗检测设备提出了新的要求[3]。在无透镜成像系统中，CMOS图像传感器是采集图像的关键部件，对其进行深入研究，具有重要意义[4-7]。

无透镜细胞成像遵循透射成像机制，由于细胞与背景透射度比较接近，使得细胞整体图像对比度较低。此外，由于无透镜细胞成像系统无法对视场放大，导致细胞图像分辨率过低。这两点增加了细胞统计误差，影响了医疗诊断结果。针对第一点，现阶段解决的方法是采用片外数字对比度拉伸技术[8]。但是，该方法一方面会放大细胞光强区域的量化噪声，导致细胞图像质量下降，另一方面对于传统的成像系统而言，图像对比度拉伸算法的核心在于针对图像全局的随机映射函数[9]，很难集成于图像传感器内。但是在细胞成像应用中，灰度分布比较确定。相对于背景灰度而言，细胞灰度较为集中，映射函数简单。在无透镜细胞成像中，通过简单的边缘灰度检测就可以很容易确定对比度拉伸的映射函数。对于第二点，一般采用多帧或单帧超分辨率重构来提高分辨率[10]。但是无论哪种数字图像处理效果都取决于低分辨率下细胞图像的精度。

本文提出了一种非线性单斜率ADC结构，将分段式对比度拉伸集成在CMOS图像传感器内部。利用可配置多频率计数器，通过对背景灰度粗量化、感兴趣细胞区域灰度细量化的方法，在ADC对图像信息量化精度相同的情况下，增加了细胞光强区域的量化精度，为数字图像处理提供了精度更高、细节更清晰的细胞部分图像。相比于传统的线性单斜率ADC，本文提出的非线性ADC结构只需要增加一个可配置多频率计数器电路和一个简单的数字边缘检测电路，保留了单斜率ADC内在高精度的优点。

1　非线性CMOS图像传感器系统

本文提出的非线性单斜率CMOS图像传感器如图1所示。每一列像素共用一个相关双采样电路(CDS)、数字可编程增益放大器(DPGA)、高速动态锁存比较器和10位寄存器。CDS电路用来消除复位噪声，DPGA通过调节放大倍数进而扩展图像传感器的动态范围。非列电路包括斜坡发生器、行控制译码电路、列输出译码电路、10位可配置多频率计数器和数字边缘检测电路。相比于传统的单斜率ADC，本文提出的非线性单斜率CMOS图像传感器增加了一个10位可配置多频率计数器和一个数字边缘检测电路。

图1　非线性列并行单斜率CMOS图像传感器系统框图Fig.1　Block diagram of the proposed nonlinear column-parallel single-slope CMOS image sensor

图2为本文提出的非线性单斜率ADC工作原理示意图。我们以动物细胞为例，整个细胞包括细胞核、细胞质、细胞膜等。本文提出的非线性单斜率ADC有三种工作方式：线性模式、中度拉伸模式和深度拉伸模式。

在线性工作模式下，本文提出的ADC结构与传统线性单斜率ADC工作原理相同。整个光强范围内采用固定计数频率计数。

在对比度拉伸模式下，基于细胞的组成和特点，我们将整个光强范围分为五个光强区间。在细胞核和细胞质所在的光强区间采用一个更快的计数频率来获得更高的A/D转换增益;在背景光强区间采用一个较慢的计数频率来获得一个较低的A/D转换增益。

图2　非线性单斜率CMOS图像传感器工作原理示意图Fig.2　The working principle diagram of the proposed nonlinear column-parallel single-slope CMOS image sensor

为了满足不同模式下时序的一致性，在低对比度拉伸模式下各个区间计数码必须满足以下条件：

(1)

同时在高对比度拉伸模式下必须满足：

(2)

其中，a、b、c、d，e表示细胞不同组成部分的光强范围。虽然在这种分段方式下对比度拉伸系数不能自由控制,但是可以很大程度上简化时序的复杂度，实现图像传感器芯片内部的集成。

1.1可配置多频率计数器

可以看出，相比于传统的线性单斜率ADC，本文提出的非线性单斜率ADC中最重要的电路模块是可配置多频率计数器。图3所示为可配置多频率计数器电路示意图。

图3　可配置多频率计数器电路框图Fig.3　Block diagram of the proposed configurable multi-frequency counter

第一级4位同步计数器产生第二级10位同步计数器的计数频率，从低到高依次为D0、D1、D2、D3。区间划分模块通过控制计数参考频率的顺序和转换周期来确定非线性转换的映射函数。区间划分模块有两种输入方式。第一种是通过引入外部参考信号。这主要是考虑到当测试细胞固定不变时，可以通过医学手段获得更为合理的映射函数。第二种方法是通过边缘检测电路得到映射函数。边缘检测电路由10位数字比较器并行处理实现。

笔者以高对比度拉伸模式为例进一步说明可配置多频率计数器的工作原理，如图4所示。

图4　高对比度模式下可配置多频率计数器工作原理示意图Fig.4　The operation principle of the proposed configurable multi-frequency counter in high-stretch mode

在高对比度拉伸模式下，两个二选一选择器的输出分别为Mclk和D3，第二级10位同步计数器的参考计数频率为Mclk、D0和D3。通过控制四选一选择器，第二级10位同步计数器产生一个特定的数字输出。相比于传统的10位同步计数器，本文提出的可配置多频率计数器需要更大的功耗和芯片面积。但是对于传感器芯片整体而言，增加的面积和功耗几乎可以忽略。

在无透镜成像应用环境下，本文提出的可配置多频率计数器具有两个优点: 1)针对不同的测试细胞,光强区间和计数频率可以进行调节; 2)可配置多频率计数器提高对比度的方法在细胞所在的光强区域不会放大量化噪声，进而降低细胞图像质量。在A/D转换之前,输入信号噪声nin可以表示为:

nin=nthermal+npho_shot+nc

(3)

其中nthermal表示光电二极管的热噪声，npho_shot表示散粒噪声,nc表示列电路产生的噪声。对于线性ADC而言, A/D转换后噪声nout可以表示为:

nout=nin+nq

(4)

其中nq表示量化噪声。片外实现分段式对比度拉伸后，噪声变为:

noff-PLCS=αinouti∈1,2,3,…,m

(5)

其中m表示区间个数,αi表示对应的不同区间的压缩或者拉伸系数。当对应的区间为压缩区间时αi小于1，当对应的区间为拉伸区间时αi大于1。因此, 细胞核和细胞质所在拉伸区间的输入噪声和量化噪声都会被放大, 导致该区间的图像质量下降。采用本文提出方法，噪声变为:

non-PCLS=nin+βinqi∈1～5

(6)

其中βi代表计数频率D1与相对于区间计数频率的比值。因此，βi表示为:

(7)

其中fclk(i)包括fm_clk、f(D0)、f(D1)、f(D3)。可以看出，采用本文提出的可配置多频率计数器，细胞核和细胞质所在的拉伸区间在整个光强范围内具有最小的量化噪声。

1.2高速动态锁存比较器

为了实现较高的转换速度, 本文采用高速动态锁存比较器[11]。考虑到列宽限制, 锁存器前级采用三级预放大来减小失调电压。此时，比较器的失调电压主要由第一级预放大器的输入差分对管以及负载管的匹配度决定[12]。为了进一步降低失调，可减小四个管子的VDsat, 同时增大沟道长度。此外,采用输出失调抑制技术(OOS)来抑制KT/C噪声。在时序控制方面, 为了减小回踢噪声引入的误差, 锁存器相对于预放大级延迟四分之一个时钟周期。

2　设计仿真与验证

2.1CMOS图像传感器版图

本文提出的应用于无透镜成像的非线性单斜率CMOS图像传感器采用0.18 μm UMC CIS工艺设计, 整体版图(包括部分测试电路与I/O)如图5所示，面积为(3.7×4.1) mm2,像素阵列为96×64。可配置多频率计数器的有效面积为0.056 mm2, 功耗为1.5 mW。

图5　CMOS图像传感器版图Fig.5　Layout of the proposed nonlinear single-slope CMOS image sensor

表1给出了本次设计的非线性单斜率CMOS图像传感器的各项参数。

表1　非线性单斜率CMOS图像传感器性能参数

2.2静态特性仿真

本文提出的基于可配置多频率计数器的非线性单斜率ADC在Cadence Analog Design Environment平台上使用Spectre仿真器进行仿真。在3.3V电源电压、20 MHz采样频率下，整体功耗为165 mW，其中列电路平均功耗为1.8 mW，斜坡发生器平均功耗为27 mW, I/O平均功耗为12 mW。采用线性斜坡电压作为采样信号进行静态特性仿真，每个码采样100个点。

图6为3种不同模式下静态仿真的差分非线性误差(Differential Nonlinearity，DNL)和积分非线性误差(Integral Nonlinearity，INL)性能对比，其中最低有效位(Least Significant Bit，LSB)表示最小可分辨分辨电压。

1) 在线性计数下，通过MATLAB进行码密度分析，静态仿真结果如图6(a)所示，其中最大的DNL=-0.42 LSB,INL=-0.82 LSB；

2) 在中度对比度拉伸模式下，a=128,b=18,c=128,d=128,e=800,进行归一化处理，静态仿真结果如图6(b)所示，其中最大的DNL=-0.45 LSB,INL=+0.86 LSB；

3) 在高度对比度拉伸模式下，a=94,b=18,c=94,d=18,e=796，进行归一化处理，静态仿真结果如图6(c)所示，其中最大的DNL=+0.49 LSB,INL=-0.63 LSB。

图6　3种不同模式下静态仿真结果对比Fig.6　Simulation results for normalized static characteristic in three different modes

2.3无透镜细胞采集验证

为了验证本文提出方法的有效性，本文采用12位精度的CMOS图像传感器(MT9P031)在无透镜细胞采集平台对未染色的羧基微球(样本直径为40μm)进行采集。整个采集系统如图7所示。

图7　无透镜细胞采集系统Fig.7　Cell image acquisition system with lensless CMOS image sensor

图8给出不同模式下的微球样本图像及灰度直方图。图(a)为通过本文搭建的采集系统采集微球样本图像及对应的灰度直方图，可以看出图像对比度较低。为了验证本文提出的方法的有效性，通过Matlab仿真对比了传统的分段式线性对比度拉伸和本文提出的非线性对比度拉伸方法；图(b)为按照分段式线性对比度拉伸后的微球样本图像灰度直方图；图(c)为按照本文提出的非线性高度对比度拉伸后的样本图像及对应的灰度直方图。

可以看出，按照本文提出的非线性ADC结构，细胞图像精度更高、细节效果更清晰，这为后续图像数据处理提供了有利条件。

图8　在不同模式下的微球样本图像及灰度直方图Fig.8　The carboxyl microspheres image and gray histogram captured by the image acquisition system in different modes

3　结　语

本文提出了一种应用于无透镜细胞成像的非线性单斜率CMOS图像传感器，实现了对比度拉伸算法到CMOS图像传感器芯片内部的集成。该结构利用可配置多频率计数器，在细胞光强区域采用高频率计数，在不关心的背景光强区域采用低频率计数，以背景光强区域的精度为代价，提高了细胞光强区域的精度。在0.18 μm UMC CIS工艺下设计完成了该图像传感器。

通过仿真静态特性，在三种模式下，均满足精度要求。通过已搭建的无透镜细胞图像采集系统对未染色的羧基微球进行图像采集，验证了本文提出的方法。

通过对比，在单帧低分辨率的图像中，本文提出的方法在细胞光强区域可以得到更多的细胞细节信息，为后续的超分辨率算法提供了更为可靠的数据。

[1]HWANG H Y, LEE T Y, DING M Z, et al. Miniaturization of bio-fluidic package for point-of-care diagnostic[C]//IEEE 17th Electronics Packaging and Technology Conference (EPTC), Singapore, 2015:1-4.

[2]XU Xiayu, AKAY A, WWI Huilin, et al. Advances in smartphone-based point-of-care diagnostics[J].Proceedings of the IEEE, 2015, 103(2):236-247.

[3]PANG Shuo, HAN Chao, LEE L M, et al. Fluorescence microscopy imaging with a fresnel zone plate array based optofluidic microscope[J].Lab Chip, 2011, 11(21):3698-702.

[4]YEHYA H G, YEHEA I. CMOS Based Lab-on-a-Chip: Applications, challenges and future trends[J].IEEE Circuits and Systems Magazine, 2014, 14(2):27-47.

[5]YEH S F, HSIEH C C. Novel single-slope ADC design for full well capacity expansion of CMOS image sensor [J]. Sensors Journal, 2013, 13 (3):1012-1017.

[6]ZHANG Na, YAO Suying, ZHANG Yu. An adaptive ramp generator for ADC built-in self-test[J].Transactions of Tianjin University, 2008, 14(3):178-181.

[7]CHEN Yongzhen, CHEN Chixiao, FENG Zemin, et al. 14-bit 100 MS/s 121 mW pipelined ADC[J].Journal of Semiconductors, 2015, 36(6): 065008-1-065008-6.

[8]XU Beilei, ZHUANG Yiqi, TANG Hualian, et al. Object-based multilevel ontrast stretching method for image enhancement[J].IEEE Transactions on Consumer Electronics, 2010, 56(3): 1746-1754.

[9]HUANG Xiwei, YU Hao, LIU Xu, et al. A single-frame super resolution algorithm for lab-on-a-chip lensless microfluidic imaging[J].IEEE Design & Test, 2015, 32(6):32-40.

[10]CHOUDHURY A, MEDIONI G. Hierarchy of nonlocal means for preferred automatic sharpness enhancement and tone mapping[J].Journal of the Optical Society of America A: Optics Image Science and Vision, 2013, 30(3): 353-366.

[11]彭宣霖, 李航标, 陈剑洛，等. 一种高速低功耗动态比较器设计[J]. 微电子学, 2014, 44(5):602-605.

PENG Xuanlin, LI Hangbiao, CHEN Jianluo, et al. Design of a high speed low power dynamic comparator[J]. Microelectronics, 2014, 44(5):602-605.

[12]SAMANEH B M, REZA L. Analysis and design of a low-voltage low-power double-tail comparator[J].IEEE Transactions on Very Large Scale Integration (VLSI) Systems, 2014, 22(2):343-352.

(责任编辑杨小丽)

Nonlinear CMOS image sensor for lensless cell imaging application

LÜ Nan， YU Ningmei， ZHANG Hejiu

(School of Automation and Information Engineering，Xi’an University of Technology，Xi’an 710048，China)

A nonlinear CMOS image sensor integrated with contrast stretch for lensless cell imaging system is presented in this paper, with coarse quantified in the background light intensity and fine quantified in the cell light intensity by using a configurable multi-frequency counter. Compared with the conventional off-chip contrast stretching algorithm, using this method does not degrade image quality at the interested light intensity range (cell) at the cost of unconsidered range (background) in the same quantization precision. The static characteristics simulation results through spectre indicate that the nonlinear single-slope ADC is satisfied with 10-bit accuracy for the three modes. Matlab simulation results show that the more details of cell image can be obtained by this method, providing the higher precision of cell image for the image data processing.

lensless imaging; CMOS image sensor; nonlinear single-slope ADC； piecewise linear contrast stretch; digital configurable multi-frequency counter

10.19322/j.cnki.issn.1006-4710.2016.03.001

2016-03-15

国家自然科学基金资助项目(61471296)；陕西省国际科技合作与交流计划资助项目(2014KW01-06)

吕楠，男,博士生，研究方向为超大规模模拟集成电路设计。E-mail：sheng_xing@yeah.net

余宁梅，女，博导，教授，博士，研究方向为专用集成电路设计技术及工艺。E-mail: yunm@xaut.edu.cn

TN72

A

1006-4710(2016)03-0253-06