一种应用于高动态范围CMOS图像传感器的曝光控制技术*

李晓晨 ，姚素英，黄碧珍，郑 炜

(1．天津大学ASIC设计中心，天津300072;2．天津慧微电子研发科技有限公司，天津300204)

近些年来，CMOS图像传感器(CIS)在移动通信，电子竞技，安防监控和机器视觉等领域有着广泛的应用和良好的发展前景[1]。特别是在安防监控领域[2]，相比于传统的电荷耦合器件(CCD图像传感器)[3]，CMOS图像传感器有着更高灵敏度，从而可以在暗场环境下得到高质量的图像[4]。甚至可以预见在不久的将来，CCD图像传感器必将被CMOS图像传感器所取代。

但是，现有的CMOS图像传感器普遍采用光电二极管线性有源像素，其动态响应范围较小，远小于人眼100 dB～120 dB的动态范围。图1是当今CMOS图像传感器系统中比较流行的4管有源像素结构图[5]。应用这种结构，在拍摄一些动态范围很大的场景时，场景的亮度差异远远超过感光元件的宽容度，因此对于某一指定的曝光时间，很难得到包含所有细节的图像。解决这一问题的方法无非是从像素本身和传感器电路两方面考虑，像素本身主要是设计宽动态范围的像素结构，例如对数像素等[6－7]。电路方面主要考虑采用多次曝光的形式扩展其动态范围。

目前一种可行的获取大动态范围图像的方法是:针对场景中的某一部分而不是所有部分正确曝光，得到几幅曝光参数不同的图像重叠得到一幅图像[8－9]。即使用短曝光获取较亮的景物，使用长曝光获取较暗的景物，多幅组合以弥补单纯的短曝光造成的暗处细节缺失，和单纯的长曝光造成的亮处细节缺失[10]。这种方法获取的图像拥有可以媲美人眼的动态范围。本文在此基础上提出了一种基于滚筒式曝光的直接高效地提高动态范围的技术，它可以有效增大动态范围到110 dB以上却只消耗较少的硬件资源，而且不增加任何额外的处理时间。

图1 四管有源像素结构

1 四管像素工作原理

采用滚筒式曝光技术的CMOS图像传感器，如图1所示，像素结构为四管有源像素。PPD表示埋层结构的光电二极管，它是主要的感光器件，实现光电转换。四个MOS管分别为传输管 M0，复位管M1，源跟随器 M2以及位线读出控制开关管 M3。PPD二极管可以把外部的光信号转换为电信号存储在A点，所以A点又叫做存储节点。当M0的控制信号TX为高电平时，存储在A点的信号将被传输到浮动节点B上。当M1的控制信号RST为高电平时，浮动节点B被复位到电源电压VDD或者VDD-Vt(Vt为M1管的阈值电压)。M2用作源跟随器，在其栅极接收B处的电压，且选择管M3的栅极接收行选择信号 SEL，输出来自源跟随器 M2的电压。

滚筒式曝光是CMOS图像传感器普遍采用的一种曝光方式，以上面提到的四管像素结构为例，其简化的操作时序如图2所示。假设帧频为fps，则一次帧间隔时间为1/fps，每一幅完整的图像包括0、1、2、3四行像素。首先，row_idx2指定曝光第0行(此处的“0”从次序来说相当于第一行)，按照图1中的电路，先将传输管M0和复位管M1同时开启(图2时序中ts2和rst2输入高电平)，使得存储结点A以及浮动结点B的电压复位到VDD，然后再同时关闭传输管M0和复位管M1使A点开始积分电荷(ts2和rst2恢复低电平);经过一段时间的电荷积累后(相当于曝光时间texp)，同时开启复位管M1和选择管M3，(rst1和sel为高电平，此时的选择管M3选择的是第0行输出)，通过源跟随器M2，选择管M3的输出端先读出复位电压值VDD，然后关闭复位管M1(rst1恢复低电平)，保持选择管M3导通，再开启传输管M0(ts1为高电平)，通过源跟随器M2，选择管M3的输出端读出信号的绝对值并与先前的复位电压值相减得到信号的真实值，如row_idx1显示，也就是将第0行的曝光信号读出。类似地，以同样方式曝光读取第1行像素，逐行进行直到全部处理完毕，相邻行开始曝光读取的间隔时间为Trow。

图2 四管像素滚筒式曝光时序

从时序原理可知，tx1、tx2、rst1、rst2、sel的周期均为一行像素的行处理间隔时间Trow，每行像素的曝光时间均为texp。各行像素按顺序进行曝光并读取处理，并以单行像素为曝光信号的读取对象，即在前一行像素的曝光信号读出完成后再进行下一行的读取，这种逐行曝光并读取方式即称为滚筒式曝光。在需要多次成像同一张图像时，重复以上过程即可。

在图2所示时序中，因为一个帧间隔时间内只输出一张曝光图像，图像的曝光时间参数是不变的，这样单帧图像内只包含一次成像所得到的图像。其帧、行同步示意图如图3所示。显然，整张图像每次成像的时间间隔等于帧间隔时间。

图3 滚筒式曝光帧、行同步示意图

2 技术背景及原理

现有的多次曝光方法，主要是利用不同的曝光参数分次独立成像，然后再整合出一幅高动态范围的图像作为最后的输出[11－12]。其基本原理是在需要多次曝光时，当每一帧单张图像逐行曝光结束后，需要改变曝光时间texp，再进行下一次成像。如果需要加快输出图像的速率，则必须提高图像传感器的工作速率，但是只能通过提高图像传感器的工作频率来压缩行处理时间，效率低。这是因为目标图像的曝光时间texp是根据其场景情况所设定的，只要曝光时间不大于帧处理时间，其就不会直接决定帧频。那么在像素阵列固定的情形下，图像传感器的帧频只取决于最短行处理时间。在一般情况下，图像传感器的行处理总是在逐行进行，在执行某一行曝光读取时，其他行对应的像素单元处于空闲状态，所以图像传感器电路总会存在大量的空闲电路未充分利用。所以这种获取大动态范围图像的方式，会使得整个处理周期过长，造成系统反应时间过慢，并因此可能影响动态图像的实时性，而且在逐行曝光读取时产生了大量的电路空闲，造成系统资源的浪费。

本文所提出的一种新颖的组合滚筒式曝光控制方法就是要利用这个空闲时间，让图像传感器电路系统资源得到尽可能利用。在一帧处理时间内，将多次滚筒式曝光穿插进行，实现对目标图像的多次成像。对于各次成像，间隔一个预设的行处理间隔时间，各行像素单元逐行进行图像的曝光和曝光数据的读取。

以二次曝光为例，其基本原理为假设图像传感器每隔1/fps秒输出两帧图像，其中一帧图像frm1的曝光时间为texp1，另一帧图像frm2的曝光时间为texp2，用以组合出一帧高动态范围的图像，组合的图像的帧频为目标帧频fps。相对于单次曝光，二次曝光的方法将行处理时间设定为2倍的Trow，这样每行便会有一半的时间处于空闲，在frm1进行曝光和读出操作时可以在行空闲状态穿插进行frm2的曝光和读出操作。因此这种二次曝光方法最大限度地利用了目标帧频指定的帧间隔时间作为曝光时间。并且frm1与frm2曝光开始的间隔时间仅受限于第一次曝光时间texp1的大小，而不需要等frm1全部行曝光结束后再开始frm2的曝光，大大缩短了两帧的曝光间隔。

3 执行方式

基于上述基本原理，在执行的时候首先需要确定多次曝光次数m，以及各次的曝光时间texp1、texp2、……texpm。其中，对于背景比较亮的图像的曝光时间要小于背景比较暗的图像的曝光时间，且各次成像的次序按曝光时间长短排列。然后确定最短行处理时间，并将同次成像的行处理间隔时间设置为最短行处理时间的n倍，n不小于单帧时间内一个多次成像周期的曝光次数，并以此为基础设定图像的帧频fps。帧频即帧间隔时间1/fps的倒数，关于帧频的设置必须满足以下两点:第一，帧间隔时间必须大于最短帧处理时间，即

其中最短帧处理时间Tfram_min为图像传感器的最短行处理时间乘以图像传感器的像素行数。第二，帧间隔时间须大于本幅曝光图像的相邻行处理时间Trow的m倍再加上各次成像时间总和。即

当设置满足上述条件后，就可以开始对目标景物进行逐行曝光，多次成像。

下面以一个二次曝光的简单实例来说明，二次曝光分别对应输出一帧亮图像fram1和一帧暗图像fram2。以前所述，先进行预先参数设定，假设亮图像的曝光时间为texp1，暗图像的曝光时间为texp2，其中texp1＜texp2。先进行亮图像曝光再进行暗图像曝光。假设CMOS图像传感器的最短行处理时间为Trow_min，则对于一个4行像素图像，最小帧处理时间Tfram_min为4Trow_min。要在单帧时间内实现两次成像，假设在最苛刻的条件下，同次成像图像的行处理时间Trow设定为两倍的最短行处理时间Trow_min。这样使得图像传感器在对每行像素的数据进行读取处理时，控制时序至少有一半时间处于空闲间隔，并以此为基础设定图像的帧频fps，使得帧间隔时间满足式(1)和式(2)的要求。由此例，将曝光次数2代入式(2)，可得式(3)，根据式(1)和式(3)完成曝光参数的设置。

曝光参数设置完毕后，可以开始逐行曝光，曝光时序如图4所示，并结合图1中的四管有源像素结构进行具体分析。由之前阐述的图2所示的滚筒式曝光的时序原理可知，tx1、tx2、rst1、rst2、sel的周期均为同次成像行处理间隔时间Trow，曝光row_idx2指定行像素时，先产生tx2，rst2时序，在经过亮图像曝光时间texp1后，产生 rst1、tx1、sel时序，并随之输出row_idx1表征该行像素的曝光信号读取。fram1的第0行在开始曝光读取，并经过一个行处理间隔时间Trow后，会开始进行fram1的第1行的曝光，如此循环，进行逐行曝光读取。在fram1的第0行的tx1信号结束也即该行的fram1曝光读取完毕之后，可发现，对于fram1而言，第0行所对应的行像素电路已进入空闲状态，此时，可直接插入fram2的第0行执行曝光操作，时序控制信号将开始产生fram2的tx2和rst2，并输入第0行对应的行像素电路中开始第0行的曝光(图中的虚线信号)，这样fram2便开始了曝光读取。

以上过程，对应至图4的时序图，实线信号对应于亮图像fram1的控制时序，而虚线信号对应于暗图像fram2的控制时序。由于事先已将行处理间隔时间Trow设定为两倍的Trow_min，使得当产生fram2的控制时序时，其tx2、rst2刚好处于fram1控制时序的空闲间隔中。这样fram1和fram2各自逐行曝光读取，穿插进行，控制时序之间并未互相影响或者产生竞争关系，直至fram1与fram2先后完成成像。最终，从row_idx1所读取到的行像素包含了fram1与fram2的信息。在fram2的曝光未完成之前，仅有fram1的数据读出;在 fram2曝光完成部分行而fram1的数据未全部读出之前，两者交替输出;fram1数据全部行读取完毕后，仅有fram2的数据读出。最后进入下一帧，重复以上过程。

图4 四行像素组合滚筒式曝光控制时序图

在完整的曝光周期即一个帧间隔时间1/fps内，实现了亮、暗两次成像。如图5所示，为二次曝光输出的帧、行同步示意图。通过四行像素二次曝光的实例分析，我们可以将这种方法延伸至多次成像的曝光控制要求，具体参数可根据图像传感器的性能要求以及图像场景需要来决定。

图5 四行像素组合滚筒式曝光帧、行同步示意图

4 测试结果

BG0365是一款应用了上述组合多次曝光技术的芯片产品，该技术在芯片的数字电路中得以实现，芯片外观和数字电路部分版图如图6和图7所示。

图6 BG0365芯片外观图

考虑到对比动态范围的需要，该芯片可以利用寄存器从外部软件设置开启和关闭组合多次曝光模式。对于动态范围的测试，可以首先在暗场下用最短的曝光时间测出一组数据，这组数据即为该芯片的最小噪声水平Vmin。然后，在亮场下再测出一组最大的输出值Vmax。因此芯片的动态范围可以由式(4)表示。

图7 BG0365数字部分版图

图8为BG0365输出饱和曲线图。根据式(4)，通过计算，可得该芯片的动态范围约为60．8 dB。如果开启多次曝光模式，测试时以二次曝光为例。图9为开启二次曝光模式后的长短帧输出饱和曲线，将两者组合后得到的动态范围可以达到100 dB以上，确实有效地提高了动态范围。另外，合理地选择曝光次数要根据场景的明暗程度和经验，当场景一定，并不是曝光次数越多越好，当曝光次数达到一定程度时，动态范围也会接近最大值附近。若再增加曝光次数，也只能增加操作的复杂度，对图像质量没有明显改善。

图8 BG0365输出饱和曲线

图9 二次曝光模式下的长短帧输出饱和曲线

图10和图11分别为同一场景下单次曝光和多次曝光的实景图对比，可以比较直观的看到，特别是在较暗的场景下，多次曝光可以带来比较清晰的视觉效果。

图10 单次曝光实景图

图11 多次曝光实景图

5 结论

本文通过控制CMOS图像传感器在单帧图像的时间周期内，以不同的曝光参数进行多次曝光，整合出一帧。对比现有的单帧曝光一次的多曝光控制方法，此方法可以有效的缩短相邻次成像的时间间隔，并充分利用了逐行曝光读取时，其他行电路的空闲时间。这样相邻次成像的开始时间仅仅局限于前一次的曝光时间长短，而无需等前一次的曝光所有行处理完全结束后才开始下一次成像。具有系统效率高，利用率充分，且输出图像反应时间短等优点，可以有效地提高动态范围，无论在明或暗的环境下都可以得到令人满意的图像效果。

[1]裴志军，国澄明，姚素英．CMOS图像传感器动态范围扩展技术[J]．传感器技术，2003，22(6):1－3．

[2]Habibi M．A Low Power Smart CMOS Image Sensor for Surveillance Applications[C]//Machine Vision and Image Processing(MVIP)．2010 6th，1－4．

[3]胡琳．CCD图像传感器的现状及未来发展[J]．电子科技，2010，23(6):82－85．

[4]Akahane N，Sugawa S，Adachi S．Wide Dynamic Range CMOS ImageSensorsforHigh Quality DigitalCamera，Security，Automotive and Medical Applications[C]//Sensors，2006．5th IEEE Conference，2006．396－399．

[5]于俊庭．4T有源像素图像拖影消除的工艺模拟与器件仿真[D]．天津:天津大学，2010．

[6]刘激扬，姚素英．一种高填充率的CIS有源像素结构研究与设计[J]．传感技术学报，2007，20(9):1987－1991．

[7]付贤松．CMOS图像传感器动态范围扩展技术的研究[D]．天津:天津大学，2006．

[8]朱良销，余学才，陈涛．一种扩展动态范围的图像处理算法[J]．传感技术学报，2011，24(1):65－67．

[9]Schanz M，Nitta C，Bussmann A．A High-Dynamic-Range CMOS Image Sensor for Automotive Applications[J]．Solid-State Circuits，IEEE Journal，2000，35(7):932－938．

[10]Egawa Y，Koike H，Okamoto R．A 1/2．5 inch 5．2 Mpixel，96 dB Dynamic Range CMOS Image Sensor with Fixed Pattern Noise Free，Double Exposure Time Read-out Operation[C]//Solid-State Circuits Conference．ASSCC 2006．IEEE Asian．2006，135－138．

[11]张丽芳，周军．利用多曝光对图像进行动态范围增强[J]．数据采集与处理，2007．22(4):417－422．

[12]何烽，徐之海．一种基于数字图像合成的扩展动态范围方法[J]．光电工程，2006，30(5):66－68．