孙宏海,刘艳滢
(中国科学院长春光学精密机械与物理研究所,吉林长春130033)
近年来,随着CMOS图像传感器的快速发展,高帧频相机被广泛应用于工业自动化控制、科学研究和国防技术等领域,在高速瞬间变化场景的捕获和成像记录中发挥着重要作用,尤其以CMOS图像传感器为光电转换元件的新一代的高速数字摄像机,由于具有低功耗、小体积、高可靠、高集成、低成本、宽动态范围、AOI功能、拍摄时间长和无拖影等诸多优点,其优势更为显著。
CMOS图像传感器采用高速CMOS半导体集成电路工艺制作,具有像素单元独立的转移读出结构、内部集成多路高速AD并行转换器、全局同步电子快门、高速数字接口输出等特点,十分适合高帧频成像和高速数字像元数据的高速输出。经过不断设计优化,其APS像元结构的CMOS图像传感器的噪声问题已经得到改善;而多晶体管像元结构、数字像元结构和背照射光子积分方式等新技术的采用,使得CMOS图像传感器的灵敏度和动态范围都有很大的提高,但CMOS图像传感器的成像性能仍然是人们所关注的焦点。
CMOS图像传感器的成像性能参数一般可以由生产厂家在设计生产时进行评估测定,给出其性能参数的典型值。有时候由于生产工艺和半导体材料的变化等原因,使得该典型值并不能真实地代表用户使用图像传感器的真实性能参数。另外,不同厂家的测试方法和评价标准并不完全一致,在进行对比评价时可能会由于采用的测试方法和参数量纲不相同,无法进行对比评价。因此,相机设计后需要通过对CMOS图像传感器特定条件输出的图像进行分析计算,得到该图像传感器的测试条件下的关键性能指标,如灵敏度、满阱电荷数、读出噪声、光电响应非均匀性、增益及暗电流等[1-6]。
本文应用了两种不同厂家的高速CMOS图像传感器进行高帧频数字相机系统设计,并在光电辐射测量实验室中,对关键性能参数的进行测试,最终给出了测试数据对比分析结果。实验测试客观地证明了采用两种不同高速CMOS图像传感器的相机成像性能。
随着半导体制造工艺和固体成像器件相关技术的不断发展,高分辨率高帧频的CMOS图像传感器不断出现,目前已经有1 600×1 200@1 000 frame/s的高速CMOS图像传感器问世。但很多高帧频CMOS图像传感器都是为特定的高帧频相机设计开发的,并非商业化销售。本文选取的Micron公司的MI-MV13和Cypress公司的LUPA-1300-2两种图像传感器是目前的商业款高帧频CMOS图像传感器,在同类图像传感器选择中具有一定的代表性和对比性。具体的参数见表1。
MI-MV13与LUPA-1300-2高速CMOS图像传感器具有相同的分辨率1 280×1 024,共1.3×106pixel,都具有能够达到500 frame/s的全幅图像输出能力,但二者的像元结构和内部成像读出结构不完全相同。如图1(a)所示,MI-MV13内部结构主要包括感光像元阵列、列向AD、AD寄存器、输出寄存器和内部时序生成模块,其片内集
成了10路10 bit ADCs,ADC的时钟和像素的读出控制时钟完全片内集成,有自校准功能,最高输入输出时钟为66 MHz,10路10 bit的高速CMOS数字输出接口和开放式驱动结构设计,使得对传感器内部的操作更为灵活。图1(b)为LUPA-1300-2图像传感器内部结构框图,可以看出其与MI-MV13的区别,内部驱动信号主要由外部SPI总线进行驱动参数设置和输入驱动时钟,内部集成24路10 bit高速AD转换器,同时进行模数转换,得到的24路像元数字信号经过二倍频后,由12路每路带宽620 Mb/s的LVDS高速串行发送器将高速图像数据发送出CMOS图像传感器。
表1 两种CMOS图像传感器参数对比[7-8]Tab.1 Performance comparison of two models of CMOS image sensors
图1 两种CMOS图像传感器内部结构框图Fig.1 Inter structure diagram for two CMOS image sensors
本文中应用MI-MV13和LUPA-1300-2两款图像传感器,分别设计开发出两个型号的高帧频CMOS数字相机,HD300(MI-MV13)和 HD500(LUPA-1300-2)。两台相机的系统设计原理基本相同,主要包括:成像单元(高帧频CMOS图像传感器),FPGA时序生成单元,MCU微控制器单元,输入输出接口部分。各组成部分的结构总线关系如图2所示。FPGA作为CMOS图像传感器的主要控制单元,同时将高速图像数据进行采集、格式转换后由高速图像数据传输接口(CameraLink接口)输出。相机控制数据由串口发送到相机内部的微控制器,微控制器接收到工作参数命令后,对CMOS图像传感器、FPGA内部寄存器和相关外设进行上电初始化,然后高速相机按照设定参数进行积分成像。
图2 高帧频CMOS数字摄像机总体框图Fig.2 Block diagram of CMOS digital camera with high frame rate
下面对相机的主要测试指标的定义和测试方法进行简单介绍[9-16]:
(1)探测器的灵敏度表征参数为光响应度,或者量子效率,本文采用量子效率。量子效率定义为探测器读出的光电子数与入射探测器表面的光子数之比。
测量方法:采用光子定标标准方法,即利用绝对定标光电探头作为标准,对入射CMOS的光场强度进行定标测量,然后计算CMOS的量子效率。具体方法是利用单色光源,测量入射到器件表面的单色光束强度,器件在该波长的量子效率为:
其中:η为量子效率,I为由读出值得到的光生电流值,e为电子电量,P为入射光功率,hυ为光子能量。
(2)增益:定义为一个模数转换单位(ADU)也就是读出的一个数字单位对应的原始光生电子数。
测量方法:增益测量方法有软X射线同位素检测法和所谓的“光子转移技术”方法。由于两台待测CMOS封装模块在芯片上均加有封窗,X射线光子不能穿透封窗材料,因此软X射线同位素检测法不可行,只能采用光子转移技术方法。光子转移技术方法的测量原理基于信号强度与噪声之间的关系。
(3)读出噪声:与信号强度无关,是所有读出图像中所附加的探测器本身造成的噪声,即噪声基底,通常用读出噪声这一指标来评估器件的噪声水平。
测量方法:计算多幅零曝光图像的标准差,并取平均值。
(4)暗电流:单位时间内一个像元内产生的热电子数量。
测量方法:测量暗电流时,首先获得多幅零曝光图像,进行平均后得到剔除图像本底BIAS,然后将CMOS挡光以保证在积分和读出过程中没有可产生光电子的光子到达CMOS光敏区,再设置系统的积分时间T(单位为s),以保证暗流电子不至于使像元势阱饱和。这时像元读出值为N(单位为ADU),则该像元的暗流值(其中包括了噪声,主要为读出噪声和暗流噪声)为:
实际测量中,为提高测量精度,采用多个积分时间T,并作线性拟合,其斜率即为暗电流值。
(5)动态范围定义为探测器的满阱电荷与读出噪声的比。
测量方法:本方案采用两种方法来表征,一种是给出该CMOS相机的线性曲线;另一种是按照动态范围的定义计算数值,即分别测量获得该CMOS相机的满阱电荷和读出噪声。
(6)固定图案噪声(FPN):CMOS器件固有的像素间非均匀性噪声。
测试方法:在挡光情况下,获得多幅最小积分时间图像,累加平均,计算得到该平均帧图像的标准差,即为固定图案噪声。
(7)光响应非均匀性(PRNU):一个用来表征离散探测器件各光敏元响应的不一致性的参数。测量方法是:在50%满阱的均匀光照下获得光响应非均匀性图像10 frame以上,经FPN和DSNU去除改正后,累加平均,计算得到该平均帧图像的标准差,即为该CMOS相机的光响应非均匀性。
相机辐照性能检测平台如图3所示,由光源驱动器产生照射光源,经过滤光片进行波段分光后进入积分球内,在积分球内产生的均匀辐照光线,经过出光口照射到被测相机的CMOS图像传感器的靶面上感光,均匀照射光线的辐照强度可以由标准光电探头测量得到。被测相机在主控计算机的采集控制下得到测量图像,由计算机内的采集卡采集存储到计算机中,之后对采集特定条件下的图像数据进行计算,得到最终测试结果。图4为相机辐照性能检测暗室的实际测试环境照片。
图3 相机辐照性能检测平台Fig.3 Experiment platform of camera irradiation performance
图4 相机辐照性能检测暗室Fig.4 Darkroom of camera irradiation performance
图5 (a)为MI-MV13量子效率光谱响应曲线对比测试图。从实际相机测试得到的量子效率曲线可以看出,在400~1 100 nm的响应趋势与厂家测试结果基本一致,量子效率最高的波长在500 nm附近,但是,量子效率的整体低于厂家的指标,分析可能是厂家的量子效率没有考虑到填充因子的影响。
图5(b)为LUPA-1300-2的量子效率光谱响应曲线对比测试图,从实际相机测试得到的量子效率曲线可以看出,在400~1 100 nm的响应趋势与厂家测试结果基本一致,量子效率峰值响应波长在650 nm附近,但是量子效率的整体略高于厂家的指标。实测相机的峰值量子效率达到50%,厂家的峰值量子效率为40%。
图6为MI-MV13光电响应线性曲线和暗电流响应曲线,其光电响应的线性度较好,暗电流也是随积分时间线性增加,但是当积分时间大于80 ms后暗电流出现了很大增长,所以MI-MV13不适合长时间的低帧频成像。从两条曲线线性段的斜率可以看出MI-MV13的光电响应效率略低,但其暗电流的响应也很低。
图5 两种CMOS图像传感器的量子效率光谱响应曲线对比测试图Fig.5 Comparison curves of quantum efficiency spectral responses for two CMOS image sensors
图6 MI-MV13光电响应线性曲线和暗电流响应曲线Fig.6 Linear optical response curve and dark current response curve of MI-MV13 testing
图7 为LUPA-1300-2光电响应线性曲线和暗电流响应曲线,可以看出其光电响应的线性度较差,当积分到70%饱和灰度时,开始出现响应度降低。可以看出暗电流基本是随积分时间线性增加,但是暗电流较为严重,当积分40 ms时暗电流就会使像元积分饱和。分析LUPA-1300-2的暗电流严重的原因和其像元采用6T结构有关,增加的放大晶体管使得整个芯片功耗增加,工作温度达50℃以上,并且6T结构也把暗电流和噪声进行了放大。因此,LUPA-1300-2不是非常适合低帧频的长时间积分成像。
最终测试得到的两台测试相机的成像指标,见表2。对比分析可以看出,LUPA-1300-2的成像性能在读出噪声,动态范围和量子效率等指标优于MI-MV13;MI-MV13在暗电流、光电响应非均匀性和固定模式噪声3个性能指标上优于LUPA-1300-2。综上所述,LUPA-1300-2有较高的灵敏度,在高帧频短积分时间成像时可以得到更好的成像质量。
图7 LUPA-1300-2光电响应线性曲线和暗电流响应曲线Fig.7 Linear optical response curve and dark current response curve of LUPA-1300-2 testing
表2 测试相机指标对比Tab.2 Comparison of testing results for two cameras
本文深入分析和研究了CMOS图像传感器在高速数字摄像机中的特点、性能指标和测试原理,采用不同厂家的两种高帧频CMOS图像传感器完成高帧频相机样机的设计,进行成像性能测试,得到了在相同测试条件下两种CMOS图像传感器的成像性能参数。该测试结果能够对两种高帧频CMOS图像传感器进行客观地对比评价,为设计高性能高帧频CMOS数字摄像机提供参考。
[1]HOLST G C.Eleectro-optical Imaging System Performance[M].Bellingham:SPIE Optical Engineering Press,2006.
[2]HOLST G C.CCD Arrays,Cameras And Displays[M].2nd ed.Bellingham:SPIE Optical Engineering Press,1998.
[3]JANESICK J R.Photon Transfer:DN→λ[M].Bellingham:SPIE Optical Engineering Press,2007.
[4]SUN H H,CAI R T,WANG Y J.Design and implementation of high-speed digital CMOS camera driving control timing and data interface[J].SPIE,2006,6358:63580C.
[5]HILLEBRAND M.High speed camera system using a CMOS image sensor[C].Proceedings of the IEEE Intelligent Vehicles Symposium 2000,Dearborn,Mi.USA,3-5 Oct.2000.
[6]TIAN H,FOWLER B,GAMAL A E.Analysis of temporal noise in CMOS APS[J].SPIE,1999,3649:177-185.
[7]1.3-megapixel CMOS active-pixel digital image sensor[EB/OL](2004-03-05)/[2011-07-11].http://wenku.baidu.com/view/0b597a155foe7cd18425364f.html.
[8]High speed CMOS image sensor[EB/OL](2007-02-05).[2011-07-11].http://wenku.baidu.com/view/cbae92c7bb4cf7ecc4afed0a5.html.
[9]范红,陈桂林.CMOS APS图像传感器的像质分析[J].光学工程,2006,33(5):104-107.FAN H,CHEN G L.Imaging quality analysis of CMOS active pixel sensor[J].Opto-electronic Eng.,2006,33(5):104-107.(in Chinese)
[10]孙宏海,李泽学,纪华,等.半导体制冷型高帧频CMOS数字摄像机研究与成像噪声分析[J].光学 精密工程,2008,16(10):2038-2044.SUN H H,LI Z X,JI H,et al..Study on semiconductor cooling high frame rate CMOS digital camera and its imaging noise analysis[J].Opt.Precision Eng.,2008,16(10):2038-2044.(in Chinese)
[11]李丹,尚媛园,宋谦.天文用2K×2K高速CMOS相机的研制与测试结果[J].天文研究与技术,2006,3(4):380-386.LI D,SHANG Y Y,SONG Q.A 2K × 2K astronomical high-speed CMOS camera and its test result[J].Astronomical Res.Technol.,2006,3(4):39-42.(in Chinese)
[12]张娜.超高速数字CMOS图像传感器关键技术研究[D].天津:天津大学,2008.ZHANG N.Rearch on key techniques of super high speed digital CMOS image sensor[D].Tianjin:Tianjin University,2008.(in Chinese)
[13]池国泉.高性能CMOS图像传感器测试与评价系统的设计与实现[D].天津:天津大学,2008.CHI G Q.Design and implement of high performance testing and estimation system for CMOS image sensor[D].Tianjin:Tianjin University,2008.(in Chinese)
[14]尚媛园,张伟功,宋宇,等.CMOS成像器件性能测试方法的研究[J].激光与光电子学进展,2010,47(5):051101.SHANG Y Y,ZHANG W H,SONG Y,et al..Research on evaluation method of CMOS image[J].Laser Optoelectronics Progress,2010,47(5):051101.(in Chinese)
[15]曾桂英,潘金艳.基于FPGA的CMOS图像传感器采集系统设计[J].科学技术与工程,2010,3(1):692-695.ZENG G Y,PAN J Y.Design of the CMOS sensor image acquisition system based on FPGA[J].Sci.Technol.Eng.,2010,3(1):692-695.(in Chinese)
[16]杨文才,汶德胜,陈淑丹,等.基于高速CMOS图像传感器的空间瞬态光探测[J].光子学报,2010,39(4):764-768.YANG W C,WEN D SH,CHEN SH D,et al..Spatial transient light detection based on high-speed CMOS image sensor[J].Acta Photonica Sinica,2010,39(4):764-768.(in Chinese)