两通道按列输出CMOS图像的非均匀性及校正方法

杨国鹏,周　欣,陈　东,胡昌苗

(1.武汉大学 测绘遥感信息工程国家重点实验室，湖北 武汉 430079;

2.中国天绘卫星中心，北京 102102;

3.中国人民解放军95899部队，北京 100085;

4.中国科学院 遥感与数字地球研究所，北京 100101)



两通道按列输出CMOS图像的非均匀性及校正方法

杨国鹏1，3*,周欣2,陈东3,胡昌苗4

(1.武汉大学 测绘遥感信息工程国家重点实验室，湖北 武汉 430079;

2.中国天绘卫星中心，北京 102102;

3.中国人民解放军95899部队，北京 100085;

4.中国科学院 遥感与数字地球研究所，北京 100101)

为确保航空遥感图像产品相对辐射质量，提出了一种对两通道按列输出CMOS(互补金属氧化物半导体)图像的非均匀性进行校正的方法。以美国仙童公司CMOS探测器CIS2521F为例，通过实验室积分球观测试验研究了暗电流噪声、平均灰度、两通道输出等因素造成的图像非均匀性；然后，基于实验室积分球观测数据，采用两点线性法，校正了由按列放大输出导致的列状条带噪声；接着，通过优化拼接线附近图像灰度差异统计结果，校正了两通道响应不一致造成的图像辐射差异。试验表明，单通道图像非均匀校正使积分球观测图像的平均非均匀度量值由4.4下降至2.4，两通道图像非均匀校正消除了两通道图像的目视差异。原始航空遥感图像经过非均匀性校正后，图像灰度均匀，能够满足遥感图像判读要求。

遥感图像；CMOS；图像非均匀性；两通道输出；辐射校正

*Correspondingauthor,E-mail:imageren@qq.com

1　引　言

航空光学成像系统多采用CCD(Charge Coupled Device)探测器，这是因为CCD探测器的输出相对稳定、噪声抑制良好，成像质量较高，但通常其帧频有限、成本偏高[1]。针对CCD成像质量提升的研究很多，包括暗电流噪声抑制、像元响应非均匀性校正、绝对辐射定标等[2,3]，经校正后，CCD探测一般能满足定量遥感应用需求。CMOS(Complementary Metal-Oxide-Semiconductor)探测器具有低功耗、低成本、高集成度、可控开窗、大面阵、高帧频等优点[4,5]，有利于实现小体积低能耗的相机系统，随着CMOS工艺技术的发展，其在新型遥感载荷中的应用越来越多[6,7]。例如，美国仙童公司推出了具备低噪声、高灵敏度、高帧频等特点的面阵CMOS探测器CIS2521F，其可用于低照度环境下高质量成像[8]。该型CMOS探测器的像元分辨率为2 560(H)×2 160(V)，像元大小为6.5 μm；持具有卷帘、全局两种快门方式，在低照度环境下卷帘快门的读出噪声小于2e-RMS，全局快门的读出噪声小于5e-RMS；最大快门达100 frame/s；具有上下两通道，采用列放大器增强，最终采用11位数据输出。CMOS探测器通常采用相关双采样技术抑制噪声[9]，但采用全局曝光模式时，相关双采样方法失效，图像中将出现明显的列向噪声。何舒文等[5]对硬件驱动电路进行了优化设计，通过在FPGA内完成数字域相关双采样和图像预处理等算法，实现了全局曝光模式下高动态范围图像数据的获取。周彦平等[10]还研究了电子辐射剂量对CMOS图像传感器性能的影响。

为保证采用CMOS探测器的航空相机获取的图像质量，本文将通过实验室积分球观测试验和航空遥感试验分析，研究了两通道按列输出CMOS探测器的非均匀性特点和图像辐射校正方法。

2　非均匀性分析

本文采用积分球作为均匀场光源，首先分析了暗电流噪声对成像的影响，然后分析了非均匀性随图像平均灰度值的变化特性，最后分析了两通道辐射的非均匀性规律。

将CIS2521F安装在光学系统均匀性良好的相机中，在实验室内观测不同辐照度的积分球获取数字量化(Digital Number，DN)值。积分球观测图像的非均匀性用VNU值表示，计算公式为：

(1)

其中：VNU为图像非均匀性NU值，VAvg为图像均值，Vij为像素(i,j)处DN值图，M与N分别为图像像素长宽。

探测器系统非均匀响应依据多幅图像的相关性来判断。图像间相关性采用相关系数表示，即：

(2)

其中：ρXY为图像X与Y的相关系数，Cov(X,Y)为图像X与Y的协方差，D(X)和D(Y)分别为图像X、图像Y的方差。

2.1暗电流特性分析

暗电流噪声是影响成像非均匀性的重要因素，其通常会随积分时间和CCD增益参数发生变化[11,12]。在实验室暗场条件下，经过多次观测取均值，确定每个像元的暗电流。如图1所示，实验中设四档增益(×1, ×2, ×10, ×30)，六档积分时间(1,100,200,600,1 250,2 400,单位：μs)。由于积分时间较短，暗电流平均DN值随积分时间变化幅度不大。在不同增益条件下获取6组平场数据，其相关系数显示它们的相关性很小，例如图2为某暗电流平场数据的增强图，通过图像可以发现暗电流噪声呈现明显的横向条纹，这种横向条纹的位置及强弱都是随机的，无法通过定标消除。

图1　暗电流平均DN值随积分时间变化Fig.1　Dark current DN changed with integration time

图2　暗电流平场数据增强图Fig.2　Enhanced graph of flat avea data for dark current image

2.2灰度变化分析

实际成像过程中，图像灰度值与入射能量，相机积分时间、相机增益有关。针对4组不同增益，利用具有相近DN值的多组数据统计平均相关系数，平均相关系数与平均DN值之间的关系如图3所示。可见当平均DN值为1 500与2 000左右时，各增益情况下均具有较高的相关系数，平均相关系数超过0.9，这表明此时存在规律性的系统噪声。某积分球状态下原始图像局部增强效果如图4所示，由于探测器采用按列放大输出方式，导致图像存在有规律的线状条纹。

图3　平均相关系数与平均DN值的关系Fig.3　Average correlation coefficient changed with average DN

图4　某状态下积分球观测数据增强图Fig.4　Enhanced graph of integrating sphere observation image

2.3两通道特性分析

当相机观测积分球漏光时，两通道图像存在明显的辐射差异，如图5所示。通过分析发现如下规律：①存在光照条件差异时，两通道输出灰度会有明显差异；②两通道差异在拼接缝处非常均匀，接近某个固定数值；③不同成像条件下，两通道数据的固定差值也不同。在实际成像中，由于两通道观测地表不同，成像几何存在差异，导致两通道存在辐射差异，有必要进行校正。由于拼接线处的辐射差异具有均一性，两通道可以通过某改正值修正。由于地表复杂多样性，只能通过成像数据来确定两通道辐射差异值。

(a)实例一　　　　　　　　(b) 实例二(a)Example 1　　　　　　　(b)Example 2

(c) 实例三　　　　　　　　(d) 实例四(a)Example 3　　　　　　　(b)Example 4图5　两通道存在辐射差异的积分球观测图像Fig.5　Integrating sphere observation image with radiation difference between two channels

3　单通道非均匀性校正

在相同积分球辐照度和相机工作状态下，重复观测10组积分球数据，计算其均值图像作为该状态下去噪的参考图像。设积分球辐照度为φ时均值图像为V(φ)，像元灰度非均匀性校正模型：

VAvg(φ)=Vij(φ)+aij,

(3)

其中：VAvg(φ)为均值图像V(φ)所有像素的均值，Vij(φ)为像素(i,j)处DN值图，aij为像素(i,j)处的偏移量。

在获取每个像元的偏移量aij后，既可对辐照度为φ的图像进行辐射校正。为扩展像元辐射校正的适用范围，采用两点线性法校正[13]。在相同增益、相同积分时间下，如果发现在相邻的两个辐射亮度下存在系统噪声，设相邻辐照度分别为φ1与φ2，利用积分球在对应辐照度下重复获取M组数据，计算得到对应的均值图像V(φ1)与V(φ2)，可以建立以下像元非均匀性校正模型[14]：

VAvg(φ1)=aijVij(φ1)+bij,

(4)

VAvg(φ2)=aijVij(φ2)+bij,

(5)

其中：VAvg(φ1)与VAvg(φ2)为图像V(φ1)与V(φ2)所有像素的均值，Vij(φ1)与Vij(φ2)为像素(i,j)处的DN值，aij与bij为像素(i,j)的偏移量。

利用式(6)与式(7)可以求出参数aij与bij。将各像元的增益aij与偏移bij组成增益与偏移矩阵，将各像元的实际响应与各自增益相乘，再加上偏移量，实现对光照条件位于φ1与φ2之间的情况下，逐像元的响应非均匀性校正。重复积分球观测试验获取不同成像状态下增益与偏移查找表，实现对特定相机系统噪声的去除。

(6)

(7)

例如，增益档位为×10、平均DN值为1 500左右的8幅平场数据，其相关系数都超过0.9，利用式(3)逐像元进行非均匀校正，校正前后NU值如表1所示，可见，平均NU值由4.4下降到2.4，校正效果明显。某局部平场数据校正前后的结果如图6所示，A为校正前局部增强效果，B为校正后图像增强效果，A与B的像元灰度值三维显示如C与D所示。由图6可见，A有明显的竖向条纹，B中竖向条纹已消除，说明由按列读出放大器导致的非均匀性已得到校正，仅存在由暗电流导致的横向条纹。针对增益档位为×10时，平均DN值为2 000时的实验结果类似。对于平均像元输出值位于1 500到2 000的平场数据，则可以利用式(4)与式(5)进行非均匀校正。

表1　积分球观测试验观测数据校正前后NU值比较

图6　积分球观测试验数据像元非均匀性校正效果Fig.6　Pixel nonuniformity correction effect of integrating sphere test data

4　两通道非均匀校正

依据2.3节的分析可知，假设两通道接缝处的真实地表覆盖连续，则成像几何的光学特性相同，则可将两通道接缝附近多行像素均值的差作为两通道辐射校正值。实际成像中，可能存在像元响应非均匀性、相机镜头灰尘、地物边界差异等因素，从而导致上述假设不完全成立，这时拼接缝附近有很多像素灰度值的差异过大。为准确估计两通道辐射校正值并提升算法的鲁棒性，不让这些差异过大的像素点参与均值统计。确定两通道辐射校正值后，对某一通道进行校正，即可消除辐射差异；如果拼接缝处存在细微边界，则可通过羽化处理消除。

设从上至下两通道拼接缝处的两行分别为M、N，这里N=M+1，两通道图像非均匀性校正算法流程如下：

①统计第M-a行至第M行所有像素灰度值的均值Mean1，统计第N行至第N+a行所有像素灰度值的均值Mean2，初步计算两通道辐射差异值Delat1=Mean1-Mean2，a的取值根据经验确定，例如a=5；

②计算第M-a行至第M行每个像素灰度值与在同一列上第N行像素灰度值的差b，如果b>c·Delat1，则将该像素对应行所有像素标记为零；如果b

③统计第M-a行至第M行标记为1的像素灰度值的均值Mean1′，统计第N行至第N+a行所有像素灰度值的均值Mean2′，计算两通道辐射差异值Delat1′=Mean1′-Mean2′；

④将第N行至最后一行所有像素灰度值增加Delat1′，对第M-d行至第N+d行的图像进行羽化。d的取值根据经验确定，例如d=5。

利用安装有CIS2521F的航空相机进行遥感试验，采用本文方法对遥感图像进行批处理。试验结果分析表明，两通道图像非均匀校正方法简单并且鲁棒，两通道图像非均匀校正后，整幅图像灰度均匀，上下通道无差异。其中，某两幅遥感图像两通道校正效果如图7所示，拼接缝处局部图像两通道校正效果如图8所示。

(a)图像一校正前　　　　(b)图像一校正后(a)Image 1 before correction　(b)Image 1 after correction

(c)图像二校正前　　　　(d)图像二校正后(c)Image 2 before correction　(d)Image 2 after correction图7　某两幅遥感图像两通道校正效果Fig.7　Two remote sensing images comparison before and after radiation rectification between two channels

(a)拼接处校正前(a)Mosaic seam image before correction

(b)拼接处校正后(b)Mosaic seam image after correction图8　拼接缝处局部图像两通道校正效果Fig.8　Local image of mosaic seam comparison before and after radiation rectification between two channels

5　结　论

本文以新型面阵CMOS探测器CIS2521F为例，通过实验室积分球观测试验研究了两通道按列输出CMOS探测器的均匀性特点，首先分析了暗电流噪声对成像质量的影响，然后分析了非均匀性随图像平均灰度值的变化规律，最后通过统计分析了两通道辐射非均匀性的规律。

针对某些状态下单通道图像存在系统非均匀性的特点，采用基于实验室积分球观测数据的两点校正方法，经积分球观测数据验证，校正后由按列放大输出导致的非均匀性已消除，仅存在由暗电流导致的横向随机条纹。依据实验室积分球观测数据得到的两通道非均匀性规律，提出了一种基于真实图像拼接线附近灰度差异统计的非均匀校正方法，经航空遥感图像验证，处理后整幅图像灰度均匀，两通道图像已无灰度差异。

[1]罗通顶, 李斌康, 郭明安, 等．科学级CCD远程图像采集系统[J]．光学 精密工程, 2013, 21(2): 496-502.

LUO T D, LI B K, GUO M A,etal.．Remote image acquisition system with scientific grade CCD [J]．Opt.PrecisionEng., 2013, 21(2):496-502. (in Chinese)

[2]JANESICK J R.ScientificCharged-CoupledDevices[M]. SPIE Press，2001，3-8.

[3]HARALABIDIS P E,PILINIS C. Linear color camera model for a skylight colorimeter with emphasis on the imaging pipeline noise performance [J].JournalofElectronImaging，2005，14(4)：043005.

[4]刘新明, 刘文, 刘朝晖．大面阵CMOS APS相机系统的设计[J]．光子学报,2009,38(12):3235-3239．

LIU X M, LIU W, LIU ZH H．Design of a large area array CMOS APS camera system [J]．ActaPhotonicaSinica, 2009, 38(12): 3235-3239. (in Chinese)

[5]何舒文, 王延杰, 孙宏海,等．高动态科学级CMOS相机系统的设计[J]．液晶与显示, 2015, 30 (4): 729-735.

HE SH W, WANG Y J, SUN H H,etal.. Design of high dynamic scientific CMOS camera system [J].ChineseJournalofLiquidCrystalsandDisplay, 2015, 30 (4): 729-735.(in Chinese)

[6]王征, 何云丰, 曹小涛, 等．基于FPGA的大面阵CMOS相机高速率电子学系统设计[J]．液晶与显示, 2016, 31(2): 173-178.

WANG ZH, HE Y F, CAO X T,etal.. Design of large area array CMOS of high speed electronics camera system based on FPGA [J].ChineseJournalofLiquidCrystalsandDisplay. 2016, 31(2): 173-178.(in Chinese)

[7]孟庆宇, 董吉洪, 王栋,等. 轻小型立体相机光学系统研制[J]．红外与激光工程, 2016, 45(4): 418002(1)-418002(8).

MENG Q Y, DONG J H, WANG D,etal.. Minitype optical system development of stereo camera [J].InfraredandLaserEngineering, 2016, 45(4): 418002(1)-418002(8).

[8]FAIRCHILD IMAGING, CIS2521 Megapixel Ultra Low Noise sCMOS Image Sensor, Fairchild Imaging [E]. http://www.fairchildimaging.com/ catalog/focal-plane-arrays/scmos/cis2521.

[9]SUNGHO S, SHINYA I, SATOSHI A,etal.．Column-parallel correlated multiple sampling circuits for CMOS image sensors and their noise reduction effects[J]．Sensors, 2010, 10(12):9139-9154.

[10]周彦平, 谢小龙, 刘洋,等. CMOS图像传感器电子辐照实验的研究[J].红外与激光工程, 2016,45(5):0520006(0)-0520006(4).

ZHOU Y P, XIE X L, LIU Y,etal.. Electron radiation experiment of CMOS image sensor [J].InfraredandLaserEngineering, 2016,45(5):0520006(0)-0520006(4).

[11]WIDENHORN R,DUNLAP J C,BODEGOM E. Exposure time dependence of dark current in CCD imagers [J].IEEETrans.ElectronDevices. 2010, 57(3): 581-587.

[12]WIDENHORN R,HARTWIG I,DUNLAP J C,etal.. Influence of illumination on dark current in charge-coupled device imagers [J]. 2009, 18(3):033015.

[13]BELLIA L,CESARANO A, MINICHIELLO F,etal.. Calibration procedures of a CCD camera for photometric Measurements[C].IMTC2003InstrumentationandMeasurementTechnologyConference,Vail,Colo., 2002.

[14]顾行发, 田国良, 余涛, 等. 航天光学遥感器辐射定标原理与方法[M]. 北京: 科学出版社. 2013, 128-142.

GU X F, TIAN G L, YU T,etal..TheCalibrationTheoryandMethodsforSpaceOpticalRemoteSensor[M]. Beijing:Science Press, 2013, 128-142 (in Chinese)

杨国鹏(1982-)，男，山东聊城人，博士，高级工程师，2007年、2010年于信息工程大学分别获得硕士、博士学位，现为武汉大学测绘遥感信息工程国家重点实验室博士后，主要从事遥感应用、计算机视觉、机器学习方面的研究。E-mail: imageren@qq.com.

周欣(1983-)，女，河南渑池人，博士，高级工程师，2007年、2010年于信息工程大学分别获得硕士、博士学位，主要从事摄影测量、航天遥感应用等方面的研究。E-mail: hnswallowfly@163.com

(本栏目编辑：李自乐)

(版权所有未经许可不得转载)

《光学 精密工程》 2016年　征订单

《光学 精密工程》 2016年　征订单

《光学 精密工程》 2016年　征订单

注：此单只作订单，不做报销凭证。订单填好，请一并将汇款寄出，款到即寄出正式发票。

邮局汇款：长春市东南湖大路3888号

《光学 精密工程》编辑部(收)

银行帐户：中国科学院长春光学精密机械与物理研究所

帐号：220801471908091001

开户银行：中国银行吉林省分行营业部

联系电话：(0431)86176855 传真：(0431)84613409

联 系 人：吴秀丽

Nonuniformity of CMOS image with double channels and column readout and its correction

YANG Guo-peng1,3*,ZHOU Xin2,CHEN Dong3,HU Chang-miao4

(1.StateKeyLaboratoryofInformationEngineeringinSurveyingMappingandRemoteSensing,WuhanUniversity,Wuhan430079,China; 2.THSatelliteCenterofChina,Beijing102102,China; 3.The95899PLAtroopoftheChinesePeople'sLiberationArmy,Beijing100085,China; 4.InstituteofRemoteSensingandDigitalEarth,ChineseAcademyofSciences,Beijing100101,China)

The CMOS image nonuniformity and its correction methods were researched to improve the relative radiation quality of aerial remote sensing image products. Taking the new CMOS image sensor CIS2521F as an example, the nonuniformity characteristics affected by dark current noise, average gay and double channel readout were researched through the experiments of the integrating sphere observation. Then, the two-point linear correction method based on the observation data was used to remove the column strip noise related to column amplifiers. Finally, a correction method based on the statistical gay difference near the mosaic seam was used to wipe off the mosaic phenomenon related to double channel readout. Experimental results indicate that the nonuniformity of the sphere image has changed from 4.4 into 2.4 after single channel correction, and the manual interpretation difference is disappeared after double channel correction. The remote sensing image after correction is uniformity and satisfies the interpretation requirement.

remote sensing image; Complementary Metal-oxide-semiconductor Tansistor(CMOS); image nonuniformity; double channels; radiation correction

2016-04-27；

2016-06-21.

装备预研基金项目(No.9140A03031315JB09035)

1004-924X(2016)08-2087-07

TP751

A

10.3788/OPE.20162408.2087