一种图像传感器灰度响应非线性现象校正方法

袁鹏程， 李俊山， 孙富礼， 王 灿

(上海无线电设备研究所，上海201109)

0 引言

目前图像传感器的集成工艺已经非常成熟，超高速、超高分辨率的图像传感器已经被广泛应用在很多领域。然而由于制作工艺的局限，导致图像传感器各个像素的参数特性各不相同[1]，从而在同等条件的曝光下各个像素输出的信号存在不一致性，这种不一致性导致了输出图像的不均匀性。其次，随着曝光时间增加图像传感器的光子转换曲线呈现出非线性，这种非线性现象降低了图像传感器动态范围，导致输出图像对比度较差，因此对图像传感器进行校正处理是很有必要的。

大部分的图像传感器校正方法着重对图像传感器的非均匀性进行校正，对图像传感器非线性进行校正的方法多数是基于伽玛校正或将伽玛校正集成至电路中[2]，而伽玛校正并不能很好地抑制图像传感器的非均匀性，且大多数方法仅针对某一类图像传感器进行校正，并不具备通用性。因此提高图像对比度的方法大多还是基于较为经典的数字图像处理算法例如直方图均衡、指数校正、对数校正(伽玛校正)、二值化等方法[3-8]，然而这类图像处理算法仅仅是对图像进行校正而非图像传感器，这样会导致校正算法并不能识别出照片灰度值中的噪声部分，也就是说使用这些方法并不能校正图像的非均匀性，并且这类算法每拍一张照片就需要对其进行处理，操作繁琐。

针对以上问题，为了解决传统图像传感器校正方法只是单一的对图像传感器非均匀性或者非线性进行校正且通用性较差的问题，本研究提出一种基于像素光子转换特性的图像传感器校正方法，该方法可以抑制图像传感器的非均匀性、校正图像传感器的非线性现象、补偿图像传感器的暗噪声以及缺陷像素，从而提高图像传感器输出图像的均匀性以及对比度。

1 图像传感器非线性校正方法

在图像传感器中，每个像素都有对应的灰度响应曲线。

如图1所示，如果将图像传感器的每个像素点的灰度响应曲线都绘制出来，就会出现一簇灰度响应曲线，由于这些曲线的不一致性，导致在相同的光照和曝光时间下，各个像素输出的灰度值会有差异，最终输出的图像上会存在很多亮暗点。

图1 均匀曝光下像素灰度响应曲线

除了像素点之间光子转换曲线的不一致性以外，单个像素的灰度响应曲线并不是严格线性的。图2为某科学级CCD 图像传感器的光子转换曲线，图中虚线表示的是该像素实际的灰度响应曲线。可以看到，该像素在曝光量120 lx·ms之前基本都保持线性。然而随着曝光时间增加，响应曲线逐渐偏离线性并且曝光时间越长该现象越严重，这是由于像素中捕获电荷的电势阱捕获电荷的能力在接近饱和值得时候会降低，从而导致光电转换效率降低，无法保持线性。这种转换曲线的非线性现象会导致图像传感器的动态范围降低，并且输出的图像对比度较差。而理想的图像传感器转换曲线应该为图中实线所示的一条一次函数，且每一个像素的转换曲线都应如此。

图2 图像传感器实际与理想光子转换曲线对比图

针对以上问题，本文提出一种基于像素光子转换特性的图像传感器校正方法。首先将图像传感器均匀曝光，并采集从无光到饱和曝光之间i张曝光量等差递增的图像数据，然后绘制出图像传感器所有像素的灰度响应曲线，由图2可以看出，每个像素的响应曲线基本可以分为两段，分别是线性段与非线性段，可以用一个分段函数来描述单个像素的响应曲线

式中：Ei为第i 张照片所对应的曝光量(时间)，μEi为在曝光量Ei下该像素所输出的灰度值;μmax为线性段像素输出的最大的灰度值;a1、b1、a2、b2、c2为函数表达式的拟合系数。

对于一个图像传感器来说，由于存在多个像素且每个像素的响应曲线都不一样，所以不同像素的拟合系数也各不一样。假设一个M ×N 像素的图像传感器，那么其中的任意一个像素(m，n)的响应曲线可表示为

式中：Ei为曝光量;μEi[m][n]是曝光量Ei下图像传感器第(m，n)个像素对应的灰度值;μmax[m][n]是线性区域最大灰度值;a1[m][n]、b1[m][n]、a2[m][n]、b2[m][n]、c2[m][n] 是第(m，n)个像素灰度值和曝光时间的最小二乘拟合系数，这些系数可以结合等差递增的图像数据拟合求得并组成矩阵A、B 和C，如式(3)、(4)、(5)所示。

矩阵A、B、C 被称为图像传感器的特征矩阵，利用这三个矩阵可以描述出图像传感器所有像素点的灰度响应曲线，并且特征矩阵也是校正算法中的关键素材。

假设使用图像传感器进行曝光并输出一张图像，那么可以得到该图像对应的灰度值矩阵为

通过上述特征矩阵A、B、C 与式(2)，利用特征矩阵中对应像素的拟合系数可以反演出每个像素的当前灰度值所对应的曝光量或辐照时间

由于理想图像传感器的光子转换曲线应该是一条线性的直线，那么可以将理想的图像传感器灰度响应曲线表达式定义为一个一次函数，将式(7)带入理想的弧度转换曲线中，即可计算出对应曝光下理想的灰度值矩阵，即理想的图像

式中：k、Ub为适当的常数和常数矩阵，使传感器的动态范围最大，且每个像素的具有相同或相近的光电转换曲线，可根据图像实际情况设置不同的目标值。例如，一个最大灰度级数为x，饱和曝光量为Emax，则k=x/Emax，Ub为图像的整体亮度参数，一般情况下为0，在输出图像整体较暗时可以增大该参数得到更清晰的图像。

2 实验与结果分析

2.1 图像传感器测试系统

由于本论文提出的校正方法需要将图像传感器置于均匀曝光环境下进行成像进而测试图像传感器的光子转换曲线，因此本研究依照“1288测试标准”，搭建了一套图像传感器测试系统。装置大致组成如图3所示。

为了验证校正算法的效果，本论文分别以一款科学级CCD 与科学级CMOS图像传感器作为实验对象来验证算法的正确性以及适应性。其中，CCD 图像传感器为五级实验片，分辨率为1 024×1 024(100 万像素)，片上有两列缺陷像素。CMOS 图像传感器为一级片，分辨率为2 352×1 728(400万像素)。

由于该测试装置中CCD 驱动电路使用的AD 转换芯片输出为12 位，即最大输出为4 096 DN。为了达到最好的校正效果，本实验中将目标响应曲线设定为正比例函数Uideal=27.31E，该目标响应曲线在图像传感器达到最大曝光150 lx·ms时灰度输出值为4 096，满足12位AD 转换芯片的最大输出，且正比例函数是严格线性的。

2.2 像素灰度响应曲线校正结果

理想的像素灰度响应曲线应是一条一次函数，然而由于工艺的限制，每个像素的PTC 各不一样，甚至会有较大的差别，这就导致了图像的不一致性，以本实验中的CCD 图像传感器为例，由图5中校正前像素的灰度响应曲线图可看出该图像传感器存在以下几个缺陷，在曝光量为0 lx·ms时各个像素输出灰度值并不为0，具有比较大的暗噪声现象;绝大多数像素动态范围没有达到12位AD 的最大输出仅有(500～3 500)DN;各个像素间呈现出了明显的不均匀性;从曝光量为饱和曝光的一半开始，大部分响应曲线呈现出非线性现象，曲线趋于平缓，导致达到饱和光强是输出灰度值范围仅为(3 500～3 800)DN;并且存在少数的缺陷像素，这些像素的灰度响应曲线与多数像素存在较大的不一致性。

图5 CCD 图像传感器500像素PTC校正前曲线

图6 CCD 图像传感器500像素PTC校正后曲线

由图5、6中校正后像素的灰度响应曲线前后对比可以看到，经过校正后图像传感器的暗噪声得到了有效抑制，各个像素在曝光量为0 lx·ms时几乎没有灰度输出;图像传感器的一致性得到了明显的改善，在饱和曝光下各像素灰度跨度约为100 DN，与校正前相比灰度跨度缩小60%;响应曲线非线性现象也得到了明显校正，动态范围由校正前的(500～3 500)DN 扩展为(0～4 096)DN，相比校正前提高36.5%;且缺陷像素得到很好的校正;非线性现象得到明显校正。由响应曲线对比可看出，该校正方法可以同时校正图像传感器的不均匀性以及非线性现象，此外该校正方法对于缺陷像素同样有较好的校正效果。

2.2 像素灰度响应曲线校正结果

为了验证校正方法对图像传感器成像的非均匀性校正效果，实验对CCD 以及CMOS图像传感器进行均匀曝光。图7、8为CMOS图像传感器校正前均匀曝光的照片原图及灰度统计直方图。

图7 CMOS图像传感器校正前均匀曝光图像

图8 CMOS图像传感器校正前均匀曝光灰度直方图

校正前CMOS图像传感器具有较严重的非均匀性，由灰度直方图中的统计数据可得，均匀曝光下CMOS 图像传感器的灰度分布跨度约为(636～771)DN。

图9、10为CMOS图像传感器校正后在相同条件下均匀曝光的图像与灰度直方图，由左边的均匀曝光照片可看出经过校正后，CMOS图像传感器输出图像的非均匀性得到明显改善。从右边的灰度直方图中可得，均匀曝光下CMOS图像传感器校正后的的灰度分布跨度约为(680～722)DN，相比与校正前像素的一致性提高68%。

图9 CMOS图像传感器校正后均匀曝光图像

图10 CMOS图像传感器校正后均匀曝光灰度直方图

然后将校正前后的CCD 图像传感器分别在相同条件下进行均匀曝光成像，得到了CCD 图像传感器校正前后的均匀曝光图像以及像素灰度统计直方图。

图11为CCD 图像传感器校正前后均匀曝光图像对比图，其中左图为校正前输出图像，右图为校正后输出图像。由于CCD 图像传感器的噪声性能相比于CMOS 图像传感器较好，所以CCD图像传感器的非均匀性并不是很严重。但是从左图中可看出，该CCD 图像传感器有两行缺陷像素，经过校正后，两行缺陷像素得到了较好校正。校正前后图对比可看出校正后的图像变暗了一些，这是因为校正后各像素输出灰度中的暗噪声部分被抑制，所以输出灰度值减小。

图11 CCD 图像传感器校正前后均匀曝光图像对比图

图12、13分别为CCD 图像传感器校正前后均匀曝光像素直方图对比图，由图12可看出，校正前CCD 图像传感器在均匀曝光下输出图像的灰度分布跨度约为(2 190～2 300)DN，将纵轴显示范围减小，放大直方图的底部可看出部分像素的灰度与大部分像素相差较大，即为缺陷像素。校正后CCD 图像传感器在均匀曝光下输出图像统计直方图如图13所示，经校正后可看出，图像灰度整体由2 300 DN 减小至1 800 DN，即经校正后暗噪声的抑制量为500 DN;输出图像的灰度分布范围约为(1 780～1 840)DN，相比与校正前像素的一致性提高45%。

图12 CCD 图像传感器校正前均匀曝光灰度直方图

2.4 实际拍摄图像校正结果及适应性验证

为了验证校正方法对图像传感器成像的非线性校正效果，实验使用校正前后的CCD 图像传感器在相同环境及相同曝光时间下对物体进行成像曝光，然后对比其输出图像的质量以及视觉效果，并且对输出图像的灰度分布进行直方图统计，计算图像传感器动态范围及图像对比度的校正效果。图14、15为CCD 图像传感器校正前拍摄石膏像及灰度直方图。

图14 CCD 图像传感器校正前拍摄实物图

需要注意的是，在实际拍摄中，以块黑色摄影布作为背景然后将石膏像放置在摄影布上作为拍摄对象且在右侧放置了一个光源照射在拍摄对象上，然而由图14中照片可看出，校正前图像的对比度较低，石膏像以及背景的区分度并不明显。由灰度直方图中也可看出，照片的灰度分布范围仅为(500～3 500)DN。

图16、17为CCD 图像传感器校正后拍摄石膏像及灰度直方图。由照片可看出，相比于校正前输出的图像，该图像石膏像右侧的高亮部分亮度增加，而背景的亮度下降，图像整体对比度得到明显改善。由灰度直方图中也可看出，照片的灰度分布范围扩展为(0～3 800)DN，相比于校正前提高26.7%。同时输出图像中的缺陷像素行也得到明显校正。

图17 CCD 图像传感器校正后拍摄实物灰度直方图

为了验证算法的适应性，实验对其他物体拍摄了照片，并且输出各图像校正前后的像素灰度直方图，计算图像对比度的改善效果。

图18、19为CCD 图像传感器校正前拍摄茶壶及灰度直方图，该茶壶主体为黑色，茶壶上的花纹以红色和白色为主。

由图13中照片可看出，校正前图像的对比度较低，尤其是茶壶上的花纹细节部分对比度不明显。由灰度直方图中可看出，照片的灰度分布范围仅为(500～2 800)DN。

图18 CCD 图像传感器校正前拍摄茶壶照片

图19 CCD 图像传感器校正前拍摄茶壶灰度直方图

图20 CCD 图像传感器校正后拍摄茶壶照片

图21 CCD 图像传感器校正后拍摄茶壶灰度直方图

图20、21为CCD 图像传感器校正后拍摄茶壶及灰度直方图。由照片可看出，相比于校正前输出的图像，该图像茶壶的主体更接近于真实物体的黑色，而茶壶上的反光效果及花纹细节更加明显，照片整体对比度得到明显改善。由灰度直方图中也可看出，照片的灰度分布范围扩展为(0～3 700)DN，相比于校正前提高50.7%，输出图像中的缺陷像素行同样得到了校正。

3 结论

本论文针对传统图像传感器校正方法只是单一的对图像传感器非均匀性或者非线性进行校正且通用性较差的问题，提出了一种基于像素光子转换特性的图像传感器校正方法，设计了基于FPGA 时序控制的图像数据采集电路采集实验所需数据，针对一款CCD 及CMOS图像传感器进行校正。经过实验验证，该校正方法可以同时校正图像传感器的不均匀性以及非线性现象，此外该校正方法对于缺陷像素同样有明显的校正效果。经该方法校正后的图像传感器输出图像均匀性、对比度、像素分布范围均有显著提升，解决了传统图像传感器校正方法只是单一的对图像传感器非均匀性或者非线性进行校正且通用性较差的问题，且该方法适用于CCD 图像传感器以及CMOS图像传感器，具有明显的通用性。