CMOS图像传感器微透镜平移算法的研究与实现

姚洪涛，魏 巍，谷元保

（长春理工大学 系统芯片与集成系统研究室，吉林 长春130022）

CMOS图像传感器微透镜平移算法的研究与实现

姚洪涛，魏 巍，谷元保

（长春理工大学 系统芯片与集成系统研究室，吉林 长春130022）

本文介绍了几种较为经典的基于CMOS（Complementary Metal Oxide Semiconductor）图像传感器的微透镜平移算法，针对其不足，提出了一种基于最小串扰的改进算法，并且在CMOS图像传感器光学仿真平台上进行了仿真测试及验证，该算法在对微透镜平移的基础上解决了因为平移量的计算不精确和计算量过大的问题，提高了CMOS图像传感器成像质量。

CMOS图像传感器；微透镜平移；像素串扰；模块分组

目前，CMOS图像传感器以其功耗小、噪声低、灵敏度高及动态范围广等特性已被广泛地应用于各个领域[1]。随着半导体制造技术的提高，高分辨率CMOS图像传感器也受到各行各业的青睐。然而在CMOS图像传感器分辨率的不断提高，集成的像素单元不断增加的同时，通过微透镜阵列入射到像素内部光电二极管面积上的光照强度却持续减弱，从而引起整个 CMOS图像传感器灵敏度和成像质量的下降。

1 平移原因

CMOS图像传感器微透镜阵列简化原理图如图1所示。光线通过CMOS图像传感器上方的镜头照射到微透镜阵列上，位于微透镜中心位置的光线几乎是垂直照射，而在微透镜阵列边缘的部分，光线以斜入射方式进入像素单元，照射到像素内部的金属层上面，减小了入射到像素内部光吸收区域的光照强度，如图1所示。

图1 CMOS图像传感器阵列简化图

通过平移微透镜可以减少这种情况的发生，如图2所示。

图2 CMOS图像传感器微透镜平移原因

为了防止灵敏度的下降以及串扰的上升，人们开发了BSI和SmartFSI技术[2]，但是不论何种技术，都需要通过平移微透镜，来增大入射到光电二极管光吸收区域的光照强度。文中提出了一种简单可靠地微透镜平移算法，可适用于不同主入射角情况下的微透镜平移，可以很好的解决因光线折射而引起的CMOS图像传感器图像成像质量下降的问题。

2 微透镜平移算法介绍

2.1 拟合平移函数算法

该算法主要是通过CMOS图像传感器几个采样点的主入射光线的特征值，去计算几个采样点的微透镜平移量，进而去拟合一个平移函数。然后通过该平移函数去计算其余微透镜的平移量，从而达到平移整个微透镜阵列的目的[3]，该方法虽然较为简单，但是却存在一个精确性不高的问题。因为该算法的平移函数是通过几个采样点的平移量估算出来的，在估算的时候，不得不面临一个误差的问题，并且现在的微透镜阵列拥有的像素个数不断增多，已经达到了五千万以上，一个很小的误差在经过千万次以上的积累以后，会造成一个较为巨大的误差。

图3 基于拟合平移函数的微透镜平移算法流程图

2.2 平面坐标计算法

该算法是通过对微透镜阵列进行坐标化，取位于中心位置的像素点作为坐标系的原点，然后分别计算在X轴和Y轴方向的微透镜平移量，然后通过计算出来的X轴和Y轴的微透镜平移量来计算位于其他位置的微透镜平移量。如上图所示，我们首先计算位于X轴和Y轴上面的像素的平移量，比如 pixel（m，0）、pixel（k、0）、pixel（0，n）和 pixel（0，1），假 设pixel（0，1）像素的平移量为▽S1，pixel（k，0）的像素平移量为▽S2，则 pixel（k，1）的像素平移量为，同理可计算出其他任意位置的微透镜平移量[4]。但是该算法也依然存在一个缺点。因为在计算位于斜对角微透镜平移量是通过它本身在X轴和Y轴投影的像素平移量的平方和去计算的，这本身就存在一个明显的误差，同时一般镜头的CRA特性为非线性变化，这种误差就更加的明显了。

图4 基于平面坐标计算的微透镜平移算法流程图

2.3 通过光轴来进行微透镜平移

该方法是通过CMOS图像传感器边缘像素单元与位于微透镜阵列中心位置光轴之间的距离来确定微透镜的平移量[5]。该方法虽然可以较为准确的确定单个微透镜的平移量，但是在实际的foundry厂加工的时候，由于精度过高，生产工艺无法达到，所以没办法运用到实际当中。

2.4 平移像素结构内的金属层

平移像素结构内部的金属层，尽量减小金属层对光照强度的影响[6]，该方法虽可达到的一定的效果，但是造价昂贵，同时会牺牲一部分的像素性能，不易于CMOS图像传感器大规模的生产使用。

3 基于像素阵列对称的模块分组

随着现代CMOS图像传感器像素个数的不断增多，单个的去计算每个像素结构的微透镜平移量，计算量过于巨大，在这个背景条件下，人们不得不寻找在保证平移精度的基础上，去减缓计算量。由于，便提出了微透镜平移算法的模块分组算法。CMOS图像传感器像素阵列一般是严格对称的结构，在接受光照的时候，也是严格对称的，于是我们可以按照下图所示的方法，对微透镜阵列进行分组，如图5所示。

图5 CMOS图像传感器微透镜分块方法

图5当中每个数字代表一个模块，我们在平移微透镜的时候，可以只平移除对角线以外8个模块当中的任意一个，然后按照相应的对称法则，不需另加计算，就可以平移其余7个模块，这样大大的减少了因平移每一个微透镜所带来的较大的计算量。每个模块的大小，可由下面的公式计算得出：Block Size=INT（Delta×Npix/（2×s）），模块的大小，就是指模块内行数或者是列数的总和。Delta就是微透镜或者是微透镜间距之间的改变量。Npix是像素排列当中行或者列的数目。使用这个INT函数，是为了保证整个像素阵列都可以得到平移。对于一般的图像传感来说，一般的模块大小为4到10个行/列。但随着近年来，显示设备上像素数目的不断增多，模块的大小，也有一定的增加。

该模块分组在可以确保精简计算量的同时，由于模块边缘不是平行存在的，避免了布洛克边界效应的影响。利用了在整体微透镜阵列平移量计算完成时，我们可以随机抽查其他模块微透镜的平移量是否精确。

在单个模块内部计算微透镜平移量的时候，我们采用基于最小串扰的CMOS图像传感器微透镜平移算法，像素结构当中像素之间的距离要比与之对应的微透镜之间的距离要小。比如说像素之间的距离为7.8 um，微透镜之间的距离为7.82 um，那么微透镜中心，便可移动 0.02 um，对于720*576的像素阵列来说，微透镜在水平方向和竖直方向的平移量为14.4 um和11.52 um。该平移范围基本覆盖了整个像素结构的灵敏区域。然后接下来，我们采用RGB三基色的单色光去照射CMOS图像传感器，读取R，G1，G2和B通道的信号值[13]。算出模块内部像素之间的串扰和灵敏度。G1和G2的值相当于像素内部灵敏度的分布，而R和B的值，便相当于不同像素之间的串扰。由于相比起灵敏度，串扰对图像的质量影像更大，所以在模块内部微透镜平移的时候，我们采用串扰最小最为平移的标准。串扰标准定义为：

具体平移量计算如下：

图6 单个微透镜平移原理图

在上面的坐标系中，我们规定，物距在光学系统坐标原点左边为正，右边为负；像面在光学系统原点的右边为正，左边为负。指定光轴向所参考的光轴方向顺时针旋转为正，逆时针旋转为负。坐标轴上方的高度为正，下方为负。

由图中可知：x1=-（T/2+t1）

上式当中的i和j为在y轴和z轴上面距离光轴的微透镜数目，从空间任意一点 P点（x1，y1，z1）发出的光线，经过微透镜上面的B点折射。B点的透镜参数为，其中l1，m1和n1为入射光线的方向矢量的坐标：

B点处法线的方向余弦为：

由上面的入射光线矢量 r（l1，m1，n1）和法线矢量 n（l2，m2，n2）梯度积可知入射角的余弦值为：

由几何光学知识可知，反射光线矢量r`可由入射光线矢量和法线矢量表示：

由上可知：

其中θ是折射光线与法线的夹角，有斯涅耳定律可知：

其中，n是微透镜阵列组的折射率

同理可知，折射线的方向余弦为：

计算上面的方程组，便可得出y3和z3的值，其中x3=t2，得出C点坐标之后，可进一步计算其距离微透镜边缘之间的距离。

4 测试结果

我们在平行光的照射下，在主入射角为25度的时候，利用3种算法计算得出的平移量，利用FDTD仿真软件，首先建立光学仿真的像素模型[14-15]，然后对微透镜阵列进行平移，抽取同样位置的微透镜进行测试，得出的平移量进行仿真，并比较计算结果，测试微透镜光接收强度[9-12]，仿真结果如图8所示。

图7 平移原则

图8 仿真结果

由仿真结果可以看出，在相同的位置，相比起其他两种算法，本文当中提出的算法，可以较好的平移微透镜，使单个像素接受更多的光照。

5 结束语

通过上面的测试结果与分析，本文当中提出的算法，可以在保证平移精度的情况下，通过对微透镜阵列进行模块分组，较好的减小了由于微透明平移计算所带来的计算量。与其他平移算法相比，也不需要拟合平移函数，减小了由此带来的误差。

[1]Eric R.Fossum.CMOS Image Sensor：Electronic Camera-on-A-Chip [J].IEEE Transactions on Electron Devices,1997,44（10）:1689-1698.

[2]Nobukazu Teranishi，Hisashi Watanabe，Takehiko Ueda，et al.Evolution of optical structure in image Sensors.Image[R]. Japan:Sensor Business Unit,Industrial Devices Company. Panasonic Corporation1 Kotari-Yakemachi,Nagaokakyo, 2010.

[3]TadaoINOUE，Hiroshi DAIKU.Method for calculating shift amount of image pickup element and image pickup elemen: US,0262611 A1[P].2012-10-18.

[4]GennadiyA，Agranov.Circularsymmetricalmicrolens/color filter array hift and digital lens shading corection:US，0030379 A1[P].2007-02-08.

[5]HitoshiMiyano，Saitama-ken.Solid-stateimage pickup device having microlenses each with displaced optical axis:US，005610390A[P].1997-03-11.

[6]Clifford I，Drowley，Scottsdale，et al.Microkens for use with a solid-state image sensor and a non-telecentric taking lens: US，0165097[P].2004-08-24.

[7]JeffRaynor，Edinburgh.Solid state image sensors and microlens arrays:US，6884985[P].2005-04-26.

[8]LEE Yi-Chi，LU Mei-Ju，CHENG Wei-Cheng，et al.Pixel structure:US，0070644 A1[P].2015-03-12.

[9]Wu-Cheng Kuo，Wei-Chieh Chiang，Ren-JieLin，et al.CF/ ML shift optimization for small pixel CMOS image sensor through FDTD simulation [R].Taiwan:VisEra Technologies Company and Semiconductor Manufacturing Company，2010.

[10]Cl′emenceMorneta，J′er′omeVaillanta，Thomas Decrouxa. Didier heraulta and isabelle schanenb.evaluation of color error and noise on simulated images[J].SPIE 2010，7537（1）: 75370Y-75370Y-12.

[11]J′er′omeVaillantaandFlavienHirigoyenab.Optical simulation for CMOS imager microlensoptimization[J].Proc Spie，2004，200-210.

[12]ScottP.Campbell，ThousandOsks，RichardH.et al.Optimization of alignment among elem-ents in an image sensor:US，0061951 A1[P].2005-03-24.

[13]Jér oˆmeVaillant*，ThomasDecroux，Emilie Huss，et al. Versatile method for optical performances characte-rization of off-axisCMOS pixels with microlens radial shift[J]. Proceedings of SPIE，2008:681707-681711.

[14]Bum-sukKlm，Kyoung-sikMoon，Yun-hoJang，etal.CMOS image sensor layout capable of removing difference between gr and gb sensitivities and method of laying out the cmos image sensor:US，0072281 A1[P].2009-03-19.

[15]Takashi Abe，RyojiSuzuki，YoshiharuKudoh，Solid-state image device，method ofmanufacturing the same and camera mule: US，0273779 A1[P].2007-11-29.

A microlensshifting of algorithm research and implementation for CMOS image sensor

YAO Hong-tao，WEI Wei，GU Yuan-bao
（The Resrarch Lab of System Chip and System Integration，Changchun University of Science and Technology，Changchun 130022，China）

This paper presents severalclassicmicrolens shifting of algorithms based on CMOS image sensor.A new microlens shifting of algorithm is proposed based on the deficiency of the typicalmicrolens shifting of algorithm and has been made a test on the CMOS image sensor optical simulation platform.The test results demonstrate that it hasovercoming the problems of inaccurate shiftting offsetand excessive computing，andfinalyimprovingimage quality of CMOS image sensor.

CMOS image sensor；microlens shifting；crosstalk of pixel；group modules

TN366

A

1674－6236（2016）23-0190-04

2015-11-09稿件编号：201511079

姚洪涛（1973—），男，吉林长春人，硕士，副教授。研究方向：集成电路与芯片设计、数字图像处理。