高行频混合域TDI累加成像技术研究

梁楠 贺强民 李博 李涛

高行频混合域TDI累加成像技术研究

梁楠 贺强民 李博 李涛

（北京空间机电研究所，北京 100094）

随着航天遥感领域高分辨率时间延迟积分成像中行频的提高，在一个积分时间内入瞳能量逐渐减少，在弱光条件下成像品质下降，需要采用增大积分级数的方法弥补能量的不足。现有传统数字域累加势必会导致叠加引入过多噪声，而模拟域又受到器件工艺的影响无法实现大级数累加。文章首先提出了一种基于电荷域和数字域混合的累加方式，并阐述了具体成像方案。同时，结合相机在轨成像方式，对混合域累加方式下的信噪比和调制传递函数（Modulation Transfer Function，MTF）进行了理论推导。文章最后搭建实验环境对混合域累加方式下信噪比和MTF进行测试，并与传统电荷域进行比较，验证了混合域累加理论的正确性以及实现方法的可行性。根据分析与验证，文章所提方法有效的解决了单纯电荷域与数字域的主要瓶颈，为超高分辨率成像领域提供了有效的解决方案。

高分辨率 混合域时间延迟积分 信噪比 调制传递函数 航天遥感

0 引言

TDI（Time Delayed and Integration）技术一直以来在航天遥感领域的应用较为普遍[1]。高分辨率可见光遥感相机为了增强入瞳能量，主要采用TDI扫描方式，通过景物与传感器之间的相对运动进行叠加成像，从而提高成像品质。然而随着分辨率的进一步提高，积分时间极具缩短，TDI探测器的单像元尺寸势必减小。单像元在一个积分时间内入瞳能量成指数倍降低。因此需要探测器具有更加优异的量子效率，以及更大规模的TDI级数累加电路[2]。受限于工艺原因，电荷域TDI探测器的累加级数过大会导致电荷转移效率的降低，从而使得调制传递函数下降。针对上述问题，文献[3]提出了通过卷帘曝光的面阵器件，以一定时序关系将每行图像进行数字叠加的级数累加方式。而该方式采用大规模数字累加又会使得大量的量化噪声、读出噪声等得到累加，使得图像品质并不能按预期增强；图像动态范围理论上没有得到增强，图像信噪比也提升有限[4]。

基于此种背景下，针对超大规模TDI级数累加成像，本文提出了一种电荷域与数字域共存的大级数累加控制方法，并提出了基于FPGA进行数字累加的实现方式。与传统累加方式进行对比，通过理论推导分析出混合域级数累加在电荷转移效率、图像信噪比方面的优势。最终，结合实验室测试，验证了本文所提出的混合域累加方法的有效性和可实现性。本文所提方法有效的解决了单纯电荷域或数字域累加在超高分辨率成像上的主要瓶颈，为后续航天产品提供了高分辨率成像有效的解决方案。

1 超大规模TDI级数累加方法

对于像元尺寸较小的探测器而言，在低电压驱动环境下，探测器满阱电荷无法提高到一个较高的量级，因此会使得所成图像在较高辐亮度下过早饱和，进而影响了图像的信噪比、动态范围[5]。另外，由于探测器采用CMOS单层POLY结构，较双层POLY的CCD工艺在转移效率上有所减弱，限制了级数的增加。因此超高分辨率相机在弱光成像能力受到了极大的限制[6]。

针对以上两个限制因素，本文提出了一种混合域级数累加方法。主要思想如下：首先通过多片探测器感光单元分别感光；根据感光区物理位置的不同将感光后的多片数据通过FPGA进行一定缓存，将缓存后的数据进行数字累加。如此实现了多片电荷域累加图像的数字累加。感光单元数量可根据需求自由调整，结构如图1所示，其中为感光单元数量。

首先，根据预设的积分时间，生成时间延迟积分电荷转移时序，控制探测器进行电荷转移，假设所有感光单元总累加级数为，将总累加数平均分为个感光单元。针对同一景物感光产生的电荷，按列进行累加，将累加后的电荷进行量化并输出灰度值，得到按TDI扫描方向分时产生的组数字图像；

其次，根据每一组图像的物理间隔进行延迟积分操作，将每一组数字图像延迟特定的时间，该时间由感光区中有效感光区最后一行至下一感光区第一行的间隔决定；图像延迟时间计算公式（1）为：

式中 Li为第i个子感光区最后一级物理位置；Li+1为第i+1个子感光区第1级物理位置；d为像元尺寸；为积分时间。

图2 多片感光区累加图

2 混合域累加参数分析

由于混合域累加方式与原有电荷域累加方式相比，在图像信噪比、MTF方面有着一定程度的优化[7-8]。因此，本文针对混合域累加原理，结合所述TDI探测器特性对图像信噪比和MTF分别进行理论推导。下文中的分析均为满级数下的参数特性。

2.1 信噪比分析

探测器输出的噪声包括了暗电流噪声、光子噪声、内部链路噪声、相关双采样噪声、放大器噪声、量化噪声等。本文将成像条件分为两种情况，即低端和高端两种辐照度下情况分别分析[9-10]。

对地观测成像时，当处于入瞳能量较弱条件下，即低端辐亮度下，图像所表现出的主要噪声为暗电流噪声、电路噪声，还有部分散粒噪声。混合域累加方式中，一方面，电荷域累加在不增大电路噪声与暗电流噪声的情况下，增加了感光电荷量，因此光子噪声有所增加[11]；另一方面，多片感光图像的数字域累加使得信号大小提高了多倍，但对图像而言，同时也引入了暗电流噪声、电路噪声等ADC前的噪声。这些噪声由于统计特性独立，因此累加后的图像噪声以均方根的方式递增[12]。

当入瞳能量较强时，即高端辐亮度下，图像所表现出的主要噪声为散粒噪声。当数字累加时，散粒噪声的统计特性仍然独立，因此累加后图像噪声水平仍旧以平方和开跟的方式递增。

2.2 MTF分析

MTF是光学系统成像品质的综合评价指标。成像系统MTF的高低直接影响到成像品质的好坏：MTF越高，所获得的遥感图像的边缘纹理等细节就越清晰，相反，就会越模糊[14]。

航天遥感成像相机图像的MTF由静态MTF和动态MTF两部分构成。动态MTF影响因素包括大气湍流导致图像模糊、光学系统导致图像模糊、平台颤振导致的图像模糊、探测器内部电荷转移效率所带来的模糊、探测器运动向离散采样所带来的图像模糊。

本文着重分析混合域累加方式下，探测器内部转移效率所带来的图像模糊、探测器运动向离散采样所带来的图像模糊、以及外部导致的速度失配所带来的模糊影响。

2.2.1 转移效率

探测器自身的MTF是较为重要的一项指标，而探测器的静态MTF主要为电荷转移效率所决定。对于TDI探测器而言，运动方向的转移效率均遵循下述公式（4）[15]。

式中 CTE为探测器每转移一次电荷的转移效率；当前行所处垂直区位置；为不同行的位置转移完成所需转移次数；TDI为转移累加次数，即级数与隔离行数之和，由于隔离行数较少，后面计算时近似忽略隔离行数。

计算混合域累加转移效率时，可根据多个感光区先拆分为多个电荷转移单元，先计算每个电荷转移单元的转移效率。再通过下面公式将所有感光区合并计算。

式中 CTE1、CTE2、CTE3、CTE为不同感光区域的转移效率。代表不同感光区域。

根据上面两个公式，以=4片感光区为例，假设探测器转移效率CTE为0.999 7，最大累加级数为512；在全级数成像时垂直方向MTF的优化情况如下。

不考虑工艺限制问题，若成像电路采用单片感光累加512级方式，根据公式取TDI=512，CTE=0.999 7，CTE512=0.926 8。

如果采用4片感光区分别读出再累加的方式，每一片的级数为128。单片感光区的电荷域128级累加的转移效率CTE1=0.980 9。根据公式得到4片累加方式下转移效率为0.953 1。对比一片模式有0.03的提升。若单次转移效率低于0.999 7，则混合域累加方式的转移效率提升更为明显。

2.2.2 失配模糊

对于空间超大视场TDI相机在轨成像时，像面上像点与被测物体间会形成些许速度失配，该速度失配主要由以下两部分组成。

探测器的离散采样与像面的失配，该影响因素会导致被采样景物在很小的移动时间内所产生的改变无法量化，产生混叠。从而导致相机输出图像的模糊[16-17]。

对于TDI阶积分的TDI相机来说由于速度失配导致的MTF下降公式可以表示为公式（6）：

式中为相机空间采样频率即奈奎斯特频率，=1/(2)；为探测器像元尺寸。

图3 四项连续转移时序

以上为探测器自身离散性带来的MTF下降。在混合累加方式下，由于驱动信号时序在多片感光区均响应一致，因此自身离散性带来的MTF下降水平与传统电荷累加方式一致[18]。

对于第二种影响因素，相机在轨状态下的速度失配带来的MTF下降，在混合域级数累加方式下进行分析。

分析采用4片感光区方式累加成像，由于每片感光区可认为独立的探测器，因此可认为两片感光区边界处为不感光区。在不感光区与感光区之间所产生的速度失配会较每片感光区内部失配程度大。那么景物与感光区之间的离散所带来的MTF下降遵循下面公式[19-20]。

式中TDI为成像级数；为一片探测器运动方向尺寸；为一片探测器与另一片探测器非感光范围。因此当远小于时，即单片级数远大于非感光区间隔时，失速带来的影响在两种方案间的区别可忽略不计。因此若为固定参数时，当图像成像级数较少时，带来影响较大。

综上，多片感光区混合域级数累加的方法可有效改善大级数累加带来的转移效率下降的问题。同时在运动方向上同等失速比下，该方法通过限制两片感光区间的间隔距离，可将失速带来的MTF下降控制在非常小的程度。

3 实验验证

根据上述理论分析，本文通过在实验室搭建的成像环境，用以验证上述分析的正确性。主要验证传统电荷域累加与混合域累加在信噪比、MTF参数上的优化是否有效。

3.1 信噪比验证

搭建实验环境如下：成像电路放置在均匀光照射下，在某一积分时间条件下，通过改变光源亮度来控制探测器光生电荷数量，从而达到图像灰度值的变化。

在一片感光区工作模式下，增益为6dB。采集20组图像绘制其信噪比曲线如图4（a）。成像模式为两片感光区混合域累加的情况下，采用同一级数，同一积分时间。为了图像DN值接近，选取增益为0dB下，图像信噪比如图4（b）所示。

图4 信噪比灰度曲线对比图

根据图4（a）可知，一片模式图像在15 000灰度处，信噪比优于46dB。根据上图4（b）可知，采用混合域累加产生的图像在15 000灰度处，信噪比优于49dB。因此可知，采用混合域累加的方式，可以在原有探测器水平基础上有效的提高图像信噪比。

3.2 MTF验证

搭建实验环境如下：成像电路放置在一标准暗箱内，焦面处安装数为5.6的光学镜头，在镜头另一侧安装半径为20cm圆形滚筒。滚筒转动方向经光学镜头反向后与探测器电荷运动方向一致。拼接时，两片感光区探测器放置间隔尽可能小。将滚筒与成像电路行频设置为一致参数后，对滚动靶标进行成像测试。其中靶标为标准ISO-12233，选取所成图像其中一个斜边。通过刃边法分别计算两种方式MTF，并进行对比测试。

首先测试一片感光模式下64级电荷累加图像，图像如下所示。经计算，一片感光模式64级累加后图像在0.1归一化频率处的MTF为0.322，如图5（a）所示。再测试两片模式下，每片模式为32级电荷累加，总累加级数与一片感光方式的累加级数相同。再通过FPGA将两片数字图像逐级累加。累加后所成图像如下所示。经计算，两片感光区混合域累加后图像在0.1归一化频率处的MTF为0.387。如图5（b）所示。

图5 MTF曲线对比图

综上，根据前后两张图分别通过同一位置图像，采用刃边法计算MTF，可知由于优化了转移效率，同时在一定程度上控制探测器与景物的失速比，混合域累加的MTF有所提升，同时根据分析结果，若采用较大规模级数累加，MTF将会有更大幅度提升。

4 结束语

本文首先针对高分辨率成像的特点，提出了一种超大规模级数累加方法：混合域级数累加，并阐述了具体实现方式。更进一步，通过对信噪比、MTF等关键成像参数的理论推导，论证了混合域累加方式在实际应用中的优势。最后，通过实验室环境下搭建成像测试系统，对所成图像信噪比和MTF进行了实测。通过实测对比说明，混合域累加有效的改善了超大规模级数成像的电荷转移效率，同时该方法一定程度上提高了图像信噪比，对超高分辨率弱光成像品质的提升有着十分显著的效果。

[1] YU H, QIAN X Y, CHEN S S, et al. A Time-delay-integration CMOS Image Sensor with Pipelined Charge Transfer Architecture[C]//IEEE International Symposium on Circuits and Systems (ISCAS), 2012, Seoul, South Korea.

[2] ZHANG L, LI S, JIN G, et al, Modeling of Satellite Borne TDICCD Pitching Imaging Image Motion Velocity Vector[C]// IEEE International Conference on Automation and Logistics, 2019, Shenyang, China.

[3] 陶淑苹, 金光. 采用卷帘数字域TDI技术的CMOS成像系统设计[J]. 红外与激光工程, 2012, 9(16): 2380-2385. TAO Shuping, JIN Guang. Design of CMOS Imaging System Based on Rolling TDI in Digital Domain[J]. Infrared and Laser Engineering, 2012, 9(16): 2380-2385. (in Chinese)

[4] BIGAS M, CABRUJA E, FOREST J, et al. Review of CMOS Image Sensors[J]. Microelectronics Journal, 2006, 37(5): 433-451.

[5] FENG Y, YANG XQ, CHEN XL. Modeling and Simulation of a TDI Line Scan Camera[C]//Instrumentation and Measurement Technology Conference, Colorado, USA, 2003: 446-451.

[6] BURNS P D. Slanted-edge MTF for Digital Camera and Scanner Analysis[C]//Proc. PICS Conference, 2000, Portland or USA.

[7] 聂凯明. CMOS-TDI图像传感器研究与芯片实现[D]. 天津: 天津大学, 2014. NIE Kaiming. The Research Chip Implementation of CMOS-TDI Image Sensors[D]. Tianjin: Tianjin University, 2014. (in Chinese)

[8] 于长伟. 低功耗数字域CMOS-TDI图像传感器读出电路研究[D]. 天津: 天津大学, 2016. YU Changwei. The Study of Low Power Digital-domain CMOS-TDI Image Sensor Readout Circuit[D]. Tianjin: Tianjin University, 2016. (in Chinese)

[9] 曲宏松, 张叶, 金光. 基于数字域TDI算法改进面阵CMOS图像传感器功能[J]. 光学精密工程, 2010, 8(15): 1896-1898. QU Hongsong, ZHANG Ye, JIN Guang. Improvement of Performance for CMOS Area Image Sensors by TDI Algorithm in Digital Domain[J]. Optics and Precision Engineering, 2010, 8(15): 1896-1898. (in Chinese)

[10] 徐超. 面向TDI 型CMOS 图像传感器的有源像素设计与研究[D]. 天津: 天津大学, 2013. XU Chao. Design and Research on Active Pixels of TDI CMOS Image Sensor[D]. Tianjin: Tianjin University, 2013. (in Chinese)

[11] 徐新楠. 高精度TDI CMOS图像传感器模拟域累加器研究与设计[D]. 天津: 天津大学, 2012. XU Xinnan. Research and Design of the High Accuracy Analog Accumulator for TDI Image Sensors[D]. Tianjin: Tianjin University, 2012. (in Chinese)

[12] 刘则洵. 时间延迟积分CCD空间相机信噪比的影响因素[J]. 光学精密工程, 2015, 23(7): 1829-1837. LIU Zexun. Influence Factors on SNR of TDICCD Space Camera[J]. Optics and Precision Engineering, 2015, 23(7): 1829-1837. (in Chinese)

[13] FARRIER M G, DYCK R H. A Large Area TDI Image Sensor for Low Light Level Imaging[J]. IEEE Transactions on Electron Devices, 1980, 27(8): 1688-1693.

[14] 智喜洋. TDICCD相机平台振动所致的MTF空间移变降质[J]. 光学精密工程, 2016, 24(6): 1433-1437. ZHI Xiyang. MTF Space-viriant Blurring Resulted from Platform Vibration of TDICCD Camera[J]. Optics and Precision Engineering, 2016 , 24(6): 1433-1437. (in Chinese)

[15] 丁坤. CMOS图像传感器光生电荷转移效率模拟研究[D]. 哈尔滨: 哈尔滨工程大学, 2015: 8-12. DING Kun. Photo-generated Charge Transfer Efficiency of CMOS Image Sensor Simulation and Research[D]. Harbin: Harbin Engineering University, 2015: 8-12. (in Chinese)

[16] 智喜洋. 卫星振动引起的非规则采样降质图像复原方法[J]. 哈尔滨工业大学学报, 2014, 46(9): 9-14. ZHI Xiyang. Restoration Of Irregularly Sampled Image Degradation Due to Satellite Vibrations[J]. Journal of Harbin Institute of Technology, 2014, 45(9): 9-14. (in Chinese)

[17] 齐怀川. 空间光学遥感运动模糊仿真方法研究[J]. 航天返回与遥感, 2010, 31(2): 51-55. QI Huaichuan. The Study about the Means of Simulation for the Motion Blurred of Space Optical Remote Sensing[J]. Spacecraft Recovery &Remote Sensing, 2010, 31(2): 51-55. (in Chinese)

[18] 王浩, 王怀义, 练敏隆. 快速傅里叶变换对刃边法测量遥感相机MTF的影响[J]. 航天返回与遥感, 2017, 38(1): 61-65. WANG Hao, WANG Huaiyi, LIAN Minlong. Effect of FFT on Knife-edge Measurements of MTF[J]. Spacecraft Recovery &Remote Sensing, 2017, 38(1): 61-65. (in Chinese)

[19] 周川杰, 吕政欣, 产晓冰, 等. 基于刃边法的星载相机在轨MTF测量精度分析[J]. 航天返回与遥感, 2011, 32(1): 33-37. ZHOU Chuanjie, LU Zhengxin, CHAN Xiaobing, et al. Analysis of On-orbit MTF Estimation for Satellite Optical Sensors with Knife-edge Memod[J]. Spacecraft Recovery&Remote Sensing, 2011, 32(1): 33-37. (in Chinese)

[20] 戴奇燕, 夏德深, 何红艳, 等. 刀刃法在轨MTF测量性能分析[J]. 航天返回与遥感, 2006, 27(3): 22-27. DAI Qiyan, XIA Deshen, HE Hongyan, et al. Perfonnance Analysis of MTF Measurement Using Edge Method[J]. Spacecraft Recovery&Remote Sensing, 2006, 27(3): 22-27. (in Chinese)

Research on Mixing Domain TDI Accumulation Imaging Technology with High Line Frequency

LIANG Nan HE Qiangmin LI Bo LI Tao

（Beijing Institute of Space Mechanics & Electricity, Beijing 100094, China）

With the increase of the line frequency in high-resolution Time Delay Integration(TDI) imaging in the field of space remote sensing, the camera's input energy is gradually reduced in one integration time, and the camera's imaging ability is reduced under weak illumination. It is necessary to increase the integral number to compensate for the lack of energy. The existed traditional digital domain accumulation methods will inevitably lead to excessive noise introduced by the superposition, and the analog domain is affected by the device process and cannot achieve large-scale accumulation. This paper first proposes an accumulation method based on the mixture of charge domain and digital domain, and describes the specific imaging scheme. At the same time, the paper makes a theoretical analysis on the signal noise ratio (SNR) and modulation transfer function (MTF) in the mixed domain accumulation mode combining with the on-orbit imaging mode of the camera. Finally, the experimental environment is built to test the SNR and MTF in the mixed domain accumulation mode. compared with the traditional charge domain, the correctness of the mixed domain accumulation theory and the feasibility of the implementation method are verified. According to the analysis and verification results, the proposed method effectively solves the main bottleneck in charge domain and digital domain TDI, and provides an effective solution in the high resolution field.

high resolution; mixed-domain time delay integration; signal noise ratio; modulation transfer function; space remote sensing

TN401

A

1009-8518(2020)01-0039-08

10.3969/j.issn.1009-8518.2020.01.005

2019-10-20

航天五院杰出青年人才基金

梁楠, 贺强民, 李博, 等. 高行频混合域TDI累加成像技术研究[J]. 航天返回与遥感, 2020, 41(1): 39-46.

LIANG Nan, HE Qiangmin, LI Bo, et al. Research on Mixing Domain TDI Accumulation Imaging Technology with High Line Frequency[J]. Spacecraft Recovery & Remote Sensing, 2020, 41(1): 39-46. (in Chinese)

梁楠，男，1985年生，2009年获北京交通大学自动化专业硕士学位，现在中国空间技术研究院攻读博士学位，高级工程师。研究方向为高分辨率成像技术。E-mail：ln19@163.com。

（编辑：刘颖）