面向弱光探测的实时像元合并

张 刘，王亚明，张 文，王文华

（吉林大学仪器科学与电气工程学院，吉林长春130021）

1 引 言

基于光学图像的粗避障作为探测器月球着陆中自主避障软着陆系统的重要环节，其避障精度影响整个着陆过程，同时，月球着陆要在极短的时间内完成，提高粗避障环节的实现速度也十分重要。不充分的光照不仅会使探测器成像灵敏度下降，还会使目标信号因辐射亮度过低而被噪声淹没［2］。因此，在保障粗避障环节实现速度的基础上，提高探测器成像的灵敏度和图像质量是弱光下高精度深空探测成像的必要前提。

像元合并可以有效提高弱光下成像灵敏度和图像信噪比，且易于硬件实现，满足星上图像实时处理的需求。文献［2］为提高探测器的成像灵敏度提出了一种适用于互补金属氧化物半导体（Complementary Metal Oxide Semiconductor，CMOS）传感器的移位数字像元合并，由仿真结果可知，该方法对椒盐噪声具有较好的“去噪”能力，但会加剧黑白边缘混叠的现象。文献［3］为提高星载差分吸收光谱仪弱光下的探测能力，提出了一种基于光电耦合器件（Charge Coupled Device，CCD）传感器的 4-Binning 像元合并方法，但存在时序控制复杂和像元满阱容量限制的问题，且上述方法均未考虑图像数据量，无法提高粗避障选取安全区的处理速度。

粗避障的具体任务是在拥有较大着陆范围的光学图像中剔除陨石坑和岩石等大尺度障碍，选取安全着陆区。陨石坑和岩石在光学灰度图像中的主要特点为：岩石亮度大于背景亮度，坑位阴影暗于背景，形成明暗对比明显的类圆形。因此，图像的对比度也是影响目标识别的关键。文献［7］指出弱光环境下，采用去除相机本底值的方式可在一定程度上去除暗电流等固定噪声，但未考虑去除相机本底值对图像对比度的影响，因此，难以定量化地分析去除相机本底值对成像质量的提升效果。

综合上述问题，本文在不增加系统数传负担的基础上，针对n_taps 成像数据格式，提出了一种适用于弱光下月球着陆粗避障的“区域”数字像元合并设计。该设计在提高成像灵敏度和信噪比的基础上减少了图像数据量，提高了后续目标识别的数据处理速度，同时，结合去除相机本底值的图像预处理方法，提高了图像对比度。整体设计由现场可编程门阵列（Field Programma⁃ble Gate Array，FPGA）实现，从工程角度出发，通过图像预处理的方式改善成像性能，具有低成本、高效率等优势。

2 数字像元合并设计

2.1 像元合并实现原理分析

像元合并主要分为CCD 的模拟像元合并和CMOS 数字像元合并两大类［2］。两类像元的合并方式是通过间接增大像元面积来提高探测器成像灵敏度的。典型的模拟像元合并过程如图1所示，在电荷域中，将进行合并的电荷转移到水平或垂直读出寄存器中，做一次读出操作，来提高单位像元信号的电荷量，进而提高成像灵敏度［12］。

图1 模拟像元合并Fig.1 Simulate pixel binning

CMOS 传感器直接输出数字图像信号，利用FPGA 外围电路实现类似于电荷域中的模拟像元合并过程，不同之处在于CMOS 是在数字域以码值的形式进行信号的叠加，不受像元满阱容量的限制，可有效避免最后一行出现的电荷溢出；同时驱动时序简单，易于硬件实现，可对局部图像的像元随机访问编程，这是数字像元合并可实现“区域”像元合并的前提。

在传统像元合并的基础上，依据粗避障环节的具体任务是剔除陨石等大尺度障碍，对空间分辨要求不高的任务特点，通过改变传统合并后像元的尺寸实现“区域”像元合并。具体实现过程如图2 所示，图2 左侧图为传统数字像元合并原理，其中，小方格代表原始像元，圆圈代表进行合并的像元矩阵，圆圈中2×2 的像元矩阵以矩阵大小为步长进行合并，合并后的像元占原始四个像元大小并且光谱信息相同，在此基础上，“区域”像元合并的实现原理如图2 右侧图所示，依据传统像元合并后，4 个像元的光谱信息相同的原理，“区域”像元合并合理调整像元尺寸，将合并后的像元调整为一个原始像元的尺寸，在不改变传统像元合并功能的基础上，使合并后的图像数据量减少到原图像的1/4，最大限度地提高了行间隔，为提高粗避障安全区的快速选取奠定了基础。

图2 传统像元合并（左）与“区域”像元（右）Fig.2 Traditional pixel binning（left）and‘Region’pixel binning（right）

2.2 基于多种数据格式的像元矩阵构建

像元矩阵的构建是像元合并的关键。传统像元合并通常是1_tap 成像数据格式下进行，为提高数据传输带宽，成像数据格式可调整为n_taps，n_taps 的成像数据格式可提高n倍左右的带宽。综合考虑FPGA 的内部资源、读出速率以及传输带宽，本文选择2_taps/10 bits 成像数据结构，带宽相对1_tap 数据结构提高约两倍。为提高“区域”像元合并的普适性，本文在基于2_taps/10 bits 成像数据格式构建像元矩阵的基础上，提出了一种针对n_taps 成像数据格式的像元矩阵构建方法。首先，确定像元矩阵构建的一般方法，具体方法如图3 所示，针对m×m的像元合并，行方向上利用m-1 个FIFO 按行缓存图像数据控制像元矩阵行数，列方向上利用计数器控制像元矩阵列数。对得到的不同时刻的像元矩阵，利用累加器完成矩阵内像元值的“合并”，存储器对“合并”后图像数据的时序与数据进行重构。

图3 像元矩阵的构建Fig.3 Construction of pixel matrix

然后，根据图像数据不同的排列方式，将n_taps 成像数据格式大致分为“区排列”和“相邻排列”两大类。如图4 所示，“区排列”可分区按照上述方法构建像元矩阵，而“相邻排列”数据格式的像元矩阵构建受到数据排列格式的限制，需先根据像元矩阵的大小，将同一时刻成像数据中矩阵内的像元值先进行相应“合并”，再利用FIFO、计数器进行缓存、计数，完成矩阵内其余像元值的“合并”。如图 4 左图所示，2 taps/10 bits 的数据结构在进行2×2 像元矩阵合并时，先将同一时刻相邻的像元值“合并”写入FIFO，再利用计数器对矩阵内的其他像元值进行后续的合并。以此类推，针对n_taps 的成像数据结构，像元合并设计均可以分类构建合并矩阵。

图4 区排列（左）和相邻排列（右）Fig.4 Arranged by area（left） and adjacent arrangement（right）

2.3 去除相机本底值

CMOS 传感器中各个像素之间放大器阈值偏差和暗电流偏差对成像的影响较大。由于暗电流的不均匀性，以及像素放大器偏差的存在，在没有入射光的情况下图像也会含有暗电流等固定模式噪声，因此，本文通过去除相机本底的方式来提高图像质量。

暗电流等固定噪声主要与积分时间和温度等相关因素相关。粗避障环节需要在短时间内实现，相对于积分时间等其他因素，引起温度变化的不确定因素更为复杂，难以模拟和推测。为保证去除相机本底值的精确度和实时性，利用重复性实验，在积分时间一定的情况下，获取宽、窄视场相机工作在-5~60 ℃的相机本底值，通过多项式拟合法得到宽、窄视场两款相机随温度变化的相机本底值的函数关系。表1 和表2分别为宽、窄视场相机不同次数多项式拟合的单数据平均残差（vi）对比。综合考虑拟合精度和FPGA 内部资源的占用情况，三次多项式拟合满足平均残差小于1 个码值的精度要求，相对于四次多项式拟合占用更少的FPGA 内部资源，选择三次多项式完成实验数据的拟合。图5所示为两款相机的三次多项式拟合曲线，宽、窄视场的函数关系式分别为：

图5 相机本底值与温度的拟合曲线Fig.5 Fitting curve of camera background value and tem⁃perature

表1 宽视场相机不同次数多项式拟合残差Tab.1 Fitting residuals of different degrees polynomial for wide field camera

表2 窄视场相机不同次数多项式拟合残差Tab.2 Fitting residuals of different degrees polynomial for narrow field camera

采用硬件描述语言，将温度与相机本底值的函数关系写入成像系统，使成像系统实时读取相机的工作温度，去除相机本底值。为避免去除相机本底值对于图像有效信号的损失，对去除的本底值做归一化处理，如下：

其中a为某一温度下相机的本底值。

2.4 整体设计

整体设计框图如图6 所示。首先，FPGA 主控单元利用SPI 接口配置CMOS 传感器，完成CMOS 传感器的初始化工作。然后，对传感器采集的串行高速LVDS 图像数据进行串行解串，并在成像模块中通过SPI 接口读取相机的工作温度，根据相应温度区间去除相机本底值，最后综合考虑带宽限制和FPGA 的内部资源，根据Cameralink 接口标准完成图像数据时序的控制与数据格式调整，像元合并作为图像预处理模块置于上位机显示之前，实时对采集到的图像数据进行数字像元合并，上位机亦可通过通信接口控制像元合并的级数。

图6 实时像元合并整体设计框图Fig.6 Overall design framework for real-time pixel merging

3 实 验

3.1 “区域”像元合并对图像信噪比和数据量的影响

CMOS 传感器的多级数字像元合并是在数字域内进行像元信号的“累加”。像元信号F（i）可近似表示为随机噪声N（i）与像元信号有效值A（i）的线性相加，即：

假设有m个像元进行像元合并，合并后信号的有效值近似增强了m倍，随机噪声按照矢量叠加，叠加后的强度和可近似为所以，合并后的像元信号为：

信噪比作为图像质量评价的重要指标，其数学表达为信号与噪声的比值，如式（6）所示：

图7 2_taps_4×4“区域”像元合并仿真Fig.7 Simulation of 2_taps_4×4 pixel merger

3.2 去除相机本底对图像对比度的影响

本文采用去除本底噪声的方式提升图像对比度，具体效果可由去除相机本底值前后图像调制度的变化说明。调制度通常用来表示图像的对比度，定义为：

式中：Imax为图像最大光强，Imin为图像最小光强。假设某一温度环境下，相机的本底值为a，去除相机本底后调制度变为：

由式（8）可以得出，去除相机本底值后图像最大光强和最小光强之间的差值不变，整体灰度值变小，两者比值所代表的图像对比度随之提高。

3.3 实验平台的搭建

为验证数字像元合并和去除相机本底值两种图像预处理方法对光学图像质量提升的实际效果，进行了多次重复性实验。实验装置如图8所示，为更好地模拟弱光条件，选择在室内无灯光环境，时间为 17：00 至 18：30，温度为 17 ℃，实验相机为窄视场相机（NOIP1SN012KA）和宽视场相机（CMV4000）。其中，窄视场相机的像元尺寸为 4.5 μm，成像分辨率为 4 096×2 896，实验成像距离为30 m；宽视场相机的像元尺寸为5.5 μm，成像分辨率为2 048×2 048，实验成像距离为10 m。

图8 实验成像装置Fig.8 Experimental imaging devices

首先，分析去除相机本底值前后，成像信噪比和对比度的变化情况，实验共进行5 次。表3为室内温度为17 ℃，宽、窄视场相机本底值分别为27.3 与29.3 时，去除相机本底值的5 次实验数据统计。由表3 可知，宽视场相机的信噪比平均提高0.703 8 dB，对比度平均提高0.229 0；窄视场相机的信噪比平均提高0.533 9 dB，对比度平均提高0.160 3，与上述理论分析结果基本一致。

表3 去本底实验数据Tab.3 Experimental data of denoising

然后，在不去除相机本底的情况下，宽、窄视场相机分别在原图模式、2_Binning 模式和4-Bin⁃ning 模式下进行5 次实验，统计观察成像的信噪比变化。图9 为实验测试样图，从视觉上可以看出像元合并达到了光信号“增强”的效果。合并前后信噪比的变化如图10 所示，宽、窄视场相机2 合并前后的信噪比均提高近似2 倍，4 合并前后信噪比均提高近似4 倍，与上述理论分析结果一致。同时，由表4~表5 可知，在微弱光照下可通过像元合并达到SNR≥20 dB 的成像要求。

图9 宽、窄视场相机像元合并成像对比Fig.9 Contrast images of pixel binning of wide and narrow field of view cameras

图10 2×2 和4×4 像元合并5 次实验信噪比变化Fig.10 SNR changes in 2×2 and 4×4 images of 5 experiments combining

表4 窄视场相机实验数据Tab.4 Experimental data of N12K_camera

表5 宽视场相机实验数据Tab.5 Experimental data of CMV4000_camera

最后，结合“区域”像元合并和去除相机本底值两种方法进行5 次实验，5 次实验结果的平均值如表6 所示。宽视场相机2_Binning 结合去除相机本底值的模式下图像信噪比可提高5.901 4 dB，图像对比度提高了0.257 4，4_Binning 结合去除相机本底值的模式下图像信噪比可提高11.698 8 dB，图像对比度可提高0.210 2；窄视场2_Bin⁃ning 结合去除相机本底值的模式下图像信噪比可提高5.764 4 dB，图像对比度可提高0.265 4，4_Binning 结合去除本底值的模式下图像信噪比可提高11.450 1 dB，图像对比度可提高0.284 0。实验结果表明，弱光环境下，“区域”像元合并和去除相机本底值两种图像预处理方法可有效提高探测器成像的信噪比和对比度。

表6 像元合并结合去除本底值的实验数据Tab.6 Experimental data of pixel binning and removal of camera background

4 结 论

本文为提高弱光下月球着陆粗避障环节中探测器的成像灵敏度及图像的信噪比与对比度，采用“区域”数字像元合并和去除相机本底两种图像预处理方法，实现了探测器弱光下的清晰成像。在“区域”像元合并的基础上，提出了一种针对n_taps 成像数据格式的像元矩阵构建方法。通过实验拟合了相机本底值随温度的变化曲线，去除了相机本底，但此温度实验是针对后端相机的温度实验，后续会进行整机的热真空实验，完善实验数据。实验结果表明：2×2“区域”像元合并可有效提高图像信噪比2 倍左右；4×4“区域”像元合并可有效提高图像信噪比4 倍左右；环境温度为17 ℃时，宽视场相机的对比度近似提高了0.23，窄视场相机的对比度近似提高了0.16，满足弱光成像的基本工程要求。