基于智能型红外焦平面电路液氮成像系统的研究与算法实现

陈相洪,黄文刚,黄晓宗,陈彦冠,史凡萍

(1.中国电子科技集团公司第二十四研究所,重庆 400060;2.中国电子科技集团公司第十一研究所,北京 100015)

1 引 言

近年来,第三代红外成像探测器正向大规模、多谱段、数字化方向发展,先进红外焦平面电路片内集成模拟数字转换器(ADC)实现高速数字信号输出[1]。与单元红外探测器不同,智能型红外焦平面阵列不仅能将热辐射转化为微弱的电信号,而且还带有读出电路(ROIC),配合红外焦平面探测器实现像元级模拟数字(AD)转换、智能化图像处理和数字输出等功能,将获取的面阵信号经像元级方式处理后输出[2-4]。因此对智能型红外焦平面阵列的参数评价与对单元红外探测器的参数评价有着很大不同,除了要对每个探测器像元的性能进行评估外,还应对红外焦平面阵列的智能算法进行参数评价[5]。

国外有公司专门研究红外焦平面阵列性能测试系统。同时大部分红外焦平面的制造商也拥有自己的测试系统,来评估和测试红外焦平面阵列的性能[6-7]。国外以色列SCD公司、法国Sofradir公司、美国的MIT林肯实验室都推出了集成ADC读出电路的红外探测器组件和测试平台[8-9],但都未提出能同时对像元级ADC的背景减除、盲元补偿、非均匀性校正、开窗、像素合并、空间滤波、图像均衡变换、时间延迟积分、动态范围等多种数字功能的智能化焦平面的进行批测的测控平台。

国内中国电子科技集团公司第41研究所自主开发了一种光谱范围为1～15 μm的相对光谱响应测试系统,专门用于测量红外焦平面的光谱响应范围[10]。上海技术物理研究所对新研制的百万级像素大规模阵列量子阱器件进行了性能参数测试与评估[11]。昆明物理研究所自主研制出探测器光谱响应测试系统,并对波长为1～3 μm的红外探测器进行了相对光谱响应测试[12]。但由于西方发达国家技术上的封锁,我国对红外探测技术、智能型红外焦平面阵列技术的研究起步比较晚,因此,在这方面我国的发展明显落后于西方发达国家[13]。国内都是进行了系统级或无智能算法的单片电路进行测试系统的开发,并未开发对像元级智能型红外焦平面电路进行多种数字功能参数同时进行全面评估的测控系统,且未能提出单片640×512阵列智能型红外焦平面电路同时满足多种数字功能的智能算法。

结合目前智能型国内外红外焦平面性能与评估技术的发展现状,我国智能型红外焦平面性能测试比较落后且还比较单一[14]。因此本文设计一套智能型红外焦平面探测器性能测试与评估系统,并提出了像元级ADC的背景减除、盲元补偿、非均匀性校正、开窗、像素合并、空间滤波、图像均衡变换、时间延迟积分等算法实现。

2 测试系统设计

2.1 硬件设计

智能型红外焦平面电路液氮成像测试系统是验证红外焦平面电路性能的核心平台[15]。本文设计出一款智能型红外焦平面电路液氮成像测试系统,如图1所示。

图1 智能型红外焦平面电路液氮成像系统

系统包括红外摄像头(Infrared Camera)、探测器(Detector)、杜瓦罐(Dewar)、待测电路板(DUT)、FPGA主控板(FPGA Main control)、cameralink图像采集转换板(Cameralink Image Acquisition Conversion Board)、PC模块(PC Module)。

1)红外摄像头:用来将不同波长的红外光进行投射传递给探测器。

2)探测器:用来键合红外焦平面芯片,提供一个液氮环境,并感应红外摄像头投射进来的不同波长的红外光,并与FPGA主控板相连。

3)杜瓦罐:真空的容器装置,为DUT板提供液氮浸泡环境。

4)DUT板:板子放置电路测试夹具,承载智能型红外焦平面电路,并浸泡在液氮中,与FPGA主控板相连。

5)FPGA主控制板:与DUT板和探测器相连。其中FPGA主控制板包括:电源控制模块、时钟控制模板、UART转SPI模块、数字采集模块。电源控制模块为DUT板和探测器提供电源,并程控改变电压的大小来实现电路的调试;时钟控制模块为DUT板和探测器提供LVDS格式的时钟信号,并能够程控改变时钟频率来实现电路的调试。UART转SPI模块将SPI配置端传输过来的UART数据转换为SPI数据,对DUT板和探测器进行寄存器批量配置,来开启电路不同功能;数字采集模块为DUT板和探测器提供LVDS数字信号,并通过数字IO口进行数据传输。

6)Cameralink图像采集转换板:与图像采集卡和FPGA主控板相连。通过cameralink通信协议采用了DS90CR287MTD芯片将FPGA采集回来的并行数据转换为串行数据,将转换完成后串行数据传输给PC模块的图像采集卡进行识别。同时采用DS90LV049TMT芯片实现图像采集卡数据接收成功后给FPGA进行反馈。cameralink图像采集转换板能够实现接收LVDS数据速率达2.38 Gbps,处理数据位宽达28位。cameralink图像采集转换板将FPGA主控板传输过来的并行数字信号进行cameralink总线协议转换,将并行数据串行输出给图像采集卡。图像采集卡图像获取速度达到255 MB/s;图像数据转换到主板内存达到了1024 MB/s。

7)PC模块:集成在PC机上,包括图像采集卡和SPI配置端。图像采集卡安装在PC机上,图像采集卡将通过视频线缆传输过来的串行数据进行解析成像,并对电路全参数进行测试分析和数据保存;SPI配置端安装在PC机上,SPI配置端将数据通过通用异步收发(UART)通信协议传输给FPGA主控板中的UART转SPI模块,对控制电路实现不同功能。智能型红外焦平面电路液氮成像系统实物图如图2所示。

图2 成像系统

整个测试系统工作流程如下:使用红外摄像头探测不同波长的红外信号,通过探测器将红外光模拟信号转换为数字信号,并进行芯片级智能算法处理,然后将算法处理后的数字信号通过数字IO口将图像数据回传给FPGA主控板中的数字采集模块,FPGA主控板对数字信号进行帧行分发图像预处理,将预处理后的数据再次传递给cameralink图像采集转换板,图像采集转换板进行cameralink总线协议转换,将并行数据转换为串行数据,接着将转换好的数据传递给图像采集卡,图像采集卡通过上位机成像处理软件进行图像采集,然后通过图像处理界面进行成像。

2.2 软件设计

针对硬件测试系统开发相应的软件设计,首先对电路寄存器生成不同测试功能的SPI配置文件和FPGA配置文件,如图3所示。SPI配置端将生成的SPI配置文件通过UART通信协议传输给FPGA主控板中的UART转SPI模块,UART转SPI模块将UART数据转换为SPI数据; FPGA配置端将生成的FPGA配置文件传输给FPGA主控板中的数字采集模块,数字采集模块生成低电压差分信号(LVDS)数据格式的信号。最后将转换好的SPI数据和LVDS信号对DUT板中的电路或探测器中的芯片分别进行SPI配置和FPGA配置,从而启动红外焦平面电路的智能算法。

SPI配置端是使用PC机上的Visual Basic(VB)软件平台自主开发的人机交互界面,如图4所示。对SPI配置文件进行批量导入给FPGA主控板,FPGA主控板再对电路内部的寄存器进行批量配置,同时能够将电路内部的寄存器值通过FPGA进行批量回读,并在PC端人机交互界面显示。

图4 SPI配置界面

上位机图像处理软件一般采用国外DALSA公司Sapera_LT软件[16],现这个软件由我们自主研发,软件程序可移植,可编程,实现国产化替代,功能全覆盖,保证红外焦平面电路每个像元和图像测试的准确性,国产IRCamExpert-CETC图像处理软件如图5所示。

图5 IRCamExpert-CETC图像处理软件

综上所述,液氮测试系统对测试环境,测试效率和测试精度要求越来越高,搭建一个有效的测试系统是对智能型红外焦平面阵列器件进行性能参数准确评价的前提,同时需要提升智能型红外焦平面电路的测试精度和测试范围,提升批量测试的效率。本文提出的智能型红外焦平面电路液氮测试系统有以下优势,如表1所示。

表1 测试系统优势

2.3 测试流程

成像系统的测试流程,如图6所示。智能型红外焦平面电路液氮成像系统是基于行列级ADC读出电路的评价方法进行设计[17-18],根据中华人民共和国国家标准 GB/T 17444-2013《红外焦平面阵列参数测试技术》进行研究[19]。参数包括(不仅限于)以下功能参数:背景减除、盲元补偿、非均匀性校正、开窗、像素合并、空间滤波、图像均衡变换、时间延迟积分(Time Delay Integration,TDI)、动态范围等。

图6 测试流程图

3 算法实现与测试结果

基于 640×512探测器阵列进行了智能型红外焦平面读出芯片的测试,采用SMIC 40 nm CMOS工艺进行了流片。单个像元 ADC 面积≤30 μm×30 μm,读出芯片面积22 mm×19 mm。下面对智能型红外焦平面电路功能参数和动态范围的算法和结果进行详细说明[20-21]。

3.1 像素合并

像素合并是以牺牲图像分辨率为代价提高图像的灵敏度,通常将2×2区域的像素合并为1个超大像素,相当于增加了单像素的采光能力,增强了弱光条件下的拍摄效果。按式(1)进行像素合并。像素合并示意图如图7所示。

图7 像素合并示意图

Imerge(i,j)=Iin(2i-1,2j-1)+Iin(2i,2j-1)+Iin(2i-1,2j)+Iin(2i,2j)

(1)

式中,Iin为相邻两行和两列像素。像素合并在像元级实现,通过对像素阵列的逻辑控制实现像素合并功能。当像素合并使能,先缓存2行图像数据进行行相加,再传输至列单元进行2列相加,实现2×2像素合并。

通过上位机SPI配置来启动像素合并功能,设置工作在NOM模式,频率f=100 MHz,帧频fps=300 Hz,积分时间Ts=0.5 ms。图8(a)为18 bit原始像素合并前的图像,图8(b)为20 bit像素合并后的图像,均以20 bit灰度级进行显示。像素合并后图像更加清晰。

图8 像素合并

3.2 非均匀校正

虽然线性校正的优点是算法简单,但非均匀性校正过程中计算量小,适合于实时校正,因此选用最广泛的两步法来校正均匀性。红外焦平面阵列在均匀辐射背景下任一像元的响应输出可以表示为:

Xij(φ)=Rijφ+Ωij

(2)

式(2)中,Xij(φ)为(i,j)像元的响应输出值;φ为辐射通量;Ωij为偏移量。

下面根据两点校正原理推导两点校正公式。式(2)给出了任一像元响应输出的数学模型,校正目的为:任一像元在任一辐射通量φ下的输出信号Xij(φ)校正为整个焦平面阵列在辐射通量φ下的标准像元的响应输出信号Xn(φ),用灵敏度最高像元为标准像元。令:

Yij(φ)=Xn(φ)

(3)

为此在光路中插入一均匀辐射的黑体,根据上面式(2)可得到各像元在低温TL和高温TH下响应输出:

Xij(φ1)=Rijφ1+Ωij

(4)

Xij(φ2)=Rijφ2+Ωij

(5)

式中,φ1、φ2分别为各个像元在低温TL和高温TH下的辐射通量。进行归一化处理得:

Xn(φ)=Rnφ+Ωn

(6)

令:

Xn(φ1)=mean(Xij(φ1))

(7)

Xn(φ2)=mean(Xij(φ2))

(8)

可解得:

Xn(φ)=KijXij(φ)+Bij

(9)

其中:

(10)

(11)

即为非均匀校正后的结果,其中Kij、Bij分别为两点校正中的校正增益和校正偏移量。非均匀校正算法校正系数在片外求取,并提供增益校正系数表和偏移校正系数表,校正算法在像元级通过SPI配置实现来实现,非均匀校正示意图如图9所示。

图9 非均匀校正示意图

通过上位机SPI配置来启动非均匀校正功能,设置工作在NOM模式,频率f=100 MHz,帧频fps=300 Hz,积分时间Ts=5 ms。非均匀校正测试实例如图10所示,图10(a)为非均匀校正前的图像,图10(b)为非均匀校正后的图像。启动非均匀校正功能后,非均匀校正后图像更准确。

图10 非均匀校正

3.3 背景减除

背景减除主要是用来抑制背景噪声,包括暗电流噪声、1/f噪声等。探测器成像时不仅包含目标所产生的光电流,还包括自身暗电流等一系列噪声,探测器输出的即为实际成像,如果能获取噪声成像,便可用实际成像减去噪声成像得到目标图像,通常在不透光环境下对黑体成像(曝光时间不变)得到噪声图像。

通过上位机SPI配置来启动背景减除功能,设置工作在NOM模式,频率f=100 MHz,帧频fps=300 Hz,积分时间Ts=0.01 ms,偏压基准Vd=0.8 V,背景减除测试结果如图11所示。

图11 背景减除

在黑体图像上加入随机噪声模拟背景,背景减除模块通过实际图像减去背景图像获取清晰的目标图像。图11(a)为18 bit实际输入的图像,图11(b)为背景减除后的目标图像,可以看出背景减除后目标图像更清晰。

3.4 盲元补偿

盲元补偿用其4-邻域像元代替,定义替换顺序为(上、右、下、左),按替换顺序搜寻盲元4-邻域像元,若为正常像元,则用该正常像元替换盲元,若该像元为盲元或已经用于替换其他盲元,则继续搜寻直至4-领域结束。以既定策略用盲元4-邻域中的正常像元替换盲元的示意图如图12所示。盲元补偿算法通过SPI配置来实现。

图12 盲元补偿示意图

通过上位机SPI配置来启动盲元补偿功能,设置工作在NOM模式,频率f=100 MHz,帧频fps=300 Hz,积分时间Ts=5 ms,盲元补偿测试结果如图13所示。图13(a)为盲元补偿前图像,有很多死像元和过热像元,图13(b)为盲元补偿后的图像,可以看出死像元和过热像元已被校正。

图13 盲元补偿

3.5 开窗功能

图像开窗是为了更有效地观察敏感区域ROI,为此将ROI区域从整幅图像中取出来从而进行后续处理及显示等操作。在原始图像中随机产生窗口;根据窗口位置及大小对原始图像进行开窗,并返回开窗图像。图像开窗在像元级通过SPI配置来实现,主要通过对像素阵列的读逻辑控制实现开窗功能。当开窗有效并给定图像窗口后,其转换为对应行列的有效信号,指定相应行列的数据输出,从而实现开窗功能。图像开窗示意图如图14所示。

图14 开窗示意图

通过上位机SPI配置来启动开窗功能,设置工作在NOM模式,频率f=100 MHz,帧频fps=300 Hz,积分时间Ts=0.001 ms,开窗起点128×205,开窗大小384×205,测试结果如图15所示。图15(a)为开窗前图像,红线区域为窗口,图15(b)为开窗后图像,按既定窗口得到开窗图像。开窗后图像显示红线区域。

图15 开窗

3.6 时间延迟积分

数字时间延迟积分(Time Delay Integration,TDI)即在数字域实现时间延迟积分,对同一目标多次曝光,通过延时积分来提高像元接受的目标能量,可提高系统灵敏度、改善图像非均匀性。

数字TDI示意图如图16所示,探测器向左扫描时,目标依次在各级(n代表TDI级数)TDI像元成像,T1时刻目标成像在n列,T2时刻目标成像在n-1列直到Tn时刻,目标在各级TDI都有成像,将其累加并按照式(12)输出得到TDI图像的第一列,继续扫描每次可输出一列,从而得到最终的TDI图像。

图16 TDI示意图

(12)

TDI在像元级实现,主要通过正交传输与置位计数器初值实现。采集图像时,像素阵列向扫描相反方向整体正交传输,将移位后的数据作为计数器初值,再次采集图像、正交传输、置位初值,如此循环,直至累加stage(stage为TDI级数)次,开始输出部分图像,以后每采集一帧,就输出部分图像。TDI在像元级通过SPI配置来实现。

通过上位机SPI配置来启动时间延迟积分功能,设置工作在TDI模式,频率f=100 MHz,帧频fps=300 Hz,积分时间Ts=0.01 ms,测试结果如图17所示。图17(a)为时间延迟积分前图像,图17(b)为时间延迟积分后图像,从上往下进行时间延迟积分(TDI),从而使得满屏产生第一行图像像素的竖状条纹。

图17 时间延迟积分

3.7 空间滤波

空间滤波是在图像内对单像素及其邻域做处理,通常可分为线性空间滤波与非线性空间滤波两类。常见的线性空间滤波右均值滤波、图像锐化等,常见的非线性空间滤波有中值滤波等。

空间滤波是在图像空间借助模板进行邻域操作完成的。S0为当前进行滤波的像素,S1～S8是其3×3邻域像素,K0～K8为对应邻域大小的模板,空间滤波即用模板K依次对图像像素及其邻域进行卷积运算实现滤波。空间滤波示意图如图18所示,滤波过程按式(13)进行。

图18 空间滤波示意图

R=K0×S0+K1×S1+…+K8×S8

(13)

线性空间滤波可以通过调节积分时间、计数器方向及正交传输在像元级实现。具体实现如图19所示,需要对像素S0进行滤波:首先对S0进行|K0|倍时间积分,根据K0正负调节计数器正负开始曝光计数,计数结束后将计数结果右移至S1位置并将此计数结果赋为S1计数器初值;根据K1正负及大小调节计数器正负及曝光时长开始计数,计数结束后将计数结果下移至S2位置并将此计数结果赋为S2计数器初值,如此按图19(a)所示经历(中心像素→右→下→左→左→上→上→右→右)9次曝光,8次正交传输后最终停留在S2位置上,即实现式(13),输出即为滤波结果,图像实现类似,如图19(b)所示,整幅图像正交传输即可实现。

图19 像元级空间滤波示意图

通过上位机SPI配置来启动空间滤波功能,设置工作在自测试(SFT)模式,频率f=100 MHz,帧频fps=300 Hz,积分时间Ts=0.5 ms,偏压基准Vd=0.8 V,测试结果如图20所示。像元级模拟线性空间滤波实现的过程。图20(a)为18 bit空间滤波前图像,图20(b)为经空间滤波后的图像。空间滤波后显示高亮的图像轮廓。

图20 空间滤波

3.8 直方图均衡

直方图均衡是为了提高灰度图像的对比度,即提高图像整体的反差程度,使得图像的某些细节更便于观察,从而改善图像的视觉效果。

假设原灰度图像的概率密度为pr(r),直方图均衡后的图像概率密度为pr(r),其中s=T(r),根据概率论可得到:

(14)

则可用原图像的累积概率密度来表征图像灰度级的转换:

(15)

以此变得到转换后的灰度级s=T(r),便可进行直方图均衡化处理。

通过上位机SPI配置来启动空间滤波功能,设置工作在NOM模式,频率f=100 MHz,帧频fps=300 Hz,积分时间Ts=0.001 ms,测试结果如图21所示,横坐标为图像灰度级范围[0,2.5×105],纵坐标为图像灰度值[0,4000]。图21(a)为原始图像直方图,灰度级集中在[75000,150000]间,使得在视觉效果上区别不明显。图21(b)均衡化后直方图,图像灰度均匀分布在整个灰度级,提高了图像对比度,更便于观察。

图21 直方图均衡

3.9 动态范围

为了测试读出电路阵列像元ADC的动态范围,需要连续采集100帧图像数据,计算阵列每个像元的时域噪声(标准差):

(16)

其中,i,j是像元坐标;f是帧编号;D(i,j)指像元(i,j)的100帧平均值;D(i,j,f)指第f帧图像(i,j)坐标像元的数。

计算整个面阵的平均时域噪声:

(17)

计算18 bit ADC满量程动态范围:

(18)

用成像测试系统连续采集的100帧图像数据计算整个面阵的平均时域噪声为0.0213,按式(18)计算动态范围:

(19)

综上所述,总结本文提出的智能型红外焦平面电路测试系统参数指标,如表2所示。结果表明系统能够很好满足智能型红外焦平面电路的测试需求,完成对智能型红外焦平面电路图像功能测试,满足典型值。

4 结 论

设计的智能型红外焦平面电路液氮成像系统是一套对红外探测器和红外焦平面电路性能的验证与评估系统,具有红外视频图像在线监测和电路全参数批量测试的能力。提出了基于单片像元级ADC的多种图像算法,并对红外图像预处理算法的整体结构进行总结,通过对一款640×512阵列的智能型红外焦平面电路进行验证和评估。相信对智能型红外焦平面领域中,这些极具实用性的研究工作,将会推动未来更大阵列红外焦平面成像技术和更加智能的红外图像算法的进一步发展。