基于SOPC的红外热成像系统设计与实现

钟海林， 杨粤涛， 王 鑫， 曹 峰， 王 涛， 李 桃

(苏州长风航空电子有限公司，江苏 苏州 215151)

1 引 言

在边海防监控系统中，非制冷连续变焦红外热像仪接收目标物体红外辐射，转换为红外图像信息，是实现边境目标监测与跟踪的核心设备之一，其性能的优劣将直接影响系统的捕获能力与探测距离。非制冷红外焦平面阵列(IRFPA)正朝着高灵敏、大面阵、高分辨率、低功耗、数字化方向发展。随着国产厂商在非制冷焦平面制造技术上的突破和红外光学镜头设计制造技术的快速发展，面向机载光电雷达、红外搜跟系统、边海防等全天候侦察监控等领域的高分辨率红外成像系统的国产化需求越来越迫切[1-5]。

基于此，针对边海防监控领域对国产高分辨率非制冷红外成像显示技术的需求，本文提出了一种基于GST817VM1E国产非制冷红外探测器成像与增强显示技术方案。本文所设计红外热成像系统以可编程片上系统(SOPC)为核心搭建硬件平台，以DDR3 SDRAM作为红外图像缓存器，使用SOPC内部集成NiosⅡ软核作为系统控制器，配合SOPC可编程单元实现探测器焦平面非均匀性校准(NUC)、两点校正、盲元补偿、减本底和自适应图像增强等处理[6-8]，支持输出PAL、Cameralink、DVI等红外图像视频，最高可输出14位灰度级800×600分辨率红外图像，帧率可达到60 frame/s，支持连续变焦和自动调焦控制，具有大面阵、高分辨率、高帧频等优点，能够满足边海防监控系统红外成像显示需求，同时为城市高点监控、森林防火等红外热成像应用领域提供了可行的技术方案。

2 系统架构及其工作原理

2.1 红外热成像系统架构

系统由红外光学镜头、探测模块、信号采样模块、图像处理模块、接口模块构成，如图1所示。结合监控距离需求，红外光学镜头选用北京蓝思泰克30～150 mm连续变焦镜头，支持电动变焦与电动调焦。

图1 系统结构框图Fig.1 Block diagram of system

探测模块由温度传感器、快门组件、非制冷红外探测器GST817VM1E组成，采用TMP101检测环境温度，快门组件选用对开式磁电快门组件，为探测器校正提供均匀参考面。

信号采样模块由探测器偏置电压生成、半导致冷器(TEC)温控、信号调理采样等功能电路构成，实现对探测器输出的红外图像模拟信号调理采样与探测器工作焦温实时调节。

图像处理模块采用Altera公司5CGXFC9D6

F27I7N现场可编程芯片为核心搭配存储器控制电路，通过Avalon总线实现DDR数据存取，采用Nios软核作为图像处理控制器，实现图像红外非均匀校正、盲元补偿、自动聚焦和增强显示等处理。

接口模块为整个系统提供电源输入转换、红外图像显示输出和对外调试通信功能。

2.2 系统工作原理

该系统基本工作原理为：系统工作时，图像处理模块上的现场可编程门阵列(FPGA)生成GST817VM1E探测器所需工作时序、复位信号及相应的偏置电压，驱动GST817VM1E探测器完成光电转换，将经光学镜头聚焦到探测模块的GST817VM1E探测器上的被观测场景中的红外辐射转化为模拟电压信号，通过探测器奇偶两路通道输出，两路模拟电压信号经过幅值调理、隔离、单端转差分等信号调理后经AD9251高精度采样转换为14位数字信号，并以低电压差分信号(LVDS) 电平标准输入到图像处理模块FPGA，利用Nios软核实现对红外数字图像信号图像非均匀性校正、盲元补偿、灰度变换、自动聚焦及图像增强等处理流程控制，最后按照不同标准视频时序重构14位的灰度红外图像数据，经接口模块输出电路输出标准视频数据流，实现PAL、DVI及CameraLink视频输出显示。

3 GST817VM1E探测器简介

探测器性能决定了红外热成像系统的性能上限，选择高性能的探测器能显著提高系统的成像效果和热分辨力。本文选用武汉高德公司生产的金属真空封装氧化钒非制冷红外焦平面阵列GST817VM1E。其阵列规模为800×600像素，内部集成温度传感器，像元间距为17 μm，噪声等效温差(NETD)<80 mK，采用奇偶列两通道输出，帧频达60 Hz，内部包含氧化钒微测辐射热计焦平面阵列(IRFPA)，硅读出电路(ROIC)和封装在金属管壳中的TEC，适用于监控领域红外辐射成像。ROIC由像素阵列、列级电容跨导放大器、采样-保持电路、列缓冲电路、输出缓冲电路组成，内置非均匀校准控制电路，包含列校准电路和相关逻辑控制，通过外部输入校准信号，实现对每个传感器像素点做固定偏差和增益的校准。

GST817VM1E探测器正常工作条件包括工作电源和驱动信号，工作电源由数字电源、模拟电源和偏置电压构成，驱动信号包括时钟信号、配置数据和片上非均匀校准(NUC)参数。根据GST817VM1E探测器使用手册可知，探测器数字电源VDD33为3.3 V，VDD为1.8 V，模拟电源AVD33为3.6 V。为满足探测器工作电源特性需求，本文分别采用低压差线性稳压器TPS79933、TPS79918、ADP7102产生上述3.3，1.8，3.6 V工作电源。探测器正常工作所需的偏置电压要求如表1所示，选用可编程线性稳压器 AD5324产生VSK、GFID偏置电压，实际工作中需根据探测器片上非均匀校准情况动态微调偏置电压幅值。

表1 GST817VM1E偏置电压Tab.1 Bias voltage of GST817VM1E

GST817VM1E探测器工作所需驱动信号包括主时钟(TMC)、行积分输入时钟(INT)、探测器复位输入时钟(RESET)、NUC参数及探测器配置数据。探测器通电后首先进行初始化配置，配置数据通过SERDAT串口写入探测器内部寄存器。然后结合外部校准数据输入有效时钟(CAL_DATAVALID)和非均匀校准参数(CAL_DAT[5:0])实现探测器片上非均匀校准参数计算和探测器校准参数配置。探测器时序、校正数据和输出的时序关系如图2所示[9]。

图2 探测器带非均匀校准工作时序图Fig.2 Timing diagram of GST817VM1E

4 系统关键技术

4.1 探测器驱动设计

本文探测器驱动由系统电源控制模块、偏压控制模块、时序生成模块和片上非均匀校准模块构成。

系统电源控制模块采用Nios软核控制各模块电源转换芯片使能信号使探测器数字电源先上电，模拟电源后上电，高电压先上电，低电压后上电，避免寄生和穿通电流对芯片可靠性和寿命的影响；系统下电时先关断模拟电源后停止数字电源，低电压先下电，高电压后下电，避免闩锁(Latch-up)效应。

偏压控制模块采用AD5324芯片产生探测器工作所需偏置电压VSK、GFID_E和GFID_O，并根据NUC校准实时调整VSK偏置电压使探测器输出帧均值在7 800～8 300之间，固化VSK电压。根据探测器奇偶通道输出差异调整GFID_E和GFID_O幅值，减小奇偶通道数据差，提高输出图像信号均匀性。FPGA通过串行外设接口(SPI)编程配置AD5324四路输出电压，配置数据共16位，包含4位控制信号与12位有效数据。

(1)

其中：Vout为AD5324输出电压，Vref为精度0.001 V参考电压源，D为12位有效数据，N为12。根据式(1)，计算出偏置电压对应的D，通过SPI写入AD324输入移位寄存器中即可。

时序生成模块以探测器工作时序图2为基准，规格为800(H)×600(V)，按下列要求配置探测器工作时序。

(1)INT上升沿后2个主时钟(MC)后，拉高CAL_DATAVALID，开始预存第一行的校准数据(区别奇偶列)，整帧第一个INT和最后一个INT是dummy行，不进行数据校正，校准工作共需(V+2)个INT行周期。第一个INT串口设置有效，预存第一行的校准数据，最后一个INT读出最后一行数据。

(2)为保证校准数据稳定输入，校准数据CAL_DATA[5：0]相对于校准时钟(使用系统时钟MC)的上升沿下降沿，延迟10 ns输入。

(3)系统校准时，串口数据SERDAT在第一行校准数据输入前完成，系统每帧作外部复位，帧起始先做串口数据输入，然后再作校准数据输入，重复V+2行INT时钟周期。

(4)INT时钟高电平周期要大于30个MC，低电平周期要大于60个MC，INT高电平长度应为MC主时钟周期的整数倍。

(5)INT时钟需滞后MC 10 ns，CALDATAVALID滞后MC 10 ns，SERDAT滞后MC 10 ns，CAL_DATA[5:0]滞后MC上升沿和下降沿10 ns 。

(6)在Datavlid变高后2个MC，FPGA开始探测器采集输出信号。

图3 NUC校准数据计算流程Fig.3 Flow chart of non-uniform correction

片上非均匀校准数据(NUC)模块与偏压控制模块协同工作，校准数据通过CAL_DATA[5：0]和同步时钟CAL_DATAVALID配合输入，实现对每个像元点做固定偏差和增益的校准。NUC校准数据共12位，初始值为0×888，高4位对应粗精度校准，中间4位对应中等精度校准，低4位对应微细精度校准，NUC参数计算顺序从高4位的粗精度校准开始，随后是中等精度校准，最后是微细精度校准。参数计算过程采用逐位逼近的方法从高4位向最低4位更新校准数据，并将更新后的校正数据通过CAL_DATA[5：0]送入探测器，计算当前校准参数下探测器VIDEO输出帧平均值Tj与探测器像元i(0

4.2 信号采样与TEC温控

4.2.1 模拟信号采样

探测器像元数据采样直接影响红外热成像图像质量优劣，本文采用高精度差分采样芯片AD9251实现探测器奇偶两通道图像模拟信号模数转换(图4)。探测器模拟信号输出电压范围为1～3 V，AD9251差分输入范围为-1～1 V之间(2Vpp)，因此需要对探测器输出的两路图像模拟信号进行幅值调理和单端转差分转换[10]。本文采用ADA4896对奇偶通道模拟信号(VIDEO_O、VIDEO_E)进行阻抗匹配和电压信号跟随放大，采用ADA4940对模拟信号进行幅值调理滤波，将1～3 V模拟图像信号转换为-1～1 V之间的差分信号送入AD9251两路差分采样转换为14位数字信号。AD9251所需差分时钟信号CLK_AD9251通过AD9515转换探测器MC同源时钟实现。

图4 模拟信号采样流程Fig.4 Flow chart of analog signal sampling

针对探测器奇偶通道同时输出机制，需要将转换后的奇偶通道数字信号合并成一帧完整图像数据。本文通过探测器成像时INT行积分与非INT行积分输出的AD值差异寻找每帧图像第一行第一个有效像素数据，结合探测器上电配置状态实现奇偶通道红外图像数据拼接。

4.2.2 TEC温控设计

为提高系统热成像分辨率，降低后期非均匀校正难度，最大程度改善成像质量，必须确保探测器焦平面温度的一致性和稳定性[11]。本文结合探测器使用手册对噪声、精度和功耗等的要求，选用0.001 ℃精度的MAX1978为核心搭建系统TEC温控电路稳定探测器焦平面温度。探测器焦温输出信号VTEMP经OPA2340EA转化为两路电压输出，对其分压调幅后一路送ADS1110温度采样芯片计算探测器焦平面温度，另一路送入MAX1978作为探测器焦平面温度输入信号。采用TMP101采样探测器环境温度，设计线性分段温控方法计算当前环温下应设定焦温值T，设定焦温值T通过MAX5417电桥电路转换设定焦温电压送入MAX1978，经内部PID网络计算后输出TEC温控信号到探测器TEC+和TEC-引脚，实现焦温实时控制，流程如图5所示。

图5 TEC温控流程Fig.5 Flow chart of TEC

4.3 红外图像校正与增强显示

4.3.1 热成像工作模式设计

本文系统包含校正与标定两种工作模式，其中标定模式主要用于计算两点校正参数、盲元补偿处理，校正模式为正常热成像工作模式。系统上电后，完成探测器机芯电路和连续变焦光学镜头初始化，读取当前探测器衬底温度，判断是否达到设定工作焦温，按照图2时序生成探测器工作时序，采样探测器输出图像信号。Nios控制器根据外部输入判定系统当前工作模式后进行红外成像(默认校正模式)和系统校正系数计算(标定模式)，具体流程如图6所示。在校正模式下，Nios软核控制器读取FLASH中非均匀校正系数至DDR3内存，进行红外图像校正与增强处理，并根据当前温度变化判断是否需要重新计算当前减本底参数。若需要则采用单点标定法计算，并采用更新后的本底参数与当前图像数据进行差值运算，降低温漂对红外热成像图像质量的影响，最后按照视频电子标准协会(VESA)标准生成标准视频输出显示。标定模式下采集不同工作温度下黑体红外辐射，采用两点法计算非均匀校正参数和探测器盲元点，并保存到外部FLASH中，供校正模式下红外热成像校正使用。

图6 图像处理与显示流程Fig.6 Flow chart of image processing and display

4.3.2 FPGA与Nios交互机载设计

本文采用Nios软核作为系统控制器，负责红外成像处理流程和工作状态控制，采用PIO通信机制与FPGA逻辑电路交互。FPGA负责校正系数计算，将计算好的参数数据通过DMA传输到DDR3，Nios通过配置不同的DMA描述字符将校正系数分配至不同地址，并存储到外部FlASH中。系统上电初始化时，再通过Nios读取外部FlASH中不同校正参数到DDR3相应内存地址，并通过PIO通信机制告知FPGA图像处理逻辑电路，并按约定内存地址读取相应系数，实现片上非均匀校准(NUC)、两点定标和减本底系数计算协同。

图7 FPGA内部交互架构图Fig.7 Internal interactions block diagram of FPGA

4.3.3 两点非均匀校正与减本底设计

(1)

(2)

计算每个探测器像元的空间响应输出xij校正后输出yij：

(3)

yij=Gijxij+Oij，

(4)

两点校正算法计算量小，适用于嵌入式系统，可实现实时校正，对目标图像无严格要求，但当温度变化范围较宽时，由于探测器响应并非严格线性，两点校正系数Gij和Oij会依赖于所取的温度T1和T2。本文针对此类情况，根据边海防监控所需工作环境温度要求共选择-20，10，30 ℃共3个温度段内进行两点校正参数计算。

(5)

(6)

式(5)中N为探测器面阵中探测元总的个数。把各校正因子一起存入外部FLASH，红外成像时用采集到的探测器像元数据实时减去Kij，并可根据探测器焦温变化决定是否重新计算本底校正因子。

4.3.4 自适应红外图像增强设计

为解决传统直方图均衡化后图像灰度细节丢失、不能较好地适应场景变化等问题，本文在直方图均衡化算法基础上做出改进，设计实现自适应双平台直方图均衡算法，增加了上下限平台阈值，对占有大量像素的背景和噪声进行适度抑制，起到保留图像的灰度信息、保护弱小目标和细节的作用。

本文自适应双平台直方图均衡化算法FPGA实现过程主要分3步，首先进行原图直方图统计，接着计算出上、下平台阈值，最后根据上下平台阈值，修正原来直方图重新进行灰度映射。平台阈值计算需要使用一片随机存储器(RAM)和两个先进先出(FIFO)存储资源完成，考虑到视频处理的实时性，本文采用统计上一帧直方图得到新的灰度级来实现下一帧画面灰度映射的方法。其具体实现过程描述如下：

(1)实时统计当前帧的灰度直方图并保存至双口RAM1；

(2)在帧间隔时间内(当前帧结束与下一帧数据有效前)，从地址0开始依次读出RAM1中的直方图单元值，将非零直方图单元值写入FIFO1中；

(3)RAM1中数据读出完成后，从FIFO1中依次取出数据先做一维3邻域均值滤波并求出一维3邻域极大值放入FIFO2中，将所有极大值相加并求均值，这个均值则为上平台限阈值THigh。

(4)将直方图单元值全部累加起来，除以原灰度级数(16 384)即得到下平台阈值Tlow，每修正一次直方图累加和F(M)发生改变，下限平台阈值Tlow也随之更新。

(5)再次从地址0开始读出RAM1中的所有数据，根据上、下平台阈值更新原直方图单元值，超过上平台阈值的直方图单元用上平台阈值替换，低于下平台阈值的直方图单元用下平台阈值替换，其他保持不变，最终得到新的直方图。

(6)更新直方图单元值的同时，根据灰度映射公式，计算出原灰度级对应的新灰度值，将新的灰度值保存至RAM2。

考虑到FPGA中实现浮点运算较为复杂，本文求取灰度值不直接计算其累积概率函数，而是将最终灰度映射运算一起考虑，先进行整数乘法运算，再做整数除法运算，自适应双平台直方图均衡化算法的FPGA实现流程，如图8所示。

4.3.5 连续变焦与自动聚焦设计

连续变焦红外成像系统需要实现不同光学视场下清晰成像，需要支持光学镜头变焦和调焦、光学和机械补偿等功能[16-19]。本文红外图像自动聚焦设计包含变焦控制电路模块和FPGA图像清晰度计算模块，变焦控制电路模块通过控制连续变焦光学镜头变焦和调焦电机位置运动实现镜头视场变倍和光学调焦，FPGA图像清晰度计算模块通过FPGA计算每帧图像窗口区域内的所有像素的清晰度值，并将计算结果按照图像帧频的速率发送给变焦控制电路模块。变焦控制电路模块每接收到一帧图像的清晰度值，首先匹配一下当前调焦电机的位置值，然后执行一次爬坡比较算法，接收连续5帧的图像清晰度数值，进行爬坡各过程的趋势比较，并最终确定最佳清晰点位置，实现红外图像自动聚焦功能，自动调焦主要步骤如下：

(1)比较连续5帧频图像清晰度数据(AF_DATA[0]～AF_DATA[4])的排列趋势，如果连续变小，则表示处于下坡趋势，控制电机反向运动；若连续变大，则表示处于上坡趋势。清除当前状态图像清晰度数据，跳转到步骤(2)继续比较。

(2)重新保存连续5组(帧频)的图像清晰度数据(AF_DATA[0]～AF_DATA[4])，比较连续5帧频图像清晰数据的排列趋势，若连续变小，则判断已越过波峰顶点，开始下坡运动，此时连续清晰度数据中最后的数据AF_DATA[4]，即为坡峰的顶点位置；为了提高自动聚焦正确率，调转运动方向，减慢运动速度，重新寻找坡峰顶点位置，跳转到步骤(3)继续比较。

(3)降低电机步进速度，提高寻位精度，再次重新保存有连续5组(帧频)的图像清晰数据(AF_DATA[0]～AF_DATA[4])，并比较连续5帧频图像清晰数据的排列趋势，若再次连续变小，则表面此时再次越过了波峰顶点，并开始了下坡运动，则此时记录的最大图像清晰度数据即为再次找到的波峰顶点，所对应的镜头位置即为调焦的最佳位置，将此位置值赋值给目标位置，运动至此，则完成自动聚焦位置定位。

5 实验与结果

5.1 实验条件

系统实验环境如图9所示，采用法国HGH准直仪系统，通过准直仪中控工作站(采集、控制和处理系统)控制DCN1000H3差温黑体温度，达到不同的光照度。将被照射的靶标放置在靶轮上平行光管的焦点上，透过靶标的光能量经过反射镜反射后，模拟无穷远处的目标，连续变焦红外相机放置在平行光管前方，将接收到红外辐照转变为红外图像信号，通过Cameralink接口传输给中控工作站Cameralink采集卡后生成图像，经工作站中Infratest-LT软件分析计算测试连续变焦红外相机NETD和MRTD指标。

(a)连续变焦红外相机(a)Continuous zoom infrared camera

5.2 实验结果

针对上述实验条件所得实验结果如表2所示。

表2 红外相机实验结果

6 结 论

本文设计了一种基于国产GST817VM1E探测器的高分辨率红外成像系统，采用SOPC单芯片同步实现非均匀性校正和图像增强，利用NiosⅡ软核作为图像处理控制器有效实现了对红外图像的片上非均匀性校正(NUC)、两点校正和减本底处理，改进自动聚焦算法，设计自适应双平台直方图均衡化算法，有效增强了红外图像对比度，细节更加清晰同时背景得到了较好的抑制。系统支持输出PAL、Cameralink、DVI等多种格式分辨率的红外视频图像。实验结果表明，采用该技术后可输出14位灰度级的800×600分辨率红外图像，帧率可达到60 frame/s，具备连续变焦和自动调焦控制功能，能够满足边海防监控等领域应用需求。