基于FPGA的机载光电观瞄成像装置系统设计

康亚林，郭 杰，吴 迪，肖明艳，傅 霖

（云南师范大学物理与电子信息学院，昆明 650500）

0 引言

机载光电观瞄成像装置是一种安装在航空器上，并具有导航、目标搜索、瞄准以及稳定跟踪等功能的光电系统，相较于普通成像装置，工业航空观瞄成像装置往往面临着更加复杂和更加严酷的工作环境，图像采集系统的性能要求越来越高［1］。早期的工业航空观瞄成像装置很多都是采用CCD 图像传感器，由于受到半导体制造工艺水平的限制，CMOS图像传感器的性能指标均低于CCD 图像传感器的性能指标。但是近年来，CMOS 图像传感器以其开发周期短、功耗小，尤其是高帧频高分辨率的特点成功进军工业、监控、航天等领域［2］。电子元器件国产化替代对国防和信息安全建设具有重要意义，特别是依赖进口的航空航天装备领域。

本文采用国产CMOS 图像传感器HT50A、国产可编程逻辑器件T120，设计了机载光电观瞄成像装置系统的硬件电路，并编写了控制软件。

1 系统总体设计

机载光电观瞄成像装置系统主要包括三部分：图像传感器模块、信息处理模块和Camera-Link接口模块。系统结构如图1所示。

图1 系统结构框图

2 硬件电路设计

2.1 图像传感器模块

采用海图微电子有限公司的HT50A 图像传感器。HT50A 是一款2/3 型5 兆像素高分辨率CMOS图像传感器，在2464（H）*2048（V）的全分辨率下，帧速率高达61.9 fps。HT50A 图像传感器分别需要用到数字电源1.2 V、模拟电源3.3 V、I/O 数字电源1.8 V。注意供电的电源要进行充分的解耦，防止噪声干扰［3］。设计的时候数字部分电源和模拟部分电源要分开。电源芯片选用线性稳压器LDO，静态电流小、电压稳定、输出纹波小、负载响应快，最重要的是外围电路简单。

CMOS图像传感器的快门模式由系统所使用的传感器特性决定，主要分为全局快门和卷帘快门两种模式［4］。全局快门同时曝光传感器网格中的所有像素，因此最终数字图像的每个像素都是在同一时刻捕获的。卷帘式快门在第一行曝光结束后，立即开始读出数据，数据完全读出后，下一行开始读出数据。因此卷帘快门的第一行和最后一行像素的捕获之间存在时间差，这意味会发生由于使用卷帘快门而导致的移动物体或场景的图像失真或模糊。全局快门传感器通常比卷帘快门传感器尺寸更大、更感光。

本文选用的这款传感器具有全局快门像素，高分辨率ADC和高速读数。满足智能交通系统、机器视觉和工业检测等应用中的高性能和高分辨率要求。

如图2所示，TXDN0/TXDP0-TXDN7/TXDP7是HT50A的8对LVDS信号通道；TXCP1/TXCN1是随同8 对信号数据的时钟，即CMOS 输出的图像数据和时钟信号；HSYNC 和VSYNC 是CMOS输出的行场信号；I2C_SCL、I2C_SDA 是I2C 配置图像传感器所需要的信号。

图2 图像传感器硬件电路图

2.2 Camera-Link接口模块

Camera-Link 接口模块主要包括一个驱动器和一个接收器。接收器一共需要接收包括1 路LVDS 时钟信号和4 路LVDS 数据信号，然后将传输的图像数据流转换成28 位的CMOS/TTL 并行数据和1 位时钟信号［5］。驱动器总共需要驱动5路LVDS数据流，其中这5路LVDS数据流包括1路专用的LVDS时钟信号传输通道和以7∶1方式串行化的4路LVDS 数据流。因此，驱动器接收端只需要接受28 位单端的数据信号和1 位单端的时钟信号。但是这样就会占用FPGA的大量IO 管脚和布线资源，不利于机载光电观瞄成像装置的低成本和集成化。基于此，本文以FPGA 作为主控芯片，利用FPGA 内部资源OSERDES 实现Camera-Link 并串转换模块。值得注意的是在差分信号之间需要100 Ω 的差分阻抗匹配设置。

根据实际应用场景使用要求的不同，视频传输模式包括以下三种配置模式：Full 模式、Medium 模式和Base 模式。在Base 传输模式下，发送器可以达到在每一个像素时钟里发送24 bits的图像数据和4 bits 的图像使能信号。Base 模式的最大传输速度为2.0 Gb/S @ 85 MHz 。在Medium 传输模式下，发送器能够发送36 bits 的图像数据和4 bits 的图像使能信号在每一个像素时钟里。Medium 模式的最大传输速度为4.8 Gb/S @ 85 MHz 。在Full 传输模式下，发送器可以发送64 bits 的图像数据和4 bits 的图像使能信号在每一个像素时钟。Full模式的最大传输速度为5.4 Gb/S@85 MHz。需要根据观瞄成像装置系统输出的数据量的大小来决定使用哪一种配置的传输模式，本文所选用的CMOS 图像传感器的型号为HT50A，在Normal 工作模式下，本次设计寄存器配置的输出数据位宽12 bit，输出数据格式为RAW 格式，图像总像素点为2464*2048，输出图像大小为1024*768，帧频可选择为30帧每秒或60帧每秒，选择8通道输出，像素时钟频率为78.5 MHz，输出图像数据量为225 Mbps，故对于图像视频数据流的接收，选择Base模式即可满足。硬件接口如图3所示。

图3 Camera-Link接口连接硬件电路图

2.3 信息处理模块

信息处理模块架构为FPGA+DDR3+FLASH。现场可编程门阵列FPGA为易灵思科技有限公司的T120。DDR3 存储器为西安紫光国芯半导体有限公司的SCB5H1G160AF-13KI。FLASH 为北京兆易创新科技股份有限公司的GD25Q64。

相对于DSP 来说，FPGA 片内有大量的逻辑门和触发器，硬件集成度高、规模大、运算效率高；软件数据处理速度快，可以实现更复杂的时序逻辑设计，并进行多次重复程序编程。

信息处理模块主要需要1.2 V、1.8 V、1.5 V和3.3 V 供电。选用DC-DC 开关稳压器，经滤波后得到的电压干净、效率高、带负载能力强、瞬态反应比较快。

硬件电路图如图4和图5所示。

图4 FPGA模块硬件原理图

图5 DDR+FLASH模块硬件电路图

图6 顶层设计结构图

3 软件设计

3.1 I2C配置模块

在本次系统设计中，通过FPGA 内部分频器产生时钟（SCLK），输入到图像传感器CMOS以便可以进行数据同步传输，图像数据（SDATA）在FPGA 与CMOS 图像传感器之间进行双向传输，同时调试各种参数。配置模式选择主从模式，即配置CMOS 图像传感器为从设备，FPGA 为主设备。I2C 控制模块主要是应用处理器向图像传感器中的指定寄存器写入指定数据，同时应用处理器从图像传感器中读取某些控制和状态数据。HT50A 通过I2C 通信协议接口配置内部寄存器，对其进行初始化操作［6］。表1为部分寄存器地址和设置值。

配置的时序图如图7 所示，图8 是I2C 总线的时序仿真图，仿真结果完全符合HT50A 手册上的I2C通信接口写时序图。

图8 I2 C总线仿真时序图

3.2 DDR控制模块

经过串并转换模块输出的图像数据需要存储在DDR3 SDRAM 芯片中，因此就需要设计DDR 控制模块用来实现对DDR3 的读写操作，如图9所示。在本设计系统中，为了进一步降低软件开发难度，增加设计系统的稳定性，FPGA与DDR3进行图像数据信息交互所需接口信号是通过调用IP 核产生的。DDR 控制单元模块设计通过直接例化MIG 生成新的时钟单元模块和DDR 核，wr_ddr3_fifo 模块设计用来对DDR 进行写操作，rd_ddr3_fifo 模块设计用来对DDR 进行读操作。用户逻辑首先将图像数据写入到数据FIFO 中，接着再将命令信息写入到命令FIF0中，这种写入图像信息的方式被称为DDR 写操作［7］。用户逻辑要先将命令信息写入到命令FIF0 中，然后才能将图像数据读出来，这种读出图像数据的方式被称为DDR 读操作。因此DDR 在进行读操作时，它的地址必须要和写操作的地址保持一致。

图9 DDR读写控制流程

3.3 串口通信模块

串口通信模块主要用于设置机载光电观瞄成像装置的控制参数，主要包括自动曝光、对比度和增益等［8］。

波特率产生器：即需要产生一个时钟频率与对应波特率时钟频率相同的时钟信号。例如：当选择系统时钟为50 MHz、波特率为115200 bp时，此时波特率产生器需要产生一个模为434的计数器。

422通讯：以一位低电平标志开始，传输八位数据位，然后以一位高电平标志结束。它的发送模块和接收模块可以选择共用一个波特率产生器。

串口通信的硬件原理图如图10 所示，仿真时序图如图11所示。

图10 通讯模块硬件电路图

图11 422通信仿真时序图

3.4 图像接收与输出模块

FPGA 采集到所需要的图像数据后，首先要在其内部的RAM 中缓冲一下再进行输出，由于数据量很大，为了防止出现数据错乱，影响数据传输的准确性，故需要进入DDR3进行数据缓冲，最后通过Camera-Link 端口传递图像数据到显示屏成像。

CMOS图像传感器的图像数据输出时序如图12所示，当帧同步信号（VSYC）电平位低时，正常输出数据，即VSYC默认高电平有效。

图12 图像传感器数据（LVDS）输出时序图

4 图像测试

利用DALSA 图像采集卡来采集输出的图像，通过图像采集软件可以明显观察到此观瞄成像装置系统的帧频为30 fps 和60 fps，输出图像的分辨率大小为1024*768，可实时观察到图像并且无任何卡顿。如图13和图14所示。

图13 分辨率1024*768（30 fps）

图14 分辨率1024*768（60 fps）

通过以上的图片测试，我们可以看出：本次基于FPGA的机载光学观瞄成像装置系统设计是可行的，通过验证在图像传感器支持的像素大小和帧率范围，此次设计输出图像大小和帧率可通过寄存器的配置进行调整，同时也可以进一步加入图像处理算法来增强图像质量，具有较高的实用性，满足现实的需求。

5 结语

本文设计的基于FPGA的机载光电观瞄成像装置系统，以可编程逻辑器件FPGA作为核心控制器，通过I2C 总线协议配置图像传感器HT50A的寄存器，FPGA 通过同步时钟信号（包括帧同步信号、行同步信号，以及像素时钟信号）能够准确地采集到sensor_data 口输出的数据，然后将采集到的图像数据先在DDR3内进行数据缓存后再通过Camera-Link 端口传递到显示屏成像。通过测试验证了所设计系统的硬件可行性，系统稳定可靠，设计符合预期目标。机载光电观瞄成像装置系统的软件配置都是通过FPGA进行的，后期也可以将图像处理算法移植到该机载光电观瞄成像装置系统软件中，如边缘检测算法、图像滤波算法、自动白平衡算法等，具有比较高的实用性。