大面阵高清高帧CMOS枪瞄系统关键技术

陶声祥，王书宇，吴海兵

(陆军军官学院 高过载弹药制导控制与信息感知实验室，合肥 230031)

【装备理论与装备技术】

大面阵高清高帧CMOS枪瞄系统关键技术

陶声祥，王书宇，吴海兵

(陆军军官学院 高过载弹药制导控制与信息感知实验室，合肥 230031)

为了使射手能快速观察并瞄准战场目标，设计并实现了一种基于大面阵高清高帧频CMOS图像传感器的数字枪瞄系统；重点解决了系统中的几个关键技术：硬件电路设计、基于FPGA的CMOS驱动、图像格式转换和瞄准分划的动态生成与位置调整；实验结果表明：该系统可在采集分辨率为2 560×2 048，显示分辨率为1 280×1 024，帧速为75 fps，数据传输速率为2G bps方式下稳定地工作。

枪瞄系统；大面阵CMOS图像传感器；FPGA；颜色插值

数字枪瞄系统是为了帮助射手进行观察瞄准的光电设备。现代车载或机载机枪平台上，很多采用数字化头盔式观察瞄准器，即利用外部的图像传感器获取目标场景，再通过几米长的线缆传送到头盔中的显示屏上，供射手观察瞄准。由于射击时摄像镜头快速摆动，图像容易出现拖尾现象[1]，同时射手能观察到的视野是越宽越好，这些因素都对图像的分辨率和刷新率提出了很高的要求。另外，传统枪瞄器的瞄准分化线刻在玻璃板上，无法动态调整。

近年来，随着大面阵CMOS的快速发展，如何利用它进行图像的采集、处理、传输与显示，国内做了一些相关研究，比如：文献[2]对如何利用大面阵CMOS成像进行了研究。文献[3]设计了利用CameraLink接口传输数据的相机图像实时显示系统。文献[4]采用USB2.0 作为高速数据接口传输图像数据，在液晶显示屏上进行图像同步显示。文献[5]利用FPGA+DSP，实现了1280×720，25帧/秒高清视频图像系统。文献[6-7]将CCD成像技术应用到枪瞄装备上。

本文利用NOIV1SN5000A图像传感器[8]、0.6英寸的OLED头盔显示屏和FPGA设计实现了一套数字枪瞄系统，该系统的图像采集分辨率为2 560×2 048，显示分辨率为1 280×1 024，实时刷新帧频高达75 fps，采用抗干扰能力强的FPD-Link III协议进行图像数据传输，瞄准镜和头盔之间只需2根同轴线缆，支持图像放大(2倍)，动态生成瞄准分化线，叠加显示在OLED屏上，支持动态调整显示位置。其中CMOS成像传感器驱动、图像格式转换、时序控制和外围电路控制等均由FPGA完成。整个系统结构简单、体积小、支持低温下工作。

1 系统工作原理

系统工作原理如图1所示，首先通过大面阵CMOS采集目标区图像，通过颜色插值算法转换图像格式，同时根据用户输入动态的生成电子瞄准分化线，将其叠加在图像上，再通过数据高速传输模块送往头盔显示单元中驱动OLED进行显示。

为实现图像放大功能，在正常模式下需要将图像进行降采样处理，将2 560×2 048的原始图像采样成1 280×1 024，即将4个像素点合成1个像素点进行显示，目的是实现对大视场范围内的目标进行观察，满足全局观察的需要；在放大模式下，取图像中心点的1 280×1 024进行显示，满足对目标局部细节的瞄准需求。

图1 系统工作原理

2 硬件电路设计

系统硬件电路主要由CMOS图像传感器、FPGA、单片机、图像传输接口、加热模块、按键模块、OLED显示屏和时钟等组成，其组成框图如图2。

图2 系统硬件电路组成框图

2.1 PCB电路板设计

PCB电路板实物如图3所示，CMOS传感器及外围电路为一块电路板，考虑FPGA、DS90UB925Q和单片机之间需要传输时钟信号和数据，它们之间的连线很多，故设计在一块电路板上，系统电源和加热模块则设计在另外一块板上。电路板上模拟地和数字地分别覆铜，之间用零电阻或电感连接，划为数字和模拟区域，提高电路板的抗干扰能力。

2.2 供电模式设计

考虑系统要在车载或机载等复杂环境下工作，自身供电应尽量保持独立，所以设计了外部供电和内部供电两种模式。外部供电时，电压是24 V，使用WRB2405LT-3WR芯片将24 V转换成5 V作为系统供电基础，各器件所需电源均由5 V电源转换得到。内部供电时，使用自带的蓄电池，在无外接电源的情况下，可独立工作12 h。外接电源时可自动充电。

2.3 主要器件配置

1) CMOS图像传感器与FPGA接口电路：FPGA通过SPI接口采用从模式对CMOS芯片的寄存器进行参数设置和读取，CMOS图像传感器在时钟和同步信号作用下以8位模式输出数据。

2) 单片机与FPGA接口电路：单片机主要用来设置FPGA内部逻辑的工作参数，比如设置图像显示窗口的起始坐标、显示菜单、按键信息和相关参数。

图3 PCB电路板实物

3) DS90UB925Q与FPGA接口电路：通过I2C通信，传输的信号包括有24位图像信号、像素时钟、同步信号等。

4) DS90UB925Q与DS90UB926Q接口电路：由于输出数据频率在GHz以上，故使用带屏蔽线的双绞线进行传输，同时DOUT+、DOUT-通道上串联LC元件，使传输线达到阻抗匹配以便正常传输数据。

5) 加热模块：主要由温度传感器和加热器组成，通过单片机进行控制。由于该型号CMOS芯片的工作温度范围为0～70℃，所以当系统在低温环境下启动时，必须通过加热模块升高温度，确保CMOS芯片正常工作。

3 基于FPGA的驱动与图像处理

利用FPGA驱动CMOS图像处理器，同时对图像数据进行相应的转换和处理。

3.1 驱动CMOS图像传感器

CMOS图像传感器的行输出时序如图4所示，在每一行图像数据输出时，同步信号通道会给出行开始标志(Line Start，LS)和行结束标志(Line End，LE)，而第一行会冠以帧开始的标志(Frame Start，FS)，最后一行则冠以帧结束标志(Frame End，FE)。在同步信号中，还有黑色像素标志(Black pixel data，BL)，用于对同行信号进行补偿；有效像素标志(Valid pixel data，IMG)和CRC校验码等。FPGA根据来自同步信息和8个通道的图像LVDS信号，解析出帧同步信号、行同步信号、图像数据和时钟等信息。

图4 CMOS传感器行输出时序

FPGA输出给CMOS图像传感器的工作时钟有两个：37.5 MHz和31 MHz，分别用做图像放大和正常输出时的CMOS输入参考时钟，主要根据外部按键命令进行选择。CMOS图像传感器工作模式是8-bit mode with PLL，在内部进行了5倍频，因此在正常模式下CMOS内部工作时钟频率是155 MHz，放大模式下为187.5 MHz。此外，FPAG给CMOS进行SPI参数配置的工作时钟是3.125 MHz

4 图像格式转换

由于该型号CMOS图像传感器采用Bayer彩色模式输出RAW格式数据，因此，为了和显示接口的数据格式相匹配，必须要进行图像格式转换。最普通的方式采用双线性插值(Bilinear)算法。效果比较好的算法有：Admas和Hamilton[8]提出的自适应插值算法;Lukac和Plataniotis[9]提出的正规化颜色比插值算法;Lu和Tan[10]提出的探索邻域像素空间和光谱相关性的复原算法；BU F等[11]提出的一种基于边缘和色差插值的复原算法。

由于该系统对复原图像的品质和速度都有一定的要求，考虑到品质与速度的均衡性，本文设计了一种利用色差空间的高效图像复原算法：首先，利用5×5模板内的像素估计插值的方向并用最优的权重系数插值G分量，其次利用基于有理函数的二维插值算子在色差空间中插值R(B)处缺少的B(R)分量,最后再次利用色差插值G处缺少的R和B分量。具体的算法步骤如下：

1) 通过边缘检测对绿色分量G进行插值。在Bayer模板中，绿色分量所占的分量最重，所以先对G分量进行插值。考虑到边缘像素的问题，对G分量采用基于边缘检测的插值算法。首先定义5×5模板的水平梯度ΔHg和垂直梯度ΔVg，用来估计模板内是否存在水平方向和垂直方向的边缘。如果某一方向的梯度值大，就意味着在该方向存在着边缘。

水平梯度和垂直梯度的定义如下：

ΔHg=abs(G(i-2,j-1)+G(i+2,j-1)- 2G(i,j-1))+abs(G(i-2,j+1)+G(i+2,j+1)-2G(i,j+1))+abs(G(i-1,j)-G(i+1,j))

(1)

ΔVg=abs(G(i-1,j-2)+G(i-1,j+2)- 2G(i-1,j))+abs(G(i+1,j-2)+G(i+1,j+2)-2G(i+1,j))+abs(G(i,j-1)-G(i,j+1))

(2)

判断方向以后对G分量进行插值，以插值红色像素处缺少的绿色像素为例：

当ΔHg>ΔVg时：

(3)

当ΔHg=ΔVg时：

(4)

当ΔHg<ΔVg时：

(5)

(6)

2) 采用同样算法来插值B分量处缺少的绿色分量G。

3) 利用二维有理函数插值算子插值B分量处缺少的R分量。

由于采用相同的插值系数很难获取到品质好的图像,所以本文采用二维有理函数插值算子对色度分量(R和B)在色差空间进行插值。

二维图像的插值模式如图5所示，P像素的灰度值要通过Pa1，Pa2，Pa3，Pa4等4个像素的灰度值插值得到。假设像素的灰度为ai，二维有理函数插值算子表示为

P=RF2D(x1,x2,x3,x4)=

(7)

式(7)中，ωx,y=1/8+k(ay-ax)2，x,y=1,2,3,4,k是非线性系数，当k=0时，等价于双线性插值。

Pa1Pa2PPa3Pa4

图5 二维图像插值模式

以插值所有蓝色像素B处的红色像素R为例，用图5的二维插值模式，其中，P位置为蓝色像素，Pai(i=1，2，3，4)位置为红色像素。在进行插值时，需要计算像素P上的颜色差KR(P)：

RF2D(KR(PR1)，KR(PR2)，KR(PR3)，KR(PR4))

(8)

其中KR(PRi)=Gi-Ri(i=1,2,3,4)，从而可以得到蓝色像素上缺少的红色像素为：

Ri, j=Gi, j-KR(P)

(9)

4) 采用同样算法恢复红色像素处缺少的蓝色分量。

5) 恢复绿色分量G处缺少的R和B分量

将边界检测原理应用到G分量处色度信号的恢复中，利用亮度的二阶导数作修正，在色差空间进行插值。以插值红色分量R为例，当绿色分量G的上下位置有两个R值是已知时，计算公式如下：

Gi, j=[Ri, j-1+Ri, j+1]/2+[2Gi, j-Gi, j-1-Gi, j+1]/2

(10)

当绿色分量G的左右位置有两个R已知时，计算公式如下：

Gi, j=[Ri-1, j+Ri+1, j]/2+[2Gi, j-Gi-1, j-Gi+1, j]/2

(11)

6) 同样的方法可以插值出绿色像素处缺少的蓝色像素值。

7) 通过色差插值更新G分量的值在插值得到的RIB分量的基础上，对G分量使用色差插值的方法进行更新。更新R分量处的G分量的值，公式如下：

Gi, j=(Gi-1, j+Gi+1, j+Gi, j-1+Gi, j+1)+

[4Ri, j-(Ri-1, j+Ri+1, j+Ri, j-1+Ri, j+1)]

(12)

根据对称性，可以更新B分量处的G分量。

执行完上述过程后，可以在所有像素上得到红绿蓝3种颜色的分量，最终实现从RAW到RGB的转换。

5 瞄准分划的动态生成与叠加显示

瞄准分化是由带刻度的垂直轴、横轴和椭圆组成，为瞄准射击提供参考。考虑人眼的瞄准精度和舒适度，中心点4个像素，分划线宽2个像素。

需要调整瞄准分化时，由单片机扫描按键硬件信号，读取用户的输入。比如用户可通过按键预设目标距离和自身运动速度，单片机通过内置的射表进行相应计算，得到射击提前量，进而确定瞄准分化上轴线的长度、椭圆的半径、刻线间隔等数值，再将这些数值发送给FPGA，由FPGA动态生成分划图案，叠加在图像数据上。

瞄准分化的瞄准点默认设定为显示屏的中心位置，操作时用户能够通过按键模块中的上下左右按键来调整瞄准点的位置坐标，使其对准目标。

考虑到有些机载设备上安装有激光测距机和速度传感器等，所以单片机中还单独设计了一个外部接口，可以直接接收外部设备传送过来的目标距离和自身运动速度等数据，直接进行计算，进而确定瞄准分化的显示参数。

另外，在进行光轴标定时也是通过按键实时调整瞄准分化中心原点的坐标，调整后的位置能够自动存储，掉电后不会丢失。

6 试验结果

根据以上软硬件设计，制作了原理样机，并开展了相关试验。试验采用频率为50 MHz的主时钟，同轴线缆传输长度为1.2 m，采集并显示的帧速达到75 fps，镜头以72RPM快速转动时，显示图像无拖尾。获取的侦察瞄准图像如图6：(a)为正常模式下的图像；(b)为放大模式下的图像(放大倍率：2)；(c)为调整瞄准点时的图像；(d)为黄昏时的图像。

图6 侦察瞄准图像

7 结论

本文首次将大面阵CMOS图像传感器应用到枪瞄系统中，实现了侦瞄图像的高清高帧显示，从硬件和软件层面上进行了设计。试验表明：该系统在镜头快速转动时，显示的高清图像没有出现拖尾现象，而且在光强较弱的情况下也有很好的表现。相比现有的机载枪瞄系统，该系统具有结构简单、成像清晰、抗干扰能力强和瞄准分化可调等优点。

[1] 王庆有.图像传感器应用技术[M].北京:电子工业出版社,2003.

[2] 刘新明，刘文，刘朝晖.大面阵CMOS APS相机系统的设计[J].光子学报，2009,38(12):3235-3238.

[3] 王明富，杨世洪，吴钦章.大面阵CCD图像实时显示系统的设计[J].光学精密工程，2010,18(9):2053-2059.

[4] 大面阵高帧频可配置CMOS 数字视频系统研究与实现[J].微计算机信息，2006，22(11):173-175.

[5] 高杨，刘荣科，胡伟.基于FPGA+DSP的高清视频图像系统设计与实现[J].电子测量技术，2011，34(1):69-73.

[6] 高有堂，常本康，田思.CCD技术的微光枪瞄检测系统[J].火力与指挥控制，2008，33(10)：67-70.

[7] 高有堂，常本康，邱亚峰.多环境试验条件下微光枪瞄检测系统设计[J].微计算机信息，2007，23(8):94-96.

[8] HAMILTON J,ADAMS J.Adaptive Color plane interpolation in signal sensor color electronic camera:USA,5629734[P].1996-03-17.

[9] LUKAC R,PLATANIOTIS K N.Digital camera zooming based on unified CFA image processing steps[J].IEEE Trans Consum Electron,2004,50(1):737-745.

[10]LU W,TAN Y P.Color filter array demosaicking:new method and performance measures [J].IEEE Trans Image Process,2003,12(10):1194-1210.

[11]BU F,WEIDONG Q,YUEHONG Q.A novel weighted edge-directed and weighted-color-difference interpolation for demosaicking Bayer-pattern color images [J].Journal of Information & Computational Science，2012,9(7):1781-1794.

(责任编辑周江川)

Key Technology Research in Riflescope System Based on High Definition and Huge Frame and Large Area Array CMOS

TAO Sheng-Xiang, WANG Shu-Yu, WU Hai-Bing

(Laboratory of Guidance Control and Information Perception Technology of High Overload Projectiles, Army Officer Academy of PLA, Hefei 230031, China)

In order to enable the shooter to observe and target the battlefield，the paper designed and realized a digital riflescope system based on high definition and huge frame and large area array CMOS. In this paper, the key technologies for realizing the system were solved. It includes hardware circuit design, CMOS driver based on FPGA, image format conversion and dynamic generation and position adjustment of targeting differentiation line. The experiment results indicate that the system can stably work at the resolution of 2 560×2 048, the display resolution of 1 280×1 024, the frame rate of 75 fps and the data transmission rate of 2G bps.

riflescope system; large plane CMOS image sensor; FPGA; color interpolation.

2016-08-01；

2016-09-10

国家自然科学基金项目(11172331)

陶声祥(1967—)，男，博士，教授，主要从事目标探测、成像技术研究。

10.11809/scbgxb2017.01.003

陶声祥，王书宇，吴海兵.大面阵高清高帧CMOS枪瞄系统关键技术[J].兵器装备工程学报，2017(1):12-16.

format:TAO Sheng-Xiang, WANG Shu-Yu, WU Hai-Bing.Key Technology Research in Riflescope System Based on High Definition and Huge Frame and Large Area Array CMOS[J].Journal of Ordnance Equipment Engineering,2017(1):12-16.

TP212

A