王金波,刘 斌,郝 亮,任珂珂
(华北光电技术研究所,北京100015)
为解决可见光图像数据量大、处理速度要求高的需求,本文设计了一种基于可编程门阵列(FPGA)的图像处理及自动调控电路。该电路完成可见光图像的直方图均衡、中值滤波、十字叉叠加、自动调焦等图像处理及调控功能。通过以上措施,能够显著提高可见光图像的质量,并且由于采用高速FPGA作为图像处理芯片,整个电路精度高,实时性好。
基于FPGA的图像处理及镜头自动调控电路原理框图如图1所示。
图1 图像处理及镜头自动调控电路原理图
A/D芯片采用Philips公司的SAA7113,完成可见光模拟图像到数字图像的转换;FPGA芯片采用Altera公司 CycloneIII系列的 EP3C25F256I7,该芯片完成包含直方图均衡、中值滤波、叠加十字叉、图像清晰度计算等在内的数字图像处理功能;视频解码芯片采用Philips公司的SAA7121;MCU选用的是Silicon公司的C8051F021芯片,完成与上位机的通信、对SAA7113和SAA7121的配置,与FPGA之间的数据交互,以及对可见光镜头的控制。
图像处理部分主要由FPGA完成,自动调控部分由FPGA和MCU共同完成。MCU通过电机驱动芯片驱动可见光镜头内的调焦和变倍电机,可以实现焦距和视场的调节功能。
下面简要介绍快速自动调焦的基本流程:根据FPGA计算得出的图像清晰度参量,MCU可控制可见光镜头焦面位置不断变化,直至图像清晰度参量最大,完成可见光图像的自动调焦。为提高自动调焦的速度,本文采用了如下措施:①采用“区域极值法”,减少寻焦行程,其流程如图2所示;②将图像按场进行处理,相对于按帧处理缩短了清晰度参量计算时间。通过以上措施,可显著提高自动调焦的速度。
图2 “区域极值法”流程
采用若干个VHDL模块共同完成所需功能。下面分别介绍各部分功能。
直方图均衡的基本方法是扩展在图像中像素个数多的灰度级,缩减像素个数少的灰度级,使转换后的图像的直方图分布更加均匀[1]。这不仅能够改善图像的质量,提高图像的清晰度,而且经过直方图均衡后的图像更有利于使用计算机进行处理。
直方图均衡的一般方法如公式(1)所示:
式中,ri为灰度级且满足归一化条件;k为灰度级数,第i个灰度级ri出现的频数用ni表示;n为帧内像素总数。
VHDL实现过程:在FPGA内部开辟一个256×24 bit的存储器RAM1和一个256×8 bit的存储器RAM2。RAM1存储每场图像的每个灰度级的像素个数,由公式(1)可以计算出灰度映射表,并存储到RAM2。输出图像的每个像素通过查找RAM2,输出新灰度,整场图像完成直方图均衡处理。
中值滤波的一般方法是用一个含有奇数个像素的窗口在图像上滑动,用该窗口中所有灰度值的中值来代替窗口中心像素点的灰度值[2-3]。二维中值滤波可由公式(2)表示:
VHDL实现过程:本文中取i=j=3,做9个点的中值滤波。在FPGA内部开辟两个720×8 bit的FIFO,缓存两行图像数据,与当前输入行的图像数据并行输出,可以得到三行图像数据,再经三级D触发器就可以得到3×3像素矩阵,以每个矩阵窗口的9个灰度值的中值代替矩阵中心点的灰度值,即可完成中值滤波,整个过程如图3所示。
在可见光图像上叠加十字叉有助于定位目标在图像中的位置,由此可尽量避免可见光图像视场发生变化时目标丢失的情况发生,更有利于实施视频监控。
首先计算叠加点周围区域内的灰度级平均值,然后将该平均值与某一阈值作比较,若小于阈值则将该点设置为高灰度级,反之则将该点设置为低灰度级,即叠加与其背景灰度级对比强烈的十字叉以助于观察。阈值可通过实验选取。
“清晰度法自动调焦”通过图像清晰度评价函数对可见光镜头不同焦面位置成像的清晰度进行评价,利用“正确对焦使图像最清晰”这个特征找到正确对焦位置。
本文选用Tenengrad函数来表征图像清晰度[4-5]。Tenengrad 函数利用 Sobel算子来估计图像在水平方向和垂直方向的梯度,其表达式如公式(3)~式(5):
式中,Gx(x,y),Gy(x,y)分别为水平和垂直方向的计算模板;分别是可见光图像矩阵与Sobel算子的卷积,Sobel算子在X,Y方向各有一个:
ν是一个阈值,可以通过实验选取。
由于该方法计算量较大,本文将公式简化为公式(6):
该公式可以极大地减少计算量,提高图像处理速度,且计算结果满足图像清晰度要求。
VHDL实现过程:与中值滤波模块类似,首先由串行视频流生成3×3矩阵,再使用图像矩阵分别与Sx和Sy算子卷积并取绝对值,把绝对值相加,得到一个像素的边缘信息,对每个点都进行计算并做累加,就可以得到整场图像的清晰度参量。将此参量实时传递给自动调控电路,自动调控电路以此为依据控制焦面位置不断变化,直至聚焦参数最大,可得聚焦清晰的图像。
图4、图5、图6分别为直方图均衡、叠加十字叉、自动调焦前后的图像对比效果,由于图像在进行中值滤波前后效果对比不够明显,在此不作对比。
图4 直方图均衡前后图像对比
图5 叠加十字叉前后图像对比
图6 自动调焦前后图像对比
本文设计的可见光图像处理及自动调控电路满足实时性、低功耗及小型化的工作要求。
(1)实时性。本文设计中,实现直方图均衡、中值滤波和叠加十字叉等功能所导致的图像延时均小于0.2 ms,自动调焦可在3 s内完成。
(2)低功耗。在本文电路设计中,采用的器件均为低功耗器件;并且在无信号输入时,自动关闭部分芯片,进入节电模式。
(3)小型化。本文电路均采用集成性较高的器件,这样大大减少了整个电路所使用的器件数目;同时封装均为贴片式,因此电路具有小型化、集成度高等优点。
[1] Chen Zheng,Ji Shupeng.Enhancement algorithm of infrared images based on Otsu and plateau histogram equalization[J].Laser & Infrared,2010,40(4):438 - 441.(in Chinese)
陈峥,吉书鹏.一种基于Otsu法和平台直方图均衡的红外图像增强算法[J].激光与红外,2010,40(4):438-441.
[2] Zhang Hansong,Wang Ying.Infrared image process based on LabVIEW[J].Laser & Infrared,2011,41(9):1002 -1005.(in Chinese)
张寒松,王颖.基于LabVIEW的红外成像图像处理方法及应用[J].激光与红外,2011,41(9):1002 -1005.
[3] LiMingxi,Mao Hanping,Zhang Yancheng.Study of the actual image denoisingmethod based on liftwavelet analysis and median filter technology[J].Laser & Infrared,2007,37(10):1109 -1111.(in Chinese)
李明喜,毛罕平,张艳诚.基于提升小波变换和中值滤波的图像去噪方法研究[J].激光与红外,2007,37(10):1109-1111.
[4] Jia Xiaofei,Li Yibin,Chen Dezhi,et al.Design of high speed arithmetic of auto-focus in uncooled infrared thermal equipment[J].Laser & Infrared,2009,39(6):688 -690.(in Chinese)
贾晓飞,李宜斌,陈德智,等.非制冷红外热像仪的快速自动调焦算法设计[J].激光与红外,2009,39(6):688-690.
[5] Gong Guangyong,He Wenzhong,Gao Xuhui.Optimized mountain climb-searching of auto-focusing in infrared imaging system[J].Laser & Infrared,2007,37(11):1213 -1215.(in Chinese)
宫光勇,何文忠,高旭辉.红外系统中自动调焦爬山搜索算法的优化设计[J].激光与红外,2007,37(11):1213-1215.