基于FPGA的图像锐化处理系统设计

郑庆伟 蒋 超 汪名扬 钟子全 吴俊卿

北京控制与电子技术研究所信息系统工程重点实验室，北京100038

1 概述

在星载红外探测的远距离红外成像的应用场合，目标往往比较微弱，清晰度、分辨率和对比度均低，伴随有较强的随机干扰和系统噪声，背景比较复杂。通常需要使用图像锐化等图像增强技术抑制图像的背景噪声、增强图像纹理和边界细节，提升图像的某些重要信息特征。图像锐化等图像增强技术能够将被处理的图像转化为对具体应用来说质量和效果更适合的图像。图像锐化处理技术在军事系统制导、工业检测、医学成像和日常生活等各个方面都有非常广泛的应用。

一个典型的红外图像处理系统如图1所示，其中输入、输出图像如图2所示。图像锐化是一种针对图像某些特征的定向增强操作，操作的结果不会增加图像原始信息，有时甚至会损失一部分信息。图像锐化的结果能够加强目标特征且削弱其它特征，从而使得针对目标特征的监测和识别变得容易。

图1 典型的红外图像处理系统

图2 图像锐化的输入和输出:左图为原始图像，右图为锐化结果

在某些应用场合，实时性是系统必须确保的重要指标，对于图像锐化操作而言:在算法设计上必须简单、效果明显;在硬件设计上必须实时、低延迟、高精度和可配置。

2 图像锐化算法

2.1 经典图像锐化算法

在图像锐化领域，按照操作对象的不同，图像锐化算法可以分为2大类:1)基于像素操作的空间域算法;2)和基于频谱操作的频域算法。空间域算法例如灰度修正和变换、直方图均衡和规格化、梯度锐化、拉普拉斯算子、模板滤波。空间域算法的操作比较直观，对于红外图像系统而言，可以直接针对成像结果逐像素操作。频域算法如低通滤波、高通滤波、同态滤波，需首先进行空间域到频域的变换，然后构建滤波器进行频域滤波，最后再进行频域到空间域的反变换。频域运算比较适合于某些图像尺寸较大(例如4096×4096)、操作较复杂的图像增强操作。在图像尺寸不成为性能瓶颈的情况下，相对于频域运算，空间域往往可以使用较小的滤波器来取得与频率域使用较大的滤波器近似的滤波效果，且所需的硬件资源少、延迟小、实时性高，因此空间域处理技术在具体实现和硬件设计上具有优势。

经典的图像锐化处理技术主要在空间域展开，操作对象是图像的像素，操作方式包括直方图均衡、侧抑制滤波、线性滤波和非线性滤波等。

2.1.1 直方图均衡算法

直方图均衡算法使图像充分利用各个灰度等级，扩展动态范围，在视觉效果上增强图像的亮度反差。直方图均衡算法对于近距离、信息简单的红外图像非常有效，图像的对比度大大增强，目标细节得到了突出。

直方图均衡后的图像视觉效果往往生硬、不够柔和。均衡后的图像噪声比均衡前更加明显。由于红外成像系统背景噪声的不可预知性，采用直方图均衡算法的增强效果难以控制，在原图像中噪声较多的极端情况下，会导致图像低频部分的细节丢失和高频部分的噪声增强。

2.1.2 侧抑制滤波算法

侧抑制滤波算法是基于生物视觉特性的图像增强方法，构建适合的侧抑制网络来突出图像的边框以增强反差。侧抑制滤波的关键在于根据具体应用搭建侧抑制网络，常用的侧抑制网络例如减法、循环、线性的Hartline模型和Taylor模型，分流、循环、非线性的Furman模型。

侧抑制滤波具有突出边框、增强反差、补偿缺陷的作用，在图像处理中得到了广泛的发展。侧抑制滤波特别适用于目标信息和特征比较显著的图像。对于远距离成像的红外系统而言，由于微弱目标往往沉浸在复杂背景下，侧抑制运算会导致目标对比度的进一步恶化。侧抑制滤波算法的实现复杂，不利于实时系统的设计，实际应用往往需要对算法进行适应性简化。

2.2 基于统计特性的图像门限增强算法

本文所述的图像锐化算法是在空间域进行的，算法流程图如图3所示。

图3 本文所述的算法流程图

其中:1)直方图统计:统计图像的灰度概率分布，得到后续运算的依据;2)门限高通滤波:根据目标特征进行定向增强和抑制;3)门限直方图均衡:增强图像动态范围，强化图像的视觉效果。

2.2.1 直方图统计

直方图是像素灰度的分布函数，实质上体现了图像灰度的概率分布。直方图统计对图像各个灰度的像素进行计数，得到一张灰度分布表，如图4所示。C程序描述的直方图统计运算过程如图5所示。根据直方图统计信息，可以进行诸如灰度拉伸、自动对比度调整、动态均衡等操作。

图4 可见光图像(Lena左)及其直方图(右)

图5 C语言描述的直方图统计运算过程

从图6所示红外图像的直方图可见，红外图像的直方图具有不同于可见光图像直方图的特点:1)灰度值动态范围窄，如直方图示右侧某些灰度等级象素数为0;2)分布集中;3)双峰明显。经大量实践分析研究证明，双峰的主峰，即象素数目较多的部分(如图6直方图的右侧峰)，一般为图像的主体信息;双峰的次峰(如图6直方图的左侧峰)，一般为图像的噪声或者随机干扰信息。

基于以上特点，在进行红外图像锐化处理时，需对图像不同信息部分分别处理:对目标特征进行增强;对背景噪声进行削弱。针对以上需求，设计了门限高通滤波和门限直方图均衡。

图6 红外图像(左)及其直方图(右)

2.2.2 门限高通滤波

如图7所示，为一个典型的高通滤波模板。如图8所示，给出一幅图像的一部分，其中si代表像素的灰度值。一个3×3的模板如图8所示，模板内的标注为模板系数。如将k0所在位置和s0的位置相重合，即把模板的中心放在图中(x，y)的位置，则模板的输出响应R为:

图7 一个典型的高通滤波模板

图8 空间域的高通滤波运算

图9 原始图像(左)及其高通滤波结果(右)

在实际图像系统中发现，存在某个特征数值的门限灰度，使得进行如下操作时，具有质量较好的图像锐化处理效果:1)当原图像素灰度不大于门限灰度时不进行高通滤波;2)当原图像素灰度大于门限灰度时进行高通滤波。

该特征数值与图像灰度分布相关，通过对直方图统计结果进行分析可以得到针对性和适用性强的特征灰度。为降低实时运算的复杂度，可以通过预先估计和装订的方式，显著地降低运算量。如图10所示，对原始图像执行门限高通滤波操作，可以看出其结果图像的纹理得到了强化，对比度有所增强。

2.2.3 门限直方图均衡

典型的直方图均衡算法如式(2)所示。其中Y为均衡后的量化数值。如图11所示，在经过直方图均衡之后图像的动态范围反差明显。

图10 原始图像(左)和门限高通滤波后(右)

图11 原始图像(左)和直方图均衡后的图像(右)

直方图均衡算法对于背景和前景都太亮或者太暗的图像非常有效，但是均衡对处理的数据不加选择，在某些极端的情况下，可能会增加背景噪声的对比度并且降低有用信号的对比度。例如，如果关注大背景下的点目标，在整个图像里面目标只占据较少的像素，那么将会压缩目标的灰度空间。

在算法上考虑目标灰度数目的门限参数，则以上步骤2)根据直方图统计计算像素灰度的分布概率修改如下，如公式:

(1)如果某像素灰度的数目nk小于或者等于门限参数p，则使用nk计算概率;

(2)如果某像素灰度的数目nk大于门限参数p，则使用门限参数p计算分布概率。

参数p在本质上反应了原始图像直方图统计的局部极值特征，在工程上可以通过结果分析和反馈来搜寻合适的门限参数。

图12所示，可见在经过门限直方图均衡之后图像的主体目标特征得到了增强，动态范围反差明显，噪声得到了控制。

图12 原始图像(左)和门限直方图均衡后(右)

3 FPGA设计

图像锐化处理系统采用FPGA+DSP(Xilinx FPGA Virtex-5 SX55+TI DSP 6416)的方式进行实现，其中直方图统计、门限高通滤波和门限直方图均衡由FPGA执行，门限参数的计算和装订由DSP执行。FPGA的运算模块图如图13所示。

图13 FPGA的运算模块结构

3.1 直方图统计

使用FPGA的内部RAM搭建直方图信息缓存器，配置为双端口模式，通过数据前传逻辑来避免读写冲突，如图14所示。

图14 FPGA直方图统计运算模块

3.2 门限高通滤波

门限高通滤波的运算模块如图15所示，所选择的模板大小为11×11，主要采用FPGA内部的双口RAM和移位寄存器资源来实现。在行、列累加操作阶段，采用16个双口RAM保证了数据运算通路不会出现反馈迭代。为保证实时信号处理能力，采用了多级流水线的实现方式。

图15 FPGA高通滤波运算模块图

3.3 门限直方图均衡

门限直方图均衡模块如图16所示。为优化性能和可靠性，缩短研制周期，采用System Generator进行运算模块的设计。

图16 FPGA门限直方图均衡运算模块

4 设计结果

使用ISE 14.7进行编译，V5-SX55T资源占用如表1所示，性能如表2所示。

表1 FPGA编译结果

表2 FPGA性能

大量实际测试表明，该图象锐化处理系统运行良好、质量可靠，FPGA实现方式相对于纯DSP实现，大大提升了运算速度，满足了工程实时性的运算要求，在算法实现中发挥着重要作用。

［1］ 董鸿燕，李吉成，沈振康，等.基于高通滤波和顺序滤波的小目标检测［J］.系统工程与电子技术，2004，26(5):596-598.

［2］ 赵坤，孔祥维.小目标红外图像背景噪声的抑制及方法讨论［J］.光学与光电子技术，2004，2(2):9-12.

［3］ 俞建成，孙胜利，陈桂林，等.红外图像中小目标检测研究［J］. 红外，2006，27(4):15-19.

［4］ 张飞，李承芳.红外背景抑制与弱小目标的检测算法［J］.光学技术，2004，30(3):337-339，342.

［5］ 曹聚亮，吕海宝，谭晓波.可保留图像细节的直方图修正法［J］.中国图像图形学报，2004:89.

［6］ 高彦平.图像增强方法的研究与实现［D］.济南:山东科技大学，2005.

［7］ 陈会羽.图像对比度增强的小波变换法［J］.计算机工程与应用，2006(25):66-68.

［8］ 吴颖谦，施鹏飞.基于小波变换的低对比度图像增强［J］.红外与激光工程，2003，32(1):47.

［9］ 容观澳.计算机图像处理［M］.北京:清华大学出版社，2000.

［10］ 阮秋琦.数字图像处理学［M］.北京:电子工业出版社，2001.