基于HSV色彩空间的改进红外与可见光图像融合算法研究

邢 静 ，张艺驰 ，高俊钗

(1.西安培华学院智能科学与信息工程学院，陕西 西安 710125；2.西安工业大学电子信息工程学院，陕西 西安 710021)

0 引言

在亮度条件充足的情况下，可见光图像拥有非常清晰的亮度和纹理，体现目标的颜色和轮廓，如目标的大小、远近和位置。然而，在有限的光照条件下，可见光图像整体偏暗，目标和环境信息都会随之减少，不利于目标信息的获取。红外线摄像机可以通过目标所散发出的电子射线的不同颜色来辨别目标和背景，在照明条件有限的情形下，仍然可以清晰地描绘场景中人眼观测不到的热物质[1]。不过，由于红外线图像的清晰度很低，虽然可以获得目标的近似图形，但几乎将全部的背景信息都丧失了。正是这样，使可见光图像与红外线图像在一定程度上融合，可以得到不但具备可见光色彩和纹理信号，同时还具备了更好的目标颜色和环境信号的融合图像[2]。

图像融合过程中，因为图像处理域的不同，可分为空间域法和变换域法。空间域法主要针对的是红外图像和可见光图像像素矩阵中的元素，元素值发生改变时，图像的一些信息也会发生变化，具有很高的实时性。变换域法具有频谱和空间的一致性，主要针对稀疏图像的表示[3]。

常用的空间域的图像融合算法有HSV(hue saturation value)色彩空间[4-7]和HIS(hue intensity saturation)色彩空间[8]等算法，这些方法实时性强，但对光和噪声较为敏感，在光照条件受限和噪声干扰的情况下检测效果较差。

常用的变换域方法主要有小波变换[9]。通过对不同像素的分析实现了信号融合，将分析后的2种图像形成了不同的图像系数矩阵，高频包含图像的颜色特征信息，而低频包含图像的轮廓特征信息。选用相应的融合规则可捕获每个图像的唯一数据，并保留相应的通用数据。不过，因为该方法无法更好地显示图像的轮廓数据和线特征数据，所以融合后的图像中出现明显的边界模糊和分块特征，画面清晰度也会下降[10]。

本文使用2种方法均为基于HSV色彩空间的空间域改进融合算法，将2种图像由RGB转为HSV模型以后再对图像的像素矩阵进行操作计算。HSV模型各通道因为像素矩阵差异较大而高度独立。与RGB模型相比，HSV模型更接近人类对颜色的感知、认识、识别体验，能够直观地显示出适合人类感知的色调、饱和度和亮度。

1 基于HSV红外与可见光融合算法设计

首先将红外灰度和可见光RGB色彩空间转换到HSV色彩空间，可见光得到HSV三通道的图像，红外得到V单通道图像。然后将红外的V通道图像映射到融合图像的H通道和S通道，而可见光只取V通道的图像，与红外的V通道图像进行加权融合。最后合并各个通道，再将色彩空间转换回来，得到融合以后的RGB图像，流程如图1所示。

图1 HSV红外与可见光融合算法流程

1.1 可见光与红外RGB图像转HSV图像

图像的RGB颜色空间可以分为3个通道：红色(R)、绿色(G)和蓝色(B)。设R、G和B分别为3个通道的像素矩阵中任意1个像素值，在RGB转HSV时进行如下计算，即：

R′=R/255

(1)

G′=G/255

(2)

B′=B/255

(3)

Cmax=max(R′,G′,B′)

(4)

Cmin=min(R′,G′,B′)

(5)

Δ=Cmax-Cmin

(6)

H计算为

(7)

S计算为

(8)

V计算为

V=Cmax

(9)

可见光图像计算RGB的3个通道，红外图像为灰度图像，只进行单通道的计算，转换结果为自身。

1.2 红外图像映射HSV融合图像的H、S分量

a.红外图像映射H通道。红外转HSV的V通道图像，通过式(10)映射至H通道，即

(10)

H(i,j)为融合图像H通道上像素矩阵中任意一个元素；fIR(i,j)为红外V通道图像fIR像素矩阵中任意一个元素；fIR max、fIR min分别为红外V通道图像像素矩阵中元素的最大值与最小值。

b.红外图像映射S通道。红外转HSV的V通道图像通过式(11)映射至S通道，即

(11)

1.3 基于双阈值的可见光HSV图像与红外HSV图像V通道融合

根据可见光的亮度通道图像与红外的差异，用2个阈值来确定各个部分像素的计算。VVI(i,j)和VIR(i,j)为转换色彩空间以后，可见光与红外V通道像素矩阵的某个元素，阈值设为T1和T2(T1

(12)

T2=fIR max-fIR min

(13)

fVI(i,j)为可见光V通道图像fVI像素矩阵中任意一个元素。

分类讨论如下所述：

a.VIR(i,j)-VVI(i,j)

(14)

(15)

b.T1≤VIR(i,j)-VVI(i,j)≤T2时，可见光与红外图像V通道图像像素矩阵值存在一定差异，取：

(16)

(17)

c.VIR(i,j)-VVI(i,j)>T2时，可见光与红外图像V通道图像像素矩阵值存在较大差异，取：

(18)

(19)

融合图像V通道像素矩阵的像素值最终确定为

V(i,j)=φ1·fIR(i,j)+φ2·fVI(i,j)

(20)

2 基于伪彩色的红外与可见光融合算法设计

在进行灰度转HSV和RGB转HSV操作后，红外得到V单通道图像，可见光得到HSV三通道图像。然后将红外V通道和像素单位阵进行伪彩色编码，使红外图像扩充成为三通道图像，接着参照HSV融合算法进行红外-可见光一次融合，最后将红外伪彩色图像和红外-可见光一次融合图像进行加权融合。流程如图2所示。

图2 伪彩色红外与可见光融合算法流程

2.1 红外图像伪彩色编码

将红外图像进行灰度色彩空间转HSV色彩空间操作，得到红外HSV模型下的V通道像素矩阵。通过下列公式将红外单通道图像扩充为伪彩色三通道图像：

红外伪彩色图像H通道为

H(i,j)=VIR(i,j)/255

(21)

红外伪彩色图像S通道为

S(i,j)=t(i,j)·0.8

(22)

红外伪彩色图像V通道为

V(i,j)=t(i,j)·0.8

(23)

t为同分辨率单位阵。为保证图像的视觉效果，伪彩色S通道和V通道映射以系数为0.8的单位阵。

2.2 红外-可见光图像一次融合

在得到可见光H、S、V三通道图像后，红外V通道图像通过式(24)映射至一次融合图像的H通道，即

(24)

红外V通道图像通过式(25)映射至一次融合图像的S通道，即

(25)

H′(i,j)和S′(i,j)分别为一次融合图像H通道和S通道像素矩阵中的任意一个元素；kH和kS为色调常数和饱和度常数，分别影响图像的色调和饱和度。

对于融合图像而言，当kH<0.2时，图像整体呈现红色；当0.2≤kH<0.3时，图像整体呈现黄色；当0.3≤kH<0.9时，图像整体呈现绿色；当kH≥0.9时，图像在高光处出现了蓝紫色。而最利于人眼对目标物的辨别的图像底色则是橙黄色和黄绿色。kS越大，融合图像对暗处的信号就更灵敏，kS取值一般在5～110之间。本文取kH= 0.2、kS=100。

对于红外-可见光一次融合图像的V通道有

(26)

T为融合阈值经调试参数，T取100最为合适；μ为融合系数。

V′(i,j)=μ·fVI(i,j)+(1-μτ)·fIR(i,j)

(27)

V′(i,j)为一次融合图像V通道像素矩阵中的任意一个元素；τ为图像暗信息的值，经调试参数，τ取2。

2.3 红外-可见光图像二次融合

将红外伪彩色图像与红外-可见光一次融合图像进行阈值系数为0.5的加权融合，实现红外-可见光图像二次融合。

3 实验结果与分析

本文选用3种环境的可见光与红外图像进行融合，分别为:夜间高光遮蔽融合结果如图3a和图3b所示;保留夜间细节以及目标信息融合结果如图4a和图4b，以及图5a和图5b所示;阴影中目标提取融合结果如图6a和图6b所示。使用常见的融合算法：小波变换和加权融合，与本文2种方法进行比较，比较结果分别如图3c～图3f、图4c～图4f、图5c～图5f、图6c～图6f所示。

图3 夜间高光遮蔽融合结果

图4 保留夜间细节以及目标信息融合结果1

图5 保留夜间细节以及目标信息融合结果2

图6 阴影中的目标提取融合结果

3.1 主观质量评价

从图3可以看出，小波变换在将高光进行处理的时候，不能完全去除可见光图像的高光，留有部分边缘无法，并且整体图像分辨率较为模糊；加权融合后的融合图像整体偏暗。本文提出的2种融合方法均能有效地应对高光干扰，同时还可以还原背景信息。

在图4和图5的保留夜间细节以及目标信息融合图像中，小波变换得到的目标信息相对于红外图像来说，信息不够完整，且整体目标较为模糊，本文方法得到的目标信息清晰明亮。

图6的阴影中目标提取融合图像中，小波变换与加权融合的目标信息不够突出，人眼基本无法识别；本文方法在阴影中清晰地显示出了目标，并在一定程度上补充了红外图像缺少的环境信息。

3.2 客观质量评价

本文使用图像的均值、标准差和信息熵作为客观质量评价的参考参数，如表1所示。图像的均值反映的是图像的平均亮度，取值范围在0～255，是决定信息能否被人眼获取的重要指标；标准差反映的是图像像素矩阵中元素的值与均值的离散程度，标准差越大说明图像边缘越清晰，质量越高；信息熵描述了图像细节的平均信息量。

表1 客观质量评价表

由表1可知，本文使用2种方法的融合图像的像素均值和标准差均大于小波变换和加权融合。在信息熵方面，HSV融合算法的图像细节的平均信息量最多，伪彩色融合算法在保留夜间细节以及目标信息效果较好。

4 结束语

针对夜间高光遮蔽、保留夜间细节及目标信息、阴影中目标提取，本文提出2种方法，将2种图像由RGB和灰度转为HSV模型以后再对图像的像素矩阵进行操作计算。综合主观质量评价和客观质量评价可得，本文2种方法得到的融合图像，在人眼辨识度、环境信息保留和目标信息等方面优于小波变换和加权融合得到的融合图像。但是对于伪彩色融合算法来说，在保留夜间细节及目标信息和阴影中目标提取上，得到的目标信息整体偏黑，不利于人眼去辨识，算法仍需要改进。