基于改进Canny 算子的图像边缘融合方法

陈海峰，庄金雷，朱 标，李培华，杨 潘，刘丙友，樊 璇

（1.安徽工程大学 电气工程学院，安徽 芜湖 241000；2.哈尔滨工业大学 芜湖机器人产业技术研究院，安徽 芜湖 241000；3.中航华东光电有限公司，安徽 芜湖 241003；4.达尔智能控制有限公司，安徽 芜湖 241002）

在低照度和浓雾等照明条件较差的情况下，红外图像能够捕捉潜在目标，但分辨率低，可见光图像能提供大量的主要信息， 但图像质量易受外界环境的影响［1］。 红外图像和可见光图像融合的目的是利用两种光谱成像技术的特性生成一幅复合图像［2］。在复合图像中能同时获得清晰的目标热信息和更符合人类视觉习惯的背景信息。 现实世界中的很多应用包括视频监控、 物体检测和应急救援均得益于该类融合技术［3］。赵立昌等［4］通过机器学习确定多尺度融合的参数，融合效果较好，但是通用性较差；崔晓荣等［5］提出了基于二维经验模态分解方法；李辰阳等［6］提出了基于改进谱残差显著性图的融合方法，但较为复杂。 近几年提出的融合方法多数只是用相同的方法处理可见光图像与红外图像， 没有充分利用2 种图像的优势。 本文提出的融合方法分别以2种图像自身的优势为出发点， 差别处理红外图像和可见光图像， 在融合图像中保留可见光的环境细节和红外图像的环境与目标信息。

针对红外图像噪声大、边缘模糊等缺陷，本文采用改进的Canny 算子进行边缘提取，使用形态学滤波代替高斯滤波， 加强红外图像的边缘强度和细节， 通过自适应阈值检测并连接边缘获得红外边缘图像。 对可见光图像采用去雾算法进行预处理以及边缘提取以获得可见光边缘图像。 采用拉普拉斯金字塔图像融合方法将2 种边缘图像进行图像融合得到最终的边缘图像。 融合过程的流程图如图1 所示。

图1 融合过程的流程图

1 红外图像处理

本文采用改进的Canny 算子提取红外图像边缘。 首先，在Canny 算子中引入形态学滤波，选择2个不同尺度的结构元素， 按照顺序对图像进行开运算和闭运算； 接着使用一阶有限差分来进行近似代替偏导数；然后，采用线性插值进行非极大值抑制，最后，采用Otsu 算法求取阈值，并连接红外图像边缘，即可得到红外图像的边缘图像。

采用改进Canny 算子对图像处理的流程如下。

（1）用形态学滤波对图像进行顺序的开闭运算平滑降噪

形态学的基本操作包括开运算和闭运算。 对目标进行开运算的结果是将图像中的小目标去掉，使图像中的大目标保持原有的形态， 图像的整体灰度基本保持不变；闭运算用于填补图像中原有的空隙，去除图中暗背景细节部分， 而相对地保留高灰度部分不受影响。 选取结构元素A1和A2对图像进行开闭滤波运算，运算式为

（3）对梯度幅值进行非极大值抑制

图像中某一点的梯度幅值与图像梯度幅值矩阵中的元素值相关，元素值越大则说明梯度值越大。在改进的Canny 算法中对梯度幅值进行非极大值抑制时，梯度的方向可以被定义为4 个区之一，各个区中心像素点与沿着梯度方向的2 个邻近像素点进行比较， 如果当前像素的梯度强度与另外2 个像素相比最大，则该像素点保留为边缘点，否则该像素点将被抑制。 为了更加精确地计算，在跨越梯度方向的2 个相邻像素之间使用线性插值法来得到要比较的像素梯度。

（4）检测和连接边缘

利用Otsu 算法求取阈值， 用双阈值算法检测并连接边缘。 为了解决人为设置阈值的随机性和繁琐性问题，利用Otsu 算法对非极大值抑制图像进行全局阈值分割，选取的阈值为

式 中，level 为Otsu 法处理的阈值，TL 为 低阈值，TH为高阈值，sigma 取经验值0.33。

2 可见光图像处理

在低照度和浓雾等照明条件较差的情况下，先对可见光图像进行去雾处理以减小对可见光图像的边缘提取的输出图像误差，输出图像像素的表达式为

其中，pi是输入图像，ni表示噪声。 联立求解公式（10）和公式（11）得到最小化损失函数

3 红外图像与可见光图像的融合算法

图像金字塔是来源于同一张原始图像的图像集合［7］，以一系列金字塔形式排列，且其分辨率逐渐降低。根据图像金字塔方法的原理，将红外图像A 和可见光图像B 分解为不同层上的图像， 从0 层开始其分辨率从上到下依次增加， 并在相应层上以一定的规则融合， 再按照金字塔生成的逆过程将其进行重构，得到融合金字塔。

最高层采用平均融合策略进行融合， 得到融合后的拉普拉斯金字塔图像， 通过拉普拉斯金字塔重建图像得到最终的融合图像。

4 仿真实验

为了验证本文算法的有效性， 选取了2 组红外图像和可见光图像进行了实验仿真， 并将本文算法与离散小波变换［8］（DWT）算法进行比较。 仿真实验结果如图2 年示。

图2 为房屋图像的融合结果。 其中图2（a）、（b）、（c）和（d）依次为红外图像、红外边缘图像、可见光图像和可见光边缘图像。从红外图像上可以清晰看出房屋目标， 但缺乏树木、 房屋等景物的细节信息，而从可见光图像上可以看到树木、房屋的细节信息。 图2（e）为本文算法形成的融合图像，图2（f）为离散小波变换（DWT）融合算法形成的融合图像。

图2 房屋图像融合结果

图3 为门口及人物图像的融合结果，其中，图3（a）、（b）、（c）和（d）依次为红外图像、红外边缘图像、可见光图像和可见光边缘图像。 从红外图像上可以看出人物等目标，但缺乏建筑物门口的细节信息，而从可见光图像上可以看到人物和门口的细节信息。图3（e）为本文算法融合图像，图3（f）为采用离散小波变换（DWT）融合算法。

图3 门口及人物融合结果

由图2 和图3 知， 本文的算法在图像融合的质量上有着较大优势。 为了验证本方法对比离散小波变换（DWT）融合方法的客观优势，采用图像熵作为融合效果的客观评价尺度进行验证， 熵值越大表示融合图像中包含的信息越丰富，图像的细节越明显。图像熵Entropy 的表示方法为

式中，P（i）代表灰度值为i 的像素占总像素的比例。两组图像融合前后图像熵的对比结果见表1。 由表1知，本文方法融合效果更好。

表1 不同图像的图像熵对比

5 结束语

本文提出了一种基于Canny 算子的红外图像和可见光图像边缘融合方法， 采用改进的Canny 算法对红外图像进行图像处理得到红外边缘图像， 采用引导滤波对可见光图像进行预处理， 并采用改进的Canny 边缘提取算法得到可见光边缘图像，最后将红外边缘图像和可见光边缘图像进行拉普拉斯金字塔图像融合得到最终的融合图像， 起到了同时保留红外图像的特征信息和可见光图像的细节信息的效果。实验分析结果表明，该方法在突出目标特征信息和保留细节特征方面表现优异， 能够适应于较复杂场景，具有广泛的应用前景。