基于三级图像融合与CLAHE的机场安检X光图像增强算法①

高 强, 陈裕通, 潘 俊

(广州民航职业技术学院 航空港管理学院, 广州 510403)

由于X射线技术具有对物品损害小、无需开箱、安全可靠和易操作等优点, 它被广泛地应用于机场旅客安全检查等场合. 不 同材质物品对X射线吸收和散射衰减程度不同, 物品生成相应X光图像颜色也不同,结合边缘、形状等形态特征, 安检人员可以识别行李、包裹中所携带的违禁物品, 如管制刀具、枪支、易燃易爆物品等. 由于行李、包裹中被检物品种类繁杂且易出现相互重叠、遮挡、混放等现象; 另外, 物品在成X光图像过程中容易受到各种干扰因素影响, 采集到的安检X光图像可能存在物品模糊、对比度低、背景噪声等情况. 为了便于安检人员识别X光图像中的物品, 有必要对安检X光图像进行增强处理, 突出图像中不同物品的颜色及边缘、形状等细节信息, 以便安检人员更加准确、快速地识别被检物品, 保障机场安全运行.

目前, 国内外与X光图像增强的相关研究主要集中于医学领域和工业检测领域[1–5], 有关安检X光图像增强的文献较少[6–8]. 直方图均衡化(HE)是最常用的图像增强方法, 具有原理简单、易于实现、实时性好的特点. 对比度受限自适应直方图均衡化(contrast limited adaptive histogram equalization, CLAHE)是一种局部直方图均衡增强算法, 该算法基于局部自适应直方图增强算法(adaptive histogram equalization, AHE),并采用固定阈值的限幅方法有效抑制局部对比度的过度增强及噪声的放大, 特别适用于低对比度图像. CLAHE算法结合了自适应直方图均衡化和对比度受限两项技术的优点, 得到了研究人员广泛的关注. 孙冬梅等[9]通过引入一个自适应参数T来自动调整图像每个子块的像素点重新分配的范围, 从而达到增强图像细节的目的. 王红等[10]采用模糊增强算法实现全局雾天图像的自适应对比度增强后, 再采用有约束的局部直方图算法对雾天图像的亮度分量进行处理, 提高了雾天图像的亮度和对比度. 杨卫中等[11]利用CLAHE算法对水下海参图像进行增强处理, 有效保持了海参图像细节并提高了图像质量. 刘玉婷等[12]结合CLAHE算法和双边滤波算法, 有效增强了原始红外图像的对比度及边缘细节信息. 上述文献所提图像增强算法均基于CLAHE, CLAHE通过 “裁剪”图像的直方图、然后将“裁剪”得到的部分均匀地分在整个颜色空间上, 以保证直方图总面积不变, 虽然在一定程度上使得减少了图像失真, 但与原图像还存在较大颜色差异, 而X光安检图像, 颜色是一项重要的识别指标. 因此, 上述文献中所提方法对X光安检彩色图像增强效果均不理想.

另外, 也有部分学者将深度学习应用在图像增强领域, 如李华基等[13]提出了一种基于U-net++网络的弱光图像增强方法, 该方法在提高图像亮度的同时, 更好地恢复了弱光图像的细节特征, 并且生成正常光图像的颜色特征更接近自然. 文献[14,15]将注意力机制引入图像增强领域, 能实现自适应图像亮度增强、细节对比度提提升, 增强后图像整体亮度自然没有明显光晕及伪影且色彩较丰富真实. 基于深度学习的图像增强算法对设备计算能力要求较高, 且实时性较差.

本文针对X光安检图像的特点, 提出了一种基于三级图像融合与CLAHE的X光安检图像增强算法,首先采用CLAHE对X光图像进行增强. 然后将增强后的X光图像进行USM锐化处理, 进一步突出图像细节. 最后将锐化处理后的图像与原图像融合, 降低增强后图像颜色失真幅度, 更易于安检人员辨识图像中的物品. 实验结果表明, 本文方法对X光安检图像具有明显的增强效果, 能够有效提高图像的清晰度.

1 基于三级图像融合与CLAHE的X光安检图像增强算法

本节将详细阐述安检X光图像增强算法过程:(1) CLAHE增强. 首先将原图像分别转换成RGB图像和HSV图像, 然后分别对RGB、HSV图像采用CLAHE算法增强, 最后将增强后的RGB图像、HSV图像通过欧几里得范数合并, 实现第一级图像融合. (2) USM锐化. 本算法采用改进的USM (unsharp mask)算法对CLAHE增强后的图像进行锐化操作, 以突出图像边缘、形状等细节信息. USM算法将锐化图像与原图像按照叠加系数进行第二级图像融合. (3)图像融合. 将原图像和USM锐化后图像进行加权求和, 完成第三级图像融合, 以降低图像颜色失真幅度. 本文所提安检X光图像增强方法的实现流程如图1所示.

图1 本文算法流程

1.1 CLAHE增强

1.1.1 CLAHE介绍

图像直方图, 也称为灰度级直方图, 是用来表示图像I(x,y)中每一灰度与该灰度级出现的频数之间的统计关系. 直方图定义如式(1)所示:

其中,nk为第k级灰度的像素数,N为该图像的总像素数,rk为第k个灰度级,L为灰度级数,P(rk)为图像I(x,y)中rk灰度级出现的概率.

直方图均衡化(HE)是一种利用灰度变换自动调节图像对比度质量的方法, 基本思想是把原始图像的灰度直方图从比较集中的某个灰度区间拉伸成全部灰度范围内的均匀分布. 自适应直方图均衡化(AHE)与普通的HE方法不同, AHE算法通过计算图像的局部直方图, 然后重新分布亮度来改变图像对比度, 可以有效改进图像的局部对比度及获得更多的图像细节, 但AHE存在过度放大图像中噪声的问题.

对比度受限自适应直方图均衡化(CLAHE)对自适应直方图均衡化方法进行了改进, 通过限制每个区域中直方图的高度, 从而可以限制AHE中噪声放大的问题.

CLAHE算法核心步骤如下:

(1)图像子区域划分: 将原图像划分成多个大小相等的子区域, 每个子区域互不重叠且相互连续, 每个子区域包含的像素数为C. 子区域越大, 增强效果越好,通常可根据实际需要来进行调整.

(2)计算直方图: 用Hij(k)表示某个子区域的直方图,k代表灰度级, 其取值为[0,L–1],L为灰度级数.

(3)计算限制值: 根据式(2)计算截断限制值:

其中,β为计算得到的限制值;α为截断系数, 其取值范围为[0, 100];Smax为最大斜率, 用来决定对比度增强幅度, 其取值为1到4之间的整数.

(4)重分配像素点: 对每个子区域, 采用对应的β值对Hij(k)进行裁剪, 将裁剪下来的像素重新分配到直方图的各灰度级中. 循环执行上述分配过程, 直至将所有被裁剪的像素分配完毕.

(5)直方图均衡: 对裁剪后的每个子区域的灰度直方图分别进行直方图均衡化.

(6)重构像素点灰度值: 把每个子区域的中心点作为参考点, 获取其灰度值, 采用双线性插值方法对图像中的每一个像素进行灰度线性插值, 计算输出图像中各个像素点的灰度值.

1.1.2 图像合并

为提高处理后图像颜色保真程度, 将原图像分别转换为RGB、HSV图像, 然后分别对RGB图像和HSV图像进行CLAHE增强, 增强后的图像分别记为Irgbc、Ihsvc,最后采用欧几里得范数, 根据式(3)将Irgbc、Ihsvc进行合并, 实现第1级图像融合, 融合后的图像将进行USM锐化处理操作.

其中,Imerge为合并后的图像;M、N分别为图像的行、列数, 下同.

1.2 USM锐化

为了便于安检人员观测和识别X光图像中物品的形状, 有必要借助图像锐化技术突出图像细节部分, 特别是图像的边缘信息. 图像锐化是使图像边缘更加清晰的一种图像处理方法, 其原理是先将原图像的高频分量提取出来, 再和原图像按一定规则叠加, 最终得到锐化后的图像. 传统非锐化掩模(USM)操作可以去除图像中一些细小的干扰细节, 但得到的锐化图像容易出现噪声及伪边缘, 因此, 本文采用结合阈值的USM算法, 其主要步骤如下:

(1)将原图像I进行高斯滤波, 得到滤波图像Iblur.

(2)根据式(4)计算掩膜:

其中,Threshold为阈值; 掩膜Mask为M×N的二维矩阵.

(3)根据(5)计算高频分量图像Ihf:

(4)根据式(6)计算锐化图像Isharp:

其中,k为叠加系数;

(5)根据式(7)将原图像融入锐化图像Isharp, 实现第2级图像融合:

1.3 图像融合

经过CLAHE增强及USM锐化后, 安检X光图像的边缘、形状等细节得到了加强, 但处理后的图像与原图像色差较大, 不利于安检人员辨识图像中的物品.因此, 本文根据式(8)将锐化图像与原图像按系数进行融合, 降低本文算法处理后所得图像Ifinal较原图像颜色失真幅度.

其中,Csharp、Corigin分别为USM锐化图像、原图像的融合系数.

2 实验结果及分析

2.1 实验平台及数据集

本实验所用硬件平台为Huawei MateBook 13, 配置为CPU: Intel(R) Core(TM) i5-8265U、4核、主频为1.6 GHz, 显卡: Nvidia GeForce MX1502、显存2 GB,内存8 GB, 操作系统: Windows 10 (64位). 软件平台采用Matlab R2016a.

人工将机场旅客安全检查常见违禁品, 如仿真枪、手机、打火机、刀片、饮料瓶、折叠刀等, 以不同角度随机置于行李箱、手提袋、背包等容器不同位置, 然后利用我校安检实训室中的安检X光机进行图像采集, X光机型号为公安一所FISCAN® CMEXB6550S, 共计采集到2 380副X光图像, 以JPG格式存储在计算机当中, 这些图像将作为开展实验的数据集.采集X光图像的设备及物品如图2所示.

图2 安检X光图像采集设备及物品

2.2 有效性验证

利用本文算法对数据集中的图像进行数据增强,然后通过安检员人工评测本文算法的有效性. 实验参数为: CLAHE算法中子区域大小8×8, 截断系数α为0.4, 最大斜率Smax为4. USM算法中高斯核大小3×3、方差36; 叠加系数9阈值30. 第3级图像融合中USM锐化图像、原图像的融合系数分别为0.8、0.3. 实验结果表明, 本文算法对数据集中绝大多数X光图像增强效果明显, 部分图像增强结果如图3所示.

定性分析: 在图3上方X光图像中, 塑料筐中放置有手机和手表, 手机和手表没有相互重叠、遮挡, 图像内物品、干扰较少, 该图像中物品成像较为简单. 在图3下方X光图像中, 电脑包中装有跳刀、笔记本电脑、电源线及钥匙, 且它们之间有相互遮挡、重叠, 图像内物品、干扰较多, 该图像中物品成像较为复杂. 采用本文算法增强后, 无论是上方简单图像, 还是下方复杂图像, 感兴趣物品(如手机、跳刀等)和载物容器(如塑料框、电脑包)都得到增强, 图像更加清晰、容易辨别.

图3 增强结果示例

2.3 实时性验证

本文还对算法实时性进行了验证. 具体的: 将数据集中2 380副图像分成238组, 每组中包含10副图像,然后分别记录每组图像算法处理的时间均值, 最后计算整个数据集图像算法处理的平均时间, 得到结果如图4所示.

图4 算法处理时间

定性分析: 由图4可知, 本文算法对各组图像的处理时间均值介于0.8–2.1 s之间, 整个数据集的平均处理时间为1.5 s左右, 因此, 本文所提算法处理速度较快、实时性较好.

2.4 方法效果对比

为进一步验证本文方法的有效性, 将本文方法与CLAHE算法、文献[9]所提算法进行增强效果对比,部分对比结果如图5所示, CLAHE、文献[9]算法及本文算法增强后图像的图像峰值信号比(PSNR)如表1.

定性分析: 由图5可知, 由于没有进行锐化及图像融合处理, CLAHE算法虽然对X光图像有一定增强,但增强后的图像颜色失真严重且边缘较为模糊. 采用本文算法增强后的图像颜色保真、边缘细节及背景噪声方面都优于CLAHE算法、文献[9]所提算法. 另外,从表1可知, 采用本文算法对原图像增强, PSNR值高于CLAHE及文献[9]所提算法, 且采用本文算法进行图像增强, 数据集PSNR平均值较CLAHE、文献[9]中算法分别提高了7 dB、5 dB, 证明了本文算法对数据集中X光图像增强效果更好.

表1 增强图像PSNR值 (dB)

图5 增强效果对比

另外, CLAHE算法、文献[9]中算法会放大原图像中的背景噪声, 本文算法可以有效减少原图像中的背景噪声, 但并不能完全消除, 如何在增强图像的同时消除背景噪声是本文算法今后的重要工作.

3 结论与展望

本文以Matlab为实验平台对“机场安检X光图像增强”问题进行了研究, 提出了一种基于三级图像融合与CLAHE的图像增强算法. 该算法能够显著增强机场安检常见物品的X光图像, 并能有效抑制增强后图像颜色失真及背景噪声, 是一种有效的图像增强算法.下一步将对本算法进行优化, 进一步提高图像颜色保真、消除背景噪声.