摘" 要:针对双能X射线安检机生成的图像无法在普通显示器上呈现所有细节的问题,提出一种基于多尺度局部边缘保持滤波(LEP)的色调映射算法。首先,将从X射线安检机获取的高能和低能图像,按照各自穿透特点匹配权重因子进行融合;其次,对融合图像进行自然对数变换,使用LEP滤波获得基础层图像,再通过作差方式获取细节层图像和tanh函数增强,对增强后的细节层图像进行相加融合;最后,进行负指数变换和灰度线性拉伸后得到尽显细节的低动态范围图像。实验结果表明,文章所提算法在行李包裹图像主观评价及国标测试体上表现良好,能够有效提高X射线图像的质量。
关键词:安检图像;双能X射线;多尺度滤波;图像融合
中图分类号:TP317.4" 文献标识码:A" 文章编号:2096-4706(2024)10-0026-06
Image Dynamic Range Remapping Algorithm for Dual Energy X-ray Security Inspection Machine
GAO Ming1, LIU Baosheng2
(1.Zhuguangya Institute of Advanced Science and Technology, Shanghai" 201306, China;
2.School of Computer Science and Technology, Shandong University of Technology, Zibo" 255049, China)
Abstract: A color tone mapping algorithm based on multi-scale local edge preserving filtering (LEP) is proposed to address the issue that images generated by dual energy X-ray security inspection machines cannot present all details on regular displays. Firstly, the high-energy and low-energy images obtained from the X-ray security inspection machine is fused by matching weight factors according to their respective penetration characteristics. Secondly, natural logarithmic transformation is applied to the fused image, and LEP filtering is used to obtain the base layer image. Then, the detail layer image and tanh function enhancement are obtained through subtraction, and the enhanced detail layer image is added and fused. Finally, after performing negative exponential transformation and grayscale linear stretching, a low dynamic range image with full detail is obtained. The experimental results show that the algorithm proposed in the paper performs well in subjective evaluation of luggage and parcel images and national standard test bodies, and can effectively improve the quality of X-ray images.
Keywords: security inspection image; dual energy X-ray; multi-scale filtering; image fusion
0" 引" 言
目前在行李物品安检领域使用较多的是双能X射线安检机,这种X射线安检机接收高能和低能两种X射线,生成同一物体的高低两种能量扫描图像,其图像为16位数据,属于高动态范围图像。目前广泛使用的显示器都不能完整显示16位图像。此外,原始的双能图像对比度很低,图像的低灰度区域和高灰度区域均存在丰富的物体细节,但由于灰度范围跨度太大,安检人员也无法同时看清两种灰度区域的细节。
因此通过合适的算法压缩X射线安检机图像动态范围,并显著增强图像细节仍是广大厂商关注的要点。Glover等人[1]对主要的色调映射算法进行了测试,筛选出适合安检X射线图像的算法,其中Fattal等人[2]通过衰减大梯度的幅度来压缩动态范围,在细节增强上表现良好但噪声也得到了放大,同时物体边缘存在光晕;Mantiuk等人[3]提出的在整个图像频率范围内约束图像对比度的方式在细节增强和噪声抑制上有较好表现。Farbman等人[4]提出利用加权最小二乘滤波,该算法一定程度上解决了光晕现象,但提取细节的能力不足。国内有研究人员使用克服了最小二乘滤波缺点的局部边缘保持滤波开发色调映射算法[5],得到了不错的效果,但在安检X射线图像应用中,仍出现边缘有一定程度的光晕[6]。
综上,本文提出一种基于多尺度局部边缘保持滤波的X射线安检图像色调映射算法,实现双能X射线安检图像的动态范围压缩,细节增强,避免边缘光晕及噪声放大。本文工作主要包含:1)高低能图像融合方法;2)局部保边滤波及细节图像增强;3)灰度线性缩放。
1" 双能X射线图像的色调映射算法
本文提出的算法流程如图1所示。首先从双能X射线安检机获取高能和低能图像,通过图像融合算法将高低能图像融合成一张图,其目的是提取高能和低能中的图像信息到一张图,方便后续算法处理;然后再将融合图像通过自然对数变换,将图像中非线性的射线强度转换呈线性关系,方便设计算法处理;进一步将图像进行归一化处理,消除极大值和极小值影响;然后再迭代地使用两次局部边缘保持滤波(LEP)[7],得到两个尺度下的图像基础层,以及一个基础层的全局均值;通过将滤波输入和输出相减得到三个图像细节层,再将图像细节层使用tanh函数进行增强,将零值附近的灰度进行增强,再将增强结果进行叠加;然后再将叠加的结果进行负指数变换和输入图像的数值规律保持一致,最后对图像进行线性缩放,灰度映射到[0,255]范围内,即可得到经过细节增强的图像。
1.1" 双能X射线图像融合
在X射线安检机中X射线管产生的是连续谱的X射线,其穿过物质时,物质对X射线的衰减呈指数衰减[8],其传递函数可以简略表示为:
其中I为X射线穿过厚度为d的物体时的强度,I0为射线管发出的X射线强度,B为累积修正因子,u为物质的衰减系数。图2为本公司双能X射线安检机采集的高低能行李包裹原始图像,显示窗宽和窗位为[32 767,65 535],可以看出物体之间存在遮挡,低灰度区域的细节无法直观看清楚。
从图2中可以看出低能图像包含较多细节信息,厚度及密度大的区域射线被衰减的程度更高,在图像上表现为低灰度值区域,所以这类物体的细节灰度值区分度比较低;高能图像则对较厚区域有比较好的穿透效果,可以将比较厚的物体穿透,因此在低能图上表现为低灰度的区域,在高能图上则灰度值比较高容易区分,但是高能射线的高穿透性,因此厚度小或者密度很低的区域则和空气在图像上的表现接近,因此无法从高能图像上区分这类物体。所以最终呈现给安检员的图像是包含了高低能图像中各自有用信息的融合图像,为方便后续处理,本文首先对采集得到的高低能图像进行融合。图像融合的方式有很多种[9],可以从像素层面考虑,或者是特征层面,在X射线成像方面,高能图像和低能图像存在物理关系,是同样的物体对不同能量X射线衰减的结果,这里我们考虑运行效率以及信息保留,选择使用对每个像素进行加权叠加的方式,我们定义一个权重因子wf,其表示为:
其中Il(x, y)为低能图像,Imax为规定的探测器接收X射线最大强度值,这里设置为65 535,因此每个像素都可以计算出一个权重因子,则高低能融合的规则公式为:
融合后的图像如图3(a)所示,显示窗宽和窗位为[32 767,65 535]。
由式(1)可以看出随着物体厚度增加,探测器接收到的X射线强度呈指数规律衰减,当物体厚度较大时,接收到的X射线强度变化比较小,因此图像成像偏暗,细节隐藏其中无法直观观察,且图像灰度值呈非线性规律不利于后续的图像处理,所以在对融合后的图像进行自然对数变换,对数运算过程为:
结合式(1)可以看出图像灰度值" 和穿过物体厚度d之间的关系变为线性的一次函数,这样方便后续设计图像处理算法。然后再将自然对数变换的结果进行归一化,得到的图像如图3(b)所示,其显示的窗宽和窗位为[0.6,0.6]。图像融合操作的中间结果如图3所示。
1.2" 局部边缘保持滤波及细节增强
上文提到Farman提出的最小二乘滤波器在细节提取上存在不足,因此局部边缘保持滤波器(LEP)[7]改进了这一点。边缘保持滤波器将图像视为基础层B和细节层D的叠加,基础层B是指除显著边缘外的分段平滑图像,细节层D是指包含丰富边缘信息的图像,这里对显著边缘的定义与最小二乘滤波器中有所不同,其将显著边缘定义为局部的较大梯度,而不是全局较大梯度,因此在分解过程中,会将一个局部显著但数值很小的梯度分解到基础层中。
局部边缘保持滤波器的使用如式(5)、式(6)所示,输入图像经过滤波后得到的输出图像为基础层,再将输入图像和基础层作差得到细节层,将每一次滤波输出的基础层当做下一次滤波的输入图像,这样迭代使用滤波器并逐步增加滤波器半径,这种方式即为多尺度分解,合理地选择迭代次数即可将图像的边缘信息最大程度提取。
其中LEPi为边缘保持滤波器函数;i为尺度级别,i = n,…,2,且Bn为第一次输入的图像。经过实验测试,针对本文所提的安检X射线图像场景,对原始LEP滤波器做多尺度分解提出改进,此场景中尺寸级数定为2比较合理,如图1所示,第二次滤波结束后,直接对得到的B1基础层图像求均值,得到均值图像M1,然后将M1和B1作差得到细节层D1。
由于细节层中表示为小梯度的灰度变化,因此其数值分布特征为在0值附近震荡,想要在色调映射过程中不损失细节信息,则对细节层的增强处理是必需的,因此选择双曲正切函数作为增强函数,其在增强0值附近信号的同时又能压缩其余信号,表达式为:
其中k为缩放因子,k值越大则对0点附近的数值增强作用越明显,经过实验,这里k取2.5。细节层增强函数图如图4所示。
图4" 细节层增强函数
各个尺度的细节层增强使用式(8)进行融合:
其中 ,, 为使用式(7)增强后的细节层。
对细节层融合后得到的L(x, y)进行负自然指数变换得到 ,然后再将" 灰度范围线性缩放到[0,255]区间,即得到色调映射后的图像Iout(x, y),具体过程为:
I0为射线管发出的X射线强度, 为图像" 的最大值。图5为色调映射算法的输出结果图像。
2" 实验与结果分析
实验数据来源于本公司自研双能X射线安检机,采集数据为16位。算法运行平台为使用过Intel(R)Core(TM)i5-10200H CPU @ 2.40 GHz处理器,16 GB运行内存,Windows 10操作系统的计算机。
2.1" 主观评价
安检员通过图像是否能清晰辨识各种物体轮廓,尤其是存在较厚物体或者各种物体产生重叠时,这是评价色调映射算法好坏的主观标准。图6展示了行李箱内杂物堆叠以及手提包中藏匿危险品两种情况下的原始成像和色调映射算法处理结果。
图6(a)模拟了行李箱中杂物堆叠的场景,原始图像中物体重叠区域的细节基本不可见,经过色调映射处理后,各个重叠物体的轮廓可以清晰显示,且每个物体的细节也得以体现,此外各个物体边缘未出现梯度翻转或者光晕现象,整体对比度提高,同时没有产生失真。图6(c)模拟了手提包中藏匿危险品的情况,由于枪械弹药材质主要由金属构成,因此对X射线产生较大衰减,因此从原始图上看不到高衰减区域的细节轮廓。经过色调映射算法处理后的图6(d)可以清晰观察到危险品的内部构造细节。
2.2" 国标测试体评价
目前,高动态范围图像压缩算法的评价指标主要是针对自然图像[10,11],针对X射线图像的较少,因此除主观评价外,这里采用X射线安检机国家标准测试体来进行评价,国标箱分为A和B两个测试体,其中A测试体用于测试设备的线分辨力、穿透分辨力、空间分辨力和穿透力;B测试体用于测试设备的有机物、无机物、混合物、灰度的分辨力。国标箱实物图如图7所示。
对图7中的两种国标测试体进行X射线成像,对获取的高低能图像进行融合,分别得到图8(a)测试体A的高低能融合图像以及图8(c)的测试体B高低能融合图像,然后使用本文提出的色调映射算法进行处理,分别得到图8(b)国标测试体A色调映射结果以及图8(d)国标测试体B色调映射结果。测试体B中的TEST7测试块为铝阶梯块,TEST8测试块为钢阶梯块,从图8(c)中可以看出,随着厚度的增加,灰度值从高到低的变化,且灰度区分度逐渐变低。图8(d)中TEST7和TEST8经过算法处理后,不同厚度的阶梯块可以明显区分。测试体B中的TEST5测试块,其为三个不同厚度的薄ABS塑料板,灰度值都比较高且区分度不明显,经过算法处理后,可以从图8(d)中可以看出,处于高灰度值区域的TEST5测试块图像也可以清晰分辨。
测试体A中的TEST14测试块是由不同厚度的钢阶梯组成,每个阶梯上都有一个圆柱形的铅块,由于该测试体块对X射线的衰减很高,从图8(a)中可以看出TEST14测试块区域灰度值很低,且区分度很小,圆柱形铅块几乎不可见,经过算法处理后,可以从图8(b)中看出,TEST14测试块上的每个阶梯上的圆形铅块都可以清晰分辨。综上,可以看出本文提出的色调映射算法能够满足国标测试体的要求。
3" 结" 论
针对双能X射线安检机图像动态范围宽度无法在普通显示器上正确显示,且对比度低的特点,受前人工作启发,本文改进了局部保边滤波器的使用方法,对双能图像融合后进行两次迭代滤波获取基础层图像和细节层图像,并求取均值图像,然后对细节层图像进行增强,再将增强后的细节层相加融合,最后经过负指数变换和线性灰度缩放得到色调映射后的图像。通过实验对比可以得出以下结论:1)本文所提算法可以有效压缩高动态图像灰度范围;2)能够改善图像对比度,并将原图包含的细节信息凸显出来;3)能够保持不同厚度物体的灰度的区分度。
参考文献:
[1] GLOVER J L,HUDSON L T,PAULTER N G. Improved Threat Identification Using Tonemapping of High-Dynamic-Range X-ray Images [J].Journal of testing and evaluation,2018,46(4):1462-1467.
[2] FATTAL R,LISCHINSKI D,WERMAN M. Gradient Domain High Dynamic Range Compression [J].ACM Transactions on Graphics (TOG),2002,21(3):249-256.
[3] MA S Z,SUNDAR V,MOS P,et al. Seeing Photons in Color [J/OL].ACM Transactions on Graphics,2023,42(4):99[2023-09-06].https://infoscience.epfl.ch/record/305345?ln=en.
[4] MA J Y,MA Y,LI C. Infrared and Visible Image Fusion Methods and Applications: A survey [J].Information Fusion,2019,45:153-178.
[5] 阙禄松,王明泉,张俊生,等.基于多尺度局部边缘保持滤波的X射线图像色调映射算法 [J].科学技术与工程,2019,19(28):217-221.
[6] 原培新,陈鼎夫.双能X射线高动态范围安检图像压缩算法 [J].东北大学学报:自然科学版,2021,42(1):96-101.
[7] BRISARD S,SERDAR M,MONTEIRO P J M. Multiscale X-ray Tomography of Cementitious Materials: A review [J].Cement and Concrete Research,2020,128:105824.
[8] OU X Y,CHEN X,XU X N,et al. Recent Development in X-Ray Imaging Technology: Future and Challenges [J].Research,2021,2021(1):9892152.
[9] KAUR H,KOUNDAL D,KADYAN V. Image Fusion Techniques: A Survey [J].Archives of computational methods in Engineering,2021,28(7):1-23.
[10] HAN X Y,KHAN I R,RAHARDJA S. High Dynamic Range Image Tone Mapping: Literature review and performance benchmark [J].Digital Signal Processing,2023,137:104015.
[11] ZHAI G T,MIN X K. Perceptual Image Quality Assessment: A Survey [J].Science China(Information Sciences),2020,63(11):84-135.
作者简介:郜明(1996—),男,汉族,安徽阜阳人,助理工程师,硕士研究生,主要研究方向:X射线图像处理;刘宝生(1998—),男,汉族,河南漯河人,硕士研究生在读,主要研究方向:数字图像处理。