张珂绅,郭文风,王鹤澎,叶学义
(杭州电子科技大学 通信工程学院,浙江 杭州 310018)
近年来,机场、车站等公共场所的安全问题日益得到重视,对人体携带物品的安全检查必不可少。目前主流的安检手段如X 射线探测虽然可以清晰成像,但X射线易电离且具有辐射性,不适合于人体安检[1]。毫米波辐射在电磁频谱中介于微波和红外线之间,属于非电离辐射,可以穿透人体衣物探测到隐匿物品,且对人体无害,有逐步取代传统安检手段的趋势[2]。
随着前端成像技术的不断成熟,后端毫米波图像的隐匿物品检测成了目前亟待解决的问题。目前毫米波成像系统输出的图像分辨率较差,信噪比低,对目标检测性能有负面影响,容易造成误检和漏检[3]。这些都给隐匿物品检测带来了巨大的挑战。
毫米波图像中隐匿物品的种类包含手枪、管制刀具等[4],基于对毫米波辐射的反射强度不同,不同物品成像存在一定的灰度差异,现有的研究通常基于这种差异采用图像分割的方式检测。DU 等人[5]提出了一种灰度分离模型,可以检测出隐匿物品灰度值高于或低于人体灰度值的情况,但是检测效果受噪声等因素影响较大;Is′iker 等人[6]提出了一种基于多阈值OTSU 的分割算法,通过设置多级阈值区分目标和人体区域,但如果隐匿物品与人体区域灰度差异较小则会导致阈值分割不准确;Wang 等人[7]提出了一种基于分块的高斯混合模型方法(patch based MoG-LRMF),通过对信息建模,结合像素点的灰度和结构信息来检测隐匿物品,在相对复杂的数据下表现良好,但计算复杂度较高。
上述研究中均存在隐匿物品与人体区域灰度差异小、分割标记不准确的问题,因此有必要针对毫米波图像的特性进行分析,研究出与之适应的目标检测算法。现有的目标检测算法中,显著性检测为提升毫米波图像的检测性能带来了契机。显著性检测可以模拟人类视觉优先关注前景特殊区域的特点,提取图像中的显著区域,生成与人类注视点有大量重合区域的显著图[8]。目前已经在图像分割、目标检测等多个领域投入了使用[9]。从毫米波图像的特点来看,毫米波图像检测与显著性检测有较高的契合点。
本文针对毫米波图像成像质量差、隐匿物品与人体灰度差异小、形状多变的问题,结合频域显著性及背景抑制的思路,提出了一种基于频域显著性的毫米波图像隐匿物品检测算法。首先对图像预处理,获取人体区域掩膜,使后续的处理范围仅限于人体区域;再根据频域变换定位前景,经背景抑制处理后生成能反映各区域重要程度的显著图;最后,通过连通域标记完成检测。
毫米波成像系统由于其工作频带高,受环境噪声影响较大,图像周围存在边缘模糊、伪影等现象,尤其两腿之间的伪影,影响了检测的准确性[10],因此对图像作预处理,消除噪声和伪影。
预处理包含两个模块,第一个模块对图像降噪,消除背景噪声;第二个模块提取人体区域,缩小图像的处理范围,使得后续的前景-背景分离仅限于人体区域,避免其他区域的干扰。
图像灰度化处理后用双边滤波算法去噪。与传统滤波算法相比,双边滤波考虑了像素之间的相对空间位置,利用了图像的结构信息,这样有助于在消除噪声的同时保持图像的边缘效果。
本文结合OTSU 与形态学处理的方式提取人体区域。OTSU[11]是一种用于图像分割的自动阈值选取算法,选取阈值并分割可以得到二值图像。经过OTSU 阈值分割后再用形态学运算方法填充毛刺可以获取人体区域掩膜,将掩膜与原始图像相乘得到人体区域。
头部和手掌是暴露在衣物外的区域,是否有物品可以被人眼清楚地观察到,不属于隐匿物品的范畴,因此对它们分割处理。分割的关键在于关键点坐标的计算,将图像水平投影,投影峰值即为手部坐标,谷值为脚步坐标,头部的坐标可以通过像素点在人体对称中心垂直方向下降得到。得到坐标后可以计算得到人体高度,再根据各部位占人体高度的比例确定头部和手部区域并设置掩膜完成预处理。
图1 是预处理效果图,箭头指向隐匿物品,椭圆区域内是噪声和伪影;提取人体区域后图像中椭圆区域内的伪影被消除。
图1 预处理效果图
经过预处理后的毫米波图像中隐匿物品可视为前景,其余人体区域可视为背景。因此在空域中可以使用线性模型描述图像,即假设图像可以分解为前景信号和背景信号。
其中,x 代表输入图像;f 代表前景,认为是隐匿物品信息;b 代表背景,认为是人体区域信息。如何借助显著性思想准确分离出前景f 的图像信息是目前面临的挑战。在空域直接分离前景是十分困难的,且无法最大限度地利用已知数据,会带来一定的信息损耗。信号的稀疏编码解决了这一问题,稀疏编码的目的在于用尽可能少的原子来表示信号,从而更容易地获取信号中的主要信息。一般而言,图像在空域是不稀疏的,但经过稀疏变换后变换系数大多接近于零或等于零,即在频域下是稀疏的。离散余弦变换具有能量集中的能力,有利于集中前景能量并区分于背景。于是将离散余弦变换作为稀疏分析模型,将图像变换到频域处理。
其中,符号函数表达式为:
计算图像签名相当于丢弃了频谱中的幅度信息,将矩阵值置为1,即压缩了数值高的低频部分,放大了数值低的高频部分,前景信息得到增强。
在信号稀疏表示的基础上,稀疏重构可以快速恢复图像信息得到前景检测图。频域中的信号反变换回空间域得到的图像称作重构图像。记图像签名的重构图像为前景重构图像为背景重构图像为
Candes 等人[12]提出的均匀不确定性原理(Uniform Uncertainty Principle,UUP)指出当背景足够稀疏时有:
其中,◦代表的是Hadamard 乘积。
前景-背景分离模型如图2 所示。
图2 前景-背景分离模型
对于平方重构图像I,前景像素虽已突出,但鉴于毫米波图像中隐匿物品与人体灰度差异小,平方重构图像同时具有前景背景之间区分度较弱,后续检测不准确的问题。为了增大图像对比度,对图像做背景抑制处理。首先计算反映图像均值特性的全局平均像素值Imean。
其中,I(i,j)是原显著图中每个像素点的灰度值。欧式距离是图像在二维空间中两个像素点间的真实距离,也可以看作是两个信号间的相似度,距离越近则越相似。如果将前景、背景看作是两组相似性像素分组,可以将欧式距离作为度量参数,计算实际像素值与全局平均像素值之间的欧式距离,相似性像素组之间的差异增大,灰度差异更明显,可以作为显著值。
最终得到显著图:
其中,g 是高斯核,用来高斯平滑,可以消除一些纹理细节和噪声,使隐匿物品提取更完整。
显著图已明确突出隐匿物品,因此对显著图阈值分割得到二值图像,再利用连通域检测算法标记隐匿物品。
对显著图S 设置阈值λ=0.5 划分为二值图像,然后用形态学方法解决前景像素不连续的问题,最后设置面积阈值去噪,将面积小于阈值的连通区域去除,得到最终的二值图像。
位置相邻且像素值相同的前景像素点组成的图像区域称作连通域。标记二值图像中的连通域即可实现隐匿物品标记。
实验中的毫米波图像由新一代高清晰成像系统(High Definition-Advance Imaging Technology,HD-AIT)[14]生成,本实验搜集了人体正面以及人体背面两个视图且携带有人眼可辨隐匿物品的200 张图像,图像大小为660×512×3,对图像进行检测实验。
在比较最终的检测结果之前,对图像进行前景-背景分离实验,图3 是毫米波图像隐匿物品定位流程。
图3 前景-背景分离流程
前景-背景分离模型图虽标识了隐匿物品所在位置,但人体背景冗余像素过多,干扰了后续物品的定位,经背景抑制处理后背景冗余部分受到抑制。
图4 展示了图3 对应的灰度分布图。随着前景-背景分离流程的进行,图像灰度分布的杂乱程度逐渐降低,前景背景之间区分度加强,最后均匀突出前景目标。
图4 灰度分布图
图5 是人体正面及背面部分毫米波图像的最终检测结果,图中物品的种类和放置位置有所不同,但均能准确定位。
图5 检测结果
为了进一步评估算法的性能,考察目标检测评价指标——检出率RT(正确检测结果占目标总数的比重)、误报率RF(错误检测结果占所有检测结果的比重)。假设放置隐匿物品的总数是M,检测到的目标总数为N,包括正确检测到的目标数目N1以及错误检测到的目标数目N2。计算公式为:
表1 中的数据表明,隐匿物品在人体正面和背面的检出率基本相同,但人体正面的误报率要高于人体背面,原因在于人体正面膝盖或隐私部位等处结构复杂,会被误判为隐匿物品,干扰了正常的检测,在后续的识别过程中将解决这一问题。
表1 分区域检测结果
文献[4]和文献[5]中使用的图像与本文图像类型相同,相似度较高,于是与本文算法进行对比分析。如表2所示,本文方法的综合检出率为90%,误报率为6.5%,检测效果显著。
表2 检测对比结果
由此可以得出结论,本文提出的基于视觉显著性的毫米波隐匿物品检测算法是可行的。
现有的毫米波检测算法受图像中隐匿物品与人体之间的灰度差异影响较大,检测效果不够明显。因此,本文根据毫米波图像的特点,结合频域显著性及背景抑制的思路检测,相比于传统的检测算法有着更好的检测性能。然而在处理结构复杂的人体区域时会将人体结构误检为隐匿物品,后续的工作将会从这一角度出发,结合人体各部位结构特点排除误检,提高检测性能。