基于局部关联信息的视频监控图像中γ辐射噪斑的消除方法

曹 令，刘桂华,*，邓 豪，邓 磊，周炳宏

(1.西南科技大学 信息工程学院，四川 绵阳 621000；2.西南科技大学 特殊环境机器人技术四川省重点实验室，四川 绵阳 621000)

核辐射环境中的高能粒子流对人体危害很大，会造成头晕、失眠等症状，甚至造成染色体畸变和死亡[1]。因此核设施维检和突发核事故处理，几乎都是采用遥控操作模式，而辐射环境内图像采集设备获取的现场图像是最直观的信息。但辐射空间内的高能粒子入射到图像采集设备内部后，与图像传感器材料相互作用，对像素单元的输出造成干扰，导致辐射现场采集的视频图像往往带有强烈的噪声[2-4]。其中，噪声产生的主要原因是γ射线会对硅光电二极管结构的成像模组造成巨大影响，使视频监控图像产生分布复杂的噪斑。虽然系列抗辐射加固方法可提升电子元器件的辐射耐受能力[5-8]，但这通常伴随着高昂的成本及设备便携性的牺牲，难以被广泛应用于辐射环境，故基于数字图像去噪的辐射环境清晰化可视方法吸引了研究人员的关注。针对γ辐射环境下的视频监控图像噪斑消除问题，文献[9]提出一种改进的自适应中值滤波与自动阈值小波变换相结合的复合图像去噪方法，降噪和边缘保持均效果显著，但该处理对象是以椒盐噪声和高斯噪声为主的脉冲噪声，对大型噪斑去除效果不佳。文献[10]首先提取噪声，然后采用3×3扩散核与噪声区域卷积，通过各向同性扩散滤波修复污染区域，最后通过非下采样金字塔和非下采样方向滤波器对降噪图像后处理，但在噪声统计时未剔除非噪声区域，易造成过度处理。文献[11]将稀疏表示与变分技术应用到核辐射干扰图像处理中，提出了噪斑去除模型，但这些模型主要考虑亮度体现的信息，未考虑颜色分量的影响。文献[12]基于卷积神经网络，设计一种由噪声学习单元和纹理学习单元相结合的轻量级网络去除噪斑，但需制作大量正负样本数据集训练，这类数据在真实γ辐射环境下不易大量获取。

随着数字图像处理相关理论及方法的发展，图像噪斑去除方法不断取得进步。其中，各向异性扩散滤波[13]利用当前像素与周围像素的关系，向四周扩散降噪。非局部均值(NLM)[14]利用自然图像中存在的大量相似性纹理和结构，搜寻相似度高的模块加权平均恢复图像。稀疏三维变换域协同滤波(BM3D)[15]首先在目标图像块附近搜寻相似图像块整合为三维矩阵，然后对相似图像块分维度变换，最后将图像块逆变换分权重叠加去除噪斑。上述方法均利用局部区域内像素的相似信息去除噪声，对局部区域结构纹理失真严重的斑块噪声去除效果不佳。加权核范数最小化(WNNM)[16]首先在整个图像搜寻非局部相似块进行奇异值分解，通过估算权值将分解结果整合，有效利用图像先验信息去除噪声，但利用相似图像块样本的低秩矩阵逼近干净样本时会丢失部分纹理结构信息。Bitonic滤波[17]通过图像的形态学操作获得多样化的数据并做差分运算，将差分结果作为权重加权降噪，可取得很好地去噪效果，但图像细节纹理变模糊。针对γ辐射环境视频监控图像噪斑难以去除的问题，本文首先根据γ辐射环境视频监控图像的噪斑特性，分割噪斑区域，再利用与噪斑区域具有强关联性的干净图像数据修复噪斑。

1 噪斑形成及特性分析

γ射线与物质相互作用产生光电效应、康普顿散射和电子对效应[18]，在基于硅光电二极管的互补金属氧化物(CMOS)及电荷耦合器件(CCD)的氧化物结构和Si/SiO2界面形成陷阱电荷[19-21]，致使图像传感器暗电流增加，阈值电压漂移，影响成像质量。在辐射响应区域，多个光电子在区域内同时沉积能量，像元输出灰度值增大，相邻像元发生串扰[22]，形成表现为亮白的条纹状噪斑。空气中的CO2、水、氮氧化合物在γ射线电离辐射影响下由基态转化为激发态，当从激发态衰变回基态时向外辐射荧光，在图像中形成深蓝、橙红色光斑。图1a、b均是无防辐射加固采集设备在γ辐射环境下采集的受污染图像，图像上分布偏蓝和偏红的团状、条纹状噪斑。可看出，图1中充斥大量噪斑，但图像中物体轮廓仍然可见，图像的部分特征仍然存在，表明非噪斑区域信息保留完整。

a——γ辐射泄露现场图像；b——γ辐照室现场图像

从像素层面分析噪斑，将图1左上角局部放大并灰度化，结果如图2所示。对比图2a、b可知,图像灰度化后噪斑的分布和相对强度与原图保持一致。图2c为噪斑灰度图某局部区域放大的像素值，其中表示噪斑的红圈标记区域内像素值差异较小，噪斑边缘与周围像素点形成较大反差，噪斑区域像素值不仅会变大形成亮噪斑，还会反向突变为像素值低的暗噪斑，而黄圈标记的非噪斑区域像素值在局部区域内平滑变化。因此可得出：噪斑是图像局部范围像素值发生急剧同向突变产生的，且噪斑区域像素值接近，但与周围像素点表现出明显的差异，而非噪斑区域像素值变化相对平滑，图像数据保留完整。

a——噪斑；b——噪斑灰度化；c——灰度化噪斑局部放大

γ辐射环境的图像采集设备受到空间内高能粒子影响，导致采集的图像部分像素点发生突变形成辐射噪斑，噪斑掩盖了发生突变前的原图像平滑变化的特征。但突变后的图像，噪斑区域像素点与邻近非噪斑区域像素点的关联性仍然与原图像一致。因此受到γ辐射污染的视频监控图像，局部区域平滑变化特征可作为局部关联信息用来消除噪斑修复图像。

2 噪斑消除方法

噪斑消除分为两步：1) 噪斑分割，利用噪斑区域内像素值同向突变及突变后噪斑区域像素值差距较小的性质分割出噪斑区域，分割区域作为图像待修复区域，其余部分作为干净区域；2) 噪斑修复，使用与待修复区域具有局部关联性的相邻区域干净像素点及相邻帧同区域干净像素点，以两者像素值的差异为关联度，采用步进式方式修复噪斑区域，达到降噪保真的效果。

2.1 噪斑分割

噪斑分割模型如图3所示。取噪斑图像记为I，首先图像灰度化减少数据量，按顺序全局检索，通过阈值判断锁定疑似噪点P1。然后以P1为中心向四邻域方向搜索，采用区域生长方法，将邻域中像素值与P1相近的点同样判定为疑似噪点P2，再以P2为中心生长，持续扩张形成疑似噪斑。噪斑由局部区域像素点突变形成，噪斑内噪点数量有限，当噪点扩张数超过最大扩张阈值，则当前疑似噪斑并非噪斑。最后使用噪斑均值向八邻域膨胀覆盖边界，噪斑膨胀前后差分获得边界残差，通过残差检测模型判断当前疑似噪斑是否为噪斑。

图3 噪斑分割模型Fig.3 Plaque noise segmentation model

设定突变最大阈值Th1和最小阈值Th2，分别用于判定亮噪斑和暗噪斑。PH为疑似亮噪斑，PL为疑似暗噪斑，则疑似噪斑检测模型为：

PH⊇U(Pk,1)>Th1

k=1,2,…,n

(1)

PL⊇U(Pk,1)

k=1,2,…,n

(2)

其中：U(Pk,1)为以Pk为中心，步进为1的邻域；n为噪点扩张数。

以疑似噪斑像素均值向噪斑边界的八邻域区域扩张，得到噪斑膨胀区域J，通过膨胀区域前后的边界差分获得边界残差图Di，边界残差数学表达式为：

(3)

其中：Iedge、Jedge分别为膨胀前、后边界；m为边界像素点数量。

为了确认当前疑似噪斑是否为真实噪斑，设计残差边界检测模型为：

(4)

其中：C为干净区域；β1、β2为权值；P为噪斑。

检测模型通过权值β1、β2将检测结果分为3类，如若边界点与噪斑均值残差小，则将边界点吸收为噪斑P，残差大则吸收为具有局部关联性的干净区域C，处于权值β1、β2之间的点既不满足像素点突变特性不构成噪声威胁，又不具备干净样本区域平滑变化的特征，将其保留为原值。图4为γ辐射环境视频监控图像的噪斑提取效果，通过疑似噪斑生长、邻域扩张和残差边界检测可分割出不规则的噪斑。

a——γ辐射环境图像；b——灰度化；c——噪斑提取

2.2 噪斑修复

通过对污染图像的分析可知，噪斑相邻的图像数据有部分并未受到影响，仍保留其原有信息。利用图像像素点间的局部关联信息，使用数据保留良好的干净区域修复噪斑数据，噪斑修复模型如图5所示。首先利用帧内噪斑相邻干净数据向内坍缩和前后相邻帧同区域干净数据均值获得两类修复基准数据，然后以两类基准数据差值为关联度转化为权重ω，最后通过权重ω加权基准数据替换噪斑区域修复图像。

图5 噪斑修复模型Fig.5 Plaque noise restoration model

为保证修复后的图像数据保持与相邻干净区域的强相关性，使修复图像更平滑保真，采用步进式方法修复噪斑数据，步进式噪斑修复如图6所示。以噪斑边界Q点为起始点，按顺序由外向内恢复噪斑信息。

图6 步进式噪斑修复Fig.6 Step-by-step plaque noise restoration

噪点修复数学模型为：

j=1,2,3

(5)

其中：Q为待修复噪点；j为通道数；N为干净点数；Qf、Qb为噪点相邻帧对应干净点。

以Q为中心，搜寻八邻域内的干净区域C和相邻帧对应区域干净点Qf、Qb作为修复基准，通过权重ω调节基准数据的占比，对噪斑区域像素点修复。彩色图像分为R、G、B三通道分别降噪，分通道处理能保持图像的颜色不失真。修复的噪点标记为干净样本，自适应权重ω为：

(6)

(7)

其中：x2为可调节因子；ε为帧内基准数据权重最小占比约束因子；d2为当前帧内干净数据与相邻帧干净数据的差异性，d2越大则帧内干净数据权重越高，对噪斑修复基准数据影响越大。

由于帧内局部数据的关联性高于帧间数据的关联性，则帧内基准数据占比应该不低于1/2，通过ε约束帧内干净数据权重占比，ε表达式为：

ε=x2/ln 2

(8)

3 实验

由于γ辐射环境的特殊性，往往没有干净的视频监控图像样本用于降噪效果对比分析，文献[23]指出静态场景多帧图像平均降噪方法，已经广泛的成为成像应用中获取干净样本的标准技术，通过对同一场景的多幅图像求均值可获得真实干净的样本。图7、8为60Co γ辐射环境视频监控图像对同一场景不同帧数图像求均值的结果，可看出，随帧数的增加图像越来越清晰。

设计残差图像噪点数量检测实验，进一步验证干净样本的可用性。以100帧均值图像为基准图，分别将其他帧数均值图像与基准图像做差分，统计残差图像像素值大于阈值Th的数目，结果如图9所示。图9中基准图一为图7不同帧数均值图像与100帧均值图像差分后残差图像的噪点数量，基准图二为图8不同帧数均值图像与100帧均值图像差分后残差图像的噪点数量，此处阈值经测试选取10。统计结果显示，两类γ辐射环境视频监控图像的均值图像残差图像噪点数量随平均帧数的增加呈下降趋势，且在50帧后趋近于0，图像数据逐步稳定。结合图7～9可知，选取100帧均值图像作为γ辐射环境视频监控图像的干净样本是可行的。

a——测试图像；b——5帧均值图像；c——10帧均值图像；d——50帧均值图像；e——100帧均值图像

a——测试图像；b——5帧均值图像；c——10帧均值图像；d——50帧均值图像；e——100帧均值图像

图9 残差噪点统计图Fig.9 Residual noise statistical chart

为了验证基于局部关联信息噪斑消除算法的效果，与经典的高斯滤波、中值滤波、双边滤波、各向异性滤波[13]，在加性高斯白噪声中表现优异的NLM[14]、BM3D[15]、WNNM[16]等图像降噪算法及近年来提出的Bitonic滤波[17]等进行对比实验，做定性评估和定量对比，图像质量定量评价采用峰值信噪比(PSNR)和结构相似性(SSIM)两种客观评价指标。实验测试数据为γ辐射环境视频监控图像和γ辐照室采集的瞬时剂量率为200 Gy/h的测试图像，实验点剂量率采用重铬酸银剂量计测量获得，图像分辨率为600×600，图像降噪效果如图10、11所示。

a——噪声图；b——干净样本；c——高斯滤波；d——中值滤波；e——双边滤波；f——NLM；g——BM3D；h——WNNM；i——各向异性滤波；j——Bitonic滤波；k——本文方法

3.1 定性分析

以噪斑分布复杂的γ辐照室视频监控图像做定性分析，将图11左上角150×150像素大小图像截取放大两倍(该区域具有丰富的纹理结构)，如图12所示。高斯滤波、中值滤波和Bitonic滤波都使画面模糊，细节纹理不可见，双边滤波、非局部均值、BM3D、各向异性滤波纹理保留较好，但部分噪斑仍清晰可见，WNNM能较好地去除噪斑，场景颜色趋于正常，但图像细节被过度模糊，纹理信息保留不足。而本文方法虽然对局部区域颜色均衡不够好，有部分噪斑处理后遗留的小孔洞，但图像颜色保真度效果很好，图像边缘纹理清晰。

a——噪声图；b——干净样本；c——高斯滤波；d——中值滤波；e——双边滤波；f——NLM；g——BM3D；h——WNNM；i——各向异性滤波；j——Bitonic滤波；k——本文方法

a——噪声图；b——干净样本；c——高斯滤波；d——中值滤波；e——双边滤波；f——NLM；g——BM3D；h——WNNM；i——各向异性滤波；j——Bitonic滤波；i——本文方法

3.2 定量比较

PSNR和SSIM两种评价指标的结果列于表1。可看出，部分降噪算法在γ辐射环境下的视频监控图像噪斑消除中有一定的效果，但仍有部分噪斑难以去除，而本文方法在峰值信噪比和结构相似性等指标上表现优秀，针对不同类型的γ辐射环境视频监控图像噪斑均有较好的去噪效果，说明本文方法对γ辐射环境下的视频监控图像噪斑修复效果显著。

表1 评价指标Table 1 Evaluation index

4 结论

通过图像噪声预分割再处理去除γ辐射环境视频监控图像噪斑，在不增加硬件成本的前提下提高γ辐射环境视频监控图像的质量。利用噪斑的形成和分布特性分割噪斑，运用图像像素点局部关联信息去除噪斑修复图像数据。使用无防辐射加固设备采集的60Co γ辐射环境视频监控图像进行验证，与8种去噪方法做定性分析和定量对比。结果表明，本文提出的去噪方法能较有效地去除γ辐射环境下视频监控图像的噪斑，在图像细节纹理保留上具有较好的效果。