基于稀疏表示的车用带钢表面图像信息修复

周李洪，龚金科，李兵

（1.湖南大学 机械与运载工程学院，湖南 长沙 410082；2.湖南机电职业技术学院 汽车工程学院，湖南 长沙 410151；3.合肥工业大学 电气与自动化工程学院，安徽 合肥 230009）

图像作为人们传递信息和获取信息的媒介，是学者们研究的热点对象[1].数据图像处理是通过计算机处理并分析图像的一种技术.数字图像的性能随着数字计算机和信息时代的发展不断提高，被广泛地应用在各个领域中[2].但是在存储、压缩和传输过程中，外界的干扰会导致数字图像信息缺损.为了提高图像信息的完整性，需要对受损图像进行修复和填补.图像信息修复技术在此背景下被人们所重视.图像信息修复技术可以使修复后图像的视觉效果或可视化效果更接近原始图像[3].

带钢作为汽车的重要原材料，对汽车的质量和性能产生直接影响，因此，对其进行表面检测具有重要意义.但在带钢表面检测图像中，常因噪声干扰等问题出现缺陷，为此，需要通过图像修复技术对车用带钢表面图像信息进行修复，可以实现车用带钢受损区域的复原，因此需要对车用带钢表面图像信息修复方法进行分析和研究.

现有研究中，强振平等[4]提出基于图像结构分成计算的图像信息修复方法，利用局部拉普拉斯滤波器平滑处理图像细节信息，获得图像结构成分，确定修复优先级，在基于结构张量和等照度线的图像修复算法中引入结构成分引导方法，实现图像信息的修复，但该方法没有划分图像的目标区域和背景区域，导致修复后图像的峰值信噪较低，存在修复效果差的问题.曹大命等[5]提出基于先验约束的图像信息修复方法，通过对图像做预处理，获得先验信息，在先验信息约束的基础上初始化偏移映射图，利用夹角法和均值法在像素块匹配过程中计算像素块的相似度，引入直方图统计方法，实现图像信息的修复，但该方法未对图像进行分割处理，导致修复过程中计算量较大，修复图像所用的时间较长，存在修复效率低的问题.韩栋等[6]提出基于曲率约束因子与边缘加权法则的图像信息修复方法，通过像素的等照度线的方向构造曲率约束因子，并约束数据项以形成优先级测量函数.利用像素均值之差，构造像素自相关模型调整样本块的大小及边缘加权模型，并通过结合SSD（Sum of Square Differences）（平方差和）模型建立边缘加权规则，进行最优匹配，在修复区域中填充最优匹配块，实现图像信息的修复.但该方法无法对背景区域中的受损区域进行有效修复，导致修复后的图像均方根误差较大，存在图像修复效果差的问题.

为了解决上述方法中存在的问题，提出基于稀疏表示的车用带钢表面图像信息修复方法.计算车用带钢表面图像的二维直方图，获取背景类和目标类之间存在的离散测度矩阵，并通过距离测度函数，改善车用带钢表面图像分割的精确性；基于稀疏表示理论，获取图像目标区域，去除图像块中存在的受损区域，构建基于稀疏表示的车用带钢表面图像信息修复模型，进一步减少了计算的冗余度.

1 车用带钢表面图像分割处理

通常对带钢表面进行检测的系统由以下四个模块组成：图像获取模块、图像处理模块、图像分析模块、数据管理及人机接口模块[7].本次研究的车用带钢表面图像分割处理算法是在图像处理模块进行.由于受到现场环境、传输电路等影响，导致采集的原始图像具有一定的噪声，给图像的修复处理带来不便[8].对车用带钢表面图像信息修复，首先需对车用带钢表面图像进行分割处理，分离车用带钢表面图像的目标类与背景类信息，以提升车用带钢表面图像信息修复准确性.通过求解车用带钢表面图像的邻域平均灰度，得到车用带钢表面图像的灰度变换范围；通过计算车用带钢表面图像的二维直方图，构建背景类和目标类之间存在的离散测度矩阵，实现车用带钢表面图像的分割.车用带钢表面图像分割处理流程如图1 所示.

图1 车用带钢表面图像分割处理流程图Fig.1 Flow chart of segmentation processing of automotive strip surface image

设车用带钢表面图像的灰度变换范围为0～L-1，图像的尺寸为M×M.通过车用带钢表面图像中存在的L 个灰度值构成集合Z={z0|z0∈0～L-1}，（m，n）代表的是像元点在图像中对应的坐标；f（m，n）为像元点在坐标（m，n）处对应的灰度值，存在于集合Z中，即f（m，n）∈Z，g（m，n）代表的是像元点在坐标（m，n）处对应的邻域平均灰度，其计算公式如下：

式中：N 代表的是像元点灰度值正方形邻域窗口对应的宽度.

邻域平均灰度g（m，n）通常情况下为：

像元灰度值f（m，n）通常情况是大于或等于0的[9]，因此在上式基础上获得0≤g（m，n）＜L.表明图像（m，n）的灰度变换范围与邻域平均灰度g（m，n）的灰度变换范围相同，即g（m，n）∈Z.

任意一幅车用带钢表面图像可以通过下述矩阵进行描述.

如果利用[f（m，n），g（m，n）]描述一副M×M 的车用带钢表面图像，需要计算车用带钢表面图像的二维直方图[10-11].

车用带钢表面图像的二维直方图存在于L×L 的正方形区域中[12]，图像像元的灰度值和邻域平均度分别可以通过横坐标和纵坐标进行描述.设pij代表的是直方图中存在的一点，描述的是向量a=（i，j）发生的频率，用来表示向量b=[f（m，n），g（m，n）]，且0≤i，j＜L，频率pij的计算公式如下：

式中：cij代表的是向量a 发生的频数.

在二维直方图中存在两类区域C0、C1，分别对应的是车用带钢表面图像背景和目标，其对应的概率分布均不相同[13].如果利用二维直方图中存在的任意门限向量c=（s，t）分割车用带钢表面图像时，ω0代表的是图像背景区域发生的概率分布；ω1代表的是图像目标区域发生的概率分布，其计算公式分别为：

设μ0代表背景类对应的均值，μ1代表目标类对应的均值，通过下述公式对均值进行计算：

设μZ代表总体均值，可利用上述结果计算得到.

利用二维直方图构建背景类和目标类之间存在的离散测度矩阵σB.

设trσB代表离散测度矩阵σB的迹，在二维最大类间方差法中将其作为目标类与背景类之间存在的距离测度函数[14]，实现车用带钢表面图像的分割.

通过二维直方图方法，对车用带钢表面图像的目标区域与背景区域进行精准分割，为图像修复处理奠定基础，进一步提高图像修复的精度.

2 基于稀疏表示的图像信息修复

在实现车用带钢表面图像分割处理后，用图像分析模块进行图像信息分析，基于稀疏表示理论的基础，对车用带钢表面图像信息进行修复.通过线性组合和图像块约束图像的非零元素的稀疏信号[15]，构建稀疏表示模型，构建图像块中存在的待修复图像函数，通过MAP 估计去除图像块中存在的受损区域，通过L1 范数对重构误差进行测度，构建基于稀疏线性表达的车用带钢表面图像信息修复模型，实现车用带钢表面图像信息修复.基于稀疏表示的图像信息修复流程如图2 所示.

图2 基于稀疏表示的图像信息修复流程图Fig.2 Flow chart of image information restoration based on sparse representation

稀疏表示通常利用线性组合对自然信号进行描述[16]，设D=[d1，d2，…，dL]∈RN×L代表字典，由L个标准信号原子{dl}Li=1构成，存在下式：

式中：α=[α1，…，αi，…，αL]T∈RL为存在K 个非零元素的稀疏信号，称信号α 为K 的稀疏表示.

稀疏表示过程是通过图像块划分车用带钢表面图像，形成集合的模式[17].按照从左到右，从上到下的顺序对图像局部块进行排序，获得m 维列向量，分别用基元组Di和向量xi描述线性组合和图像块.

通过上述约束系数α 的稀疏性，构建稀疏表示模型.

式中：y 代表的是车用带钢表面图像信号.

利用L1 范数取代L0 范数，将稀疏表示模型转变为下式：

基于稀疏表示的车用带钢表面图像信息修复方法利用最小化L1 范数技术缩小了计算量，获得信号的稀疏变换.

图像修复是在指定区域中利用修复算法进行填补，使处理后的车用带钢表面图像在视觉上与原始图像一般[18].

Ω 代表车用带钢表面图像中需要修复的目标区域.Φ 代表除了目标区域以外车用带钢表面图像中的其他区域，即源区域.设I 代表像素在车用带钢表面图像中的下标集合；y 代表给定的车用带钢表面图像；yI代表排除目标区域后，所有车用带钢表面图像像素构成的集合；DI为yI对应的基，对稀疏表示模型进行改进，即：

在稀疏表示模型的基础上利用已知的基元组D描述图像块.

用y 描述图像块x 中存在的待修复图像，对图像y 进行MAP 估计去除图像块中存在的受损区域，通过L1 范数对重构误差进行测度，将问题转变为：

对式（19）进行优化，构建基于稀疏线性表达的车用带钢表面图像信息修复模型.

对上述局部块上的稀疏修复模型进行推广，使稀疏修复模型适用于整幅车用带钢表面图像[19].

对车用带钢表面图像进行MAP 估计，推广局部块中的稀疏修复模型，将稀疏修复模型转变为：

式中：Rl代表基元组，大小为.

利用上述稀疏修复模型分别在车用带钢表面图像的背景区域和目标区域中进行信息修复，实现车用带钢表面图像信息的修复.

3 实验结果与分析

为了验证基于稀疏表示的车用带钢表面图像信息修复方法的整体有效性，需要对基于稀疏表示的车用带钢表面图像信息修复方法进行测试.本次测试在Intel Core i7 CPU，内存为8 GB 的PC 机上采用Matlab R2020b 编程实现.将峰值信噪比和均方根误差作为指标对图像信息的修复效果进行衡量.

在东北大学热轧带钢表面缺陷数据集（Visionbased SIS for steel）中选择实验对象共1 000 张车用带钢表面缺陷图像，分别采用文献[5]和文献[6]方法作为实验对比，测试3 种不同方法对图像信息的修复效果.图3 为其中一张车用带钢表面图像.图3 为微小型的带钢表面缺陷图像，其最大缺陷只有约90 μm×90 μm 大小.

图3 车用带钢表面图像Fig.3 Surface image of strip steel for car

3.1 图像修复效果对比

采用3 种不同方法对图3 车用带钢表面图像进行信息修复.通过式（15）对图像进行稀疏表示处理，设车用带钢表面图像信号为200 Mb，非零元素的稀疏信号为100 Mb.在此基础上得到的修复效果对比图如图4 所示.

图4 不同方法的车用带钢表面图像信息修复效果Fig.4 The effect of different methods on surface image information restoration of automotive strip steel

如图4 所示，文献[5]方法能够识别缺陷较为密集的区域，而无法识别缺陷稀少的区域；文献[6]方法能够识别面积较大的缺陷，而对微小缺陷的识别准确率较低；本文方法能够有效识别车用带钢表面图像的缺陷信息并修复，图像信息修复效果较好.由此可见，基于稀疏表示的车用带钢表面图像信息修复方法通过对图像进行分割处理，利用稀疏修复模型分别对车用带钢表面图像的背景区域和目标区域进行信息修复，图像信息修复效果更好.

3.2 信噪比和均方根误差对比

设PSNR（Peak Signal-to-Noise Ratio）表示峰值信噪比，峰值信噪比越大表明图像信息的修复效果越好，其计算公式如下：

式中：MSE（Mean Squared Error）表示修复图像与原始图像之间的均方误差.

设RMSE（Root Mean Squared Error）代表均方根误差，均方根误差越小表明修复后的图像越接近原始图像，其计算公式如下：

3 种不同方法在车用带钢表面图像信息修复过程中，其峰值信噪比及均方根误差对比结果分别如图5、图6 所示.

由图5 中的数据可知，本文方法在不同测试中获得的峰值信噪比均高于文献[5]方法和文献[6]方法获得的峰值信噪比，峰值信噪比越高表明方法的修复效果越好.分析图6 可知，本文方法的均方根误差均低于0.2，远小于其他两种方法，均方根误差越小，表明此方法的修复效果越好.综上所述，本文方法对车用带钢表面图像的修复效果较好.本文方法利用稀疏修复模型分别对车用带钢表面图像的目标区域和背景区域进行修复，在修复过程中提高了修复的针对性，进而提高了所提方法的修复效果.

图5 峰值信噪比对比结果Fig.5 Peak signal-to-noise ratio comparison results

图6 均方根误差对比结果Fig.6 Root mean square error comparison result

3.3 图像修复耗时对比

分别采用本文方法、文献[5]方法和文献[6]方法对车用带钢表面图像信息进行修复，对比不同方法修复图像受损区域所需的时间，测试结果如图7 所示.

分析图7 中的数据可知，随着图像数量的增加，3 种方法修复图像所用的时间都有所增加，文献[5]方法和文献[6]方法在图像数量超过200 幅时，修复图像所用的时间迅速增加，是由于图像数量增加的同时，修复图像过程中的计算量不断增加，进而增加了修复所需的时间.本文方法所用的时间虽然也随着图像数量的增加不断增长，但是增加的幅度较小，且在相同图像数量情况下所用的修复时间远远少于文献[5]和文献[6]方法所用的修复时间.本文方法对图像进行分割处理，并利用修复模型在不同区域中对信息进行修复，利用最小化L1 范数技术缩小了计算量，进而缩短了修复图像所需的时间，提高了本文方法的修复效率.

图7 修复时间对比结果Fig.7 Repair time comparison results

3.4 图像修复特征对比

分析3 种不同方法下，图像修复的几何特征、灰度特征等，各特征的计算方式为：

面积表示识别的图像缺陷区域的像素数目大小，其计算公式如下：

式中：（x，y）表示像素点.

分散度表示单位面积下，图像缺陷区域周长越长，则缺陷区域形状较复杂，其计算公式如下：

式中：c 表示图像缺陷区域的周长.

灰度最大值与灰度最小值表示图像修复中的变换能力，其计算公式如下：

式中：f（m，n）表示图像灰度值.

对比度表示图像修复后色差最大所相差的像素级，其计算公式如下：

式中：λ 表示图像灰度的标准方差，δ 表示图像灰度值的峰态.

对图像修复后的特征指标进行对比，结果如表1所示.

表1 修复后图像各特征指标对比结果Tab.1 Comparison result of each feature index of the repaired image

用3 种方法对图像进行修复后，图像的各特征指标能够体现修复的效果.分析表1 可知，本文方法修复的图像各特征指标数值与实际值最接近，说明用本文方法修复图像最接近实际，修复效果最好.而文献[5]方法和文献[6]方法修复图像的各特征指标值与实际值差距较大，表明修复效果难以达到理想值.本文所提方法基于图像的邻域平均灰度，利用二维直方图对图像进行了精准分割，改善了图像缺陷处的提取效果，并利用稀疏修复模型对图像进行修复，使缺陷区域无限近似图像正常区域，进而提高了图像的修复效果.

4 结论

图像修复的基本原理是利用图像中存在的有效信息对未知区域进行近似估计，使修复后的图像接近原始图像.在数字图像处理领域中，图像修复技术是一种重要技术，在众多领域中具有较强的实用性，被广泛地应用在车用带钢表面受损修复中.目前，车用带钢表面图像信息修复方法存在修复效果差和修复效率低的问题.为此，提出基于稀疏表示的车用带钢表面图像信息修复方法，利用稀疏修复模型在分割后的不同图像区域中进行信息修复，实验证明，设计方法缩短了修复所用的时间，优化了修复效果.在图像的修复中，还需要考虑纹理等修复特征，但本文研究未对修复图像的精细程度进行验证，在未来研究中，将会对图像高精度修复进一步完善.