基于形态和小波的低纹理图序列高光修复研究

唐露新 张宇维 宋有聚 王小桂 于丽敏

摘要：高光区域多出现于低纹理材料的平滑表面上，严重影响图像采集处理效果。针对现有图像去高光技术中过分依赖特定对象纹理特征的问题，该文提出一种利用形态学重建检测高光区域、利用小波变换修复高光区域低纹理图像序列的高光检测与抑制方法。对地下混凝土、金属等管道内壁表面高光区域进行修复，取得较好效果;通过修复胶合板等多种低纹理经典材质，对比其他方法，并应用差分图像的均值、方差与互相关系数评价修复效果。结果表明，修复后的多种材质与原图相似度在0.87以上，比其他方法的相似度平均提高9.7%与6.7%，且可同时应用于多种材料的高光区域处理，具有较好的应用前景。

关键词：低纹理;形态学重建;小波变换;高光修复

中图分类号：TP 391.41文献标志码：A 文章编号：1674-5124（2019）04-0109-07

0引言

工业生产中经常利用机器视觉技术检测金属、玻璃、皮质等低纹理材质的曲率、平整度、裂痕缺陷，这些材质的反射性质使采集的图像产生高光区域，导致图像有效信息无法识别，严重影响图像质量和后续处理。例如，利用CCTV（closed-circuittelevision）系统检测排水管道内壁时，辅助光源产生的高光区域掩盖了部分破裂、错口等缺陷区域，导致检测效果不佳。

早在1985年数字图像处理技术刚刚兴起时，Shafer等针对图像高光问题提出双光反射色光模型，该理论将物体表面的光线分为漫反射色光和镜面反射光，同过光谱分析或颜色统计，就可消除高光区域，1988年Kliner就基于该理论提出了分离T形分布的颜色矢量，滤除图像中的镜面反射高光，取得一定效果。

近年来，高光修复技术大体分为两类。一类是基于上述模型的单幅图像去高光方法，如Nguyen通过分析镜面反射张量的显著性和方向信息，估计漫反射分布，在高纹理和多色图像上取得了较好的去高光效果;柴玉亭将高光视作噪声，分析漫反射光条和高光光条频谱建立高光滤波器滤除高光;尹芳利用均场退火法检测人脸高光区域并利用反射模型分别对镜面反射分量和漫反射分量的分布进行建模，但这些方法受图像噪声影响严重，且在不同材质上的处理性能参差不齐，不具有普适性;Souza在双光反射模型的基础上，提出了一种利用GPU加速计算的像素级快速聚类照明色度方法，以相似像素修复高光区域，但对于颜色模型单一的对象，该方法表现不佳;Banikm利用阈值法提取低动态范围图像中的高光区域，然后利用邻域像素对其进行修复，然后将修复后的图片通过色调映射轉换为高动态范围图像，但这种方法适用于小面积弱高光区域修复问题。

另一类是基于纹理特征的图序列修复方法，通过分析高光区域周围的纹理特，匹配融合多视角下拍摄的图像，可以在保留原纹理的基础上近乎完美的修复高光。该理论由Lee在1992年率先提出，近年来，修复高光取得了一定效果。例如汪铖杰利用Canny算子提取轮廓特征，匹配左右视图，融合后去除塑料薄膜图像的高光区域，然而这种方式只不能匹配含有旋转偏差的图片;何嘉林采用ORB特征点作为纹理匹配，利用泊松克隆恢复高光，但在低纹理情况下，高光区域与其他无关区域相比较显著性不强，检测效果不理想;Alsaleh针对微创手术内窥图像中的高光区域，采用基于颜色变化和梯度信息检测高光区域方法，并根据图形数据结构进行修复，该方法同样需要内窥图形的复杂纹理作为分析对象，对低纹理图形的修复效果不佳。

综上所述，现有技术在处理低纹理材质的高光区域时仍有通用性不强、效果不够理想等诸多不足。本文提出一种针对低纹理图像序列的高光检测与抑制方法。使用金属、瓷砖等材质模拟多种工业检测应用场合，从不同平移位置拍摄的多幅低纹理图像序列中选取参考帧，在参考帧周围选取多个信息帧;采用形态学重建检测高光区域，并利用小波变换，降低修复过程对纹理的依赖，配准融合信息帧与参考帧，修复参考帧的高光区域;最终利用差分图像的均值、方差及修复图像与原图的互相关系数评价相似程度与修复效果。

1问题分析与方法原理

1.1高光区域检测问题分析

高光区域在数字图像中具有性质：1）一定面积的连通域;2）像素均值较高;3）像素方差较小;4）边缘梯度较大。通常根据上述性质就能检测出高光区域在图像中的位置，但存在的问题是当图像中包含类上述性质的非高光连通域时，高光区域便难以检测和定位。为剔除无关区，准确检测高光区域，常用阈值处理反射建模、显著性识别等方法。物体反射率受自身材质、粗糙度、曲率、纹理、光源位置、拍摄角度等因素影响，数学建模过程过于复杂且泛化能力较低;而采用显著特性提取高光区域容易将原始高光区域过分缩小，造成区域不完整，因此一种符合多种材料及性能要求的高光检测方法需要既能适应各种低纹理材质、又能保证高光区域完整。

1.2高光区域修复问题分析

包含信息远多于单幅图像的图像序列降低了高光修复难度。高光区域会根据拍摄位置不同发生移位或隐现，解决了单幅图像反射模型的病态条件，近乎完美地恢复参考图像的高光区域而不必做邻域近似。但带来的问题是如何匹配多副图像的相对于参考图像的高光区域。基于纹理特征的匹配算法要么难以从图像上提取到足够数量的特征，要么产生大量弱匹配特征点，导致大量计算冗余和误匹配;而不同角度拍摄的图像亮度不同，图像融合时容易在导人的信息与源图像之间出现明显拼接痕迹，影响修复效果。

1.3基于形态学与小波的高光检测与修复方法原理

针对上述问题，本文提出了基于形态学重建和小波变换的高光检测与修复方法，流程如图1所示，在高光区域检测中结合了显著性算法与形态学操作，首先将显著性算法的结果进行形态学腐蚀，剔除其他无关区域，然后使用形态学重建恢复，实现低纹理材质检测尽可能完整和准确的高光区域。在高光区域修复方面，利用小波变换的多分辨率性和时频共存特性，利用图像的各个分量，配准参考帧与信息帧的位置，从而降低了对于纹理的依赖，并将参考帧的高光区域利用信息帧中对应无高光影响的区域进行融合修复。

2高光区域检测

对于带有干扰噪声的大面积区域图像分割问题，噪声与待分割区域具有相同灰度特性。本文研究对象的图像显著性不仅含有高光区域，白色背景以及图像中的脉冲噪声也具有较高的灰度值，因此单独使用显著性算法，会将非高光区域误分割，以图2所示为例，图2（a）为带有高光区域的地下排水管道内窥图像，图2（b）为显著性区域分割结果，可见除了高光区域外，图中左上角、右侧噪声及水中倒影部分等非高光也被当作高光区域。本文利用形态学重建检测高光区域是基于测地膨胀的连通域完全重建算法，该方法可解决这一问题，如图3所示，图3（a）为经过形态学腐蚀后残留的高光区域，对图3（a）进行膨胀，并将膨胀结果和图2（b）相与，重复多次后即可得到结果图3（b），圖中可见在高光区域被完整检测出来的基础上，其他非高光区域噪声全被滤除。计算一次测地膨胀的结果：

3高光区域修复

低纹理图像难以根据灰度梯度获取特征点进行匹配，小波变换将图像频域特性以金字塔的形式逐层给出，通过分析每一层的直流、水平、竖直以及斜边特征，能够丰富图像的频域信息，有利于后续图像匹配，如图4（a）为瓷砖材质高光图像，其纹理相对简单，除高光区域外，其他部位相似度较高;经过五层小波变换后，如图4（b）所示，可以看到较为丰富的图像细特征，小波变换的基本形式为：

5）重复步骤1），直到融合到第一层，得到最终融合结果。

验证发现，在步骤1）中，子图像尺寸应为原图尺寸的1/2⁴～1/2³，且对图像进行3层小波分解并取参考的前后各5连续帧作为信息帧时，修复效果较好。

4实验测试

测试硬件平台为NVIDIA Jetson Tx2，运行模式选择为Max-Q，此时CPU主频为1-2GHz，核心数为4、RAM 4G。系统环境为Ubuntul6.04，使用Open-CV3.4及Matlab图形库编程。使用搭载SDl090工业型全方位变焦彩色摄像头的CCTV管道检测六轮驱动爬行机器人系统，其影像模块包括44万像素分辨率的SONY 530线图像传感器、4颗高亮度LED主光源以及6颗环形无影LED辅助光源，采集对象为直径1500mm的混凝土及金属管道内壁图像序列。测试本文方法去高光效果，如图6、图7所示，两图中（a）为高光图，（b）为高光检测二值图结果，（c）为修复结果，如图8、9所示是文黼4，5，9]两种管道去高光方法，其中（a）～（d）分别为本文及文献14，5，9]去高光效果;图8（b）（文献[4]）高光区域面积最小，但细节部分丢失，本文方法图8（a）在次小高光面积下保留了大部分缺陷细节;图9（c）（文献[5]）与本文图9（a）去除高光方法效果相近，但同时去除了部分由于错口产生的非高光区域。

管道内壁缺陷检测不仅依赖高光处理，也取决于检测系统所用光源。为客观测试本方法去高光效果，使用图漾深度三维相机FM810的彩色通道，在固定光源下采集胶合板桌面、瓷砖面、金属表面、胶皮表面、纸箱平面等对象的320x240图像序列。这些材质常见高光区域且具有广泛代表性，不仅包含了管道检测，也涵盖了各类制造检测行业。处理结果分别如图10-14所示，（a）为参考帧，（b～c）为从参考帧的信息帧中选取的两帧，（d）为高光区域检测结果的二值图像，（e）为经本文方法处理后的参考图，（f）为无高光原始图。通过观察（d）可知本文方法能够完整地检测图像中的高光区域，通过比较（e）与（f），高光区域复原效果良好。通过对图10～14的（e）与（f）图像差值计算得到均值与方差，并根据式（8）得到（e）与（f）的相关系数，计算两幅图像的相似程度得表2，从表中得到各组图（e）和（f）差值图像均值与方差近似为0，相似度接近为1，表明修复的参考帧与原始图像相似度高，高光区域的复原效果良好。选取表2中材质1、2对应图10、11相似度最低与最高的两组图像，将本文方法与文献14，5，9]进行对比，对比如图15-17所示。

其中（a）和（c）分别为胶合板与瓷砖材质图像的高光区域检测结果的二值图像，（b）与（d）为对应高光修复结果，表3为3种方法得到的差值图像统计特性表，表中结果表明本文方法在材质1与2的纹理图像中，相对于文献的方法具有较好修复能力。其中，对于材质1，本文方法相似度较3种文献方法分别提高了7.6%、4.5%、15.4%，对于材质2分别提高了4.9%、14.1%、1.2%。

针对高纹理对象的高光修复问题，本方法与文献[4，5，9]进行了对比，如图18所示，（a）与（b）分别为高纹理对象的高光图和原始图，（c）～（f）分别为本文方法与其他3种方法的去高光效果图，通过观察验证可见，本方法细节还原程度与修复效果较其他3种方法更优。

5结束语

本文面向低纹理图像的高光修复结合了显著区域检测和形态学修复方法，可以准确有效定位高光区域，再使用多层小波变换提取图形深层特征，降低了图序列高光修复问题中对纹理的依赖性。通过应用于排水管道内壁、多种低纹理工业材料和高纹理图像等各类图像高光修复，性能对比表明，本方法具有修复效果更好、可同时应用在多种材料的高光区域处理的优点，应用前景较好。目前本方法需要根据测试对象人工设定形态学修复及小波参数，以后可进一步利用图像质量评价系数自适应调整形态学修复阶数，建立小波修复效果闭环评价系统，动态修改小波参数，提高算法的智能化程度。