一种强反射表面高光去除方法

林刚 魏欣 吕哲 余志坚 胡思亲

摘要：针对陶瓷、塑料和玻璃等材质在较为复杂的曲面形状下容易产生多区域、大面积的过饱和高光反射以及光照不均等现象，传统基于局部区域的高光去除方法存在工作量大且效果不佳的问题，难以达到预期目标。因此，本文提出一种基于多角度光源采集的多幅图像，结合整体图像融合和同态滤波方法，实现高光图像整体去除，极大缓解光照不均的问题，提高图像整体质量。为了验证此方法的普适性和鲁棒性，使用此方法分别对手机外壳、矿泉水瓶、塑料袋、金属零件、玻璃瓶和陶瓷盘等六种不同材质或空间形状进行高光去除实验。实验结果表明，本文提出的高光去除方法能有效去除图像的所有高光区域，显著缓解图像光照不均问题，增强图像对比度，特别是对存在大面积高光或暗影区域的图像的质量改善具有显著作用。

关键词：高光去除；图像融合；同态滤波

中图分类号：TP18        文献标识码：A

文章编号：1009-3044（2024）08-0020-04

开放科学（资源服务）标识码（OSID）

0 引言

随着科学技术的高速发展，机器视觉的理论和实践也在不断完善和走向成熟，在工业界也得到了越来越广泛的应用。将机器视觉用于检测金属、玻璃、皮质、陶瓷等低纹理材料的曲率、尺寸、裂痕缺陷等，这些材料往往具有光滑曲面和无纹理的特性，并且经常需要被加工成各种复杂的曲面形状，从而产生高光区域和光照不均现象，可能会覆盖有效的纹理信息，甚至是导致局部纹理信息完全丢失。机器视觉用于检测物体缺陷的第一步便是采集到对比度高、光照均匀的高质量图像，这是机器视觉运用在工业检测的起始点。因此，多年来，图像的高光去除和光照不均的解决一直都是图像处理领域的关键点和难点所在。

目前，基于高光去除的图像修复技术按照输入图像数量分为单幅和多幅图像处理方法两大类。前者最早由Shafer[1]提出，他提出物体表面光线由镜面反射和漫反射两部分构成的双色反射模型，奠定了基于光谱分析和颜色统计的高光去除方法的基础。按照处理方法的不同，可以細分为颜色空间分析、像素空间领域分析和其他方法三大类，分离出图像的高光反射分量（specular component） 和漫反射分量（diffuse component） 。在颜色空间分析方面，Klinker等[2]人根据漫反射像素和高光区域像素的T型分布规律，将颜色矢量进一步分离成物体表面本身和光源本身的颜色矢量，从而达到高光去除的目的。在像素空间领域分析方面，Tan等[3]利用高光区域周围像素的颜色和纹理信息，基于补色理论去除高光区域。在其他方法方面，Pesal等[4]利用主成分分析法和直方图均衡化实现高光去除。

另外一类是多幅图像的处理方法，这里又可以细分为多光源法和多视角法两种。在多光源法方面，Lin 等[5]通过不同角度光源采集的两张图像，并基于线性基底函数去除非透明物体表面高光；Feris 等[6]利用四个闪光灯获取四张彩图图像，使用中值梯度图来进行复原，弱化高光区域；Agrawal等[7]基于相干图和梯度向量场复原图像去除高光。在多视角法方面，Lee[8]最早在1992年通过对高光区域周围的纹理特征的分析，对多幅不同视角图像进行匹配融合处理，复原高光区域的同时，尽可能保留原始纹理信息，这也是基于多视角下高光去除方法主要理论指导；汪铖杰[9]通过匹配融合不同视角塑料薄膜图像的特征轮廓去除其高光区域；何嘉林[10]使用ORB方法进行特征点匹配，基于泊松融合的思想实现不同视角图像的高光去除。

综上所述，目前两种高光去除方法在不同的方面存在一些问题。对于基于单幅图片的方法，存在一些共同的局限性。1） 无法区分高光和白色物体表面。2） 物体表面材质必须满足双色反射模型。3） 只能解决不饱和高光区域。因此，这些方法对物体材质和光照条件都有着相当苛刻的要求。在多幅图片的方法，多视角方法通常存在立体视觉匹配问题，基于SURF[11]特征描述子等方法，用于解决多幅图像的坐标匹配问题，但对于陶瓷等物体来说，由于无纹理的客观条件，导致特征匹配效果极差，甚至把不同视角的图像中的高光区域进行错误的匹配，会严重影响后续的高光去除效果；而多光源方法，虽然不用考虑不同图像之间的匹配问题，但是后续的高光区域的检测和复原步骤中，则可能出现高光区域提取不准确、复原算法复杂、适应性较差等问题。针对以上两种方法存在的问题，考虑到陶瓷胚盘等材质物体高光去除的特点和难点，本文基于多光源和多视角相结合的思想，采用多光源方法采集高光不重叠的多幅图像，在对应位置最小灰度值方法取代多视角方法中较为复杂的图像融合方法，然后将融合后的图像从RGB空间变换到HSV空间中，使用同态滤波算法处理V通道图像，将处理后的V通道图像与之前的H和S通道图像重新组合，最后重新转换回到RGB空间。这种方法在保持图像颜色信息的同时，解决了融合算法导致图像整体偏暗、对比度偏低和光照不均匀等问题。

1 图像采集

针对多幅图像的配准和变换矩阵的问题，本文采用多光源方法，在特定位置分别布置多个光源（此处选取三个）达到获取多幅图像的目的，如图1所示，详细步骤如下：

1） 按图1所示场景布置整个采集系统，固定相机和陶瓷产品的位置，并且整个采集系统使用黑布遮盖。

2） 使三个光源相对于相机和物体分布在同一高度，三个光源各自相距120度，同时，保持同样大小型号和功率的光源，并保持初始状态下只有其中一个光源开启，其他两个光源处于闭合状态。

3） 拍摄初始光源的图像，然后关闭此光源，依次开启和关闭其他两个光源，得到另外两张图像，总共得到三张多光源图像以进行后续流程。

4） 拍完第三张图像之后，不关闭此光源，把此光源当作下一个物体的初始光源，让2、3步骤依次反复进行，得到一系列所需的多幅图像。

经过本文设计的图像采集系统的步骤得到的3幅图像，因为相机和物体固定的原因，就保证了3幅图像的视角相同，焦距相同，前景目标的位置也相同，只有高光区域的位置不同。这样就可以省去比较复杂的图像配准得到变换矩阵的步骤，可以降低算法复杂度和提高整体的图像处理效率。

2 MIF-HF方法高光去除

2.1 多光源图像融合

多光源图像融合方法通过分别开启各角度光源，控制相机拍摄图像。将光源开启下所拍摄的多张灰度图像利用具有某种准则的融合算法，合成一张新的图像，从而避免因为镜面反射等因素所造成的日用陶瓷成像不佳的问题，降低后续图像处理的难度。为了降低拍摄系统的复杂性，本算法采用3个角度光源进行图像融合。

考虑到陶瓷材质的强反射特性，在成像时，会产生较大面积和较为强烈的高光区域，高光去除难度较大。因此，在有了3幅高光区域不重叠图像的前提下，使用基于最小灰度值的方法进行图像融合。具体的计算公式如下：

[Inewu，v=minIRu，v，IGu，v，IBu，vu∈1，m;v∈1，n] （1）

式中，m和n分别为图像的宽和高，[IRu，v，IGu，v，IBu，v]为采集的三张图像分别在RGB三通道对应[u，v]坐标位置的灰度值，[Inewu，v]是融合后的新图像。

根据上述融合算法公式，可以对采集的多光源图像进行融合处理。融合后的图像可以完全去除高光区域，高光去除前后的对比如图2所示。

在图2中，（a）、（b）、（c）和（e）、（f）、（g）分别为两组高光去除前的图像，（d）和（h）为去除高光后的图像。通过对比，可以看出此图像融合方法能够很好地去除高光区域。然而，去除高光后图像的亮度和对比度偏低，因此需要使用图像增强技术进行调整。

2.2 同态滤波增强

针对前面高光去除算法带来的亮度和对比度偏低的问题，可以采用同态滤波[12]方法进行图像增强，同态滤波最大的优点在于可以消除不均匀照度的影响而又不过分损失图像细节纹理信息。根据照射-反射模型[13]，一幅图像[fx，y]可以表示为其照射分量[ix，y]和反射分量[rx，y]的乘积，反射模型为：

[fx，y=ix，y?rx，y]  （2）

式中，[f（x，y）]为原图像; [i（x，y）]为照射分量；[r（x，y）]为反射分量。将公式（2）两边取对数，得到：

[fx，y=Inix，y+Inrx，y] （3）

将公式（3） 做傅立叶变换：

[Fx，y=Ix，y+Rx，y]  （4）

用频域增强传递函数[H（x，y）]处理[F（x，y）]，得到：

[Fx，y?Hx，y=Ix，y?Hx，y+Rx，y?Hx，y]  （5）

式中，[H（x，y）]为同态滤波传递函数，这里取高频增强滤波器，非常接近于高斯高通滤波器，公式为：

[Hx，y=H-L?1-exp-k?D2x，y2?D20+L]  （6）

式中，[H]为高频增益，[L]为低频增益，[D0]为截止频率，[k]为锐化系数，以点 [（x0，y0）]为滤波中心的频域距离计算公式为：

[Dx，y=x-x02+y-y0212]  （7）

将频域增强后的图像变换到空域中，得到：

[f*（x，y）=i*（x，y）*r*（x，y）]   （8）

将上式两边取指数进行还原，得到：

[expf*（x，y）=expi*（x，y）*expr*（x，y）]  （9）

通过如下公式：

[f**（x，y）=expf*（x，y）i**（x，y）=expi*（x，y）r**（x，y）=expr*（x，y）] （10）

可以得到：

[f**（x，y）=i**（x，y）*r**（x，y）] （11）

本文选取同态滤波系数中的H=2.5，L=0.5，k=1，D0=500，截止频率D0为经验值和反复调试后的结果。原始图像[fx，y]经过上述步骤同态滤波处理后，得到亮度均衡且对比度较高的高质量增强图像[f**（x，y）]。然而，同態滤波只能处理单通道图像。如果将原始RGB三通道图像转换成灰度图像进行同态滤波，最后得到的也是灰度图像，会丢失原本丰富的颜色细节，若对RGB三通道图像拆分后，分别进行同态滤波增强，最后重新合并后的三通道图像效果很差。针对这两种处理方法，笔者已经进行了多次尝试，但存在一定问题。因此，本文采用将原始图像从RGB空间转换到HSV空间，HSV是一种比较直观的颜色空间。在HSV空间中，H代表色调（Hue） ，S代表饱和度（Saturation） ，V代表明度（Value） ，我们可以改变明度，而不影响色调和饱和度，可以尽可能保留原始的颜色细节。这种特性刚好解决了本文的问题。只对明度通道进行同态滤波，色度和饱和度保持不变。再将同态滤波增强后的明度通道和原始的色度和饱和度合并，最后转换到RGB颜色空间中，就能较好地解决此问题。

对陶瓷样本进行同态滤波增强前后的图像如图3所示。

图3中，（a）和（b）为同态滤波前的图像，（c）和（d）为同态滤波后的图像。可以看到，经过同态滤波后的图像，亮度和对比度都明显提高。

3 实验及分析

本文实验采用的硬件配置包括CPU 3.60 GHz （R） W-2133、RAM 64G、Windows 10 64位操作系统。编译软件为Python 3.6.0和OpenCV 3.4.2.16。采集设备为铝合金制作的暗室，配备一台大恒图像的工业相机和三个LOTS乐视机环形光源。本文利用图1中的图像采集系统分别采集了其他6种不同材质的物品图像，包括手机充电器、手机套背面、金属套筒、玻璃烧杯、塑料袋和矿泉水瓶。具体实验对象分布如表1所示，旨在验证本文方法的通用性和适应性。

3.1 定性分析

定性分析是通過人眼主观感受来观察高光去除方法处理前后结果的直观视觉效果，以判断亮度是否更加均衡，图像质量是否更高。本文选取了手机外壳、矿泉水瓶、塑料袋、金属零件、玻璃瓶和日用陶瓷盘等6种不同材质和空间形状的图像作为实验对象，图4展示了同态滤波处理前后的效果。

从图4中可以观察到，同态滤波处理前的图像虽然成功去除了高光区域，但整体偏暗，且在曲率较大的地方出现了光照不均匀的问题，纹理信息也不明显。特别是金属零件和玻璃瓶由于物体本身的空间形状导致了较大面积的高光和暗影区域，影响了图像的观感和质量，也不利于后续的图像处理操作。

而经过同态滤波处理后的图像，则克服了上述问题，使得6种材质图像的整体亮度适中，光照不均问题得到了缓解，纹理信息变得更加明显。特别是金属零件和玻璃瓶处理后的效果尤为显著。本文方法处理后的图像具有更好的视觉效果，亮度适中，对比度也显著提高。

3.2 定量分析

在定量分析方面，通常使用常见的图像评价指标参数，如峰值信噪比、信息熵、平均相似度等。然而，本文提出的方法不仅可以解决物体成像中较大面积高光和暗影区域的问题，还可以去除图像的高光区域，同时调整图像整体的对比度，使图像的亮度更加均匀，是一种全局的图像增强方法。这种方法不可避免地会较大程度地改变原始图像的灰度值，导致这些评价指标很难完全反映本文方法的优越性和有效性。因此，在这里只使用对比度作为客观评价指标。

对比度[14]是反映图像纹理等特征清晰度的指标。对比度越大，表明图像的纹理特征越清晰；相反，对比度越小，表明图像的纹理越模糊。对比度的计算公式如下：

[C=δδ（i，j）2Pδ（i，j）] （12）

式中，[δi，j]为相邻像素间的灰度差值，[Pδi，j]为相邻像素间灰度差为[δ]的像素分布概率。

实验结果如表1所示，我们可以看出，6种不同材质物体的实验结果表明，所有实验样本图像经过同态滤波处理后，平均亮度和对比度两个指标都有了显著的提高。

综上所述，本文提出的方法不仅能有效去除图像高光区域，同时还能极大地改善物体光照不均匀现象。通过定量和定性的观察分析，结果表明本文提出的方法对高光图像进行处理后，图像纹理更加清晰，效果更好，质量更高。

4 结束语

为了解决光滑曲面材质形成的镜面反射导致的高光和光照不均问题，本文提出了一种将图像融合与同态滤波相结合的图像处理方法。首先构建了不同光源角度下的多幅图像采集装置，确保不同角度下图像高光区域位于不同位置。使用基于最小像素值方法对多幅图像进行融合，彻底消除图像的高光区域。融合后的图像虽然去除了高光区域，但随之而来的是图像整体亮度偏低，对比度偏低的问题。为了解决这一问题，首先将融合后的图像从传统的RGB空间转换到HSV空间，对亮度通道V进行同态滤波处理，调整其亮度值和对比度。然后将处理后的V通道图像重新组合，重新转换到RGB空间，完成整个高光去除过程，得到处理后的RGB三通道图像。这种方法不仅去除了图像的高光，还极大地改善了图像的亮度不均等问题，显著提高了图像的整体质量，是一种全局的图像处理方法。

在整个处理过程中，关于同态滤波算法中截止频率的选择，本文通过大量的实验验证，不同的截止频率对实验中的六种不同实验组的影响非常小。最重要的是图像采集过程，通过不同角度光源采集的多幅图像，虽然设置了严格的实验条件，如亮度相同、角度和高度均匀分布，但在实际操作中，往往无法确保图像采集条件与理论情况完全一致。本文在实际的图像采集阶段也只能尽量确保实验条件接近理想情况，并通过实验验证了本文提出的算法对实际图像采集条件具有较大的适应性和通用性。唯一需要注意的是，要尽可能保证均匀分布的光源使得不同光源角度下的图像光源位于不同的区域位置，才能更好地使用本文算法达到最理想的处理效果。

参考文献：

[1] SHAFER S A.Using color to separate reflection components[J].Color Research & Application，1985，10（4）：210-218.

[2] KLINKER G J，SHAFER S A，KANADE T.The measurement of highlights in color images[J].International Journal of Computer Vision，1988，2（1）：7-32.

[3] TAN R T，IKEUCHI K.Separating reflection components of textured surfaces using a single image[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（2）：178-193.

[4] Pesal K， Markku H K.， Jussi， P. Highlight removal from single image [J]. Advanced Concepts for Intelligent Vision Systems， 2009， 58（7）： 176-187..

[5] LIN S，SHUM H Y.Separation of diffuse and specular reflection in color images[C]//Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.CVPR 2001.Kauai，HI，USA.IEEE Comput.Soc，2001：341-346.

[6] FERIS R，RASKAR R，TAN K H，et al.Specular reflection reduction with multi-flash imaging[C]//Proceedings.17th Brazilian Symposium on Computer Graphics and Image Processing.Curitiba，Brazil.IEEE Comput.Soc，2004：316-321.

[7] AGRAWAL A，RASKAR R，NAYAR S K，et al.Removing photography artifacts using gradient projection and flash-exposure sampling[J].ACM Transactions on Graphics，2005，24（3）：828-835.

[8] LEE S W，BAJCSY R.Detection of specularity using color and multiple views[M].Computer Vision - ECCV'92.Berlin，Heidelberg：Springer Berlin Heidelberg，1992：99-114.

[9] 汪鋮杰.基于多视角的去高光技术及应用[D].上海：上海交通大学，2014.

[10] 何嘉林，唐露新，林永强.基于融合技术的图像去高光方法[J].科学技术创新，2018（6）：90-92.

[11] SONG Z L，ZHANG J P.Remote sensing image registration based on retrofitted SURF algorithm and trajectories generated from lissajous figures[J].IEEE Geoscience and Remote Sensing Letters，2010，7（3）：491-495.

[12] 朱志勋，赵磊，李恒，等.基于改进的同态滤波与Canny算法的磁瓦表面缺陷检测算法研究[J/OL].激光与光电子学展，2021：1-12.（2021-08-05）[2022-07-04].https：//kns.cnki.net/kcms/detail/31.1690.tn.20210804.1202.040.html.

[13] GONZALEZRC， WOODSRE. DIGITAL image processing[J]. Prentice Hall International ， 2008， 28（4）： 484-486

[14] 蔡文婷，赵书河，王亚梅，等.结合Sentinel-2光谱与纹理信息的冬小麦作物茬覆盖度估算[J].遥感学报，2020，24（9）：1108-1119.

【通联编辑：唐一东】