齐凤莲,张乐朋,张帼英
(1.沈阳建筑大学 机械工程学院,辽宁 沈阳 110168;2.内蒙古北方重工业集团有限公司,内蒙古包头 014000)
随着我国经济的发展,石材行业得到了飞速发展,石材的自动化识别、检测设备也得到大力应用[1]。石材的颜色影响着石材的种类和品质评价,图像处理获取石材颜色方便有效,但不同强度环境光的条件下,图像的颜色会发生一定变化,颜色恒常性计算是消除光照对图像颜色影响的有效方法。本文即在它的基础上,研究合适的方法,对图像进行颜色校正,还原石材更加真实有效的颜色值,为石材后续的识别、分类和评价等流程提供基础,具有很高的应用价值。
光照的变化会使图像颜色发生亮暗及变色的现象,人的视觉系统能够消除光照对颜色的影响,还原物体表面本来的颜色特性,这种视觉功能称为颜色恒常性[2]。单一光照条件的颜色恒常性计算方法是首先进行光照估计,之后通过Von Kries对角模型[3]将未知光照下的图像颜色转换到标准光照下的颜色。Grey-World算法的光照估计是RGB三个颜色通道的平均灰度值,max-RGB算法的光照估计是三个通道的最大灰度值。Finlayson等[4]将闵科夫斯范式引入,提出了Shades of Grey算法,Weijer等[5]用图像颜色导数分布特点进行光照估计,提出了Grey Edge算法,该算法是一个颜色恒常性计算框架[6],如表1所示。完美反射算法类似max-RGB算法,它假设图像中最亮的点就是白点,通过设定参考阈值的方法计算颜色校正系数,完成颜色变换[7]。针对Grey-World算法图像中颜色较单一时算法性能会下降的特点,徐晓昭等[8]提出了一种图像熵约束算法。
表1 Grey Edge算法框架
颜色校正的评价通常是以Lab颜色模型或HSV颜色模型下的标准图像颜色和样本图像校正颜色的色差为标准[9],运用欧氏距离计算色差,色差越小,说明两种颜色越接近。Lab颜色模型的欧氏距离色差计算如式(1)所示,△L,△a,△b分别代表两个像素的Lab颜色模型三个颜色分量的差值。
对上文的6种算法进行石材图像颜色校正实验,实验中发现颜色校正的效果不理想。
图1从前往后分别代表样本标准图、样本原图、图像熵约束算法图、Gray Edge算法图、Gray-World算法图、max-RGB算法图、完美反射算法图和Shades of Grey算法图。笔者综合考虑了算法的计算复杂程度、理论的优化难度以及校正效果等因素决定对图像熵约束算法和完美反射算法进行改进。
图1 石材图像不同算法颜色校正对比图
完美反射算法的计算过程是:
(1)统计RGB图像各像素的R+G+B灰度值之和的直方图h。
(2)找到RGB图像中三通道各自的最大值Rmax、Gmax、Bmax。
(3)设定比例值r,根据直方图值的大小计算出相应比例白色参考点的灰度阈值T。
(4)找到RGB图像中R+G+B值大于T的像素,并计算它们对应的各个通道的平均值,得到Ravg、Gavg、Bavg;
(5)根据fout=f×fmax/favg(f=R,G,B)分别计算RGB图像三个通道的颜色变换值,并做防溢出处理。
笔者认为,在完美反射算法fout=f×fmax/favg的转换公式中,可以把待测RGB图像各通道灰度值的最大值(fmax)作为它的白光参考值,将计算得出的高于阈值的灰度值平均值(favg)作为标准白光参考值,形成新的变换系数,这样改进可以增大变换系数,减轻图像校正时颜色过暗的情况,增强颜色校正效果。改进的完美反射算法计算过程与上文中提到的完美反射算法过程一样,只是最后要根据公式fout=(f×favg)/fmax完成变换,得到颜色校正结果。
图像熵是图像所包含信息的一种统计形式,它反映了图像中平均信息量的多少。图像颜色种类越少,图像熵值越接近0,颜色校正的“图像熵约束”变换系数值越接近于1,此时图像颜色校正处理的程度越低。笔者在原图像熵算法的基础上用RGB图像三个通道的加权平均图像熵代替原算法三个通道各自的图像熵,它的加权平均权值是根据灰度变换时人眼对颜色感知度不同的特点得来的[10],改进的算法计算过程是:
(1)对RGB图像的三个颜色通道分别计算一维图像熵En,归一化处理得到En',如式(2)所示。式中,n=R,G,B;Pn,i表示n通道的灰度值为i的像素在图像中所占的比例。
(3)由E=0.299ER'+0.587EG'+0.114EB'计算加权平均图像熵E。
(4)根据kn'=(kn-1)·E+1计算加权平均图像熵约束算法的变换系数kn'。
(5)根据fn'=fn×kn'分别计算RGB图像(f)三个通道的颜色变换值,做防溢出处理。
实验分为三部分,分别是加权平均图像熵约束算法对比实验,改进的完美反射算法对比实验以及算法综合对比实验。实验方法是对9组600×600分辨率的石材图像进行颜色校正,每组图像有三张不同光照强度下采集的图像样本,用Lab颜色模型的欧氏距离计算其与标准图像的色差,所得的数据再求平均值,根据色差大小判断颜色校正的效果。
图2和图3为两种图像熵约束算法的山水砂石材图像测试结果,图2从左往右分别为标准图、样本原图、图像熵约束算法图和加权平均图像熵约束算法图,图4表示这两种算法每组图像的平均色差值的差,可以得到这两种算法更明显的对比结果。
图3 两种算法的山水砂图像色差图
图4 两种算法的平均色差差值图
从图3可知加权平均图像熵算法(Egw-N)的色差值低于未校正时(original)的色差值,并且效果优于图像熵约束算法(Egw);图4可知除了第1组和第8组石材图像以外,两者差值都小于或等于0,说明加权平均图像熵约束算法得到的色差值都小于或等于原图像熵约束算法的色差,而这两组图像的色差差值在0.05以内,数值较小,人眼感知区别不大。综上所述,加权平均图像熵约束算法可以实现石材图像颜色校正降低色差的效果。
完美反射算法的效果受到比例值r的影响,经过笔者的多次实验,比例值r为0.01时,改进的完美反射算法颜色校正效果最佳。对这两种完美反射算法分别进行颜色校正实验,图5从左往右分别为黑白根图像的标准图、样本原图、完美反射算法图和改进的完美反射算法图。由图5和图6可知,完美反射算法没有实现色差的降低,而改进的完美反射算法实现了明显的降低色差效果。由图7可以看出所有样本的平均色差差值都为负数,改进的完美反射算法校正效果更好。
图5 完美反射算法颜色校正对比图
图6 两种算法的黑白根图像色差图
图7 两种算法的平均色差差值对比图
选择加权平均图像熵约束算法、Gray Edge算法、Gray-World算法、max-RGB算法、改进的完美反射算法和Shades of Gray算法进行综合实验,分别用Egw-N、ge、gw、mRGB、pf-N、sog表示,由图8分析可知,虽然加权平均熵约束算法改善了颜色校正效果,但大部分图像并没有实现降低色差的目的,只有改进的完美反射算法明显的降低了色差。图9表示9组图像改进的完美反射算法校正后与校正前的平均色差值的差值曲线图,除了第二组色差变大以外其余的图像都能实现色差降低的目的。因此,选择此算法作为石材图像颜色校正的算法。
图8 颜色校正算法的平均色差值比较图
图9 改进的完美反射算法差值图
为了进一步验证改进的完美反射算法的有效性,重新选择20组分辨率300×300的石材图像,分别在Lab颜色模型和HSV颜色模型下根据欧氏距离计算色差,并计算各组图像改进的完美反射算法颜色校正后与校正前的平均色差的差值。
图10 20组图像改进的完美反射算法差值图
除了第8、10、13、15组石材图像色差变大以外,其余图像经过颜色校正都能实现色差降低的目的,而这色差变大的4组,误差也在较小范围内,尤其是HSV颜色模型的色差差值在0.06以内,对后续HSV颜色模型的颜色识别、匹配等图像处理的过程影响较小。所以,综合来说,本文改进的完美反射算法能较好地完成石材图像的颜色校正任务。
图11 改进的完美反射算法颜色校正对比图
本文基于颜色恒常性原理,分析比较了已有的颜色校正算法,并提出了改进的完美反射算法和加权平均图像熵约束算法。改进的完美反射算法擅长处理亮色图像,能实现明显的颜色校正降低色差的效果,为获得亮色图像,采集图像过程中只要尽量避免过暗的光照环境即可实现,石材检测车间也能保证该环境条件。因此,改进的完美反射算法能够有效应用在石材图像的颜色校正上,为后续的石材图像处理环节提供更有效的颜色数据,具有较高的应用价值。