张志成 ,吴 箭 ,杨泽会 ,李正莹 ,张晓兵 ,王 昕 ,李瑞东 ,吕小芳 ,彭云发 ,徐梦瑶
(1.云南烟叶复烤有限责任公司宣威复烤厂,云南 曲靖 655400;2.浙江中烟工业有限责任公司技术中心,浙江 杭州 310024;3.浙江中烟工业有限责任公司物资部,浙江 杭州 310002;4.云南烟叶复烤有限责任公司技术中心,云南 昆明 650000;5.上海创和亿电子科技发展有限公司,上海 200084)
烟叶作为一种植物,其生长过程及形成状态与大多植物一样,受光合作用、海拔高度、土壤类型的影响,会形成相对类似却又无一相同的状态,颜色、外观均如此[1-3]。在评价烟叶外观质量的时候,烟叶的颜色信息是至关重要的评价指标之一,烟叶的颜色深浅、颜色均匀性对于烟叶分级都有很重大的影响[4]。烟叶颜色可分为柠檬黄、橘黄、红棕等类别[5],不同产地、部位等级的烟叶颜色具有差异性。以往烟叶颜色的差异性仅能通过专家肉眼来辨别,很多时候受人为因素、外界环境等的影响,即使是相同的烟叶,不同专家的判别结果也不尽相同。
随着工业视觉技术的崛起,目前已经有通过视觉检测来实现烟叶颜色检测的技术[6]。视觉检测技术可以消除人为因素影响,对烟叶颜色的判别工作进行量化与标准化,因此更加客观与科学[7]。目前工业视觉检测技术已成为工农业加工过程中必不可少的检测手段之一,通过RGB8 等真彩数字图像能够有效还原被测物的真实颜色,对于数字化处理及表征有着重大的帮助[8]。在色彩空间中,诸如RGB 色彩空间、HSV 色彩空间、Lab 色彩空间等,均广泛应用于各行各业的真彩检测表征中,涉及领域不同,所选择的色彩空间也不同。
RGB是最常见并且最容易获取的颜色信息,但是容易受到光照影响;HSV 是最接近人类肉眼识别程度的直观型颜色空间,但是不适合在光线混合的情况下使用;Lab分辨色差的能力强,对拍摄图像的设备要求比较低[9-11]。每种颜色空间均有优缺点,且每种颜色空间下具有多个颜色分量,因此可考虑将多个颜色空间分量值进行融合,使用综合值对烟叶颜色进行表征[3]。
本文以云南产地烟叶为研究对象,分别提取烟叶图像3 个颜色空间RGB、HSV、Lab 的3 种基础颜色分量值以及灰度值,共计10 个值,并使用投影寻踪(Projection Pursuit)算法将各颜色分量通过组合投影到低维子空间,通过遗传算法求解优化投影指标函数,寻找能反映各颜色分量特征的最佳投影方向。
试验材料为选后原烟,产地包含云南宣威、云南陆良、云南红河3 个产地,部位涵盖上部、中部和下部3个部位,烟叶图像样本数量为1 000 张。
烟叶图像采集设备:烟叶综合测试平台(上海创和亿电子科技发展有限公司,中国),型号为GTM-600。内置工业相机(FILR,加拿大),1 200万全局曝光彩色相机;内置光源(上海嘉励自动化科技有限公司,中国),平面无影光源(PCO 系列),打光方式:四周打光并配合顶部打光。拍摄设备为密封状态,保证不受外界光源干扰。
1.3.1 颜色空间介绍
RGB 是红色、绿色、蓝色3 种颜色叠加而成的一种颜色空间,其色彩模式结构为正方体模型,如图1所示,其中3 个轴分别为R、G、B,原点对应黑色,离原点最远的点对应白色,其余各点对应不同的颜色,可用从原点到该点的向量(RGB)表示[12-13]。
图1 RGB 颜色空间模型
HSV 颜色空间是面向用户的,是根据人观察色彩的生理特征而提出的颜色模型。图像由RGB 颜色空间转换为HSV颜色空间的公式[14-15]为:
式中,R、G、B分别为图像在HSV 颜色空间中不同通道的像素值;H、S、V分别为HSV 颜色空间的明度值、饱和度值、色调值。
Lab 颜色空间L、a、b分量可以表示其他颜色,其最大特点是明度和颜色不在同一个通道里面,L分量只有明度,而a、b分量只有颜色。具体表现为:在a、b分量中,对象轮廓清晰并且Lab 颜色空间分辨色差的能力很强[9]。由RGB 颜色空间转化为Lab 颜色空间的公式[16-19]为:
式中,X、Y、Z均为中间变量。
1.3.2 建模方法
1)采集烟叶样本图像。
2)对采集后的烟叶图像进行预处理,并进行彩色图像分割,将背景颜色分量置零,提取烟叶部分的RGB、HSV、Lab 颜色空间各颜色分量值和灰度值(R、G、B、H、S、V、L、a、b、gray)。
3)设原烟样本的各颜色空间分量值为n行m列的矩阵,记为x1,其中n行代表烟叶样本数,m列代表各颜色空间分量值。
4)利用投影寻踪法对x1进行投影,投影的计算方法如下。
①对光谱矩阵x1进行标准化:
式中,i为颜色值矩阵x1的第i个样本,j为颜色值矩阵x1的第j列。
②随机抽取若干初始投影方向,也即为初始投影向量a(a1,a2,...,am)。
③确定投影目标函数Q(a):
式中,a为所述初始投影向量;Q(a)为所述目标函数;s(a)为所述初始投影向量的散布特性;d(a)为所述初始投影向量的局部密度。
式中,zi为第i个样本序列的投影特征值,̅za为序列zi的投影均值。
式中,rik为任意两个烟叶样本颜色投影特征值间的距离,计算公式如下:
式中,i、k∈[1,n],i、k为整数;n代表烟叶样本数。
式中,R为估计局部散点密度的窗宽参数,按宽度内至少包括一个散点的原则选定,其取值与样本数据结构有关,可确定它的合理取值范围为rmax<R≤2n,其中,rmax=max(rik)(i,k=1,2,…,n)。
④求解线性投影的方向,转化为下列优化问题:
⑤利用遗传算法求解目标函数优化问题,求解出满足上述公式的最佳投影向量a,将烟叶样本颜色值乘以投影向量,即可得到样本的颜色综合值。
烟叶分级人员对烟叶样本按照颜色进行排序,对算法进行验证。
1.3.3 数据集构建
图2 为从1 000 张烟叶中随机挑选出的8 张颜色梯度差异明显的烟叶图像,将其作为测试集,对算法进行验证,其余样本作为训练集。图2(a)至图2(h)分别是烟叶颜色由深至浅排序的结果,烟叶颜色逐渐由红棕、橘黄到柠檬黄转变。
图2 不同颜色梯度的烟叶图像
1.3.4 图像预处理
采用颜色分割的方法剔除图像中的背景,将背景像素值设置为0,如图3 所示,图3(a)为烟叶原始图像,图3(b)为烟叶分割图像。
图3 颜色分割图像
从原图中可以看出,烟叶的RGB 值与背景的RGB 值存在差异,经过分析发现,R<70 并且B>100的为烟叶,因此利用RGB 值的差异性将背景像素值设置为0,可将烟叶分割出来。
1.3.5 模型建立与训练
在多颜色空间下,对烟叶图像中的R、G、B、H、S、V、L、a、b、gray,共计10 个值,进行投影寻踪分析,得出多颜色空间下的颜色综合值,再依次在RGB空间、HSV 空间、Lab 空间下,分别进行投影寻踪分析,依次得出RGB 空间、HSV 空间、Lab 空间下的颜色综合值,用作对比分析。
其中,投影寻踪分析所涉及的遗传算法参数及步骤为:
1)挑选100 个个体形成初始化种群,并将颜色空间颜色分量值的个数设置为优秀个体数量,例如:计算多颜色空间时,优秀个体数即为10,计算RGB 空间时,优秀个体数即为3,以此类推。
2)将投影目标函数Q(a)值作为适应度函数,并设置迭代次数为50,开始循环,图4(a)至图4(d)分别为多颜色空间、RGB 颜色空间、HSV 颜色空间、Lab颜色空间下循环50次的适应度值。
图4 不同颜色空间下的适应度值
3)通过适应度函数构建选择函数,通过选择函数计算出的概率值,从种群中选择若干个体。
4)设置交叉概率为0.8,变异概率为0.2,通过染色体个体基因交叉、变异等产生新个体,形成新种群。
5)进行循环,若终止条件不满足,则转到step3继续进化。
通过不同颜色空间下烟叶的颜色综合值与专家排序结果间的斯皮尔曼相关系数,对不同颜色空间模型进行评估。
图像处理、模型建立、数值计算代码均采用Python语言。
试验材料为1 000 张烟叶图像,其RGB、HSV、Lab 颜色空间下的颜色分量值以及灰度值的描述统计分析如表1所示。
表1 烟叶颜色值描述统计分析
将8 张测试集烟叶图片剔除背景信息后提取烟叶部分的RGB、HSV 和Lab 颜色空间各颜色分量值,同时对烟叶图片进行灰度化处理,提取烟叶的灰度值,表2 为各颜色分量值和灰度值(R、G、B、H、S、V、L、a、b、gray)。
表2 各颜色分量值和灰度值
利用上述遗传算法求解目标函数优化问题,求解出不同颜色空间下满足要求的最佳投影向量,如表3所示。
表3 不同颜色空间下的最佳投影向量
图5 为8 张验证烟叶在多颜色空间、RGB 空间、HSV空间、Lab空间下的颜色综合值的归一化值。
图5 不同颜色空间下的颜色综合值的归一化值
通过图5 的多颜色空间下的颜色综合值数据可以看出,烟叶颜色越深值越大,综合值的归一化值越接近于1;烟叶颜色越浅数值越小,综合值的归一化值越接近于0,因此通过颜色综合值可以很直观地看出烟叶颜色的深浅。
将不同颜色空间下烟叶的颜色综合值与专家排序结果进行对比,计算两者间的斯皮尔曼相关系数,结果如表4所示。
表4 不同颜色空间下颜色综合值与专家排序结果的相关性
表4 的结果表明:融合多颜色空间计算出的颜色表征值与专家排序结果的相关性高于单颜色空间计算出的颜色表征值与专家排序结果的相关性,这表明多颜色空间包含了更多颜色信息,其表征值更能反映烟叶颜色特征。
通过连续采集不同部位等级烟叶样本图像,计算RGB、HSV、Lab 颜色空间和灰度值数据,并借助专业分级人员对试验烟叶颜色进行打分,将多颜色空间的多维数据转换为一维颜色值,并分析了使用多颜色空间的表征方法是否优于单颜色空间。结果表明:1)融合多颜色空间计算出的颜色表征值与专家排序结果的相关系数高达0.98;2)单独使用RGB、HSV、Lab 颜色空间进行颜色表征的相关系数分别为0.95、0.62、0.76,这表明多颜色空间包含了更多颜色信息,其表征值更能反映烟叶颜色特征。基于多颜色空间的烟叶颜色表征方法可快速地把烟叶真实的颜色信息给提取出来,并且与人工排序的符合度较高,可实现在线应用,为烟叶外观颜色均质化加工提供控制指标和数据支撑。