基于正则表达式融合语义的农产品自动识别方法

芦 兵, 孙 俊, 许晓东

(1. 江苏大学 信息化中心, 江苏 镇江 212013; 2. 江苏大学 电气信息工程学院, 江苏 镇江 212013)

中国是农产品生产大国,在农业种植基地每天都有成千上万的农产品需要按类分拣运输,实现农产品准确、高效的自动分拣,是农产品供应链提升的重要一环[1].目前对农产品自动分拣方法的研究主要分为两个方向:一是预置识别分类方向[2-3],主要通过条码技术或RFID技术将产品信息预先写入产品包装信息区,供自动分拣设备读取相关信息,实现自动分拣;二是图像识别方向[4],主要通过图像设备抓取并分析农产品的图像特征,进行特征提取,完成自动分拣.图像识别技术的自动化程度更高,通用性更好,但是在提取目标特征时,其效率及精度还有待提高.尺度不变特征变换(SIFT)[5]和加速鲁莽特征(SURF)算法[6]因其优秀的特征表述能力和较强的鲁莽性被广泛应用于特征匹配领域,但此类算法更多关注于图像的底层特征,而分拣环境中实际提取到的底层特征往往存在较多的噪声干扰和冗余.对提取到的底层特征进行二次整合,使得整合过的图像数字化表征能够更好地反映图像目标的语义内容,采用基于语义的目标特征构建技术,可以提高匹配模板的生成效率.文献[7]在图像颜色、边缘等底层局部特征的基础上,提出了一种层次化的高级语义映射关系,利用Bayes分类方法建立特征模型.文献[8]通过神经网络算法,以目录分类的语义形式对图像进行组织,然后通过非层次的分类方法进行图像目标检测.文献[9]提出了一种基于属性的图像目标描述方法,通过图像属性语义进行图像目标特征匹配.文献[10]提出了一种增量构建大规模图像内容检索的方法,通过反馈学习机制提升图像语义属性.

上述几种方法在构建目标特征模型的时候,均需要图像库中具备所有特征属性的完备信息,忽视了图像库中特征属性元素之间的相互组合利用,当新增产品分拣线或者传送线上农产品物理特征发生变化的时候,需要重新训练以完善图像库中的属性特征信息,显然,这将极大地影响自动分拣的效率.

为此,文中引入计算机文本检测领域内具有较高效率的正则表达式[11],对其在图像目标特征模型构建上的语义描述进行引申定义.由于正则表达式具有较强的灵活性和适配性,其语法规则可以融合多种属性特征,当被识别农产品发生变化时,利用正则表达式的语义规则能够对图像库中相关特征属性元素进行快速地重新组织,对于从图像特征上难以区分的农产品,可以在规则中融合振动等特征,从而实现对不同类别农产品高效、正确地自动识别和分拣.

1 正则表达式的语义

1.1 正则表达式的通俗语义

正则表达式是计算机科学中用于检索、替换某些符合描述规则的文本所使用的一个概念.正则表达式是对字符串进行描述和通配操作的一种逻辑公式,实现过程是赋予某些字符以及这些特定字符的组合某种特殊意义,通过事先定义好的语义规则组成一个“规则字符串”,这个“规则字符串”用来表达对字符串的一种过滤逻辑.如果给定一个定义好的正则表达式和另一个待识别字符串,可以达到如下目的: ① 判断给定的字符串是否符合正则表达式的过滤逻辑(称作“匹配”); ② 如果匹配,通过正则表达式从字符串中获取想要的特定部分,如果不匹配则重新组织通配符.

1.2 正则表达式的特点

正则表达式的灵活性和逻辑性非常强,可以迅速使用极简单的方式达到字符串的复杂控制.传统正则表达式的描述因子均为文本模式的字符,包括a-z之间的字母等普通字符和一些特殊符号(称为“元字符”).通过正则表达式定义出来的描述模式在搜索文本时会匹配一个或多个满足正则语义的字符串.表1中包含了部分元字符以及它们在正则表达式上下文中的行为.

表1 正则表达式示例

表1中通过对传统正则表达式字元符规则的应用,可以检测和匹配到特定内容的文本,极大地提高内容检索效率.

1.3 图像中的引申语义

相对于文本对象,用于描述图像特征的“字元素”可以用线条、颜色、形状、位置等来定义.用于描述图像特征的“字元素”可以称之为基础“像元素”, 部分像元素如表2所示.

表2 图像特征的像元素

表中线条按线形可以分为水平直线、斜线、直角线、弧线、S形弧线等常规线条及其他自定义线形,形状包含正方形、长方形、圆形、半圆形、菱形、心形等常规形状及其他自定义非常规图形.颜色通过字母加数字的方式表示,如W12,表示白色 12色号,其中第一位字母代表色系,后面数字代表亮度,取值范围为0～255之间.振动特征为通过分析振动频谱特征分布后得到的谱密度均值.位置由完全自定义的符号来描述图像中的相对位置信息,如“|(x1)->(x2)|”代表从像元x1位置开始一直水平向右到像元x2结束,而“|(x1)-＾(K)(x2)||”则表示从像元x1开始到其垂直下方像元x2的K处,其中K为可变系数,可取0～1数值,如0.25表示x1到x2之间距离的1/4处.此处只是给出了水平和垂直位置信息的基础定义,位置信息的定义符号和定义规则可视实际情况自行添加.像元素库是一个开放式的元素库,用于描述物理特性的技术指标均可作为像元素库的一个基础指标,如角度、温度,音量、振动等特征信息均可以扩展为元素库的一个指标.将这些像元素按正则表达式的语法进行组织,能够快速地定义出图像的局部特征.比如:|O(B12)->O(B12)||该表达式可以表示图像中匹配水平方向上两个蓝色圆形的部分.也可以像定义文本正则表达式一样,用一些更加简洁的字符代表图像正则的像元素.

2 基于正则表达的特征提取

2.1 角点特征提取

Harris角点检测是通过数学计算在图像上发现角度特征的一种算法[12],且具有旋转不变的特质.在建立特征模型正则表达式之前,先通过Harris角点[11]检测出图像特征的字元素,数学原理如下:

I(x,y)]2,

(1)

式中:w(x,y)用以表示移动窗口;I(x,y)表示图像中像素灰度值强度,取值范围为0～255.依据泰勒级数计算1到N阶的偏导数[12],最后得到Harris矩阵公式:

(2)

按照上式Harris的矩阵计算矩阵特征值λ1,λ2,然后计算获得Harris角度响应值:

(3)

式中变量因子K为系数值,通常取值范围为0.04～0.06.

2.2 距离特征提取

为了提高对位置信息的描述效率,在计算特征向量位置信息时,采用D4模型[13]进行计算:

D4(P,Q)=|xp-xq|+|yp-yq|,

(4)

D4距离也称街区距离,它只选择横竖两个方向计算相对距离.

2.3 颜色特征提取

对每种颜色通道提取一阶、二阶和三阶矩进行统计分析[14],设hij表示第i个颜色通道分量中灰度为j的像素出现的概率,n为总像素数目,则颜色矩的3个低阶矩数学表达式为

(5)

(6)

(7)

这3个低阶矩分别称为均值、方差和偏斜度.

2.4 振动波频谱特征提取

使用RS-3101压电式振动传感器采集农产品在传送带上的振动信息,再通过SPEK软件分析其频域特征.此处采用欧拉伯努利梁模型[15]来分析其振动特征,单负载时的模型结构如图1所示.

图中刚度Ks=(Ls/Kp+1/Kt)-1/Ls,Kp是传送层刚度系数,Kt是传送层单位长度(m)的刚度系数.该系统的运动方程为

(8)

式中:EI是传送轨道的抗挠劲度;w(x,t)是轨道偏斜度;F是轨道上移动负载;δ为狄拉克函数;x代表负载物重心位置到达传送带边缘的距离;t是时间.

图1 振动模型示意图

传送带和传送轴挠度之间可以通过变换下式表示:

ws(x,t)/w(x,t)=Ks/Kt,

(9)

从而可以得到振动特征方程:

(10)

式中β=(Ks/(4EI))1/4,表示成量纲一形式为

(11)

式11给出了单个负载的特征提取公式,多个同类负载的频谱特征可以通过量纲一化处理得到,如下:

(12)

最终可以得到两个不同类别农产品的谱特征分布曲线,如图2所示,从而计算出谱密度均值:

(13)

谱密度均值是频谱特征分布的具体量化指标,不同分布的频谱特征对应不同的谱密度均值,该均值作为基础像元素库中的成员,在正则表达式中描述被识别农产品振动信息的频谱特征.

图2 振动频谱特征分布图

2.5 特征模型提取

首先检测被识别物的边缘连通情况,如图3所示.

图3 匹配目标原始图

通过选择最能够描述图像特征的特征点,参照像元素库中的定义提取像元素.首先对目标外围特征点进行连通性连接,然后在连通图内部按照最大相似性原则[16]进行像元素的切割,即切割后的局部特征能够在像元素库中找到最相似的像元素.从切割后的图像中提取到形状像元素:矩形、椭圆形，提取到颜色像元素:G12(绿12号),提取到位置像元素:“|-＾||”(从上边位置到下边位置)、“|-＾(0.25)||”(从上边位置到下面位置的1/4处)、“|-＾|(0.75)|”(从上边位置到下边位置的3/4处).最终提取到的基础像元素集如表3所示.

表3 基础像元素集

基于表3中的像元素,可以构建出基于像元素的目标匹配模型正则表达式:

Preg_match=|∏(G9)-＾||∩|∀-＾(0.25)Ο||∩
|∏-＾|(0.75)Ο|∩[Fp(632)],

(14)

按照表达式(14)中表达的正则语义可以快速构建出待匹配农产品的特征模型,如图4所示.

通过特征模型和待匹配目标最大相似性比较[17],可以确定出待匹配目标在图中所在位置.通过选取中心列的特征分布,可以对特征模型和待匹配对象进行特征相似度比较,如图5所示.

通过比较可以看出,在目标所在区域(121～426行)模型特征的分布和待识别目标特征分布较一致,说明利用像元素作为基元的正则表达式完全可以定义出待匹配目标的模型.

图4 特征模型

图5 匹配模型特征分布

3 结果与分析

为了分析基于正则表达式融合语义的农产品自动识别方法的效果,使用固定视角下梨子和橙子图像进行试验.试验中,选取能够最大化反映目标物理特征的视角进行图像采集,然后通过选取特征像元素库中的基础像元素,在正则表达式的语法组织下融合振动特征快速建立农产品特征匹配模型,实现对不同农产品的快速识别,如图6所示.

图6 部分训练样本示例

本试验使用SIFT和SURF两种识别方法作为对比,SPEK软件环境中完成振动采集和分析,Matlab11中完成特征建模和目标匹配.

试验结果如表4所示,由于正则表达式区域强制验证的特性,在视角不变情况下,文中方法在识别率和识别时间上均优于传统的SURF和SIFT算法.

表4 识别率和效率对比

4 结 论

基于字符元的正则表达式因其匹配效率高,适配性好,已在文本字符检索中得到了广泛的应用,图像匹配和字符匹配虽然在匹配内容上存在较大差异,但在匹配方法上可以找到共同性,即都可以通过有规律的组织基础元素构建匹配模型的方法,对目标进行识别.基于此点共同性,文中将正则表达式的语义通过赋予图形属性特征进行了引申定义,引入了“像元素”的新概念和语义规则,并融入振动频谱特征信息.基于正则语义的图像目标识别体系是一个比较庞大的工程,还有很多后继工作需要完成,比如健全特征元素库、编写正则语言规则类库、建立分类训练模型等,文中通过一个具体应用场景证实了此种方法的可行性.试验表明,通过编写合适的农产品特征模型正则表达式,能够快速、便捷的构建特征匹配模型,实现对不同农产品目标的快速自动识别.

参考文献(References)

[ 1 ] LI Z J,SHAN S D.A research on logistics packaging culture and environmental packaging[C]∥15th IAPRI Word Conference on Packaging.Vancouver,Canada: IEEE,2006:225-230.

[ 2 ] DI Y J,SHI J P,MAO,G Y.A QR code identification technology in package auto-sorting system[J].Modern Physics Letters B, 2017,31:19-21.

[ 3 ] KOSIOR E,MITCHELL J,DAVIES K,et al.Intelligent labels as a basis for auto-sorting of plastic packaging[C]∥73rd Annual Technical Conference.Orlando,USA:IEEE, 2015:2112-2118.

[ 4 ] HUANG K Y,CHENG J F.A novel auto-sorting system for Chinese cabbage seeds[J].Sensors,2017,17(4):622-628.

[ 5 ] TEKIN N,NAZL I,PEKER K A,et al.Matching day and night location images using SIFT and logistic regression[C]∥23rd Signal Processing and Applications.TURKEY:IEEE,2015:1615-1618.

[ 6 ] 林晓帆,林立文,邓涛.基于SURF描述子的遥感影像配准[J].计算机工程,2010,36(12):216-218.

LIN X F,LIN L W,DENG T.Remote sensing image re-gistration based on SURF descriptor[J].Computer Engineering,2010,36(12):216-218.(in Chinese)

[ 7 ] 宋芳琴.基于Union-Find的图像聚类方法[J].计算机应用与软件,2015,32(7):319-322.

SONG F Q.Image clustering method based on Union-Find[J].Computer Applications and Software,2015,32(7):319-322. (in Chinese)

[ 8 ] YU S Q,JIA S,XU C Y.Convolutional neural networks for Hyperspectral image classification[J].Neurcompu-ting,2017,219:88-98.

[ 9 ] JR E S, GU Q. Automatic content based image retrieval using semantic analysis[J]. Journal of Intelligent Information Systems, 2014, 43(2):247-269.

[10] FARHADI H,ENDRES I,HOIEM D,et al.Describing objects by their attributes[C]∥12th Conference on Computer Vision and Pattern recognition.Leeds Britain:IEEE,2009:1778-1785.

[11] LU P,BREMER J,CHEN H M.Deciding determinism of regular languages[J].Theory of Computering Systems,2015,57(1):97-139.

[12] RYU J B, LEE C G,PARK H H.Formula for Harris corner detector[J].Electronics Letters,2011,47(3):180-181.

[13] 陈世伟,杨小冈,张胜修,等.基于自适应上下文信息的目标相对定位方法[J]. 系统工程与电子技术,2016,38(5):984-989.

CHEN S W,YANG X G,ZHANG S X,et al.Relative positioning method of target based on adaptive context information[J].Systems Engineering and Electronics,2016,38(5):984-989. (in Chinese)

[14] 王峰,陈敏,陈小平.面向机器人室内建图的RGB-D图像对齐算法[J].机器人,2015,37(2):129-135.

WANG F,CHEN M,CHEN X P.An RGB-D image alignment algorithm for robotic mapping in indoor environments[J].Robot,2015,37(2):129-135. (in Chinese)

[15] FERNANDEZ S,ZAERA R.Vibrations of Bernoulli-Eu-ler beams using the two-phase nonlocal elasticity theory[J].International Journal of Engineering Science,2017，119:232-248.

[16] ZHAI Y H,NEUHOFF D L.Similarity of scenic bilevel image[J].IEEE Transactions on Image Processing,2016,25(11):5063-5076.