张子恒
(湖北工业大学,湖北 武汉 430068)
图像理解以及图像识别研究的不断深入,使得各领域能够充分利用图像语义信息进行目标信息的检索。因此,探寻高效快捷的图像检索方法成为急需解决的问题。低照度图像[1]具有光亮强度小和图片质量低的缺点,会出现检索特征不明显等因素,导致相似度检索的正确率降低。因此,很多相关领域研究者已在这方面开展。
在低照度图像特征相似度检索的过程中,受不同外在因素的影响,很大程度上会降低图像品质。最常使用的是文本图像检索技术,其主要在数据库领域进行检索研究,例如建立数据模型、多维度领域探索、查询评价指标等。但是,该方法所需完成的前期准备量较大,且在相似度检索中存在主观性和不确定性,检索结果会存在一定误差。
针对上述问题,柯胜才[2]等人提出基于卷积神经网络和监督核哈希的图像检索方法。首先,利用所提方法挖掘被检索图像内容间的隐藏关系,通过提取到的图像特征,用于增强视觉表达能力和区分能力;然后,将图像深层高维特征映射到低维空间中,最终完成对图像的有效检索。实验结果表明,该方法可效增强图像特征表达能力,提高检索效率。王春静[3]等人为了提高基于内容的图像检索(CBIR)性能,提出基于图像k近邻的相似度测量检索方法。通过计算查询图像与检索图像的相似度,衡量同一语义的联合概率,随之分析检索图像间的图像距离得到概率数值,并与其它方法进行对比实验,结果表明,所提方法可有效提高检索性能。
虽然上述方法在图像检索方面取得了一定的进展,但仍在存在特征提取单一、检索结果有误差、效率低等缺点。本文通过五叉树分解下低照度图像特征相似检索,充分利用五叉树分解技术完成图像颜色特征相似度计算,实现低照度图像检索。实验结果证明,对于分析图像语义信息及提高检索效率,该方法可行性强。
低照度图像分解[4]是指将一幅度低照度图像拆分成若干块小图像,从而进行管理的活动。因分解方式不同,导致获取到的子块具有一定差异性。
五叉树分解则是将低照度图像分解成为5个层次,各层次中的子图大小相等。通常,图像主体定为0层。将图像以从上至下、从左至右的顺序,按照二分之一边长,平均划分四份,顺时针方向编码为1、2、3、4,以图像中心为起点,扩展二分之一边长至周围,编码为5,为第1层次的5个子块。在第2个层次中,依据第1层分解方法将得到的1—4个子图进行迭代分解,由于编码为5的子图与其它相同,所以不对其分解,共得到20个子块。重复上述方法,逐层进行分解。选取五叉树分解低照度图像,可有效避免资源浪费,节约成本。
结合上述五叉树分解理论,对子块图像进行检索,子图重叠概率[5]越高,则检索精度越高。
以尺寸2L×2L的低照度图像为例,可用S表示,分解后成为4个子块,如图1所示,S至原图像的横向距离为x(x 图1 图像重叠率 PS=(L-x)(L-y)/(L×L)×100% (1) 如图2所示,为五叉树分解原理图,分解图像直至子块大小均为m×m则结束分解。其中,m的数值一般定为4、8、16、32等,依此类推。若m数值偏小,会降低检索精度,对于低照度图像,图像质量低,m数值大则会造成混合物多,经多次研究实验,m的合理数值定为16。 图2 五叉树分解原理 通过五叉树分解得到16×16子图,作为特征提取最小单元,用于构建检索图像颜色特征直方图,以及相似度的计算基础。 五叉树分解法具有操作便捷、检索效率高的优势,且面积重叠率高,分解过程一目了然,后续的检索计算更为便捷。 针对低照度图像[6],最为明显的特征是颜色及纹理,其中,图像颜色特征主要概括为:颜色直方图和主要色彩特征。为了更加直观简洁的表明五叉树分解下低照度图像特征提取,构建如下图3所示特征提取流程图。 图3 特征提取流程 根据图3流程,低照度图像特征提取步骤如下所示: 第一步,信息分解。设置M为检索图像的样本个数,对其中分解的子图像Ai(1≤i≤M)开始进行信息分解,得到三个灰度图像,用ARi(1≤i≤M),AGi(1≤i≤M),ABi(1≤i≤M)表示。 第二步,特征预设提取。首先将低照度图像Ai中的R个分量ARi,视为一个图像矩阵,可得 (2) 其中,最大特征数值对应的特征向量为UR1,UR2,…,URt,则 UR=[UR1,UR2,…,URt] (3) 得到的结果为ARi的左侧矩阵,因此,求 (4) 最大特征数值相对的向量为[VR1,VR2,…VRt],则 VR=[VR1,VR2,…VRt] (5) 所得结果为ARi的右侧矩阵,将AGi与ABi视为二维矩阵,在得到左侧矩阵和右侧矩阵:UR、UG、VG、VR后,可得到特征矩阵FRi(1≤i≤M),FGi(1≤i≤M)以及FBi(1≤i≤M),可列为 (6) (7) (8) 第三步,重构二维矩阵[7]。将低照度图像特征构建三个矩阵,分别为FRi,FGi,FBi,由此构建二维矩阵 (9) 上述公式中,vec(*)代表重构矩阵的向量化,构成列的长度为m×n。 第四步,特征提取。将Pi视为低照度图像的二维矩阵,在求得左侧和右侧矩阵后,最终求得特征矩阵,如下 Yi=UTPiV (10) 因此,当使用五叉树分解对图像大尺度构造特征提取时,可驱除噪声[8]对构造特征的影响。然而低照度图像中该方法不能对小尺度构造特征进行划分,这时要选择一个合适的小函数只对细节范围实行小范围分解,经过对小函数的剖析,能够精确定位细节特征。 选用五叉树分解提取图像特征,在提取较少特征情况下,也能保证不影响后续检索效果,可大幅度减少耗时并降低计算复杂程度。 颜色特征在低照度图像中噪声大、尺寸多,相较于其它种类特征较为明显。因此,本文通过计算颜色相似度[9]来实现图像检索。 在图像特征提取结束后,依据视觉对图像信息的感知,得到如下概括: 第一,一幅低照度图像被少许色彩[10]概括,人们仅重视肉眼所见的主要颜色。 第二,颜色比重占据大的色彩,有较大的图像意义,被称为“主色”。 第三,图像相似部分:色彩相似、图案相似、所占比重相似。 当待检索图像特征提取完成后,可得到如下图4所示结果,根据不同颜色特征比例依次递减排列,得到颜色相似度。 图4 颜色相似度排列 通过图4所示,首先,针对图像特征相似度使用归一化[11]方式进行处理,其中包括极值、标准差、高斯等归一化。使用五叉树分解的基础上,将极值归一化的个特征数值反映到[0,1]中,如下所示 (11) 式(11)中,Vnew表示归一化后的向量数值,Vold表示原始数值,min(v)表示某种图像特征在数据信息中的最小值,其中的最大值用max(v)代表。 由此可得,图像的特征相似度的加权和为 S(Q,I)=Wtexture+WcolorScolo (12) Wtexture表示图像纹理特征相似度部分,Wcolor表示颜色特征相似度部分,Stexture及Scolor表示相似程度大小。特征相似度计算方法繁多,常用方法如中心距、x2距离统计等,但检索结果有一定误差。采用五叉树分解下图像特征想地府检索,选取分解得到的最小子图为基础,构建低照度图像和数据信息中与低照度图像尺寸相对应的特征图。在检索中,将大小相似的数据信息中的子图与低照度图像进行对比。 式(13)中,P(Q,I)代表特征相似程度,L表示特征向量数值,在使用归极化方法后,特征数值都归入到[0,1]中。 构建频数直方图,如下 (13) 因此可将此定为级数指标。可自定义此级数,为了提高检索效率[12]以及精确度,将分级数值定为20,从而计算纹理信息及色彩特征,进行累计,可得到两种特征相似度大小,在进行求和,最终得出低照度图像特征相似度数值完成检测。 为了判定所提检索方法的有效性,选择查全率和查准率两种方式,以此为基础进行绘制数据曲线作为评价指标。查准率代表图像检索结果中的相似比例,判断目标的准确程度。查全率表示检索出的图像特征相似度与总数的比值,指确定目标的能力。在图像检索中,查准率和查全率不会同时得到最大数值,查全率越高的情况下,查准率则越低,因此需尽量优化这两个数值。 对于检索得到的结果,以相似程度由大至小的顺序进行排列。在检索时间上,五叉树分解得到的子图可提前进行特征相似度提取,仅比其它图像检索方式多了欧式距离,不会浪费太多时间。 低照度图像检索的结果很大程度上取决于图像特征的提取与相似度计算方法。在使用五叉树分解提取颜色特征后,可使提取到的图像特征相似度更符合人类视觉感知。对于检索结果,可得知该方法是否可被应用于更加先进的图像检索中。 为了验证五叉树分解下低照度图像特征相似度检索的精准度,参照不同方法进行比较实验,将颜色特征相似度作为检索衡量参数,如图5所示,将检索率设为0.1时,用于观测不同颜色数量下的精准度。 图5 不同颜色数量下精准度 由图5可知,当提取色彩的数量从3提升至8的时候,效果有了比较明显的提升。然而,当得到的颜色数量超出20的时候,效果不升反降。是由于所摄取的多余颜色对于五叉树分解下,在相似度的检索中,所起到的作用反而与非常细节的颜色更加相近,因此,产生出更多的噪声性质使效果下降,所以在经过测试,本文选择摄取颜色的数量为15,指低照度图像特征相似度不必提取过多的颜色。 将五叉树分解下图像检索与其CHIC方法进行比较,选择相同数量颜色提取的比较结果如图6所示。 图6 相同数量下实验结果 通过图6可知,在检索率较低时,五叉树分解下检索方法优于其它方法,是因为五叉树分解下将图像中颜色的不同献率考虑其中,计算差异小,因此结果更加全面。得到的检索结果精确度更高。 由图7可看出,五叉树分解检索在精准度上有了明显的提升,通过提取低照度图像颜色特征相似度,在检索中效果更加显著,鲁棒性强,这也体现出五叉树分解下颜色特征相似度检索尤为重要。 图7 检索率及精准度曲线 对比其它方法的ANMRR数值如表1所示: 表1 对比ANMRR数值 ANMRR数值代表检索方法的好坏, 数值越小证明检索效果越好。从表1中可看出,五叉树分解检索。实现最佳效果,其一,提高了检索的精确性;其二,将分解的子图像返至较前位置,与检索要求一致。 通过上述仿真结果可看出,所提五叉树分解下低照度图像特征相似度检索可行性更强,得到的检索率更佳。除此之外,五叉树分解下图像特征相似度的提取,相较其它方法,更有效地降低计算复杂难度及所需时间。在理解图像表达的语义信息同时,在视觉特征相近基础上实现低照度图像检索,检索方法的智能化程度和检索精度有了明显提高。 本文针对五叉树分解下低照度图像特征相似度检索进行仿真研究,通过实验结果表明,所提方法与其它方法对相同图像检索结果进行对比时,所提方法获得到的检索结果最佳,不仅在检测精度上有所提高,同时具备了良好的评定指标,提高了检索结果的智能化程度与精准度,在低照度图像检索中可被广泛应用。3 图像特征提取
4 图像特征相似度检索
5 检索结果评价指标
6 实验分析
7 结论