基于极值曲率和相关图的信息检索技术

于彬 张皓翔 徐明辉 张高青 王金鹏

摘要：随着机器视觉的发展，信息检索作为机器学习中的重要课题，各个领域发挥了至关重要的作用，基于图像内容的信息检索技术通过对图像进行特征提取，然后依靠度量的计算方式来实现最终结果。本文主要研究的是基于极值曲率和相关图图像信息检索方法。对图像的内在曲率特征进行了研究，并融合颜色相关图提高鲁棒性，最后提出了基于极值曲率和相关图检索算法。

关键词： 极值曲率  信息检索  相关图  内在曲率

中图分类号：TP391.41

Abstract： With the development of machine vision， information retrieval， as an important subject in machine learning， has played a vital role in various fields. The information retrieval technology based on image content extracts the features of the image， and then relies on the calculation method of measurement to achieve the final result. This article mainly studies image information retrieval methods based on extreme curvatures and correlation graph. The inherent curvature characteristics of the image are studied， and the color correlation map is integrated to improve the robustness. Finally， a retrieval algorithm based on extreme curvatures and correlation map is proposed.

Key Words： Extreme curvatures; Information retrieval; Correlation graph; Intrinsic curvature

一直以來，信息检索技术都活跃在工业及学术界研究舞台，如相似物推荐系统，图书检索系统等都采用了图像检索的相关技术。特别信息化、网络化的今天，各种规模庞大的数字图像每天都在更新，因此对数字图像的检索需求也越来越大[1-3]。图像检索技术首先需要获取图像信息，进而进行特征提取，随后采用相似度匹配机制，最后返回查询结果。图像检索技术目前有两种：一种是基于文本的图像检索TBIR（Text-based Image Retrieval）;另一种是基于内容的图像检索CBIR（Content-based Image Retrieval）。[4-10]TBIR是利用文本描述的方式描述图像的特征来进行检索，如绘画作品的作者、年代、流派、尺寸等。

目前，图像检索技术主要研究方向在于精度的提升，以及在保证精度的同时提高检索效率两个方面。由于影响检索质量的外部条件千变万化，检索的效果也会直接影响使用者对查询结果的判断，如医学图像的检索质量影响医生对病情诊断[11];在数字网络推荐系统中，推荐系统响应速度同样也是不可忽略的重要因素，系统的响应速度直接影响用户的使用体验。因此，在满足精度的同时，保证检索效率是本文研究的重点。本文提出了一种融合极值曲率及相关图的检索方法，该方法仅提取图像曲率的极值部分，摒弃冗余极值，提高算法的提取效率，同时结合图像颜色特征进一步改善算法鲁棒性。

1.相关工作

2018年，Pavithra[12]等人将基于LBP的方法和基于颜色直方图的方法相结合来提取图像的特征信息进行检索，2019年，Ahmed[13]提出了一种基于词袋的图像检索方法，该方法通过将局部图像形状特征和颜色空间信息进行特征融合以提高其在复杂环境下的鲁棒性。基于以上灵感，本文提出了融合极值曲率及相关图的检索方法，该方法仅提取极值曲率，保证算法的高效性，另外，由于图像的颜色属性是表达图像内在的直观性属性，提取该属性作为图像的特征表达可改善图像检索鲁棒性。

2.颜色相关图

颜色相关图的优点是它包含了颜色的空间相关性，而且如果选择的对象是局部的，它可用于描述颜色的局部空间相关性的全局[14]。设置两种颜色之间的距离为，那我们将生成这样的一个直方图：它的的个数为的平方（颜色的组合数目），对于每个的大小为：

3.极值曲率计算

图像中所有像素点处的主曲率信息可以通过计算海森矩阵的特征值来得到，海森矩阵是一个多元函数的二阶偏导数构成的方阵。给定一个灰度图像，在像素点（x，y）处的Hessian矩阵如下式：

4.特征融合

颜色信息属于全局特征，它直观地反映了图像区域的表面性质，图像表面的极值曲率信息属于图像的纹理信息。本文将颜色信息和纹理信息进行融合以得到更加鲁棒的图像检索结果。

5.实验

为了对提出的图像检索算法性能进行测试和评估，并将测试结果可视化，数据库中采用的度量方法为欧几里得距离。检索结果如图1所示，图中上下部分分别为查询图像及查询结果。

6.结论

本文提出了一种基于极值曲率信息和颜色信息的信息检索算法。构造海森矩阵以提取图像的偏导数，并在偏导数的基础上利用行列式以及迹提取曲率信息，进一步地，提取主曲率信息。使得算法同时具有图像的宏观信息以及微观信息。将极值曲率与颜色相关图进行串联，提高算法鲁棒性。在公开数据库进行了测试，显出了较好的结果。

参考文献

[1]张明霞，徐金东.数字图像检索研究进展概述[J].图书馆工作与研究，2011（10）：34-37.

[2]徐沛华.浅谈数字图像检索技术的应用现状与未来展望[J].数码设计（下），2019（1）：207-208.

[3]徐倩.车牌识别中去噪与边缘检测算法的研究[D].湖南：湖南大学，2013.

[4]刘丽萍.颜色描述符提取算法在图像检索算法中的应用[J].科技资讯，2015，13（8）：21.

[5]杨红菊，陈庚峰.基于卷积神经网络约束编码的图像检索方法[J].山西大学学报：自然科学版，2020，43（2）：280-286.

[6]龙春琳.基于颜色信息熵的图像检索技术研究[J].贵州广播电视大学学报，2013（4）：67-71.

[7]Jia B，Meng B，Zhang W，et al.Query Rewriting and Semantic Annotation in Semantic-Based Image Retrieval under Heterogeneous Ontologies of Big Data[J].Traitement du Signal： signal image parole，2020，37（1）：101-105.

[8]Ge Y， Yang Z ， Huang Z ， et al. A multi-level feature fusion method based on pooling and similarity for HRRS image retrieval[J]. Remote Sensing Letters， 2021， 12（11）：1090-1099.

[9]Zheng Z， Zhong Z. Low Dimensional Discriminative Representation of Fully Connected Layer Features Using Extended LargeVis Method for High-Resolution Remote Sensing Image Retrieval[J]. Sensors，2020，20（17）：4718.

[10]Pavithra L K，Sharmila T S.A new multi-level radial difference encoded pattern for image classification and retrieval[J]. Multidimensional Systems and Signal Processing， 2020， 31（3）：1411–1433 .

[11]王梓琪.基于內容的图像检索系统设计与实现[D].哈尔滨：黑龙江大学，2019.

[12]Pavithra L K，Sharmila T S. An efficient framework for image retrieval using color， texture and edge features[J]. Computers and Electrical Engineering，2018，70：580-593. DOI：10.1016/j.compeleceng.2017.08.030.

[13]AHMED， KHAWAJA TEHSEEN， UMMESAFI， SHAHIDA， IQBAL， AMJAD. Content based image retrieval using image features information fusion[J]. Information Fusion，2019，51：76-99. DOI：10.1016/j.inffus.2018.11.004.

[14]Ashwini V. Malviya，Siddharth A. Ladhake. Pixel Based Image Forensic Technique for Copy-move Forgery Detection Using Auto Color Correlogram[J]. Procedia Computer Science，2016，79：383-390.

3858500338238