基于移动终端图像内容检索系统的设计

李　鑫，蒲东兵，吕健雄

(1.长春工业大学应用技术学院，吉林 长春 130012；

2.东北师范大学计算机科学与信息技术学院，吉林 长春 130117)



基于移动终端图像内容检索系统的设计

李鑫1，蒲东兵2，吕健雄1

(1.长春工业大学应用技术学院，吉林 长春 130012；

2.东北师范大学计算机科学与信息技术学院，吉林 长春 130117)

[摘要]在移动终端下对基于内容的图像检索技术进行了研究与探讨，运用HSV颜色特征、灰度共生矩阵纹理特征的图像检索算法及查询点移动相关反馈等技术设计一种运行于手持移动终端的便携式图像检索系统.系统采用上位机运算处理，下位机与用户进行交互，并呈现检索结果的策略.结果表明，系统运行稳定，检索速度较快，准确率较高，对移动终端下的图像检索应用技术起到了推动作用.

[关键词]移动终端；内容；HSV；灰度共生矩阵；相关反馈

图像自动检索是检索领域的难点，目前常用的方法是基于标注的图像检索和基于内容的图像检索(CBIR).基于标注的图像检索需要人工标注图像，检索效果受标注人的影响，无法满足大规模数字图像自动检索的需求.CBIR不需要事先标注，仅根据图像的颜色、纹理或空间关系等底层特征在图像数据库或互联网中检索相似图像[1].但现有的CBIR系统都基于大规模集成电路的计算机系统，不便于用户实时检索图像，而且使用成本相对较高.在移动计算设备已经普及的大环境下，本文设计了一种基于移动终端的CBIR系统.该系统可运行于手机或PAD等移动计算终端(称为“下位机”)，采用经典算法提取图像的HSV颜色特征和灰度共生矩阵纹理特征[2-8]，在上位机服务器或本地检索相似的图像，并按相似度降序返回检索结果.为了使检索出的图像更加接近用户需求，本文采用查询点移动相关反馈技术，将用户检索意图融入检索过程中，形成一种交互式检索机制.CBIR利用用户反馈回来的正、反例图像信息，自动对查询向量进行调整，使其更加接近于正例图像，然后对调整后的向量进行再次检索，从而提高系统检索的准确性.

1系统工作流程及相关反馈

1.1系统工作流程

CBIR是一种基于图像底层特征的检测方法，其工作流程如图1所示.

图1　CBIR工作流程

系统对图像进行预处理，然后对每幅图像进行特征提取，最后把图像及其特征存储到数据库中(图像库、特征库)并建立索引.当检索图像时，需要把待检索图像进行预处理、特征提取，将获得的特征向量与特征库中的特征向量进行相似性匹配，并按照相似度降序排序，根据给定的阈值返回图像库的对应图像.待检索图像的特征值可以根据检索策略直接提取，也可以利用相关反馈技术来获取.

1.2检索算法

本文主要采用HSV分块颜色直方图与灰度共生矩阵算法提取图像的颜色特征和纹理特征.其中，HSV分块颜色直方图算法的思想是对图像进行分块后，计算每块的颜色特征，然后根据每块图像空间信息的重要度设置权值为

G=HQSQV+SQV+V，

(1)

其中QS和QV分别是S和V的量化级数.灰度共生矩阵算法一般用对比度(Con)、能量(Asm)、熵(Ent)、相关性(Corr)等特征向量表示纹理特征，其计算方法分别为：

(2)

(3)

(4)

(5)

算法处理步骤如下：

(1) 将各颜色分量通过公式Gray=0.3R+0.59G+0.11B转化为灰度，应用颜色分量的加权和计算等效的灰度，这里所用图像灰度级均为256，R，G和B分别对应图像的红色分量、绿色分量和蓝色分量；

(2) 对原始图像进行灰度等级压缩，将Gray量化成16级，目的是减少计算量，从而提高移动终端运行的效率；

(3) 计算4个共生矩阵P， 距离取1，角度分别为0°，45°，90°和135°；

(4) 对共生矩阵计算对比度、能量、熵、相关性4个纹理参数；

(5) 求对比度、能量、熵、相关性的均值和标准差作为最终8维纹理特征.

1.3相关反馈

相关反馈是用户对系统检索到的图像进行评估，设置正、反例图像，系统根据用户的设置重新计算特征向量，然后进行再次检索，从而达到用户的检索意图.

本文采用查询点移动相关反馈技术[9]，该技术根据公式(6)对查询向量进行调整[10]，从而建立新的查询向量，以便获取到理想的检索结果.

(6)

其中：α，β和γ为常数，是调节参数；Qi+1和Qi分别为第i+1次和第i次查询点的位置；NR′，NN′分别为正反馈集合DN′与负反馈集合DR′中的反馈图像个数.

根据查询点移动方法计算相关反馈后的新特征向量，需要分别计算所有正、反例图像特征向量的平均值，然后分别对待检索图像特征值及正、反例图像特征向量的平均值进行加权.为了选取3个向量权值的合理值，本文做了大量的测试，最终选择1.00，0.75和0.15分别为待检索图像、正例图像、反例图像的权值.最后通过加权后待检索图像的特征向量与加权后正例图像的特征向量进行相加，减去加权后反例图像的特征向量，从而得到新的特征向量.

2系统功能与框架

2.1系统功能

系统上位机开发基于Web Service的SSH框架[11]，下位机基于Android平台，运用Android图形布局、数据存储[12-13]、网络通信等技术实现了基于本地与远程的图像检索功能.主要提取图像的HSV颜色特征和基于灰度共生矩阵的纹理特征，可以单独利用HSV或灰度共生矩阵检索图像，也可以融合2种特征进行检索.在融合2种特征时，先通过灰度共生矩阵提取图像的对比度、能量、熵、相关性等纹理特征向量，并通过曼哈顿距离计算库中图像与待检索图像的相似度，根据给定的阈值筛选出相似度高的图像，然后根据图像的HSV颜色特征进行再次匹配，从而得出检索结果.为了提高检索的准确性，系统采用查询点移动相关反馈技术，让用户参与其中，形成一种交互式检索机制，根据用户反馈回来的正、反例图像信息，对查询向量进行调整，使其向正例方向移动，远离反例方向，使得检索结果更加符合用户需求.

2.2系统框架

图2　整体框架

本文主要功能框架如图2所示.上位机用于存储数据(图像、图像特征)和处理算法等，宜采用运算性能较高的计算机，本文采用台式机作为测试上位机；下位机与用户进行交互，同时支持基于服务器的远程图像查询和基于本地的图像查询.所有运行Android 2.3系统以上的手机或平板电脑等都可以作为下位机，本文采用平板电脑作为测试下位机.上位机与下位机之间通过无线网络进行通信，无线网络可以是Wi-Fi或3G.本文采用Wi-Fi实现上位机与下位机之间数据的传输.

3系统设计、实现与测试

3.1开发工具与数据库

上位机使用Tomcat、JDK、Eclipse和MyEclipse等开发工具，下位机需要JDK、Eclipse与SDK工具.上位机采用MySql数据库，用于存储用户资料及图像信息；下位机采用SQLite数据库，用于存储本地图像信息.

3.2上位机功能模块设计

上位机系统模块主要包括图像添加接口、管理接口、特征提取、信息处理、信息库管理及数据存储，如图3所示.它主要用于处理下位机提交上来的图像信息，包括图像的检索以及增、删、改、查、下载等操作.

图3　上位机系统模块组成

图像添加模块接收来自下位机的图像原始文件，然后对其进行预处理并提取相应的特征，将获得的图像信息及特征向量分别存储到相应的数据库.图像管理模块用于响应下位机发出的检索、浏览、下载等请求，并借助信息处理模块对接收的请求信息进行校对，最后通过信息库管理模块对下位机请求的图像信息进行处理，并把处理结果经由管理接口模块传递到下位机呈现给用户.

3.3下位机功能模块设计

下位机主要分为图像检索模块与远程图像管理模块，其中图像检索模块主要用于基于本地或远程图像信息的检索，如图4所示.图像管理模块主要用于远程图像信息的增、删、改、查等操作.

主UI界面用于选择待检索图像(也称为“样本图像”)、检索算法以及本地或远程图像检索数据库.样本图像是本地图像，也可以从下位机相机实时获取.预处理模块用于对图像进行灰度校正、噪声处理或大小规整等处理，以提高检索的准确性.本文采用中值滤波预处理方法，即用像素点邻域灰度值的中值来替代该像素点的值，以达到增强图像感兴趣区域，削弱不感兴趣的区域.本文分别采用了基于HSV分块颜色直方图算法、基于灰度共生矩阵的纹理特征算法及融合颜色和纹理特征算法.相似度检测用于计算图像特征向量之间的相似度，并按相似度降序排列.本文采用了曼哈顿距离计算相似度,利用查询点移动相关反馈技术来进一步提高检索准确率，即允许用户对检索到的结果进行正、反例标记，并将标记后的结果再次送入检索系统重新检索，从而使检索结果更加符合用户的需求.

图4　图像检索模块设计示意图

如果用户选择的是远程检索，则提取的图像特征信息传递给上位机，待上位机分析处理后，把检索到的图像按相似度由高到低的顺序传递给下位机，由下位机检索结果展示UI给用户，如图5所示.如果用户选择的是本地检索，则进行基于本地图像库的图像检索.

图5　远程图像管理模块设计流程

图像接口模块主要负责上位机与下位机信息的交互，包括图像文件的上传、浏览、修改、下载、删除等接口.UI、图像信息添加模块主要用来选择需要向上位机上传的图像源文件，由图像接口模块将图像源文件上传到上位机，上位机运算处理后再通过此模块把返回信息呈现给用户.UI、远程图像操作模块主要用来对上位机图像库进行操作管理，包括远程图像的浏览、编辑、下载、删除.

3.4下位机与上位机的数据交互

下位机与上位机通过Web Service进行信息传输[14].Web Service是指驻留在Internet上的某种计算机应用程序，可以解析HTTP协议.通过基于Android版本的jar包获取服务器端Web Service的调用.具体步骤如下：

(1) 下载KSOAP的jar包，并引用到要开发的Android项目中；

(2) 实例化SoapObject对象，并设定Web Service的命名空间和调用的方法名称；

(3) 假设方法有参数的话，通过addProperty(“参数名称”，“参数值”)设置调用方法参数；

(4) 设置SOAP请求信息(注：参数中SOAP协议版本号与Web Service中保持一致)；

(5) 注册Envelope；

(6) 构建传输对象，并指明WSDL文档URL；

(7) 调用Web Service(其中参数1为命名空间+方法名称，参数2为Envelope对象)；

(8) 解析返回数据，获取请求信息.

3.5相关反馈技术的实现

本文根据查询点移动方法计算相关反馈后的新特征向量，需要分别计算所有正、反例图像特征向量平均值，然后分别对样本图像特征值及正、反例图像特征向量的平均值进行加权，3个向量的权值需要进行大量的测试实验才能获取相对合理的值，本文设置的样本图像、正例图像、反例图像的权值分别为1，0.75和0.15，最后通过加权后样本图像的特征向量与加权后正例图像的特征向量进行相加，减去加权后反例图像的特征向量，从而得到新的特征向量.

3.6系统测试

系统测试采用的图像库是Corel图像库的一个子库，其中包括恐龙、花朵、建筑物等10类图像，每类图像100幅，共1 000幅，都是384像素×256像素的图像.上位机采用系统为I3/3.30 GHz台式机，下位机是运行Android4.0系统的基于ARM核的平板电脑，网络环境为TP-LINK无线路由器搭建的无线局域网.

图6所示的是下位机主UI界面.首先进行的是不带相关反馈的图像检索.通过点击本地图像按钮，打开本地文件夹，从中选取样本图像，对样本图像进行基于HSV颜色直方图、灰度共生矩阵以及融合这2种特征的方法进行检索.检索结果如图7—9所示.

图6　下位机主界面

图7　颜色特征检索

图8　纹理特征检索

图9　融合颜色和纹理检索

图10　颜色+反馈后检索

图11　纹理+反馈后检索

图12　融合+反馈检索

进行相关反馈时，可在检索结果显示UI中单击其中任意一张图像都会弹出一个正、反例图像标记的对话框，用户通过选择正例或反例对图像进行标记，进行再次检索，从而形成一种用户参与其中的交互检索机制，即相关反馈.图10—12所示的是相关反馈后，再次采用3种检索策略所获得的检索结果.

在测试时，通过对数据库中花朵、恐龙、公交车、宫殿建筑4类图像的检索对比，结果显示恐龙结构比较简单，图像利用颜色特征会获得较高的检索准确率，其查准率和查全率分别为92%和46.3%；而基于灰度共生矩阵纹理特征的查准率和查全率分别为66.7%和33.3%；融合2种特征的查准率和查全率分别为94.7%和47.3%.对宫殿建筑这类结构复杂的图像检索准确性较低，其基于HSV颜色特征的查准率、查全率分别为40%和20%；基于灰度共生矩阵纹理特征的查准率、查全率分别为26.7%和13.3%；上述2种特征综合算法的查准率、查全率分别为41.3%和20.7%.另一方面，在1 000幅的图像库中，系统在远程检索同一幅图像时大约需要7.8 s，图像缓存到本地后，再次检索只需2.1 s，而基于本地的图像检索平均需要2.3 s.

4结束语

本文通过HSV颜色特征及灰度共生矩阵的纹理特征算法实现了基于手持移动终端设备的图像检索系统，并采用查询点移动相关反馈技术，对检索结果进行了优化，使得检索结果更加符合用户需求.用户通过该系统可进行本地或远程的图像检索，使基于内容图像检索更加方便，同时解决了上位机体积大不便于携带与下位机存储空间不足的问题.通过该系统还可以对远程图像信息进行增、删、改、查管理，提升了其实用性.从实验过程及结果可以看出，HSV颜色特征对空间复杂及维数较高的图像容易造成误检，基于灰度共生矩阵的纹理特征算法对纹理复杂的图像检索性能较差，后续工作将重点研究和实现多模态下的图像检索.

[参考文献]

[1]黄祥林，沈兰荪. 基于内容的图像检索技术研究[J]. 电子学报，2002，30(7)：1065-1071.

[2]孙君顶，毋小省. 基于颜色分布特征的图像检索[J]. 光电子·激光，2006，17(8)：1009-1013.

[3]陈海霞，崔茜. 基于Gabor小波和PCA的人脸识别[J]. 东北师大学报(自然科学版). 2014，46(4)：77-90.

[4]李向阳，庄越挺，潘云鹤，等. 基于内容的图像检索技术与系统[J]. 计算机研究与发展，2001，8(3)：344-354.

[5]李丙春. 基于共生矩阵的图像纹理特征提取及应用[J]. 喀什师范学院学报， 2006，27(6)：35-37.

[6]姜兰池，沈国强，张国煊. 基于HSV分块颜色直方图的图像检索算法[J]. 机电工程，2009，26(11)：54-57.

[7]宋严，赵永哲. 改进的HFEM公钥密码方案在数字签名上的应用设计[J]. 东北师大学报(自然科学版)，2014，46(3)：69-74.

[8]孟繁静，王连明. 视频人脸识别系统中的最佳人脸捕获[J]. 东北师大学报(自然科学版)，2015，47(3)：90-95.

[9]黎琳，赵英. 基于内容的图像检索反馈技术概述[J]. 图书情报工作，2006，50(11)：95-98.

[10]RICARDO B， BERTHIER R. Modem information retrieval [J]. Addison Wesley Longman，1999， 47(7)：173-257.

[11]沈镛. 软件开发中SSH框架技术研究与应用[J]. 福建电脑，2010，26(6)：82-83.

[12]张恒喜，史争军. 基于SQLite的Android数据库编程[J]. 电脑编程技巧与维护，2011 (21)：30-31.

[13]孙语泽，迟嘉，胡亮. 一种基于DES加密算法的Adnroid平台与服务器通信加密的实现[J]. 东北师大学报(自然科学版)，2015，47(3)：78-83.

[14]孟琼. 基于Spring Java Bean的Web Service服务[J]. 计算机与现代化，2012 (1)：194-195，198.

(责任编辑：石绍庆)

Design of content-based image retrieval system on mobile terminal

LI Xin1， PU Dong-bing2， LÜ Jian-xiong1

(1.School of Applied Technology， Changchun University of Technology， Changchun 130012， China;2.School of Computer Science and Information Technology， Northeast Normal University， Changchun 130117， China)

Abstract:This paper firstly researches on the technology of content-based image retrieval (CBIR). And then gives the Design and implementation of a portable CBIR system (CBIRS) on handheld mobile terminals. The CBIRS can successfully find similar images by their features including HSV (Hue， Saturation， and Value)， gray level co-occurrence matrix and relevance feedback technology. The whole system consists of an upper computer and several lower computers. Retrieval algorithms are processed on the upper computer. Users can interact with the lower computer and check the result of image retrieval. Experiments show the CBIRS runs stably. It can find those similar images fleetly and accurately. The work of this paper will push forward the technology of CBIR on mobile terminals.

Keywords:mobile terminal；content-based；HSV；gray level co-occurrence matrix；relevance feedback

[中图分类号]TP 274+.2[学科代码]490·10

[文献标志码]A

[作者简介]李鑫(1977—)，女，讲师，主要从事软件工程研究；通讯作者：蒲东兵(1970—)，男，博士，副教授，主要从事智能控制与嵌入式系统、模式识别研究.

[基金项目]吉林省科技发展计划项目(201105056)；吉林省发改委资助项目(JF2012C004，2014Y101)；吉林省教育厅“十二五”科学技术研究项目(2015102).

[收稿日期]2014-09-03

[文章编号]1000-1832(2016)01-0072-06

[DOI]10.16163/j.cnki.22-1123/n.2016.01.016