一种使用多特征的鱼类图像检索方法

孙建伟，于红，吴俊峰，张美玲，罗强，孙娟娟

（大连海洋大学信息工程学院，辽宁省海洋信息技术重点实验室，辽宁大连116023）

一种使用多特征的鱼类图像检索方法

孙建伟，于红，吴俊峰，张美玲，罗强，孙娟娟

（大连海洋大学信息工程学院，辽宁省海洋信息技术重点实验室，辽宁大连116023）

为解决数量巨大、特征复杂的鱼类图像难以用单个特征准确描述，以至于给鱼类图像检索带来困难的问题，提出了一种基于多特征的鱼类图像检索方法——MFFIR，并针对鱼类图像的特点设计了由颜色直方图、特征矩和Gabor特征构成多维特征向量。在此基础上，采用MFFIR法通过计算多维特征向量的特征相关性，实现了鱼类图像的匹配与检索。为验证此方法的有效性，使用 “QUT_fish_data”数据集和“DLOU_fish_data”数据集进行了仿真实验，实验结果表明，MFFIR法具有较好的准确率和较强的鲁棒性。

鱼类图像；多特征；图像检索

鱼类图像检索对鱼类科普、鱼类资源调查具有重要意义，已引起了学者们的广泛关注［1-2］。邵广昭［1］采用基于图像标签的方法开发了中国台湾鱼类资料库检索系统，该方法需要先对被检索图像进行标注，在图像已经被标注的情况下，该系统能够有效地对鱼类图像进行检索。然而，在互联网环境下，图像数量快速增长，对所有图像进行人工标注耗时耗力，难以实现全面有效的检索。为了解决这一问题，Hirata等［3］提出了基于内容的图像检索（Content based image retrieval，CBIR）算法，该算法无需事先对图像进行手工标注。CBIR在自然场景图像检索方面已经取得了诸多进展［4-6］。Zhang等［4］提出了一种改进的颜色量化方案，通过计算HSV（Hue，Saturation，Value）颜色特征之间的欧氏距离来判断特征之间的相似度，该方案能够用全局颜色特征对颜色差异较为明显的图像进行有效检索，但不能对轮廓复杂且颜色特征不突出的检索对象进行有效检索。Sakhare等［7］利用颜色特征以及Haar特征对自然场景图像进行检索，通过提取图像的颜色特征以及纹理特征，精确地提取出被检索对象中的相似图像。虽然CBIR在其他领域的应用取得了较好的效果，但应用在颜色和纹理均非常复杂的海洋生物检索方面的研究较少。耿春云等［8］提取藻类图像中的矩形度、能量等多种特征，利用多特征实现了不同藻类的图像识别。但是所识别的藻类图像背景单一，在真实海洋环境中鱼类图像检索场景的复杂度较高。Reig-Bolaño等［2］利用椭圆傅里叶描述子提取鱼类形状特征，实现了3种不同形状的鱼类检索。但在实际场景下，由于鱼的游动以及拍摄角度等原因会使鱼的轮廓出现较大差异，单纯基于轮廓特征进行检索不能满足鱼类图像检索的实际需要。真实环境下鱼类图像的检索背景和前景较为复杂，颜色、纹理等特征都会对图像识别或检索结果产生影响。针对鱼类的图像特征，本研究中，笔者提出了一种多特征鱼类图像检索方法（Multiple features fish image retrival，MFFIR）。该方法选择全局颜色特征和Gabor特征作为鱼类图像检索特征向量，既可以通过颜色特征克服鱼类不同姿态造成的影响，又可以通过Gabor特征克服不同种鱼类颜色相近问题。为验证算法的有效性，在“QUT_fish_data”和 “DLOU_fish_data”数据集上进行了大量的测试，实验结果表明，MFFIR法具有较好的准确率和较强的鲁棒性。

1　特征提取

1.1特征选择

鱼类图像具有丰富的颜色、纹理和轮廓特征。一般情况下，颜色特征或纹理、轮廓特征具有一定的区分度，可以利用颜色特征或轮廓、纹理特征对鱼的大类进行初步判断。但是因为鱼类中存在同属同一大类不同种类的鱼具有相近颜色的情况，如鲽鱼和偏口鱼，颜色、形状均很相近，此时，单纯用颜色特征或轮廓纹理特征无法确定一条鱼的具体类别［9-10］。此外，鱼在游动过程中姿态会发生一定变化，从而导致同一类鱼的纹理和轮廓等特征也会具有一定差异性，单独采用颜色特征或者纹理特征都不能准确确定鱼的类别，因此，鱼类图像检索需要综合考虑颜色特征和纹理特征［11-13］。

按照图像特征所代表的像素范围分为全局特征和局部特征。在用肉眼对鱼的类别进行区分时，一般从总体上看鱼的颜色分布，如刀鱼、鲽鱼、偏口鱼等整体上是灰色的，黄鱼、黄花鱼等整体上是黄色的。在根据颜色对鱼的类别有一个初步的判断之后，就需要通过局部的纹理变化对鱼的类别进行最终确认，如青鱼和鲅鱼的整体颜色、轮廓差异较小，此时需要通过局部的纹理特征对二者进行区分。

综合以上分析，鱼类图像特征需要综合考虑颜色特征和纹理特征，既要考虑全局特征又要考虑局部特征。颜色直方图特征、矩特征［14］等全局颜色特征能反映用户对图像整体的感兴趣程度；Gabor滤波所提取的能量特征［15］、加速稳健特征 （Speeded Up Robust Features，SURF）特征［16］等局部特征能反映用户对图像局部区域的感兴趣程度。因此，选择颜色直方图、颜色特征矩和伽柏 （Gabor）特征可作为鱼类图像特征。

1.2全局颜色特征提取

常见鱼的体表颜色存在差异，全局颜色直方图特征能够反映图像的颜色分布特点，同时，由于颜色直方图特征不反映位置信息，因而能够避免由于鱼类游动产生的位置及轮廓等差异对图像检索结果造成的影响。为了更好地适应人眼的视觉特性，将RGB色彩空间转化为HSV色彩空间，以提取鱼类图像的颜色信息。其中，HSV颜色空间转换公式为

色彩空间转化完成后，为了减少图像中的信息冗余，增强颜色信息之间相互独立性，同时又确保图像的本身颜色特征不发生严重的失真，统计了原始图像在HSV空间下的三通道颜色直方图，然后将色度空间 （H）等间隔量化成8份，饱和度空间（S）等间隔量化成2份，亮度 （V）空间等间隔量化成2份。在量化后的HSV空间下，图像的颜色可以被量化为8×2×2=32级颜色。将量化后的颜色直方图作为特征向量，记为FC，其定义如下：

仅用颜色直方图不能全面反映图像的全局特征，在鱼类图像颜色极其相近的情况下，全局颜色直方图的分布差异并不十分明显。为弥补颜色直方图的局限性，引入了图像的颜色特征矩，记为FM，定义如下：

其中，pi，j为图像中第i个通道第j个像素的灰度值。

1.3局部纹理特征的提取

由于一些鱼类图像的颜色特征极其相似，单纯依靠颜色特征很难取得良好的效果。在传统鱼类学对鱼的分类方式中，经常会以鱼类的嘴、鳍、尾、鳞等局部区域的差异作为分类依据。这是因为某些鱼类之间的整体差异性并不十分明显，它们的差异性只局限于局部区域，所以引入了可提取图像局部纹理信息的Gabor特征来进一步提高检索结果的准确率。此外，Gabor特征还具有良好的图像旋转和缩放不变性，因而可以提高检索结果的鲁棒性。Gabor特征的提取过程如下：

（1）构造Gabor滤波器，计算公式为

其中：σx、σy分别为滤波器的尺度参数，控制着滤波器窗口大小；W为正弦调制频率。

（2）用Gabor滤波器对原图进行滤波，滤波定义如下：

（3）Gabor特征提取，特征提取定义及Gabor滤波器输出的平均值μ（W，θ，σx，θy）、标准差std（W，θ，σx，θy）定义如下：

2　相似度匹配

图像检索需对提取的特征向量进行相似度匹配。常用的图像相似度匹配度量方式包括距离度量和相关系数度量两类方式。与欧式距离相比，相关系数度量更加注重特征向量之间方向上的差异，因为鱼类图像所提取特征种类不同，单凭特征的数值差异不能很好地反映特征向量之间的相似性，需要注重特征向量方向差异，因此，本研究中采用相关系数度量鱼类图像之间的相似性。

常用的相关系数度量包括斯皮尔曼等级相关系数 （Spearman rank）和皮尔逊相关系数 （Pearson correlation coefficient），斯皮尔曼等级相关系数对数据条件的要求没有皮尔逊相关系数严格，不论两个变量的总体分布形态、样本容量的大小如何，都可以用斯皮尔曼等级相关系数进行度量。因为鱼类图像样本均为实际拍摄的鱼类图像，样本特征向量的分布不能预知，因此，本研究中采用斯皮尔曼等级相关系数进行图像相似度度量［17］，其计算公式为

3　多特征的鱼类图像检索方法描述

在确定了特征选择、特征提取和相似度计算方法后，就可以用多特征进行鱼类图像检索，MFFIR法流程图如图1所示。首先进行图像的归一化处理，然后按照特征选择确定的原则提取32位全局颜色直方图特征、6位颜色矩特征、24位Gabor特征，将上述特征按循序排列合并形成62位混合特征向量。采用了颜色特征、颜色矩特征、频域Gabor特征，不同类型特征的独立性较强，从而进一步保证了混合特征向量内部的相互独立性。此外，由于鱼类图像数量庞大，62位特征向量对于所检索的鱼类图像数量来说较为合适，能够满足基于现有图像数据的检索需求。本研究中，采用斯皮尔曼等级相关系数对所提特征进行相似度计算，并对相关度得分按照降序排序，最后按排序输出检索结果。

图1　鱼类图像检索流程Fig.1 Flow chart of fish image retrieval

4　实验结果及分析

4.1材料与方法

为了验证本研究中提出的MFFIR方法的有效性，在Windows 7系统下使用Matlab2012b进行仿真实验。实验环境的硬件配置为：Intell（R）Core i3-4150 CPU 3.5 GHz处理器，4 GB内存。仿真实验在国内外两个鱼类图像数据集上进行，并通过计算检索结果的平均准确率来评价算法的效果。

“DLOU_fish_data”由大连海洋大学图像处理研究组建立，共包含219张鱼类场景图，共20类。“DLOU_fish_data”的特点是同种鱼的姿态差异较大，并且所处的场景环境即图像背景也不尽相同，以此验证MFFIR法对背景以及鱼类姿态变化的鲁棒性，图2为 “DLOU_fish_data”数据集中图像示例。

图2　“DLOU_fish_data”数据集示例Fig.2 Samples of“DLOU_fish_data”DataSet

鲀 “QUT_fish_data”由澳大利亚昆士兰州大学提供［18］，共包含4405张鱼类图像，每张图像标有鱼类的名称以及种类，共468类。为了客观、有效地验证MFFIR法的有效性，从中挑选了4108张彩色鱼类图像并用数字重新命名后构建了新的检索库。“QUT_fish_data”的特点是鱼的种类数目较多，图像数目较大，以此验证MFFIR法在大规模数据集下的鲁棒性。图3为 “QUT_fish_data”数据集中图像示例。

不同于大多数现有的非鱼类图像公开库，本研究中采用的 “DLOU_fish_data”和 “QUT_ fish_data”鱼类图像数据库的样本分布具有很大的不均衡性，各类鱼种的同类图数量差异较大，这会造成各类别的召回率计算的差异性，从而影响评价的客观性，并且图像检索的实际需求是尽可能方便快捷地让用户找到自己所希望找到的图像信息。基于以上样本数据的特点，本研究中采用Singha等［19］所用的评价标准，即计算检索结果的平均准确率：

其中：P为检索准确率；A为检索结果中所包含的同类图数；B为检索结果中所包含的非同类图数；为平均准确率；k为检索类别编号；Pk为第k类的准确率；q为检索鱼类的类别数。

本研究中，在验证图像检索算法的检索效果时考虑了检索的精确度，以及鱼类图像库中每一类鱼的同类图的数量分布情况。针对 “DLOU_fish_ data”的同类图数量为10副左右，计算了“DLOU_fish_data”图像库检索结果排名第一（Top 1）和前五名 （Top 5）检索结果的平均准确率。针对 “QUT_fish_data”每一类鱼的同类图的数量为18副左右，计算了 “QUT_fish_data”检索结果排名第一 （Top 1）、前五名 （Top 5）和前十名 （Top 10）检索结果的平均准确率，并将其作为指标对图像检索结果进行评价。检索排名低于同类图平均数量一半的被认定为无效检索结果，以此确保检索评价的客观有效性。此外，本研究中采用平均检索时间来评价检索算法的检索效率，计算公式为其中：T为检索全部测试图像的总时间 （s）；n为测试图像的个数。

图3　“QUT_fish_data”数据集示例Fig.3 Samples of“QUT_fish_data”DataSet

4.2结果与分析

为了验证算法的鲁棒性，分别采用单独采用颜色特征的图像检索算法 （Color）和单独采用纹理特征的图像检索算法（Texture）以及MFFIR法对两个数据集进行检索实验，结果如图4～图6所示。

从图4可以看出：采用MFFIR方法的Top1（第一名）检索结果要高于单独采用颜色特征或纹理特征的图像检索算法，这表明MFFIR方法的检索精度要优于单独采用颜色或单独采用纹理的检索方法；从Top5（前五名）的检索结果可以看出，相较于其他两种方法，MFFIR方法具有较高的平均准确率，这表明MFFIR方法能够更好地检索出图库中所包含的同类图。进而可以验证，MFFIR方法对于复杂场景和鱼类姿态差异具有较强的鲁棒性。但是从检索结果来看，本研究中所用MFFIR法对于个别场景下的鱼类图像的检索效果还存在一定误差。这是由于本研究中所用MFFIR算法提取的是原图中的图像特征，当待检索鱼类占图像的面积比例小于场景面积，并且图像的场景信息较为复杂时，采用MFFIR法会受到场景信息的干扰，从而影响检索的准确度。

图5　“QUT_fish_data”20类平均准确率Fig.5 Precision of 20 categories for“QUT_fish_data”

从图5可以看出，MFFIR法在 Top1（第一名）、Top5（前五名）、Top10（前十名）的检索结果中均取得了最好的结果。这表明，MFFIR法相较于单独采用颜色或纹理特征的算法对大规模数据集下的图像检索具有更好的检索精度和适应性。

图6　“QUT_fish_data”（a）和 “DLOU_fish_data”（b）的总体平均准确率Fig.6 Total average precision for“QUT_fish_data”（a）and“DLOU_fish_data”（b）

从图6可以看出，相较于单独采用颜色或者纹理特征的图像检索方式，MFFIR方法能够较为精确地检索出检索图所对应的同类图，并且对鱼类姿态变化、图像背景差异和图像规模差异都具有良好的鲁棒性。因此，MFFIR方法能够较好地适应以及满足鱼类图像检索的需求。另一方面，从检索结果中看出，一些鱼类类别的检索结果相对另一些鱼类类别较差，对其进行分析后发现，其原因在于检测结果相对不理想的鱼类的形态以及颜色与其他类别的鱼类种类存在很大的相似性，这表明采用颜色和纹理特征的混合特征检索仍具有一定的局限性。针对这个问题可以采取增加特征提取的种类，从更多的角度构建混合特征向量，以提高检索结果的准确性。此外检索结果的差异性也与数据集的样本分布不均衡性有关，图库中各类鱼类的同类图数量不一致会增大检索的困难度，但是从另一个角度来看，采用这样的数据集所得的检索结果更加符合检索的实际要求和客观性。

MFFIR检索算法在 “DLOU_fish_data”和“QUT_fish_data”数据集上进行图像检索实验，图片的平均分辨率为384×256像素，单幅图片检索的平均检索时间为0.01 s。这表明，MFFIR检索算法中有较高的图像检索效率。

5　结语

针对鱼类图像检索存在的问题，提出了一种使用多特征的鱼类图像检索方法——MFFIR方法。用该方法分别提取了鱼类图像的局部纹理特征以及全局颜色特征进行特征匹配，进而得到检索结果。为测试算法的鲁棒性，在 “DLOU_fish_data”和“QUT_fish_data”数据集上测试了MFFIR方法的效果。仿真实验表明，MFFIR方法能够很好地适应鱼类姿态差异、场景差异和数据集的规模差异。但是，由于目前缺少针对鱼类图像检索的公开数据集，故本次实验用的鱼类图像库的规模仍然不够大，在大规模数据集上的实验效果研究还有待于进一步研究。另外，如何将基于内容的鱼类图像检索与基于文本的检索有效结合起来以提高检索效果，还需要进一步研究。这些将是未来研究的主要方向。

致谢：感谢澳洲昆士兰大学提供“QUT_fish_ data”鱼类图像数据库！

［1］ 邵广昭.台湾鱼类资料库网络电子版［EB/OL］.http：//fishdb. sinica.edu.tw/mobi/home.php.［2015-10-05］

［2］ Reig-Bolaño R，Marti-Puig P，Gallego E，et al.Feature selectionfor analyzing and retrieving fish otoliths using Elliptic Fourier Descriptors of shapes［C］//Proceedings of the 7th International Conference on Next Generation Web Services Practices.Salamanca：IEEE，2011：290-295.

［3］ Hirata K，Kato T.Query by visual example：content based image retrieval［C］//Proceedings of the 3rd International Conference on Extending DatabaseTechnology.BerlinHeidelberg：Springer，1992：56-71.

［4］ Zhang Lei，Lin Fuzong，Zhang Bo.A CBIR method based on colorspatial feature［C］//Proceedings of IEEE Region 10 Conference on TENCON 99.Cheju Island：IEEE，1999（1）：166-169.

［5］ Marques O，Mayron L M，Borba G B，et al.On the potential of incorporating knowledge of human visual attention into Cbir systems ［C］//Proceedings of 2006 IEEE International Conference on Multimedia and Expo Toronto，Ont：IEEE，2006：773-776.

［6］ Kuo Y H，Cheng Wen-huang，Lin H T，et al.Unsupervised semantic feature discovery for image object retrieval and tag refinement ［J］.IEEE Transactions on Multimedia，2012，14（4）：1079-1090.

［7］ Sakhare S V，Nasre V G.Design of feature extraction in content based image retrieval（CBIR）using color and texture［J］.International Journal of Computer Science&Informatics，2011，1（2）：57-61.

［8］ 耿春云，郭显久.基于仿生模式识别算法的海洋微藻识别研究［J］.大连海洋大学学报，2014，29（5）：525-529.

［9］ 朱清澄，孙栋，花传祥，等.西非近海真鲷生物学特征的初步研究［J］.大连海洋大学学报，2015，30（6）：686-691.

［10］ 朱清澄，陈丙见，金鑫，等.缅甸安达曼海浅色黄姑鱼生物学特性的初步研究［J］.大连海洋大学学报，2013，28（5）：487-491.

［11］ Possegger H，Mauthner T，Bischof H.In defense of color-based model-free tracking［C］//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston，MA：IEEE，2015：2113-2120.

［12］ Danelljan M，Khan F S，Felsberg M，et al.Adaptive color attributes for real-time visual tracking［C］//Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus，OH：IEEE，2014：1090-1097.

［13］ Cimpoi M，Maji S，Kokkinos I，et al.Describing textures in the wild［C］//Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus，OH：IEEE，2014：3606-3613.

［14］ Chen Guangyi，Bui T D，Krzyzak A，et al.Small bowel image classification based on Fourier-Zernike moment features and canonical discriminant analysis［J］.Pattern Recognition and Image A-nalysis，2013，23（2）：211-216.

［15］ Yang Meng，Zhang Lei，Shiu S C K，et al.Gabor feature based robust representation and classification for face recognition with Gabor occlusion dictionary［J］.Pattern Recognition，2013，46（7）：1865-1878.

［16］ Bay H，Tuytelaars T，Van Gool L.Surf：speeded up robust features ［M］//Leonardis A，Bischof H，Pinz A.Computer vision-ECCV 2006.Berlin Heidelberg：Springer，2006：404-417.

［17］ Nielsen F Å.A new ANEW：Evaluation of a word list for sentiment analysis in microblogs［C］//1st Workshop on Making Sense of Microposts.Steamboat Springs，Colorado，United States：IEEE，2011：93-98.

［18］ Anantharajah K，Ge Zongyuan，McCool C，et al.Local inter-session variability modelling for object classification［C］//Proceedings of IEEE Winter Conference on Applications of Computer Vision.Steamboat Springs，CO：IEEE，2014：309-316.

［19］ Singha M，Hemachandran K.Content based image retrieval using color and texture［J］.Signal&Image Processing，2012，3（1）：39-57.

A fish image retrieval method using multiple features

SUN Jian-wei，YU Hong，WU Jun-feng，ZHANG Mei-ling，LUO Qiang，SUN Juan-juan
（Key Laboratory of Marine Information Technology of Liaoning Province，College of Information Engineering，Dalian Ocean University，Dalian 116023，China）

It is impossible to apply single feature to describe fish image which is characterized by large quantity and complicated features.A novel fish image retrieval method is proposed using multiple features as MFFIR and characterized to deal with the problem of the fish image retrieval.On the basis of analysis，a multi-features vector comprised of color histogram feature，color moment feature and Gabor feature is designed based correlation calculation method to calculate the similarity between images.The fish image retrieval method was described in detail，and some experiments were designed to test the performance of MFFIR on“QUT_fish_data”dataset and“DLOU_fish_ data”dataset.The findings show that MFFIR has good performance and robust.

fish image；multiple-feature；image retrieval

TP391.41

A

10.16535/j.cnki.dlhyxb.2016.04.017

2095-1388（2016）04-0449-07

2015-12-28

国家海洋公益性科研专项 （20135002-6）；大连市科技计划项目 （2015A11GX022）

孙建伟 （1990—），男，硕士研究生。E-mail：499293647@qq.com

于红 （1968—），女，博士，教授。E-mail：yuhong@dlou.edu.cn