图像搜索在移动电商领域中的应用与实现

周力恒 金阳 康轶泽 王彬 赵连启

摘 要：随着智能移动终端的普及，以其便捷性、便携性、实时性等特点，颠覆了传统PC电子商务模式。移动电子商务成为了电子商务发展的未来趋势，以其空前无限生命力推动着部门经济、区域经济、国民经济和世界经济跃上了一个新的台阶。随着移动电子商务在全球迅速普及，并形成爆炸性增长，购物搜索将成为互联网搜索中的重要分支。基于图像搜索的购物方式，或利用拍照后直接搜索呈现出拍照商品的方式，将更高效、更便捷地获取到目标商品，带来了全新的搜索模式，极佳的用户体验。

关键词：图形图像搜索 以图搜图 移动电子商务

中图分类号：G350 文献标识码：A 文章编号：1674-098X（2016）04（a）-0090-04

1 基于移动电子商务的图形图像搜索

移动电子商务，移动设备轻便易携、碎片化、娱乐化特征明显，可随时随地满足用户的即时性消费需求，由此，移动终端日渐成为用户网上购物的重要选择。同时，移动购物和生活场景相互交融，偶发性和冲动型消费快速滋长，电商情境化趋势日益彰显；另一方面，智能移动终端对音频、视频、图像等各类信息采集方便，以图片为例，其中适合图像搜索的图片为20%，假设0.5%人次成功转移，1%平均购买转化率，平均购物单价为200元，如，按平均10%的佣金计算，那么一年产业规模也超过220亿元。加上其他收入，比如：广告、手机搜索等，总体市场规模不低于600亿元。

随着移动电子商务日益兴起，图形图像搜索已能为客户带来全新的用户体验。在购物领域，非常典型的就是服装服饰等非标类产品，占到整个电子商务的55%市场份额。淘宝用户只要看到了目标商品，就可以使用图片搜索功能对比同款产品的市场价格，也能找到更多相似款。这是移动电子商务能带来的极致便捷体验。图形图像搜索技术一直受到巨头们的青睐，百度为深入研究“深度学习”算法，特地设立了IDL（Institute of Deep Learning）研究院。谷歌更是在短短几年内，陆续收购了七八家涉足图像识别的技术公司，并试图以谷歌眼镜抢占智能移动终端的场景入口。图图搜利用微信公众号，以微信拍照购物搜索功能，率先成为第一家接入微信的图像搜索引擎网站。谷歌、腾讯、百度等大公司也都在图片搜索领域有资源投入，为图片购物搜索发展带来了压力的同时，更为市场带来了各大图像技术竞相追逐的动力。

2 典型应用举例

2.1 手机购物网站相似商品搜索

可以是用户上传图片搜索，也可以是站内图片点击搜索。（如图1所示）

2.2 移动拍照购物

随手拍照—— 准确搜到相关商品。（如图2所示）

2.3 区域搜索

给定一张时尚或明星图片，根据自主的图片选定区域，能够识别与图片选定区域内容相似的其他商品图片，然后根据相似度排序。（如图3所示）

3 关键技术总结

3.1 图像搜索系统结构

基于移动电子商务的图形图像搜索技术，通常的做法包括IEEE的标准，都是用图像特征值来实现的。搜索引擎将目标图片进行特征提取，形成一组特征描述或特征向量。当用户搜索时，将查询图像的特征描述与数据库中其他图像的特征描述进行自动匹配，并返回匹配结果。（如图4所示）

3.2 核心技术

上述图像搜索系统的技术核心就是对图像特征的提取，特征提取是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。特征被检测后它可以从图像中被抽取出来，这个过程可能需要许多图像处理的计算机，其结果被称为特征描述或者特征向量。

常用的图像特征有颜色（Color）、纹理（Texture）、形状（Shape）、空间（Space）关系等。

（1）颜色特征：颜色特征是一种全局特征，描述了图像或图像区域所对应的景物的表面性质。一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。颜色直方图是最常用的表达颜色特征的方法，其优点是不受图像旋转和平移变化的影响，进一步借助归一化还可不受图像尺度变化的影响，其缺点是没有表达出颜色空间分布的信息。此外，颜色特征提取还有颜色集、颜色矩、颜色聚合向量、颜色相关图等方法。

（2）纹理特征：纹理特征也是一种全局特征，它与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。在模式匹配中，这种区域性的特征具有较大的优越性，不会由于局部的偏差而无法匹配成功。在检索具有粗细、疏密等方面较大差别的纹理图像时，利用纹理特征是一种有效的方法。常用的纹理特征提取与匹配方法有灰度共生矩阵、Voronio棋盘格特征法和结构法、随机场模型法、Tamura纹理特征、自回归纹理模型、小波变换等。

（3）形状特征：各种基于形状特征的检索方法都可以比较有效地利用图像中感兴趣的目标来进行检索。通常情况下，形状特征有两类表示方法：一类是轮廓特征；另一类是区域特征。图像的轮廓特征主要针对物体的外边界，而图像的区域特征则关系到整个形状区域。典型的形状特征描述方法有傅里叶形状描述符法、Hough变换检测平行直线方法、有限元法（Finite Element Method或FEM）、旋转函数（Turning）和小波描述符（Wavelet Deor）等方法。

（4）空间关系特征：所谓空间关系，是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系，这些关系也可分为连接/邻接关系、交叠/重叠关系和包含/包容关系等，空间关系特征的使用可加强对图像内容的描述区分能力。提取图像空间关系特征可以有两种方法：一种方法是首先对图像进行自动分割，划分出图像中所包含的对象或颜色区域，然后根据这些区域提取图像特征；另一种方法则简单地将图像均匀地划分为若干规则子块，然后对每个图像子块提取特征。

自从Hinton在2012年将深度卷积神经网络（CNN）带入到图像分类领域后，深度学习在图像处理相关领域的研究一下子变得异常火热起来。基于深度学习原理的图像检索，更多的是从一种图像理解的角度来进行的，得到的是一种更加抽象的描述，也可以理解为“语义”，它更多的是在解释这个图像描绘的是什么物体或者什么场景之类的。这种仿照人脑的识别过程而设计的深度神经网络能够自动提取图片中的语义信息，弥补了其他传统算法在这方面的不足。（如图5所示）

3.3 应用集成设计

应用集成设计如图6所示。

3.4 系统关键技术指标

（1）该平台表现出良好的用户服务支持能力。经系统实际运行测试，目前平台已入驻企业近万家，平台运行平稳，响应速度快，具有良好的用户体验。（2）项目自上线以来，该平台运行平稳，在高性能单服务器上支持并发搜索5 000以上。（3）拥有的图像算法，搜索结果效率高，核心算法库搜索响应速度<1 s。（4）高效的海量数据检索，准确的复杂场景提取，兼容对多元化信息数据，平均提取海量数据响应速度<1 s。（5）可视化索引技术，采用高度并行的多核心图形处理单元（Graphics Processing Unit），模仿人脑细胞进行并行高速特征提取和目标分类，搜索准确率高达98%以上。（6）通过基于云的信息架构和数据管理模型来取代传统模型，动态扩展服务集群时间<1 s。（7）通过这个基于云的数据存储模式，节点间的信息共享和信息整合变得更加有效。支持TB级数据存储。目前可视化商品搜索数据库，收录产品百万以上。

4 产业机遇与面临问题

图像搜索，可以简单地认为是“以图搜图”，但又不只是图像识别这么简单。如果把图像搜索等同于图片识别，它并不算什么高超的技术，不同领域的图像识别技术已经趋于成熟。识别只是图像搜索的第一步，第二步是理解，第三步是检索，每一步都存在着技术难点。在移动互联网时代，图片已逐渐替代文字成为了移动终端的主要信息载体，图形图像搜索以图搜图的产品特点，天然贯通了移动终端到电子商务平台图片信息传递的过程，利用图像搜索服务来引导移动电子商务消费已成为趋势。

5 图形图像搜索的发展方向

在移动电子商务领域内，对比其他搜索产品，将对以下三点技术指标进行重点研究和提升：（1）实现“所见即所得”，让图像搜索由被动到主动；（2）实现动态图像搜索，手机网络视频购物；（3）实现移动场景下对“线下实体”的搜索，成为用户的第三只眼。

参考文献

[1]余飞.基于HTML5的图形图像协同处理技术研究与实现[D].长江大学，2015.

[2]陈微微.基于颜色特征提取的图像搜索引擎研究[D].重庆理工大学，2012.

[3]夏定元.基于内容的图像检索通用技术研究及应用[D].华中科技大学，2004.

[4]周力恒.图像的搜索在电商领域的发展与实现[C]//中国报业协会电子技术工作委员会编.全国报社新闻工作会议暨2015中国报业技术年会论文集.北京：中国报业协会电子技术工作委员会.2015.