图书馆藏书整架辅助系统的设计

姚莉娟，陈玮，冯明

（1 成都纺织高等专科学校 信息中心，成都 611731；2 成都瑞泰鸿信科技有限公司，成都 610054）

0 引言

在信息量的增长、电子书的发展、社会服务意识的增强以及社会开放图书馆的发展需求推动下，图书馆的管理模式也在发生变化。物联网技术特别二维码技术和云技术更加促进了图书馆向智能化发展，智慧图书馆的理念使服务更加快捷和优质。

目前，在智能化发展潮流推动下，研究者面向图书馆工作人员研发了功能强大、高效实用的智能管理工具，包括图书分拣系统、自助还书系统、推车式盘点系统等。但是由于射频标签不能精确对图书进行定位，针对图书上架、整架没有比较好的辅助系统，目前还主要依靠工作人员完成上架、整架工作，效率非常低，需要大量的时间和人力，严重影响图书馆服务。因此，针对图书馆切实需要，改善图书馆现有管理方案，并设计实现移动式智能整架系统，具有较高的实用价值。

基于此，本文设计了一种基于物联网和计算机视觉的图书馆藏书整架辅助系统。该系统先对书架设置定位标签，再利用巡检的全景相机获得书架实时图像，将图像送到基于云部署的后台服务器进行处理。服务器程序利用预设的定位标签信息对图像中的书架定位，利用该定位标识结合隔板的几何信息，对图像进行校正，划分为为各自搁板上的书脊图像，将其中的书脊识别出来，再利用文字识别获得藏书的索书号等信息。最后，系统对藏书信息进行检索，并将该信息返回给巡检人员，巡检段利用语音、声光等提示手段为工作人员整架进行辅助。该系统充分利用了成熟的物联网、云技术和深度学习技术，实现了对在架藏书精确定位，未来在智能化图书馆服务改造升级方面有很好的应用场景。

1 图书馆整架流程分析

读者在浏览图书时，会从书架上取下图书，翻阅后可能会放置到图书回收箱，也可能放置到错误的位置，乱架和回收的图书会显著增加，图书馆工作人员一般会定期对书架进行巡检，将散落在书架周围以及书架上乱序的图书放回固定工作站进行统一处理。其中，乱序图书的查找，需要熟练的操作人员依靠书脊上粘贴的索书号来判断图书位置是否正确，操作人员必须熟悉图书的索引编目和排架规则。

到达工作站后，工作人员会利用索书号对图书进行初步分类，该工作非常繁琐并且需要很熟练，利用RFID 扫描器或者是条码扫描器在一定程度上可以帮助分类。

被初步分类的图书将由各自负责的人运送到指定书架，并按图书编目索引顺架规则归位到书架位置。其中，上架也需要熟练的操作人员依据书脊上的索书号，在书架对应位置周围检查，以找到正确的位置进行上架，便于读者按类别查找所需要的图书。这个工作环节非常消耗时间，一般图书馆都会在固定时间段，集中大量的人力来完成这个任务，即图书上架或者称为图书顺架。

从上架和整架的过程可以发现，乱架图书的查找和上架都需要熟练的工作人员通过阅读书脊上的索书号信息来判断乱架图书，寻找上架图书的正确位置。由于该工作工作量巨大且枯燥，工作人员很容易疲劳，非常容易发生错误。因此，图书馆急需一种便捷的辅助工具来减轻工作人员工作量，或者降低对工作人员熟练程度的要求，以解决整架的问题。

2 图书馆藏书整架辅助系统方案设计

2.1 总体方案设计

基于图书馆整架流程的实际需求，系统由图像采集模块、基于python的后台处理软件、提示提醒输出模块构成。Python 作为解释型、面向对象、动态数据类型的高级程序设计语言，在发展过程中积累了大量的科学处理包，包括图像处理、神经网络、机器学习等库。利用python 平台可以快速搭建原型系统，并进行神经网络的训练。

图书馆藏书整架辅助系统功能结构图如图1 所示。

图1 图书馆藏书整架辅助系统功能结构框图Fig.1 The structure block diagram of the library bookshelf handing system

图像采集模块由巡检人员携带，通过高解析度广角相机采集图像，并利用无线设备将书架的图像传输到后台服务器，但获得图像的分辨率和速度将影响后台的一系列处理效果。

提示提醒输出模块由巡检人员携带，通过声光、语音等输出进行错架书籍的提醒，指示辅助工作人员进行整架。

基于python的后台处理系统包括：图像预处理、书架识别、搁板定位、图像几何校正、图像按隔板分割、书脊识别、、文字索引号识别。第一步，广角相机传回的图像被校准等预处理；第二步，利用物体识别算法找到图像中的四月标签（又名Apriltags），该标签事先设置在书架搁板两端交叉处，用于图像几何校正和隔板定位，四月标签的内容包含了书架信息，通过其在图像中的位置可以获得搁板定位信息；第三步，利用搁板定位和其几何特征进一步对图像进行几何校正，恢复图像，将图像按搁板进行分割，得到每一层搁板上书籍堆叠的书脊图像；第四步，根据分割后的图像，利用训练得到的YOLOv3 网络模型对书脊进行识别并分割，获得独立书脊的图像；第五步，对每一个书脊图像进行矫正，利用书名特征和索书号特征进行文字识别，结合藏书信息库信息，提高获取索书号的准确性，最终得到藏书信息。

2.2 图像预处理技术

巡检人员携带的广角相机在拍摄的过程中不可避免地受光线、位置等影响，使图像质量下降，为后续图像处理带来不利影响，本系统利用python的计算机视觉库对原始采集图像进行预处理。

图像预处理包括：

（1）灰度转换：为了消除颜色信息对物体识别和轮廓提取的干扰，首先将彩色图像转换为灰度图，转换后的图像将只剩下一个通道，该通道由红绿蓝3个分量加权处理得到。

（2）图像滤波：通常图像采集过程中会产生椒盐噪声，又称脉冲噪声，在图像中形成随机的噪点，影响后续处理的性能，而且虚假的边界会对边界检测的结构产生很大的干扰。本文使用小波算法对图像去噪，在低频部分和高频部分采用不同的阈值进行信号和噪声的分离，该算法能够在清除噪点的同时保留边缘的锐利度，有利于书脊和文字识别处理。

（3）边缘检测：边缘检测是图像分割和物体识别的重要模块，通常是根据检测图像的一阶导数的极值信息或者是二阶导数的过零信息来提取物体边缘。本文选用Sobel 算子作为边缘算子，该算子在抑制噪声和边缘增强两个方面均有很好效果。

2.3 基于二维码的书架信息提取和搁板定位

本系统利用在书架搁板两端预先张贴包含书架和搁板信息的四月标签，在图像中识别定位该标签以获得书架信息和搁板定位信息。四月标签是一种具有二维码形式的数据编码存储的对象，具有成本低、容量大、识别和解码快等优点。利用图像梯度和聚类检测算法能够方便快速地从图像中检测到该对象。该方案具有很高的鲁棒性和实时性，在图像较小、大角度倾斜的情况下也能够快速检测。本系统的服务器软件利用Python的四月标签库，生成和识别标签。

2.4 基于YOLO的书脊检测算法

针对系统中的书脊检测，采用基于深度学习的YOLO 检测算法。该算法的优点是对输入的图像经过一次推断，便能得到其中所有的书脊定位，由于书脊的几何特征非常明显，从而极大地提升了检测的速度。采集了大量图书书架的图像，采用人工对书脊图像进行分割，并对图像进行标注，以此为基础构建实验训练数据集。

YOLOv3模型在处理流上融合了特征金字塔网络（FPN）和全卷积网络（FCN），包含特征提取网络和多尺度特征融合网络。YOLO 系列算法使用网格来识别物体，网格的尺寸影响物体的识别。通过对不同检测网格的设置，可以在不同精度上对物体进行识别。由于目标特征比较明显，系统在模型上采用通常的YOLOv3 网络结构，如图2 所示。

图2 系统采用的YOLO 整体网络结构Fig.2 The proposed Yolo network structure

2.5 书名与索书号识别

书脊识别后图像被分割为书脊的图片，识别图片中的字符以得到索书号。传统的字符识别需要发现图片中的字符，将疑似字符区域和其他图像分割开，再利用该图片进行文字识别，处理过程较为复杂。为了降低处理复杂度，本文利用上述物体检测算法，直接在图片中进行文字检测。

索书号识别目标为字符和数字。而书名多为中文，中文数据集中存在的中文字体繁多，为降低数据集制作的工作量，选择比较有代表性的宋体、仿宋、黑体，使用汉字表作为字符基础库，并将这3 种字体与基础字符库组合，可以得到不同类别不同字体的图片。在此基础上进行各种角度拉伸、变形等，最后把图片分辨率统一，得到中文字符数据集，对网络进行训练。

文字识别结果的结果通过与藏书数据库比对，进一步确定书籍信息。

3 实验与分析

本系统利用图书馆藏书书架和藏书数据进行了训练、验证与初步测试，达到了预期效果。试验配置GPU 为Quadro P600 4G DDR5，系统为CentOS 8，为了达到和云配置一样的效果，采用了Nvidia 提供的Nvidia-docker 以使用宿主机的GPU CUDA 资源，虽然测试性能有所影响，但利于此后的云部署。图像采集设备为270°的广角摄像头，分辨率可以达到4 320×1 440。实验系统图像处理流程如图3 所示。

图3 实验系统图像处理流程Fig.3 The image processing flow of experimental system

从对系统的测试来看，字符的像素数达到处理要求，可以进行书脊识别和索书号识别。当摄像头离书架近时，但此时定位标志变形严重，识别率会降低；相反，摄像头离书架远时，定位标识识别概率增加，但索书号提取困难。因此必须严格控制摄像头与书架的距离，以平衡书架识别和书脊识别的识别概率。由于书脊的形状为规则的矩形，且背景很规则，避免了YOLO 算法在图像背景和物体复杂时识别准确率受到影响的缺点，该系统的书脊检测部分效果较好。但是对于部分书脊太薄，图像采集精度不够，难以被识别。此外在索书号书籍标题识别流程中，当图书的标题为宋体、仿宋和黑体等字体时，标题能够正常识别，艺术字体等容易出现识别错误。

4 结束语

为了降低工作人员整架工作量，本文基于计算机视觉技术设计了一种用于图书馆整架的辅助系统。该系统基于物体识别算法，对采集的书架图像进行处理，识别隔板定位标识、书脊、书籍标题和索书号，并利用该信息对错架书籍进行甄别。实验证明，该系统可识别乱架图书，降低工作人员工作强度，下一步将进一步优化系统识别性能，提高实用性。