基于机器视觉的图书乱架清点系统*——以中南大学图书馆为例

●苏志芳 徐德刚 袁小一 (中南大学 长沙 410083)

随着图书馆纸质图书量越来越大，特别是多校区、大流通模式下，读者在借阅过程中会经常遇到OPAC显示该书在馆，但无法找到这本书的现象，其主要原因在于图书乱架。图书乱架是长期影响和困扰图书馆文献开架服务的痼疾。设计一个有效的图书乱架识别系统，既能快捷方便地解决图书整架清点问题，又不需要耗费太多人力物力。

随着图像处理技术的快速发展，视觉识别系统已基本上实现了图像特征抽取和分析，能自动识别图像中的标志、字符、编码结构[1]，使图书图像的文字识别和分析成为了可能。在物流广泛应用的无线射频识别技术也可以应用于图书馆。即为书库中的每一册书都贴上RFID电子标签，在书库中安装阅读器阵列，从而达到对乱架图书进行定位的目的[2]。

随着物联网技术及智慧图书馆技术的发展，机器视觉技术在图像学的应用也备受图书情报业界的青睐，再辅佐以日益成熟的无线通讯技术，为大流通环境的图书清点工作提供了新的视角和方法[3,4]，也为图书馆向智慧图书馆转型打下基础。

1 图书乱架清点系统设计

本文设计的图书乱架清点系统以自动化系统ILASⅢ为合作对象，主要包含以下三部分：基于DSP的数据采集器集成无线通信模块、图像处理模块、基于图书馆自动化系统ILASⅢ的清点模块，如图1所示。具体流程如下：首先，通过手持移动数据采集器将在架图书扫描，将扫描图像进行分割和识别后，获取书脊特征(书名和索书号)，将特征信息通过无线AP网络传输图书处理服务器；接着，调用ILASⅢ的书目信息和馆藏信息webservice接口，将图像信息分析的可能不完整的图书索取号补全，根据完整的索取号进行乱架图书识别；最后，将乱架图书的书名和索取号等信息通过无线网络反馈给数据采集器，并通过采集器液晶屏幕回显。

图1 基于ILAS的图书乱架清点系统

1.1 数据采集器设计

本系统设计的图像采集器硬件是根据实际查寻功能需求设计的，采用ARM + DSP的双核处理器，通过ARM 子系统来控制网卡驱动等主要外设，DSP 子系统负责图像的处理工作。图书图像采集过程如下：由模拟相机采集书架上图书书脊的图像信息，利用视频线传输至DSP图像采集装置，经视频解码芯片解码为16位数字数据，送入TI DM6446处理器，同时该处理器对视频解码器通过板上IIC总线进行配置。处理器将采集的图像数据利用USART2发送至无线传输模块。基于DSP的嵌入式图书馆藏书清点装置图像采集器的设计，如图2所示。

图2 基于DSP的嵌入式图书馆藏书清点装置图像采集卡的硬件结构示意图

此图像采集装置包括：高分辨率相机、电源，相机与通讯底板、图像处理核心板通过电缆相连。图像处理核心板包括：动态随机存储器DRAM、FLASH存储器，DSP处理器；DSP处理器的数据总线和地址总线与动态存储器DRAM和FLASH存储器相连，DSP处理器通过指定的地址访问动态数据和静态数据。通讯接口板包括：相机输入端口、图像解码芯片、无线网卡、通用异步收发器、RS232收发器、RS232端口，相机输入端口与相机相连，用于采集外部相机的图像；图像解码芯片分别与相机输入端口和DSP处理器的图像输入端口相连，用于接收相机端口的模拟图像并进行解码，生成数字图像并输出到DSP处理器，DSP处理器通过IIC总线对解码芯片进行控制；通用异步收发器的控制器与DSP处理器的数据总线和地址总线相连，用于实现DSP处理器的并行数据与通用异步收发器的串行通信数据之间的协议转换；RS232收发器与通用异步收发器相连，用于实现通用异步收发器串行通信数据与RS232通信数据之间的电平转换；RS232端口是用于物理连接到外部RS232通信端口。

1.2 图像处理模块设计

获取在架图书的图像后，经过预处理，需先分析图书书脊的特征，再设计合适的工作流程将图像进行切割，最后根据单个书脊图像提取出书名和索取号。

(1)图书馆书架上的书脊图像的特征。每本书书脊下方贴的索取号为图书上架的依据，书脊上的颜色各异，这一点可以用于特征提取。

(2)工作流程设计。该模块主要包含图像的预处理和边界提取、图像的分割、子图像的特征描述。具体流程如图3所示。

图3 图像处理流程图

第一，对图像进行预处理，更好地突出边界部分。预处理包括将彩色图像转化成灰度图和灰度均衡。因边界检测时，子图像提取时用彩色图像来做比较费时，而用它的灰色图像来做，不但节省时间，效果也是一致的。

第二，对图像进行边缘分割。本文采用分水岭图像分割算法[5]，以重构后的距离变换图像为拓扑表面，距离变换图中的最小值对应山峰，最大值对应山谷，用h顶开重构的改进变换求取距离图像的各顶区域，其标识点作为分水岭变换的种子区域，解决种子点难以确定的问题。已知一些点集分别属于图像中的各个待分割目标和背景，这些点集为标记集合，分水岭变换时，仅从这些标记(区)开始模拟水淹没过程。随着水面的不断升高会将无关的局部最小区域全部淹没，最终在不同标记的目标之间形成分水线。

图书书脊图像顶点灰度值高，边缘灰度值弱，因此采用上述所提出的面积重构H顶改进开变换来提取分水岭变换标识点，然后对图像求反，以求反后的泡沫图像为拓扑表面，其分水线就为泡沫图像中气泡的边缘。对H顶改进开变换提取到的标识需求反才能作为分水岭变换的标识，其具体确定过程如图4所示。同时，根据求取的标识点图对重构后的距离灰度图采用分水岭算法得到分水线，准确地完成书脊边界的分割。

图4 标识特征点提取流程

第三，利用分水岭边界信息将原图像分解成子图像[6，7]。每幅子图像就代表一本书，提取出的子图像也便于下一步的特征提取。提取子图像时，根据边界信息，将含有单本书的图像范围内的像素值设为1，其余像素值为0，将新生成的逻辑图像与原图像做交集，就能得到一幅子图像。

第四，用字符识别技术将书脊上的索书号和书名分别识别出来，从而完成书脊信息的提取[8]。在做字符识别之前，需先将这些字符区域分别定位，也就是对我们前面得到的图像再进行细分，然后调用OCR技术对字符进行识别。至此，单本图书书脊的书名和索书号均获取到了。

1.3 无线传输模块设计

作为新一代双向无线通信技术，ZigBee符合IEEE802.15.4 协议，以其低功耗、低成本和灵活组网等优点，可广泛应用于各种需要低速率传输的工业场合。在无线路由和每个DSP设备ZigBee子节点上都接有一个无线网络收发模块，通过这些无线网络收发模块，数据在无线路由和DSP设备ZigBee子节点之间进行传送[9，10]。

ZigBee协议栈层次结构主要由应用层、应用接口层、网络层和物理层组成。ZigBee模块主要由PIC控制器和ZigBee射频电路组成，PIC控制器通过SPI总线与射频电路相连，实现了MAC层和ZigBee协议层及特定应用的逻辑。ZigBee射频电路采用Chipcon公司的无线收发芯片CC2420，实现了物理层数据收发和底层控制。ZigBee 无线通讯子节点的功能为：脉冲量数据采集, 可采集图像处理后的数据；通过无线通讯IEEE802.15.4 协议与无线路由通讯。

本系统设计的数据采集器基于ZigBee 协议，主要模块包括DSP硬件模块和无线通讯模块，如图5所示。

图5 数据采集和无线传输模块

无线通讯处理模块主要负责加入现有网络的初始化工作以及读写数据并对数据进行封装，然后将DSP处理后的图像数据根据AODV分族路由算法，发送到路由器，最后发送到远端的ILASⅢ处理模块。

1.4 基于ILASⅢ的清点模块设计

根据图像处理模块获取单本的书名和索取号后，我们发现有的索取号因为书脊厚度的不同显示不完整，这时需根据书名信息调用中南大学图书馆集成系统ILASⅢ的Webservice接口，获取该书目信息，从而获取完整的索取号信息，并存入书脊信息数据库中。由于某排书架的书脊信息在后台信息库中处于连续位置，对于开架书架中乱架的两个主要问题：全库图书位置信息的获取；乱架图书的提醒和乱架图书的正确位置归位，可采取如下方案。

首先，经数据采集器将图书馆全库图书扫描后，将收集到每个书脊的索书号和书名存入书脊记录表中，并结合图书馆藏数量等信息，生成“书脊位置信息表”。该表实际上是一个动态数据库，记录着全馆每一本图书当前的实际位置信息。该信息指明了某本图书或在馆内的某室某书架某层的某区域中，或已借出在某读者手中。而且，图书实际存放位置的变化随着采集器清点的实行在表中随时得到反映。

其次，再根据索取号排序规则，制定各个架位的图书的错架收集提醒及待归架图书的正确架位。其中确定不同索书号排列先后顺序的步骤是：先比较分类号码，顺序分类号时要对位排列，即先比较一级分类号，一级分类号相同时，再比较二级分类号，以此类推，如分类号码相同再比较著者号码。其中，比较分类号时遵循的规则是：按索书号查找图书，须先看分类号最前面的字母(按26个字母先后顺序排列)；字母相同的再看字母后面的第一位数字(数字由小到大排列)；第一位数字相同的继续看第二位数字的大小，依此类推；注意看同一位上的数字大小，不要看整个数字的大小；按分类排架，先排“—”，后排“.”。在系统中，我们设计了一个存放一张关联“索书号”与“架位号”二维表格(如表1 所示)，当被识别的索取号和书名存放于一个excel文件中后，将其提取并与数据库表格中的“索书号”字段进行匹配查询，系统就可以得到相应的目标记录。最后，通过读取该记录的字段信息，系统就可告知用户该图书最终的架位号。

表1 书脊位置信息表

2 关键技术

2.1 基于DSP处理器的实时图像处理技术

DSP子系统的核心成员是TM320DM6446处理器[11，12]，利用该处理器强大的图像处理功能，通过算法对书脊图像进行分割以获得书目的数量信息，并且结合汉字识别技术提取书脊图像的特征，完成识别，并辅助以大容量的内存配置，解决了计算资源不足的问题；采用叠加式的硬件构架使得系统具有良好的可扩展性，DSP嵌入式图像采集板卡可以通过叠加扩展板卡添加各种形式的外围端口；移植了完整的微内核操作系统，DSP嵌入式图像采集板卡可以脱离上位机独立运行。

本DSP处理器使用TI公司的DSP/BIOS实时内核，它包括一个小的实时软件库、一套使用实时库的API、一个易于使用的配置和分析工具。DSP/BIOS实时内核具有所有嵌入式操作系统具备的内存管理、中断管理和多任务调度功能，可以简单地实现内核对象的分配和使用，对DSP处理器片内资源调试极其方便，同时具有强大的实时调试功能。由TI 公司提供的CSS 集成开发环境，在软件上给应用开发者提供了便利，无需繁复的编写其他成熟模块的程序。

2.2 图书书脊的区域定位技术

从静止图像中提取出索书号区域和书名区域是图书索书号识别中很关键的一步，可利用图书索书号字符颜色差别、图书索书号宽高比例，将图书索书号从书脊背景图片中分离出来[13-15]。在边缘图像中，利用水平扫描边缘图像来进行图书索书号定位，考虑到噪声的影响，用如下加强的灰度变化(Variation)：

(1)

式(1)中的distance 是扫描行内相邻两次变化间的距离，[∂1，∂2]为允许的扫描行内相邻跳变间距取值范围，因为索书号区域内各扫描行的跳变次数相对稳定，所以可以在图像中搜索满足该特征的区域来实现上下边界的定位，该约束条件为：

l(Variation≥10)≥r

(2)

(2)式中l是满足条件的连续扫描行数，Variation是扫描行内的灰度变化次数，r是多次测试后的经验值。

根据式(1)给出的灰度变化定义，在边缘中自下而上逐行搜索满足条件的跳变点的数目，根据式(2)来确定每行是否穿过图书索书号区域。根据扫描的结果确定候选区域的上下边界。并采用统计窗口中相邻像素的变化，确定区域的左右边界。

3 效果分析

为进一步说明本文基于DM6446 图书乱架清点系统的实际检测效果，本文针对一排书进行了检测实验。试验环境的假定如下：假定所有的图片都在同一个焦距下取得，焦距间的相差不大；每次采集时，只采集一排书。每次的采样率保持固定。

检测实验结果中单架图书处理如图6所示，(a)原始单架图像，(b)黑白增强图像，(c)图像边缘提取与分割。

(a)

将整架图书切分成单本图书后，对于索取号而言，处理如图7所示：(a)分割后单本图像，(b)分割后单本增强图像，(c)分割后单本索书号边缘特征，(d)字符提取图像。

图7 单本图书的索取号提取

将整架图书切分成单本图书后，对于索取号提取不清晰的图书，再将其书名信息处理如图8所示：(a)分割后单本图像，(b)分割后单本增强图像，(c)分割后单本书名边缘特征，(d)文字提取图像。

(a) (b)

以图书馆2 000册(估计每种图书存在3～4册的副本量)图书信息作为操作目标，以对比人工乱架识别、RFID乱架识别和本文设计的DSP乱架识别的三组数据比对操作进行测试。结果表明人工识别2 000条记录对比时间在5～10 分钟之间，RFID识别对比时间为20～30秒之间，DSP识别对比时间在80～120 秒之间。这说明本DSP处理数据对比操作耗时在用户可容忍范围内，可减少清点服务空闲时间。同时，因RFID的高成本投入，而DSP设备相对低廉，可为图书馆节约开支。

4 小结

虽然基于DSP的嵌入式图书馆藏书清点装置图像采集卡的设计提高了图书馆的运行成本，但大量节约了图书馆员清点盘点的时间；而且由于该设备清点后的馆内每一本书有了精确定位，原有的明知馆内有藏书却找不到的情况也会大大减少，从而提高了馆内的图书利用率；此外，对于放错架的图书，DSP设备会自动提出报警，图书馆员顺架时只要处理报警提示的图书即可，这样也提高了图书馆的管理质量，使工作人员整架顺架变得更迅速、便捷。

由此可见，基于机器视觉技术的图书乱架清点系统的设计完善了图书检索系统中的图书位置信息漏洞，提高了图书乱架清点工作效率，也为大开架环境的图书盘点提供了新思路和方法，进一步完善了图书馆的服务功能，提高了服务和管理的质量和效率。