融合自主漫游及远程监控的图书馆移动机器人系统设计

王展妮， 张国亮， 武浩然， 欧信非， 胡鑫

(华侨大学 计算机科学与技术学院， 福建 厦门361021)

融合自主漫游及远程监控的图书馆移动机器人系统设计

王展妮， 张国亮， 武浩然， 欧信非， 胡鑫

(华侨大学 计算机科学与技术学院， 福建 厦门361021)

针对当前图书馆数字视频监控在动态交互响应及时空局限等方面的不足，提出基于移动机器人的智能移动监控站系统模型.在硬件层面，将传感器配置、嵌入式系统、电源驱动、运动控制及网络通信等进行整合，并给出四轮移动机器人平台机构和电路设计方案.在软件控制设计层面，通过将自主漫游及远程监控融合，使监控端和操作端均不再受到时间和空间的限制，提高监控系统整体的智能性和灵活性.实测结果表明:所提方法具有可行性、有效性.

移动机器人； 图书馆； 远程操作； 自主漫游； 智能监控

如何有效利用各种监控手段来预防和遏制各种不安全事件的发生，不仅是现代化图书馆建设与管理的重要组成部分，也是图书馆安全管理创新的措施和手段[1].目前，大型图书馆的安全防范监控系统主要由环境监控系统、视频监控系统、信息安全监控系统等几部分组成.近年来，随着移动通信网络的普及，利用智能手机实现可视化监控成为近年来研究的热点[2-5].与传统的视频监控相比，手机监控充分利用了智能手机终端特性，使得监控人员可以在任何时间、任何地点通过智能手机接入系统，但由于监控端的摄像头仍然是静态的，操作者无法对动态变化的环境做出及时的响应，而且由于监控设备只能固定地安装在有限的位置，使监控存盲区和死角.针对这一问题，国外一些研究者尝试将移动机器人引入图书馆监控端[6-11]，但国内目前在这一领域仍停留在理论探索阶段，尚无实际应用的机器人出现[12-13].本文针对当前国内图书馆在动态交互响应、时间空间局限等问题，提出一种融合自主漫游及远程监控的图书馆移动智能监控站方法，将无线网络通信与移动机器人操作结合，使视频监控具有时空无约束，以及监控端-操作端双向可移动的特性.

图1 移动机器人系统架构Fig.1 Framework of mobile robot system

(a) 正面 (b) 侧面 (c) 背面 (d) 夜视图2 移动机器人平台Fig.2 Platform of mobile robot

1 移动机器人硬件系统架构

1.1 平台机构设计及功能

将运动单元、控制单元、网络通讯单元都集中于移动机器人上，使监控具有动态监视场景的功能，移动机器人系统架构及平台如图1,2所示.该系统利用随车携带的笔记本电脑采集周围环境的图像信息，在运动过程中，机器人随时与遍布于图书馆内的WiFi无线网络接入;远程操作者根据机器人反馈回的图像信息,通过遥操作的方式操控机器人，如调整笔记本摄像头的托架观察视角、改变行进路线等.当发生紧急状况时，机器人可通过网络向集控中心报警.

随车携带的笔记本电脑既是系统控制的中枢，同时也是系统的动力中枢.智能手机或Web客户端是基于TCP/UDP协议与其进行双向通信，并由协议转换程序通过USB接口将控制指令发送给嵌入式控制板；经过分析判断后，输出控制指令给伺服电机驱动板和直流电机，控制移动机器人实现双轮差动运动.嵌入式系统只负责电机驱动，而自主规划、网络通信、视觉识别等复杂运算均利用笔记本电脑的计算资源实现，从而使软硬件具有相对独立性.

为减轻系统整体质量，该系统去除了传统的铅酸电池，采用笔记本电脑的电池对机动平台供电，并选用高强度轻质量的聚乙烯塑料作为整机材料，保证了机器人具有持续工作的能力;在移动平台底部加入金属导引装置，当机器人与墙壁上的充电“渡口”接触时，导引装置会自动与笔记本电脑电源连接，实现对笔记本电脑，即整个机器人系统自动充电.除此之外，在平台上还添加了照明及Kinect接口，为进一步增强系统夜视及动作捕捉功能提供了保障.

1.2 硬件电路设计

机器人的硬件电路设计主要包括嵌入式驱动控制、运动控制及夜视照明3个模块.

1.2.1 嵌入式系统控制板 在嵌入式系统运动机构中，采用Arduino微处理器作为驱动电机、通信连接的核心控制器.Arduino微处理器是以8位atm单片机为核心的微处理器，其优点是接口丰富，便于连接大量的传感器，同时可以与USB直接进行通信烧写程序.该机器人的运动机构主要包括两个底部的驱动轮和调整摄像头观测角度的俯仰机构，3个运动机构分别与3个小型直流(DC)电机连接.考虑到驱动轮的承载扭矩较大，在设计中采用具有L293DD H桥芯片的Arduino扩展板对两个驱动轮DC电机控制，而俯仰机构的电机直接由Arduino进行PWM控制.

1.2.2 电力驱动及运动控制 机器人的电力驱动保证机器人在脱离外接电源的状态下，在较长时间内持续进行工作.该机器人以笔记本电脑作为智能控制层的硬件平台和应用软件平台，不仅享受PC上的所有资源，包括接口、软件资源、无线网络连接和摄像头等，同时机器人上所有电子器件也均由笔记本电池提供5 V电压供电.运动控制采用两后轮差动驱动，两前轮万向轮辅助的机械结构.机器人在接到上层指令后，通过对嵌入式系统控制，驱动DC电机对后两轮进行前进后退或者偏转角度的控制，而转向是通过左右后轮差速转动实现.

1.2.3 夜视灯光及照明系统 照明系统保障机器人在缺少外部光源的情况下，对周围环境进行监控并进行目标识别.视觉信息采用笔记本电脑自带摄像头采集，利用Arduino控制电机的转向改变摄像头的俯仰角度，并通过自制托架及反光板固定.将一个USB供电的5 V小灯泡搭载在平台上使机器人获得在暗视野中工作的能力，利用Java类实现调用摄像头驱动获取图像流用于视频通话.当视野过暗时，会向笔记本电脑发送打开灯光请求，使机器人在黑暗环境下仍有漫游能力.

2 软件与控制系统分析与设计

机器人软件系统是实现机器人导航、避障等功能的核心，包括远程监控和自主漫游两项内容.一方面,采用慎思-反应的混合式分层系统结构作为自主漫游软件系统框架;另一方面，将远程无线通信、自主充电、流媒体视频传输等多项功能融合，实现操作员监督下的远程监控.在实际操作中，机器人将以自主漫游方式作为其主要运行方式，在图书馆内进行巡视.操作者无需一直控制机器人，便可通过各种无线终端设备随时对机器人监督指导，仅在紧急或必要的时候接管控制权，发出相应指令.这种控制方案减轻了操作者的劳动强度，提高了系统自主化的程度，同时对环境的变化也具有良好的适应性.

2.1 基于慎思-反应的混合式的自主漫游软件系统框架

图3 混合式的自主漫游软件系统框架Fig.3 Framework of hybrid autonomous roaming software system

机器人控制结构采用慎思-反应混合式三层控制体系结构，即控制层、执行层、感知层，其框架结构如图3所示.这种结构在框架的上层采用基于地图及行为的慎思处理，主要实现地图的更新及行为的决策；而在系统结构的底层则采用反应式的结构，即利用移动机器人机载的传感器构成感知功能层，传感数据通过USB总线传送给笔记本电脑进行慎思决策.这种混合式的结构使机器人不仅能够随时留心环境中的所有可能出现的危险情况，而且由于加入了高层的慎思指导，即使在传感器数据错误或者缺乏的情况下，机器人也能够及时快速地做出调整，从而使整体性能不致恶化.

2.1.1 感知功能层 该模块类似于自然界中生物的感官系统，主要用于收集机器人外部环境信息，以便于机器人做出及时且有效的决策.针对本机器人系统，传感器主要包括外部的视觉、声音和红外传感器.这些传感器获得的信息作为高层慎思的输入，包含两个功能:一方面，感知功能模块可以为地图处理模块提供环境信息与自身认知信息，如定位、目标匹配等，作为地图创建、更新和转化的依据;另一方面，该模块还可为基本行为提供输入信号，以便于这些行为能够及时的对环境变化做出响应.

2.1.2 慎思决策层 该模块主要承担高层的宏观指导作用,如任务调度与决策、序列规划和导航等.该模块可根据任务需求从感知模块与地图处理模块获取实时信息和经验信息，并以此进行任务决策和复杂行为协调等.规划模块还负责将复杂行为拆分为基本行为，以及复杂行为的自适应.

2.1.3 执行命令层 执行功能模块处在体系结构的最底层，根据基本行为管理模块的决策结果执行动作.该模块从慎思层获取命令，并根据感知模块传递来的外部环境信息协调各种基本行为，从而对机器人的各个运动部件发出运动指令，实现预定的功能.

2.2 远程监控系统软件系统框架

远程监控的软件设计采用B/S架构，涉及客户端和服务器端两部分.服务器端控制程序直接建立在四轮机器人上，基于Telnet通讯协议设立管理员账户及端口，等待客户端发起对话.客户远程操控平台由Java语言搭建，采用手机、个人电脑或平板电脑等移动终端设备通过无线网络访问机器人的控制系统，并使机器人进入半自动模式，达到远程控制的目的.同时，采用流媒体传输的方式编码音、视频数据，实现可视化远程控制.通讯连接建立后，客户端的操作者可随时向机器人服务器发送指令改变机器人的动作，而机器人自身的状态也会同步反馈，使操作者对于机器人及其周围环境能及时了解.

与自主漫游操作相比，远程监控系统具有更高的优先级.在机器人做随机漫游时，操作者可随时接管控制权，实施手动控制，并随时读取机器人的安全预警记录，以及查看机器人在漫游期间采集的视频图像及环境地图.

3 移动机器人功能测试

3.1 视频和音频传输效果

为检验机器人远程监控的实际效果，利用笔记本电脑上的摄像头和麦克风，在局域无线网环境下测试视频和音频数据流的传输效果.远程操作者通过手动操作的方式控制机器人运动，在远端与另一位行人发生碰面，并进行实时音视频通话，如图4所示.

图4 远程监控下的视频和音频传输效果Fig.4 Video and audio transmission effect under remote monitoring

3.2 机器人自主充电

考虑到机器人与控制系统共用一个电源系统，因此，提出利用Windows系统自带的电池选项对系统电源进行感知.当电能不足时，计算机通过已生成的环境地图分析出最近的充电电源位置，并利用栅格运动规划算法规划机器人当前位置与充电电源之间的最短路径.在运动过程中，机器人前端的红外传感器不断为机器人提供前方障碍情况，实时修正规划路径.

当充电电源与机器人的距离低于50 cm时，利用视觉目标识别技术及充电渡口硬件装置实现自主视觉伺服充电.充电电源包含特殊目标和充电渡口两个部分.特殊目标用于导引伺服位置；充电渡口的前端安装两块金属片用于和机器人前端的金属触头对接，后端直接与固定在墙壁上的电源连接.当机器人在限定的范围内发现具有特殊图标的充电渡口后，机器人会利用计算机视觉方法对图标和默认图标进行分析匹配，并根据图标位置不断调整自身姿势，导引机器人与充电渡口进行对接，实现充电.

利用该方法不断用视觉目标查找充电渡口的过程并进行自主充电的过程，如图5所示.图5中：前两图为不断用视觉目标查找充电渡口的过程，最右端的图片展示了机器人前端充电触头插入渡口的过程；底端状态条为机器人反馈的信息，右侧上部为机器人的控制状态，下部为手动控制机器人运动及开启光源调整角度功能区.

图5 机器人查找充电渡口的过程Fig.5 Process of robot find charging ferry

3.3 图书馆固定监控与移动监控的融合

早上7:00图书馆刷卡处、前台、后门和阅览室等处的监控视频，如图6所示.由图6可知：在光照良好的条件下，常规监控在进出口及公共区域监控效果良好.然而，在图书馆照明关闭或照明不理想情况下，部分监控存在失效问题.在凌晨4：00，二期1F秘籍书库由于配备了红外监控，能够对秘籍书库环境进行监控，但监控效果较自带光源照明的移动机器人监控差，如图7(a)，(c)所示.由于图书馆改造，一期1F电梯后楼梯并未全部更换红外监控相机，致使出现了监控盲区，与之对比，移动机器人仍能够对场景环境进行监控，如图7(b)，(d)所示.

(a) 图书馆刷卡处 (b) 图书馆一期1F总台

(c) 图书馆一期2F电子阅览室 (d) 图书馆一期1F南侧后门

(e) 图书馆一期4F南侧阅览室4 (f) 图书馆一期3F南侧阅览室2图6 图书馆各区域监控序列图像(早上7点)Fig.6 Library surveillance sequence images (7 a.m.)

由图6,7可知:移动监控能够为传统监控提供了良好的补充，不仅可对局部环境进行细致地分析，对于动态环境能够及时响应.同时，由于远程无线接入的方式能够与固定监控系统随时联动，当监测地点发生不安全的状况时，能够准确及时地向监控人员及集控中心进行报警.

(a) 红外监控(二期1F密集书库) (b) 常规监控(一期1F电梯后楼梯)

(c) 移动机器人夜视监控(二期1F密集书库) (d) 移动机器人夜视监控(一期1F电梯后楼梯)图7 常规监控与移动机器人监控分析对比(早上4点)Fig.7 Comparison between conventional monitoring and mobile robot monitoring (4 a.m.)

3.4 图书馆自主漫游下的路径跟随

自主漫游是指机器人于无人值守的情况下，在图书馆内自由运动.机器人在图书馆环境中实际跟随路径的效果，如图8所示.图8中：从左至右依次为外部场景、内部视觉采集图像、光线调整、聚类分割及规划路线.与一般的室内机器人导航环境不同，图书馆环境具有场景宽阔，来往人员较多的特点.如果按照传统的自由漫游导航模式，机器人可能需要经过较长的时间才能到达目标位置.考虑到图书馆内一般在地面或墙面都印刷有特殊的导引标志，因此，可以利用视觉方法将它们作为机器人的辅助导航标志，控制框架采用图3的行为控制混合方式，即将避障行为的优先级设定高于归航行为.在机器人的漫游过程中，一旦发现导航线，马上归入辅助导航模式；而在导航过程中，如果发现动态移动的人员时，立即切换控制行为，实施避让，然后，再重新开始导航.

图8 图书馆自主漫游下的路径跟随Fig.8 Path following of library autonomous roaming

4 结束语

针对传统图书馆监控方法存在的不足，提出融合自主漫游及远程监控的图书馆的移动智能监控站方法.搭建并设计了软硬件系统模型，给出了详尽的四轮移动机器人平台机构、电路设计及软件构架模型.提出无需专用电池，车载计算机和轻型移动平台共用计算机电池的策略，并结合路径规划与视觉目标动态识别实现机器人自主充电，为机器人连续不间断工作提供了一种可行方案.机器人是实现图书馆作业自动化和智能化的良好载体，具有广阔的应用前景和发展潜力.

[1] 邹东伟，黄湘林.基于读者需求的馆藏智能监控[J].高校图书馆工作，2007，27(3):32-34.

[2] 贺文涛.基于Android移动平台的智能视频监控系统应用与研究[D].武汉：武汉科技大学，2014:13-22.

[3] 杨思，蔡晓东，李长俊.移动可视化智能监控系统[J].国外电子测量技术，2013，32(4):59-62.

[4] 危思思.基于OpenWrt开源平台的移动智能装备[D].杭州：浙江大学，2014:16-27.

[5] 杨建.图书馆移动辅助服务的智能手机端应用设计与实现[D].长沙：湖南大学，2013:23-35.

[6] RAMOS-GARIJO R，PRATS M，SANZ P J，etal.An autonomous assistant robot for book anipulation in a library[C]∥IEEE International Conference on Systems, Man and Cybernetics.Washington D C:IEEE Press,2003:3912-3917.

[7] 张晔.无人图书馆图书自动存取装量的设计与开发[D].北京：北方工业大学，2012：15-20.

[8] 杜明芳，方建军，梁岚珍.图书馆机器人机械手参数自整定模糊PID控制器设计[J]. 智能系统学报，2012，7(2)：161-165.

[9] 崔建伟，宋爱国，庄皓兰，等.机器人技术在图书馆自动化系统中的应用研究[J].机器人技术与应用，2009(6)：33-35.

[10] DANG Shuping.Library self-delivery robot[D].Manchester:The University of Manchester,2013:2.

[11] ZHANG Junjie,SHANG Tianfei,LIU Yi,etal.Research of mechanical arm real-time motion control[C]∥Proceedings of the 2010 International Conference on E-Business and E-Government.Washington D C:IEEE Press,2010:4321-4323.

[12] 沈红兵，黄唯.图书馆书库管理新革命: 图书馆机器人管理书库的应用研究与启示[J].农业图书情报学刊，2011,23(5):97-99.

[13] 贾素娜.基于CAPM的数字图书馆服务研究[J].山东图书馆学刊,2014(1):17-19.

(责任编辑： 钱筠 英文审校： 吴逢铁)

System Design of Tele-Supervision and Auto Roam Applied on Library Mobile Robot

WANG Zhanni， ZHANG Guoliang， WU Haoran，OU Xinfei， HU Xin

(College of Computer Science and Technology， Huaqiao University， Xiamen 361021， China)

To overcome the shortcoming of dynamic interactive response， space and time limitation in library digital supervision， an intelligent mobile supervision scheme is presented based on mobile robot. In hardware part， by integrating sense configuration， embedded system， power drive and motion control， network communication， a detailed four wheeled mobile robot platform with mechanism and circuit design scheme is presented. In soft control system design part， by combining tele-supervision and auto roam behavior， space and time of supervision of both monitor part and operate part are no more limited， which improve the intelligence and flexibility of the system greatly. Finally， experimental studies have demonstrated the feasibility and effectiveness of the proposed method. Keywords：mobile robot; library; tele-operation; autonomous roaming; intelligent supervision

10.11830/ISSN.1000-5013.201703019

2016-09-27

王展妮(1978-)，女，馆员，主要从事机器人视觉伺服、机器人遥操作的研究.E-mail:26262423@qq.com.

福建省自然科学基金资助项目(2016J01302)

TP 242.3; G 258.94

A

1000-5013(2017)03-0391-06