基于机器视觉的穿梭车安全运行检测系统

文/张广喜 李春杰 胡遵宝

一、项目研究依据

1.项目研究背景和目的

在仓储系统中，货物搬运与运输占据着重要的地位，是连接生产与仓储的必要的中间环节。在烟草企业的物流运输过程中，货物搬运和运输普遍采用自动化无人监管穿梭车运输的方式以提高作业效率（如图1）。

相对于传统的固定运输方式，穿梭车具备智能化、速度快、可靠性高和稳定性好等特点。烟厂穿梭车运输轨道一般为敞开式，两侧不设置栅栏、小车周围亦未添加挡板，这种方式可以提升分拣速度及工作效率，但同时存在生产安全问题，例如工作人员检修维护、无意识穿越、货运平台货物掉落导致的生产故障等。

机器视觉又称为计算机视觉，是一种将图像处理，图像分析和图像识别等相结合的技术，随着计算机软件、硬件技术的发展，以及机器视觉检测、模式识别理论的发展和完善，已逐渐在生产安全领域得到研究和应用。

针对此现状，本项目研究基于机器视觉的生产线安全监测系统，拟采用机器视觉的方法检测穿梭车轨道区域是否有人员闯入或轨道上是否有货物掉落，判定运输轨道是否安全，并将轨道区域安全与否信号输出给物流调度控制系统，以解决烟草企业现场的全自动化物流运输轨道区域的安全隐患问题。项目基于视觉检测，辅以红外热释电检测方法，以VC++6.0为软件开发平台，通过实现图像处理算法检测，设计开发一套烟厂生产线物流穿梭车运行轨道安全实时检测系统，以保证生产的高效、安全、可靠进行。

2.同类技术的研究现状

厦门烟草工业有限责任公司的钟毅虹申请了《穿梭车安全距离检测装置》的实用新型发明专利，该专利采用在穿梭车车体上安装光电管检测穿梭车行进方向是否存在障碍物来检测穿梭车安全，该方法对于障碍物对光电管光信号产生遮挡时有效，但对于光信号未遮挡和突发状况等的情形无效；北京邮电大学的王小宁对直线往复式轨道穿梭车的避让策略进行仿真研究，该研究主要是对穿梭车的运行轨迹进行优化仿真以实现生产线的快速、合理运行，但未针对运行轨道区域安全检测和控制策略进行研究。

图1：生产现场穿梭车

图2：项目研究思路

图3：项目系统组成示意图

图4：红外热释电(PIR)传感器报警结构图

图5：红外热释电检测示意图

图6：红外热释电测试实物图

图7：机器视觉检测与识别流程图

北京交通大学的鲁欣研究了《基于机器视觉的道岔安全检测系统的设计与实现》以解决铁路道岔口的突发安全问题；浙江工业大学林璐璐针对自动门的安全研究《基于全方位视觉的自动门安全和节能检测技术》；兰州交通大学马宏峰针对铁路运营中异物侵限事故频发，严重影响列车行车安全的问题，研究《基于机器视觉的铁路异物侵限分布式智能监控技术研究》，通过机器视觉技术实现铁路异物侵限的检测与识别，并达到铁路行车安全全过程的监测、预警及安全管理；东北大学杨丽针对汽车行驶车道安全研究《基于机器视觉的车道安全预警算法的研究与实现》提高道路交通安全。

通过查阅大量文献，目前尚未有专门针对穿梭车运行安全的研究或报导，基于机器视觉安全检测的研究在铁路和城市道路交通等领域有集中体现。烟草企业现场生产线的高度自动化和智能化、穿梭车安全可靠运行是保证高效生产的重要前提，因此本项目针对穿梭车运行作业现场工况特点和目标特征，提出基于机器视觉的生产线穿梭车安全运行检测系统。

二、项目的研究内容

1.研究思路

穿梭车生产线安全监测的目标事件包括人员闯入和轨道异常（有异物）两部分。本项目研究实时获取安装在轨道斜上方的工业摄像机所采集的运输轨道与穿梭车图像数据，并对所获取的图像数据进行预处理、识别判定轨道的安全状态；为严格保障人身安全，通过在轨道首尾四角安装红外热释电传感器以检测并获得人员闯入轨道运输区域的触发信号，该触发信号有效则判定轨道有人员闯入，项目研究思路，如图2，系统组成示意图，如图3。

2.研究内容

基于上述研究思路，本项目研究内容主要分为两大部分：红外热释电检测、机器视觉识别检测。

（1）红外热释电检测

图8：摄像机图像和感兴趣区域获取

图9：运动目标检测过程

图10：阴影消除结果

图11：形态学处理

图12：运动目标识别过程

图13：轨道内区域分析

红外热释电 (PIR)传感器，也称为热红外传感器，是一种能检测人体发射的红外线的新型高灵敏度红外探测元件。它能以非接触形式检测出人体辐射的红外线能量的变化，并将其转换成电压信号输出。而且，该传感器可以鉴别出运动的生物与其它非生物。

红外热释电报警器将菲涅尔透镜和热释电红外传感器相结合使用，其工作原理示意图，如图4。

该结构图中的菲涅尔透镜利用透镜的特殊光学原理，在探测器前方产生交替变化的“盲区”和“高灵敏区”，以提高它的探测接收灵敏度。当有人从透镜前走过时，人体发出的红外线不断交替从“盲区”进入“高灵敏区”，这样就使接收到的红外信号以忽强忽弱的脉冲形式输入，从而增强其能量幅度。

人体辐射的红外线中心波长为9～10μm，而探测元件的波长灵敏度在0.2～20μm范围内几乎稳定不变。在传感器顶端开设了一个装有滤光镜片的窗口，滤光片可通过光的波长范围为7～10μm，正好适合于人体红外辐射的探测，而对其它波长的红外线由滤光片予以吸收，这样便形成了一种专门用作探测人体辐射的红外线传感器，如图5。

为提高报警器的可靠性，该报警器除了利用红外热释电进行人体探测外，还使用微波进行人体的探测，双重检测可将误报降到最低。

针对人员的安全，本项目已设计红外热释电报警电路，具体测试模块，如图6，主要包括红外热释电报警器、主控电路板、电源等。经过实验测试，红外热释电报警电路可实现准确的人体探测报警，当有人员闯入穿梭车轨道区域，电路即发出报警信号并将该信号送入物流调度控制系统。

图14：人的识别

图15：物的识别

（2）机器视觉检测与识别模型

为检测是否有人进入烟厂生产线，视觉检测算法流程主要包括图像获取、运动目标检测和运动目标识别三个过程（如图7）。与之相对应，从图像处理技术角度看，主要涉及图像采集、图像增强、灰度化、阈值分割、特征提取和模板匹配等环节。图像增强用以提高目标图像中的背景（本项目图像中的运输轨道）和前景（感兴趣目标，例如在本项目的出现在运输轨道上的运输小车、人或掉落的货物）的差异程度；图像灰度化和阈值分割则是为后续的特征提取做准备，目的是将感兴趣目标和图像背景尽量分成不同的亮度特征集合；特征提取则为提取感兴趣目标的轮廓或统计等的信息；最后将目标的轮廓或统计信息通过模式匹配的方式进行判定，以确定运输轨道区域是否与正常生产模式相符合，生产是否安全。整个系统框架，如图7。

①高质量图像获取

为了抓拍生产线穿梭车和人图像，通过调节照相机的亮度和参数设置，使得相机获得清晰的图像。其中，光照的均匀程度、相机的相关参数配置和兴趣区图像的获取是获取高质量的关键（本项目在实验室搭建了视觉检测平台），图像和感兴趣区域获取，如图8。

②运动目标检测

运动目标分割：如图9，采用混合高斯模型进行建模，其本质是建立一个和当前帧进行比较的背景图片，其背景图像通过对过去图像序列的学习来获得，并能够很好地描述当前时刻的背景信息。该建模方法其优势在于，建模和更新的过程能够较好的描述存在一定周期变化和缓慢变化的背景，对缓慢的光照变化也有较好的适应能力，而且计算较为简单。

阴影消除：通过运动目标分割得到的运动目标区域，是包含大量噪声和运动目标的阴影，这一问题会对后续目标提取操作有极大的影响，其目标区域的分割结果直接决定着目标模型的匹配和更新的像素范围。所以，必须要消除图像中的阴影。我们通过排除亮度信息的影响，依据色调不受阴影影响的特点来解决这一问题。在RGB空间中，阴影会使背景亮度减低，并一定程度影响色饱和度，但不影响其色调，来分辨可能的阴影区域（具体处理结果，如图10）。

形态学处理：经过阴影处理后的图像目标包含大量孔洞，背景区域也存在很多噪声点，采用形态学处理方法进行处理。其基本操作是膨胀和腐蚀，或组合成开/闭操作来对形状进行过滤。

为提高计算效率，我们针对噪声不严重的情况，我们只删除前景点中的孤立点；当噪声严重时，我们采用先开后闭的操作，对整个前景检测结果进行过滤。将二值图像数据打包成整型变量中的位数据，再以位操作来实现膨胀和腐蚀操作中的“或”和“与”的运算，可以极大地提高形态学操作的速度（处理结果，如图11）。

③运动目标识别

运动目标识别过程，如图12。

特征描述：由于局部特征描述子在外观变化中表现出很强的鲁棒性，并能自适应地处理的目标分割和部分遮挡的情况，我们选用SIFT（Scale-invariant feature transform）描述子。为了提高计算效率，我们提取轨道内的区域进行分析，如图13。

目标识别：支持向量机识别方法（SVM），其优势在于它有高维和稀疏的特性，使用线性核方法已经足够达到分类效果，同时保证了分类和学习的效率，识别结果和过程如下：

（a）通过特征描述建立特征子训练库，并进行量化（描述图像的特征频率统计向量）。

（b）通过将辅助信息（车、人和物体等信息）进行增量SVM学习；

（c）根据学习的特征，进行决策识别（本项目视觉检测对人的识别结果，如图14，对物的识别，如图15）。

三、结束语

穿梭车的运行环境决定了其存在生产安全问题，通过图像识别技术和红外热释电技术来检测穿梭车运行轨道上的异物或者人员，来自动控制穿梭车减速、停车，避免发生安全事故造成人员和设备的损伤。为智能物流智慧设备提供一种解决方案，提高设备的可靠性和安全性。