基于视觉判别与图像识别技术的车内安全装置设计

薛 玉，王宪彬，陈宇微，魏宇奕，王嘉慧

（东北林业大学，黑龙江 哈尔滨 150036）

0 引 言

顺风车是近年来发展较为迅速的一种共享出行方式，其顺应了交通运输新趋势，市场前景广阔。然而，顺风车的准入门槛较低，职业顺风车司机提供的服务水准参差不齐，加上车内空间密闭，犯罪成本低，并且缺乏完备的保护乘客的安全装置，顺风车安全问题频发。目前市面上保护顺风车乘客安全的装置大多有行程录音保护、路线偏移预警、110报警一键拨打、24小时安全专线、车主乘客号码保护、乘客自动分享行程、行程保险全面保障以及行程录音取证等功能，但都未实现智能识别和自动报警，不能从根本上解决乘客的安全问题。从根本上保护顺风车乘客，避免恶性事件发生，已经成为行业目前亟待解决的问题。因此，为满足当下需求，顺风眼团队设计出一款车内人员安全预警报警装置来维护车主及乘客人身安全。

1 系统功能及关键技术

1.1 系统功能

新型车内安全装置——顺风眼，利用多种核心技术，实现了对司机用手袭击乘客身体等威胁乘客安全的动作的实时检测目标[1]，并在检测到司机有不正当行为后传输报警信号，自动向警务片区发送定位及摄像头拍摄的原视频，从而有效保护乘客安全。

1.2 关键技术

1.2.1 基于OpenCV和深度学习的动作识别技术

深度学习检测和循环神经网络（Rerrent Neural Network，RNN）能较好地处理检测视频内容的时间序列问题，而卷积神经网络（Convolutional Neural Networks，CNN）对于图像有较好的应用效果，故检测一个动作需要将两者结合起来[2]。循环神经网络RNN与卷积神经网络CNN相结合的结果是循环卷积神经网络（Recurrent CNN，RCNN）。RCNN将卷积神经网络的卷积层替换为内部具有递归结构的循环卷积层（Recurrent Convolutional Layer，RCL），并按前馈连接建立深度结构。

OpenCV是一个开源的跨平台计算机视觉和机器学习软件库，可在Windows和Linux等系统中运行，主要接口语言是C++语言，同时也提供Python等大量其他编程语言接口，具有实时单目标跟踪算法、RISC-V指令集以及图计算模块G-API等多种算法模块[3]。OpenCV愈发完善的图像处理功能为本装置的图像处理与动态识别提供了强有力的支持。本系统以Python结合OpenCV库来操作摄像头，从摄像头采集视频动态数据并保存为文件。

1.2.2 无线传输信号报警技术

无线传输方式主要利用无线技术进行数据传输，它有多种传输方式，其中微波传输能够实时传输图像，成本低，无需布线和维护，有很大的安装优势[4]。在无线传输技术中，GPRS技术作为一种通用无线分组业务，能更好地满足报警技术的需求。GPRS使GSM系统的无线资源利用率得到了显著提高，它不仅能够保证图片质量和清晰度，还能通过对数据业务进行分组，利用空闲的无线信道资源进行传输，并可以灵活调整业务调度策略[5]。利用GPRS传送信号，只需要一个控制中心和多个终端即可，外接一个摄像头和GPS定位系统后，即可将相应的图片信息、视频信息以及位置信息等快速传递到控制中心。

1.2.3 人体姿态估计技术

从视频图像中识别出人体姿态，对于人体动作识别非常重要，直接影响到对危险动作的判断。对于相同行为，不同人的运动幅度也不尽不同。因此，先检测图片中的人体关键点，再将已检测到的人体关键点准确地联系起来，进而估计人体姿态[6]。人体姿态估计技术中的多人姿态估计需要检测所有人体，对所有人体姿态进行分析，但由于存在人与人相互遮挡、叠加及触碰等行为，会对多人姿态估计造成一定的误差。故本系统采用由下而上的方法，首先检测出图像中各人体的关节点，其次根据人体结构正确匹配人体关节点进行重新组合，最后正确分析人体动作行为。这种方法有效地解决了人体检测中重复估计和错误估计的问题[7]。本系统采用联合子集划分和标记模型（SPLP模型），该模型可同时检测出人体数量以及人体姿态，并能较好地分析出遮挡部位。

1.3 系统关键技术应用情况

1.3.1 动作识别技术

动作识别系统应用于顺风眼视觉感知模块，主要针对车内人员。无论乘客还是司机的异常行为都可以被顺风眼检测学习，司机和乘客都可得到安全保障。本系统利用树莓派调用摄像头进行视频录制，OpenCV将已经识别出的标有人体关键点的动作与数据集生成的模型进行比对，从而达成危险动作的识别。如果检测出异常行为，在将相关图片和视频录像传输给警方后，也会将相关分析结果储存在自己的信息库中[8]。同时，利用信息库中的数据集不断地训练，提高分析结果的精确性。

1.3.2 无线传输信号报警技术

本系统利用GPRS技术提供端到端、广域无线IP连接的功能，将采集的图像数据经GPRS-DTU数据转换，再通过GRPS网络传输到监控中心的主机[9]。监控主机利用监控软件定义的虚拟设备将数据传送到监控软件界面中，在监控主机上实时显示状态数据并监控，通过人工验证是否真的存在威胁。若确有威胁，则向附近警务区报警。

1.3.3 人体姿态识别技术

Openpose人体姿态识别技术适用于单人和多人。本系统更多地需要面向两人及两人以上（司机与乘客们）的互动行为识别。故本系统采用联合子集划分和标记模型，对提取出的人体关节点数据进行分类，对驾驶员和乘客的危险动作进行识别，以判断是否需要报警[10]。系统主要通过人体关节点识别驾驶员和乘客的危险动作，通过OpenCV调用摄像头，识别视频中人体关键点，调用Openpose行为库对人体姿态进行识别，最后将已处理好的人体姿态与预先保存好的危险动作进行比较，从而判断驾驶员或乘客的动作是否属于危险动作。

2 方案设计

车内安全装置由预警启动模块、监控存储模块、图像处理模块以及报警传输模块组成。通过这些模块实现实时监控、自动报警以及图像和视频等证据的储存。

车内安全监控系统如图1所示。前端设备主要包括摄像头、图像存储器、图像处理器、人体感应器、测距仪以及蜂鸣器等，后端设备主要包括数据分析器、报警装置、数据发送器以及5G急速云盘等。前端主要完成对车内环境的实时监控与分析，通过摄像头、图像存储器、图像处理器、人体感应器及测距仪来分析车内人员是否出现危险、胁迫动作，若分析结果为车内出现异常情况，则调动蜂鸣器进行警报，对车内人员进行警告。同时，后端及时接收和分析由前端传来的相关视频、图像及分析结果，进行进一步分析，判断是否需要启动报警模块和进行数据发送，并将相关图片和视频证据及时上传储存至5G急速云盘，进行证据存留，获取车外救援。

图1 车内安全监控系统组成图

3 结 语

系统不仅实现了对车辆的全方位实时定位监控，还具备识别威胁动作的功能，能及时监测到紧急事件的发生并发出警报。本装置图像清晰，可以自动报警，在市场竞争中极具优势。同时，装置还与公安部门关联合作，提高了营救效率，为警方出警争取了宝贵时间。为确保定位系统的准确性与实时性，团队后期还会对定位系统加大研究，同时还要加强系统的防御功能，以保护用户的信息与个人隐私，避免乘客的定位、声音及紧急联系人等信息的泄露。顺风眼安全装置可保障顺风车乘客的生命财产安全，避免顺风车安全事故的发生，提高了社会安全性。