段仕浩
基于人工智能的驾驶行为分析系统的设计与实现
段仕浩
(南宁职业技术学院,广西 南宁 530007)
文章介绍了人工智能技术在车辆驾驶行为分析中的应用,并利用软件研发、人工智能、物联网等技术,对车辆驾驶人员的驾驶行为进行研究和分析,并开发一套对车辆驾驶行为分析的软件系统,对驾驶人员的驾驶行为及驾驶环境进行分析、识别、预警,从而降低事故发生率,保障人身财产安全。
人工智能;物联网;行为分析;驾驶行为分析
随着科学技术的发展,人工智能正在越来越多地进入并改变着人类的认知与生活。人工智能已成为了科技革命和产业变革的核心驱动力,是我国未来发展的战略核心技术,对我国各个领域都有深远的影响。人工智能技术快速迭代,正经历从云端到终端的过程,人工智能终端化能够更好更快地帮助我们处理信息,解决问题。驾驶行为分析技术是将AI算法应用于汽车终端设备上,它将在城市智慧交通的应用过程中,不断优化、提升驾驶安全系数以及给城市交通减轻压力的同时,也给用户带来越来越多的良好驾车体验[1,2]。
基于人工智能的驾驶行为分析系统是利用软件研发、人工智能、物联网等技术,设计和开发一个智慧的驾驶行为分析系统。该系统针对各类营运车辆的驾驶行为进行实时监控,对车辆驾驶员进行检测和驾驶行为进行识别,并利用软件研发、人工智能、物联网等技术,对车辆驾驶人员的驾驶行为进行研究和分析,并开发一套对车辆驾驶行为分析的软件系统,对驾驶人员的驾驶行为及驾驶环境进行分析、识别、预警[3-5],从而降低事故发生率,保障人身财产安全。
本系统在物理上采用车载端、手机端、管理端加上数据引擎和AI智慧引擎等服务进行构建,其中车载端、手机端和管理端是针对用户进行操作的应用程序,数据引擎和AI智慧引擎为整个系统提供数据和人工智能分析服务。车载端是一个智能物联网设备,它安装在车辆内部,主要用于采集驾驶数据和车辆环境数据,通过数据引擎和AI智慧引擎服务进行数据分析,以实现对驾驶员驾驶行为进行识别和分析、及时预警等功能。手机端是一款手机APP程序,它可用于车载端的绑定、参数的设置、日常业务处理等功能,是驾驶员对车载端的辅助应用。管理端为车辆运营管理部门提供了一个强大的管理平台,可进行车辆管理、驾驶员管理、驾驶行为数据分析和预警等。这三个终端通过微服务进行数据交互,融合了人工智能、物联网等技术,其架构如图1所示。
图1 系统架构图
系统基于“微服务”的开发架构进行系统的整体设计,将系统功能分解到各个离散的微服务中以实现对系统的解耦。系统将后台服务拆分为数个微服务,它们既相互独立,又相互协作,从而满足服务等级协议。整个系统围绕业务功能来创建微服务,这些微服务可独立地进行开发、管理和迭代,并使用云架构和平台式部署、管理和微服务功能。
系统围绕业务功能将系统后台服务拆分为智慧分析微服务、数据采集微服务、预警微服务、数据分析微服务等10多个微服务,车载端、手机端和管理端通过一个API Gateway调用相关的微服务,完成相关业务功能。API Gateway提供一个统一的服务接口,系统在实现相应功能是通过API Gateway来确定调用哪个微服务。微服务架构如图2所示。
图2 微服务架构图
本系统有三个终端,分别是手机APP端、智慧车载端、PC管理端,其中智慧车载端负责采集驾驶员的行驶数据,通过人工智能技术实时对所采集的数据进行分析,并对违规行为提示预警。手机APP端提供给驾驶员查看违规信息,并进行申诉等处理。管理端为车辆运营管理方进行管理、行为分析、监测和预警等日常业务的处理。其功能架构如图3所示。
图3 功能模块图
手机APP端主要利用Android技术开发一款手机APP,该APP通过调用微服务提供的API接口获取“智慧车载端”及“AI行为分析引擎”的分析结果进行展示。
3.1.1 车载互联模块
车载互联模块主要提供用户手机与智慧车载端进行互联,并绑定。车辆驾驶员通过车载互联模块的扫码功能与智慧车载端进行绑定,绑定后可以进行相关设置及车辆定位。用户可以通过手机APP设置车载端的参数,例如采集数据类型、时间间隔、灵敏度等。用户也可以通过手机APP实时对车辆进行定位,远程监控车内情况。
3.1.2 违规申诉模块
违规申诉模块主要提供两个子功能模块,分别是驾驶行为查阅和违规申诉功能。当用户被检测到出现了危险驾驶行为时,系统会发出提醒,并将该危险驾驶行为进行记录,驾驶员可以通过该模块查看驾驶行为的分析结果。如果驾驶员对该危险驾驶行为有异议的话,可以通过申诉功能请求相关车辆运营管理部门进行介入,从而对该危险驾驶行为进行申诉处理。
3.1.3 政策公告模块
政策公告模块用于查看车辆运营部门的相关政策及公告信息。驾驶员可以通过该模块实时了解车辆运营部分发布的相关政策及公告信息。为了不影响驾驶员的驾驶,该模块还提供了语言播报功能,驾驶员可以在驾驶过程中通过“听”的方式去获取信息。
3.1.4 个人中心模块
个人中心模块是对个人信息的设置及车载端的相关参数的设置和查看。该模块集成了系统的通用功能及个性化的功能,例如:登录、个人信息设置和绑定、语言播报设置等。
智慧车载端是基于V3S Linux开发板定制开发的车载物联网设备。该开发板具有车规级的ARM Coretx A7 CPU芯片和集成了64MB DDR2 RAM,搭载了面向汽车数字视频记录(DVR)和IP摄像机(IPC)监控系统、4G路由模块、WiFi联网模块等,主要用于物联网、人脸识别、车牌识别、智能交互等基础开发。
3.2.1 数据采集模块
智慧车载端通过内置的摄像头将驾驶员的实时驾驶情况传输到AI智慧引擎,AI智慧引擎通过对采集的视频及图像形象进行分析,并结合历史分析数据得出分析结果。AI智慧引擎如果判定当前驾驶员处于危险驾驶行为时,会将分析结果传输到系统后台进行记录,同时发信息至手机APP及智慧车载端,并通过内置的语音播报系统提示驾驶员规范自己的驾驶行为。
3.2.2 语言播报及烟雾采集模块
智慧车载端在V3S Linux开发板的基础上定制了语言提示系统和烟雾感应器。烟雾感应器会采集车辆内部的烟雾机温度数据,发送至AI智慧引擎,并结合AI智慧引擎的分析将分析结果进行语言播报。智慧车载端的分析结果将同步记录到后台系统,以便作为驾驶员违规驾驶的证据进行存储。
PC管理端提供车辆运营管理部门进行综合管理的平台,它采用分布式部署,集成了AI智慧引擎和数据引擎,包含了行为分析模块、违规申诉模块、预警模块、车辆管理、公司管理、人员管理等功能模块。它面向的三类用户分别是平台管理员、运营管理人员和公司管理人员。
3.3.1 行为分析及预警模块
行为分析模块主要是辅助识别驾驶员的危险驾驶行为,该模块通过大数据技术分析驾驶员的历史驾驶数据,为AI智慧引擎提供辅助判断依据。该模块使用了Hadoop大数据处理技术进行开发,形成一个大数据分析处理的微服务,对驾驶员的历史驾驶数据进行分析,与AI智慧引擎和违规申诉模块协同完成驾驶员危险驾驶行为的判定。预警模块主要识别行为分析模块的分析数据、对车辆运营公司、驾驶员和车辆运营管理部门进行预警,将危险驾驶行为带来的危险降到最低。
3.3.2 违规申诉及政策公告模块
违规申诉模块主要针对驾驶员及对应运营公司提供违规申诉功能。该功能模块记录了驾驶员的所有危险驾驶记录,并提供违规申诉及违规处理功能。驾驶员对该危险驾驶行为有异议的话,可以通过申诉功能请求相关车辆运营管理部门进行介入,从而对该危险驾驶行为进行申诉处理。车辆运营管理部门通过该模块对相关运营公司及驾驶员进行处理。政策公告模块用于发布相关政策及公告信息。
3.3.3 公司管理及人员管理模块
公司管理模块用于对各车辆运营公司进行管理,可以添加、修改和暂停运营公司,并对公司的运营计划、排班进行审批等。人员管理主要是针对整个系统进行人员的管理,包括车辆运营管理部门、公司、驾驶员等人员进行统一管理,为不同类别的用户设置权限和信息维护等。
3.3.4 车辆管理及驾驶员管理模块
车辆管理及驾驶员管理模块是针对车辆运营公司的功能模块,车辆运营公司通过这两个功能模块可以对本公司的运营车辆、驾驶员及驾驶行为进行管理和信息维护。
AI智慧引擎是系统的大脑,它通过人工智能分析的算法,可以识别驾驶人员的危险驾驶行为,并能通过深度学习技术对驾驶行为进行预警。AI智慧引擎通过Yolov3检测网络来定位驾驶员身体关键部位,结合驾驶室环境及相应的规则,进行实时驾驶动作分析,确定是否是危险驾驶行为,例如:使用手机、抽烟、不系安全带、未佩戴口罩、闭眼、打哈欠、双手离开方向盘、视线偏离、疲劳等动作姿态。AI智慧引擎的工作过程如下:智慧车载端通过摄像头和烟雾采集器,采集驾驶室内的驾驶视频、图片和烟雾等数据,通过网络传输到AI智慧引擎;AI智慧引擎通过人工智能技术对接收的数据进行分析,得到分析结果,如果判定为异常驾驶行为,则将分析结果传输给数据引擎,由数据引擎进行后续处理。
AI智慧引擎分为两个模块,一个是决策(Decision)模块,一个是行为(Behavior)模块,决策模块负责通过人工智能算法去识别驾驶员的异常行为及车内环境,行为模块负责根据决策模式的分析结果与数据引擎进行交互,指挥数据引擎进行相应操作。
数据引擎是系统的心脏,负责处理数据及数据的交互,它分为两个核心模块,分别是数据库引擎和数据服务引擎。数据库引擎用于存储、处理和保护驾驶员的行为数据的服务。利用数据库引擎,系统可控制访问权限及事务,从而满足本系统数据的存储、交换等需求。
数据服务引擎是由一个个的微引擎组成,它们运行在不同微服务中,主要用于处理不同微服务的数据处理及微服务之间的数据交互等操作。数据服务引擎采用服务组的模式进行架构,它由多个微服务组成,形成一个微服务组,当这个微服务组被调用时,则通过API Gateway来管理和组合服务,以实现各微服务之间的数据交换及协同。
该系统的AI引擎基于深度学习技术,驾驶行为识别算法采用YOLO v3目标检测网络识别驾驶员的危险行为,将智慧车载端获取的视频流转换为相应的图片,通过网格的方式去检测出驾驶员身体关键部位,并通过与相关规则进行比对,识别出驾驶员当前是否处于危险驾驶中。
智慧车载端是连接到互联网的智能设备组成,它使用处理器、传感器和通信硬件等集成系统来发送所采集的数据。车载端使用了V3S Linux开发板的4G路由模块和WiFi联网模块与服务器进行通信。车载端根据车辆现有联网方式首选WiFi的方式接入网络,同时也提供了4G移动通信的方式接入。
系统采用微服务架构,根据业务功能开发一个个的微服务,每个微服务实现一个独立的功能,在自己的进程中运行,微服务之间通过轻量级通信机制进行协作。系统微服务统一通过API Gateway接口对外一同服务功能,做到了解耦和轻量化的服务集成。
系统在V3S Linux开发板中内置了一个语音播报系统,它是以STM32为核心的嵌入式语音播报系统,其核心处理器选用的是以ARM Cortex-M3内核的32位处理器STM32F103C8T6。系统的处理器接收上位机指令,解析得到文本信息,通过科大讯飞的中文语音合成板卡XF-S4240将文本信息转换为语音信息,并使用语音的方式传递给驾驶员,该方式安全保密、及时有效。
系统采用了多项安全技术,通过加密、平台安全强化和身份验证等方面,来为用户提供更高的安全性。对于系统的安全,主要采用了以下技术。
(1)存储加密:该系统使用了HASH算法加密用户数据;系统为了提高加密效率。
(2)使用SSH加密协议:使用SSH加密协议,保障了系统在数据传输过程中,数据就算被截获也不会泄露。
(3)平台安全强化:系统平台对一些关键区域,进行了安全强化功能,保障了用户及平台数据的安全。
(4)权限管理系统:拥有一套强大的权限控制系统,能对系统访问权限进行精细化的访问控制,从而保证了系统的安全性。
本系统采用软件研发、物联网、人工智能等技术,对车辆驾驶员的驾驶行为进行检测和分析,并利用软件研发、人工智能、物联网等技术,对车辆驾驶人员的驾驶行为进行研究和分析,并开发一套对车辆驾驶行为分析的软件系统,对驾驶人员的驾驶行为及驾驶环境进行分析、识别、预警,从而降低事故发生率,保障人身财产安全。该项目的研究,也对城市智慧交通建设进行了有效的补充。
[1] 王畅,蒋思琦,韩依洋. 运输车辆安全驾驶行为分析[J].现代商贸工业,2020,41(15): 194.
[2] 谢豆,陈晓凤,郑嘉怡,等. 基于机器视觉的疲劳驾驶检测系统[J]. 物联网技术,2020,10(11): 18-20.
[3] 黄丽蓉,潘雨青. 基于深度信念网络的驾驶行为研究[J].计算机与数字工程,2020,48(8): 1958-1964.
[4] 王婧雯. 机动车驾驶人典型不良驾驶行为分析及干预方法研究[D]. 合肥: 合肥工业大学,2020.
[5] 屈晨昕. 汽车驾驶行为远程监控分析系统的研究及应用[J]. 信息通信,2017(12): 43-45.
Design and Implementation of Driving Behavior Analysis System Based on Artificial Intelligence
This paper introduces the application of artificial intelligence technology in vehicle driving behavior analysis, studies and analyzes the driving behavior of vehicle drivers by using software research and development, artificial intelligence, Internet of things and other technologies, and develops a software system for vehicle driving behavior analysis to analyze, identify and warn the driving behavior and driving environment of drivers, so as to reduce the accident rate and ensure the safety of personal and property.
artificial intelligence; Internet of things; behavior analysis; driving behavior analysis
TP18; TP31
A
1008-1151(2022)05-0005-04
2022-02-15
广西高校中青年教师(科研)基础能力提升“基于人工智能的驾驶行为分析系统的研究”(2020KY30010)。
段仕浩(1982-),男,广西南宁人,南宁职业技术学院信息系统项目管理师,研究方向为计算机软件技术、人工智能技术、物联网技术。