智能车载联网辅助驾驶系统设计

谢君婷 张钦超 廖克志 常旭东

摘  要：为减少交通事故的发生，辅助驾驶人舒适安全地行车，文章设计了一套基于AIot技术的智能车载联网辅助驾驶系统。该系统包括智能车载软件辅助驾驶和车内硬件辅助系统两大部分，可对车内硬件进行远程操控以及查看当前车内环境数据。同时，系统实时检测驾驶员疲劳状况为危险情况做预警，为用户在行车过程中提供更加安全舒适的环境。

关键词：物联网；车载辅助；人脸疲劳

中图分类号：TP27 文献标识码：A  文章编号：2096-4706（2023）02-0153-04

Design of Intelligent On-board Networking Assisted Driving System

XIE Junting， ZHANG Qinchao， LIAO Kezhi， CHANG Xudong

（School of Computer Science and Information Security， Guilin University of Electronic Technology， Guilin  541004， China）

Abstract： In order to reduce the occurrence of traffic accidents and assist drivers to drive comfortably and safely， this paper designs a set of intelligent on-board networking assisted driving system based on AIot technology. The system includes intelligent on-board software assisted driving and in-car hardware assisted system， which can remotely control the in-car hardware and view the current in-car environment data. At the same time， the system detects the driver's fatigue status in real time to give early warning for dangerous situations， so as to provide users with a safer and more comfortable environment during driving.

Keywords： Internet of Things; on-board assistance; face fatigue

0  引  言

随着私家车数量的飞速增长，行车安全受到越来越多人的重视。在汽车行驶过程中，往往因为酒驾、疲劳驾驶、疾病突发、未注意路面情况等问题引发不可挽回的悲剧[1]。

针对上述问题，本文设计了一套基于AloT技术的智能车载联网辅助驾驶系统，使驾驶员主动避免交通事故的发生的汽车安全系统。系统搭载传感器、控制器、执行器等装置，融合现代通信与网络技术，实现车与X（人、车、路、后台等）的智能信息交换共享，具备复杂的环境感知、智能决策、协同控制和执行等功能。系统利用安装于车上的摄像头、雷达、激光和超声波等传感器，收集車内外的环境数据，进行静、动态物体的辨识、侦测与追踪等技术上的处理，从而能够让驾驶者在最快的时间察觉可能发生的危险，以引起注意和提高安全性的主动安全技术。同时，本系统还基于安卓开发了专门的手机APP，在参照先进驾驶辅助系统设计[2]的同时实现车联网技术，传感器通过无线连接，手机APP接收到车内环境信息后可以自动进行调控，为用户提供舒适的行车环境，同时引进AI深度学习技术，对车外以及驾驶员做一些人脸疲劳的检测，预判险情，并可以及时提供预警，使用的设备较少，安装方便，为用户在行车过程中提供更加安全舒适的环境。随着汽车辅助驾驶自主程度的提高，汽车将可感知周围的环境，然后决定要采取的操作，保证所有道路使用者的安全。

1  系统总体框架设计

本系统由智能车载软件辅助驾驶和车内硬件辅助系统两部分共同组成智能自动车载联网辅助系统，系统总体设计框架图如图1所示。

（1）利用X86给车载软件提供可运行的平台，运用深度学习神经网络技术实现实时对驾驶员人脸疲劳的识别对危险做预警，人脸疲劳的识别采用科学的PERCLOS方法中的P80判据，使用专门的人脸68个关键点检测模型库，通过欧式距离计算公式分别计算出P80判据所需要的两个重要参数EAR和MAR，结合P80判据就可以比较准确的检测出人脸疲劳状态，同时，系统通过摄像头对车尾环境和激光雷达检测结果进行实时更新，完成智能车载软件辅助驾驶；

（2）对于车内硬件辅助系统，利用ESP8266 Wi-Fi模块读取车内硬件设备，并且开发了专用的APP通过MQTT协议与ESP8266进行通信，MQTT协议即发布和订阅主题的过程，如：ESP8266发布车内温湿度模块信息的主题到云端服务器，由手机APP订阅该主题，手机APP得到该主题信息并显示出来，就可以在手机APP上观测到车内温湿度状态数据了；手机APP和ESP8266通过MQTT协议，实现了无线远程操控车内硬件设备和实时显示车内硬件设备的状态，智能小手表辅助驾驶员获取自身健康信息和有天气信息为驾驶员出行提供行车参考。

2  智能车载软件辅助驾驶系统设计实现方案

2.1  车载中控软件的设计

本系统宗旨在辅助驾驶人驾驶机动车，从而实现更为安全的出行。引进现有的计算机技术辅助驾驶人驾驶机动车显得尤为重要。车载中控软件主要搭载在车载的中控系统中，系统连接到硬件层和疲劳检测算法，监测回传的数据，并将结果展示到软件界面，给予驾驶人安全提示，中控软件系统框架图如图2所示。

（1）行驶：数据采集后由英特尔X86平台上的Window 10专业版操作系统接收，进行数据处理、储存以及通过图形化界面与语音提示呈现给用户。在跑图像处理算法的同时在软件上实时显示车辆行驶情况，实时辅助驾驶员驾驶。

（2）影音：此系统同时向用户提供媒体功能，包括播放本地的视频与音乐，和其他功能同时进行，互不干预，多媒体功能是针对司机在悠闲时间可以娱乐放松一下。

（3）主界面：主界面主要由倒车雷达检测结果显示板块、疲劳检测结果展示板块和动态画面显示板块组成。倒车：当驾驶员进行倒车操作时，软件会自动切换到该界面，并且打开尾倒车摄像头，把摄像头捕捉到的画面在动态画面展示板块展示出来，倒车雷达检测到的障碍物位置也将实时展示在倒车雷达检测结果显示板块，实现盲区检测的效果。疲劳检测结果展示：动态画面显示板块可以在车尾摄像头画面和人脸疲劳检测画面之间任意切换，同时疲劳检测结果展示板块会实时将检测结果以文字的形式展现出来，以此提示司机注意休息，提高行车安全。

（4）语音/弹窗警告提示：软件提供语音提示和弹窗警告服务，其中主要是疲劳检测结果的提示和酒精浓度检测的提示。当人脸疲劳检测算法检测到司机已经疲劳驾驶或者酒精浓度过高时，软件将弹出警告，并且伴随语音提示。通过酒精浓度检测模块检测司机呼气的酒精浓度大于或者等于20 mg/100 ml，小于80 mg/ml则为酒驾，中控板发出警报声；若检测到的酒精浓度大于80 mg/ml则为醉驾，中控板发出严重警告声。

2.2  驾驶员人脸疲劳的算法

本系统选取目前公认有效的PERCOLS疲劳程度评价指标，即通过闭眼帧在连续N帧内所占的时间比例来分析疲劳状态，PERCLOS是指眼睛闭合时间占某一特定时间的百分率。PERCLOS方法有P70、P80和EM三种判定标准[3]。研究表明P80与疲劳程度间具有最好的相关性。对驾驶员疲劳的判定会因错误检查带来不良影响，通过PERCLOS、眼睛闭合时间、眼睛眨眼频率、嘴巴张开程度，进行疲劳程度的综合判定，可以准确、有效地进行驾驶员疲劳的检测。“眼睛纵向比EAR”和“嘴巴纵向比MAR”则是判断眼睛眨眼、嘴巴张开的重要依据。算法参照以下两点进行设计：

（1）根据人脸关键点检测模型库，系统检测出人脸68个关键点，这68个关键点为后面计算疲劳判断依据提供科学的依据，如图3所示。

（2）驾驶疲劳依据P80做人脸疲劳判断。P80指眼睑遮住瞳孔的面积超过80%就计为眼睛闭合[4]。本文利用欧式距离分别计算出EAR和MAR。人在清醒的状态下眨眼频率约为10～20次/min，当处于疲劳状态时眨眼的频率将提高约64%，故设置当每分钟眨眼次数大于20时则认为驾驶人处于疲劳驾驶状态[4]。由于目前没有统一的嘴巴开度阈值检测实验，取MAR的阈值为0.75，当MAR＞0.75时即认为打哈欠一次，当每分钟内打哈欠次数达到3次即判断为疲劳驾驶状态[5-9]。驾驶疲劳检测为驾驶员的人身安全提供了保障。

2.3  专用手机APP

本系统旨在为用户行车舒适安全提供辅助便利，可以无线控制并观察车内车内环境也为我们行车便利提供了帮助。使用MQTT通信协议[10]，可以方便快捷低功耗低成本稳定的建立手机APP与车内传感器之间的联系，使用开发本车载辅助系统的专用APP，具体设计框图如图4所示，待ESP8266 Wi-Fi模块通过MQTT協议将数据传输至云端服务器[11]后，用户可在专用APP上查看车辆状况与车内人员状况的各项指标，并且可以通过此APP对车内硬件设备进行调控。实现各传感器、车与用户手机之间的通信。车内硬件设备有温湿度传感器DHT11，火焰检测传感器，酒精检测传感器，照明小灯等传感器设备。同时，使用SQLite数据库储存用户信息，此外，该手机APP使用个性化设计，界面简洁明了，字体采用汉仪乐喵字体是手机APP更加可爱明动，更加人性化，一定程度上满足了用户的审美需求。

3  系统测试结果

3.1  车载中控软件自定义设置界面

在用户打开中控显示界面时，首先呈现给用户的是首页与底部导航栏，底部导航栏采用固定方式，不管用户切换到哪个页面，都可以通过底部导航栏切换界面。自定义设置主要包括四个分区：语音提示、摄像头设置、图像显示设置和常规设置。自定义设置界面如图5所示，在各个分区里面可以按照自己的需求进行自主设置。此处可灵活切换车载软件的模式。

3.2  行车界面

行车界面我们向用户提供了车辆前方画面，在行使过程中驾驶人员可以通过这个界面获取车辆前方信息，同时在此进行前车的图像检测并实时显示处理结果。传回的图像没有过度的延时，实时性好，行车界面如图6所示，显示通过激光雷达获取的前方距离数据，通过图形化界面结合语音提示将前方障碍物呈现给用户，达到预碰撞的要求。

3.3  人脸疲劳检测测试

用OpenCV计算机视觉库调用摄像头及视频数据进行图像的预处理，使用Python编写代码利用官方提供的人脸68个关键点检测的DAT模型库.使用这个模型库可以很方便地以及准确地对人脸进行检测，并及时的作语音及其他提示警告，如图7所示。

4  结  论

随着私家车数量的飞速增长，在这样一个用户基数下，如果有一套能使驾驶员主动避免交通事故的发生的汽车安全系统，为用户在行车过程中提供更加安全舒适的环境。那么是非常贴合人们的需求的。随着汽车辅助驾驶自主程度的提高，汽车将可感知周围的环境，然后决定要采取的操作，保证所有道路使用者的安全。

本文设计出了一套基于物联网的智能自动车载辅助驾驶系统，主要由两大子系统组成：安全监护系统和辅助驾驶系统，两大子系统和客户端组合，让司机驾驶时更加安全，更容易。随着互联网技术的飞快发展，以及人们对驾驶安全需求的日益增加，智能车载辅助系统将进一步扩大使用比例。当前版本硬件结构较为简单，如盲区检测，检测点太少，出于环境安全考虑，可采用激光雷达检测周围车辆，而且当前程序可能存在设计缺陷，还有待进一步改进和完善。

参考文献：

[1] 范延军.基于机器视觉的先进辅助驾驶系统关键技术研究 [D].南京：东南大学，2016.

[2] 赵彻.基于机器视觉的汽车驾驶辅助系统研究 [D].长春：长春理工大学，2014.

[3] 李小平，白超.基于深度学习的司机疲劳驾驶检测方法研究 [J].铁道学报，2021，43（6）：78-87.

[4] 汪洪涛，谢牡丹，潘昊.基于面部特征的疲劳驾驶检测方法研究 [J].武汉理工大学学报：交通科学与工程版，2021，45（5）：851-856+862.

[5] 朱名流，李顶根.基于人脸特征点的疲劳检测方法研究 [J].计算机应用研究，2020，37（S2）：305-307.

[6] 赵强，王瑞，朱宝全，等.基于机器视觉的车道线检测研究进展综述 [J].计算技术与自动化，2022，41（1）：3440.

[7] 高扬，王晨，李昭健.基于深度学习的无人驾驶汽车车道线检测方法 [J].科学技术与工程，2021，21（24）：10401-10406.

[8] 刘源.基于车载视觉的行人检测及行为识别 [D].成都：电子科技大学，2019.

[9] 石英，罗佳齐，李振威.一种基于改进YOLOv2的无人驾驶中行人检测方法：CN108985186B [P].2022-03-01.

[10] 吴俊辉，吴桂初，陈冲，等.基于MQTT协议的物联网网关设计 [J].温州大学学报：自然科学版，2019，40（4）：54-61.

[11] 张哲，孙涛，白蒴，等.基于安卓平台的物联网平台的研究与实现 [J].黑龙江科技信息，2014（7）：159-159.

作者简介：谢君婷（2002—），女，汉族，广西玉林人，本科在读，研究方向：嵌入式软件。

收稿日期：2022-09-06

基金项目：广西大学生创新创业训练计划立项项目（202110595168）