多元融合神经网络模型的车载移动式交通执法取证系统研究

文图｜刘海平 张雷元 唐勇 刘凡 刘瑛

车载移动式交通执法取证系统是公安交通管理部门的重要执法手段，对于规范路面秩序和保障交通安全具有重要作用。本研究充分应用人工智能、图像识别等技术，突破多种违法行为动态检测算法，研发智能化车载移动执法取证系统，实现对路面违法行为的自动抓拍，提高违法证据采集的有效率和规范性，进一步扩大路网监测范围，有效遏制道路监测“盲区”内车辆违法行为，保障道路通行安全有序。

一、技术现状与需求分析

传统车载执法取证系统采用数字视频技术，在警车或其他执法车辆上安装车载终端和摄像机， 对执法过程中发现的违法行为进行人工采集，然后通过无线网络将信息上传至指挥中心，由后台软件对违法进行校核、入库和处罚。由于传统系统需要人工取证，其工作量和难度很大，不利于推广应用，于是一些厂家和研究人员开始研发智能化移动执法取证系统。但目前研究提出的移动执法取证系统，在视频取证的自动性、实时性、准确性等方面，与实际需求相比，仍然存在较大差距。

综合公安交管部门应用需求和研究现状，一套智能化移动执法取证系统应满足以下要求：一是违法证据全自动采集。能实现对违法占道、逆行、非法变道超车、加塞插队、压实线等常见违法行为抓拍，能满足高速公路、普通公路和城市道路等多场景应用；采集违法记录准确率超过60%，采集的违法视频、图片分辨率不低于1920×1080；证据链要完整可靠，二是违法信息保存与上传。具备违法信息保存在本地的功能，保存时长至少为72小时。应实时将数据上传至公安交通集成指挥平台，接入数据因故障传输中断的，故障排除后，系统应能自动恢复上传；数据恢复上传时，应优先上传实时数据；数据积压超过60分钟时，对积压数据分批传输，每批次传输数据量不大于集成指挥平台接入能力。三是违法信息审核校验。根据公安部《道路交通安全违法行为处理程序规定》，所有非现场违法信息需要人工审核，审核时自动关联机动车登记系统，调取机动车基本信息，自动关联被盗抢、套牌和假牌车信息，对比结果反馈给操作人。

二、系统架构和功能设计

（一）设计思路

根据用户需求和系统实现要求，本研究基于4G/5G无线通信、移动高清视频、高性能边缘计算及人工智能等技术，对车载移动式交通违法取证系统进行改进和创新，具体设计思路为：一是通过全局曝光、偏光、去雾、感兴趣区域曝光、3D降噪等图像处理技术获取高质量图像及视频；二是通过车载本地算力及神经网络算法，对图像及视频进行智能化分析，提高算法准确率；三是利用多元融合算法进行逻辑综合，识别违法占道、强超强会、逆行等行为，并抓取违法车辆照片，提供准确、清晰的违法证据；四是为执法业务提供高效的闭环管理平台，提高违法处理效率。

（二）系统架构

系统由高清视频采集、图像/视频编码及存储、图像/视频结构化、多元数据融合分析、本地作业模块、设备网关、平台中间件、运维平台等部分组成，其结构如图1所示。其中，高清视频采集、图像/视频编码及存储、图像/视频结构化、多元数据融合分析、本地作业模块、4G/5G通信为前端车载子系统的内容；平台中间件、运维平台为后端支持模块。

（三） 网络架构

为满足执法相关业务需求，系统需要进行联网运行，具体架构如图2所示。车载终端对路面违法行为进行自动抓拍，通过4G/5G移动专网，将抓拍的违法信息通过接入/转发平台传输至公安交通集成指挥平台，为查处交通违法行为提供证据。系统按照公安行业标准《公安交通集成指挥平台通信协议 第5部分：交通违法监测系统》（GA/T 1049.5-2013）、《公共安全视频监控联网系统信息传输、交换、控制技术要求》（GB/T 28181-2016）、《公安视频图像信息应用系统》（GA/T 1400-2017）等标准规定的通信协议，实现车载终端与中心平台之间的通信。

（四）系统功能

系统具备四大功能。一是违法数据采集与接入。实时对车辆违法占用专用道、逆向行驶、加塞插队、违法变道超车等违法行为自动采集，固化形成非现场违法证据。设备抓拍的违法信息通过违法数据接口上传至接入/转发平台。二是违法数据审核与管理。运用算法对车载终端上传的违法视频证据进行自动交叉识别，并进行特征比对。数据通过安全边界上传至公安网，并根据车载终端管理部门分发至各地集成指挥平台。集成指挥平台核对确认违法的有效性，并录入交通管理综合应用平台，形成机动车非现场违法证据。三是违法信息查询。查询车载终端采集的全量违法信息，包括违法行为、号牌信息、违法时间、违法地点、抓拍视频、违法关键帧截图等信息。四是设备运维管理。提供车载终端注册接口，生成设备唯一性密钥用于数据传输。实现终端入网审批、停用、启用等功能。提供应用程序开发接口，支持用户特定的应用开发或定制。

三、关键技术实现

（一）车载移动视频图像效果增强

车载环境下，高清视频图像采集面临着车辆持续运动带来抖动、夜间光线明暗反差大、汽车玻璃反光等许多挑战，为了解决上述问题，本系统采用多种技术融合的方法改善图像效果。一是采用高分辨率相机（900万像素）拍摄三个车道，确保对向来车驾驶人的人脸画面像素数不少于100×100。二是采用大靶面超低照度CMOS传感器、高通光量镜头，同时采用自动曝光+3D降噪技术减小高速运动物体产生的运动模糊效应。三是有条件的车辆，夜间采用类似近光灯的可见光补光器，在避免干扰交通的同时，对视场进行补光。四是采用EIS电子防抖技术，消除执法车辆行进过程的抖动影响。五是采用偏光技术（含镜头的镀膜工艺）在减少红光的干扰同时，降低对向车辆前挡风玻璃的反光影响。六是采用电子去雾技术提高图像有效信息的对比度，进一步削弱中控台反光及玻璃的脏污效应。七是采用自适应感兴趣区域曝光技术匹配Iridix算法技术，提升摄像机的动态范围，有效保留车辆细节信息，抓拍得到清晰的车牌。八是采用强光抑制技术，有效抑制车辆大灯过曝光，使低照度下道路标线、车辆等感兴趣目标的信息更完整。

（二）面向车载终端的视频图像分析算法

根据车载移动执法系统功能实现要求，视频图像分析算法应具备车辆检测、车牌检测、车牌识别、车辆转向灯判断、车头/车尾判断、远光灯判断、车距车速判断、车道线检测、人脸检测、人脸属性判断等多种功能。在传统目标检测算法中，每一种功能都需要一个专门的神经网络模型，当功能增加的时候，模型的数量也随之增加，最终导致算力爆炸，无法在移动前端落地。为解决这个问题，本研究尝试将功能有相关性的任务整合在一起，合并成同一个模型：首先，使用一个性能强劲的backbone提取图片内的通用特征；其次，使用不同的head模块，实现不同的检测目的；最后，使用后处理模块将所有信息合并处理，输出期望的结果。

本研究把道路交通违法检测需要的图像结构化要素，综合形成了四个模型：一是车辆综合检测模型。实现车辆检测、车牌检测、车牌识别、车道线检测、车辆转向灯判断、车头/车尾判断、远光灯判断、车距车速判断。二是道路综合检测模型。实现车道线分类、斑马线/停止线检测、路沿检测、道路标识分类。三是人脸综合检测模型。实现人脸检测、人脸属性判断、人脸跟踪。四是行人综合检测模型。实现行人检测、行人跟踪、非机动车检测、非机动车载人/头盔检测。

为减少计算复杂度和工作量，适配车载终端硬件算力，综合模型需要经过蒸馏和量化处理。

1.模型蒸馏。模型蒸馏采用的“教师-学生”模式。先训练超大型模型（一般有上亿的参数），然后用它的中间结果去“指导”小模型（一般为百万量级的参数量）的训练。模型蒸馏一般有两种标签，一种是人为标注的hard target，比如[0,1,0,0]这样的标签，代表这个样本的类别是第二类；另一种是由“老师”模型输出经过softmax得到的soft target即[0.05,0.85,0.02,0.17]这样的概率结果，代表这个样本有85%的概率属于第二类，有17%的概率属于第四类。

模型蒸馏中用的softmax函数跟常规网络有一些区别，其形式如下：

其中z是指经过网络输出后，某个类别的得分，T是蒸馏的温度参数，T越大，softmax函数产生的概率分布越平滑。

模型蒸馏常见的目标函数有两种：一是只使用soft target。在蒸馏时“老师”使用新的softmax产生soft target；“学生”使用新的softmax在transfer set上学习，和“老师”使用相同的T。二是同时使用soft target (q)和hard target (y)。“学生”的目标函数是hard target和soft target目标函数的加权平均，使用hard target时T=1，使用soft target时T和“老师”的一样。根据研究经验，可以给hard target的权重小一点，同时使用soft target和hard target的目标函数如下所示：

其中CE(x)为交叉熵损失函数，p为模型输出，y是hard target的标签值，q是soft target的标签值，T是设置的蒸馏温度参数，α是两个标签的权重函数。

2.模型量化。常见模型参数均为double（8字节）或者float（4字节），如果在接受较小精度损失的前提下，将其转变成int8（1字节）类型的，则模型大小可以降低75%至85%，同时减低计算资源的开销，这就是模型量化压缩的技术。该方法还可以减少模型内存和存储占用空间。

该量化方法是一种类似于离差标准化的归一化方法，是对原始数据进行线性变换，使结果映射到一定的范围内，具体公式如下：

考虑到经济性和实际效果，本系统在车载终端部署了边缘计算能力，采用具备多核CPU、3D GPU和NPU的高性能处理器，来处理高清视频及图像。经测试验证，通过模型蒸馏和模型量化，上述综合模型的总参数规模从十亿级下降到了千万级，使得本来需要巨大算力才能完成的任务，在轻量级算力的车载智能硬件上的运行速度可以达到25帧/秒，完全满足车载终端视频图像识别的实战需求。

（三）交通违法行为判别准则和逻辑综合

系统通过视频分析获得了场景和目标车辆信息，但要判断车辆是否违法，还需根据行为特征进行分析。这就要求人工提取各类违法行为特征，并制定相应规则，由系统根据规则进行判断。按照交通管理部门审核违法的经验，结合各类违法行为发生的要素，得到如表1所示的违法行为特征规则。

表1 违法行为特征规则

以检测压线行驶为例，结合表1的违法特征规则，逻辑判断过程包括：首先，检测算法分别收集前方车辆目标位置和对向车道分界线（黄实线）、同向车道分界线（白实线）等信息。其次，判断目标车辆与车道分界线的相对位置。如果存在轮胎压线或车身横跨标线情况，则将该车辆检出作为违法压实线车辆。再次，根据车道分界线颜色特征，进一步判定目标车辆压黄实线违法还是压白实线违法。然后，检测算法检测道路中央隔离护栏、路侧防护栏等目标情况，若发现道路同时存在中央隔离护栏和路侧防护栏，则推断出该道路为高速公路；其他为普通道路。最后，检测算法检测到车辆号牌，同时叠加道路、违法行为及时间信息，用高清视频/图像进行记录，融合形成执法取证数据。

四、系统测试与应用

为验证移动执法取证系统的功能和性能，本研究于2021年在新疆维吾尔自治区乌鲁木齐市和巴音郭楞蒙古自治州进行了试点应用，将系统的车载终端安装在20多辆交警执勤执法车辆上，自动抓拍车辆在行驶过程中发现的交通违法行为，并将违法证据上传至公安交通集成指挥平台，然后推送到路面民警的移动警务终端（PDA），由民警实施拦截现场处罚或事后非现场处罚。在一年多的试用期间，该系统日均采集有效违法记录400余条，识别准确率达到60%以上。目前系统已经能够对违法占道、强超强会、逆向行驶、违法压实线、加塞插队等20余种动态交通违法行为进行取证，可满足高速公路、普通公路和城市道路等多场景应用，具有较好的推广应用价值。