基于热成像传感器和激光雷达的行人识别方法研究＊

黄宇涵，张洪昌，2

（1.武汉理工大学汽车工程学院，湖北 武汉 430070；2.武汉理工大学重庆研究院，重庆 401120）

汽车智能网联技术已成为全球科技创新领域的焦点，而智能网联汽车是继新能源汽车后汽车产业的又一制高点。从智能网联汽车的技术架构来看，传感器在环境感知技术中扮演着信息采集的重要角色。由于单一传感器在信息获取上具有一定的局限性，因此，多传感器融合技术的研究具有重要意义[1]。行人检测任务一直是汽车智能网联技术中的热门问题。当前，在国内道路区域的行人检测方面，大都采用功能单一的交通监控设备进行区域性检测，如利用红外摄像检测，该方法存在对比度低、噪声较多的问题；百度自动驾驶汽车上的Ⅴelodyne64 线激光雷达在行人检测方面存在工作可靠性不高等问题。由于汽车实际行驶环境复杂，现有单一传感器并不能满足复杂路况下的所有需求，为了保证自动驾驶的行驶安全性，通常采用数量众多的不同类型的传感器以满足探测和数据采集的需要，即多传感器融合技术。目前来看，多传感器融合技术已成为自动驾驶传感器方案的主流发展趋势[2]。

本文利用热成像传感器和激光雷达组成多传感器检测系统，其中热成像传感器具有探测能力强、作用距离远、能直观显示物体表面温度场等优点，激光雷达具有体积小、质量轻、分辨率高、抗有源干扰能力强等优点。对热成像传感器和激光雷达所采集的由速度V、体温T、身高H 及体型高宽比Z 组合构成的多源综合信息进行分析和处理，包括对多源数据进行检测、相关与组合，从而提高目标行人检测的准确度。

基于以上情况，本文提出了一种基于热成像传感器和激光雷达的行人识别系统及方法，用于解决在固定背景下的行人检测问题。

1 系统设计

该方法是由热成像传感器、激光雷达、接口单元、中央处理单元、电源及声光警示单元组成。所述的热成像传感器通过USB 线与接口单元连接，激光雷达通过网线与接口单元连接，接口单元通过内部总线与中央处理单元连接，中央处理单元与声光警示单元连接，电源与所有模块连接。其中，热成像传感器传输热成像图片数据给接口单元，激光雷达将激光雷达点云数据传给接口单元，接口单元将数据滤波传给中央处理单元，中央处理单元通过传输电平信号控制声光警示单元。其流程如图1 所示。所述的热成像传感器用于检测行人体温与体型高宽比信息，激光雷达用于检测行人速度与身高信息，中央处理单元用于处理所有的运行算法，声光警示单元用于警示监测人员。

图1 结构示意图

2 行人识别方法设计

行人识别方法运行步骤如下。

步骤1：通过激光雷达获取行人的速度与身高信息，热成像传感器获取行人体温与体型高宽比信息。

步骤2：提出一种隶属函数可变的模糊综合评判算法[3]，对传感器的多源信息数据进行融合处理并形成综合评判体系，实现对目标行人的检测。其结构示意图如图2 所示。

图2 结构示意图

2.1 行人检测模型

为支持目标行人检测，对热成像传感器和激光雷达所采集的由速度V、体温T、身高H 及体型高宽比Z组合构成的多源综合信息进行分析和处理，包括对多源数据进行检测、相关与组合，从而提高目标行人检测的准确度。根据传感器系统{激光雷达，热成像传感器}，设计行人检测模型M，如图3 所示。

图3 行人检测模型M

2.2 均值可变隶属函数

通过先验知识，人的速度大致分布在0～10 m/s，体温分布在36 ℃左右，身高在1～2.5 m，体型高宽比在4 左右，根据朴素贝叶斯理论[4]，认为符合这些给定特征的检测对象属于“人”这一类别（由于存在识别误差，本文给出“无法识别”这一模糊判断），由于行人速度V、体温T、身高H 及高宽比Z 为人们所熟知，属于有共识的客观模糊现象，根据模糊理论，可以通过直觉法确定上述参数的隶属函数[5]，这里统一对4个特征参数采用高斯函数进行描述。由于在实际使用过程中，热成像传感器和激光雷达易受到环境干扰，可能会对测量结果造成影响，本文提出一种与影响传感器运行的主要环境因素的变化规律有关的修正函数f（Δ），对隶属函数的均值进行修正[6]（修正前函数的均值直接加上对应的修正函数即可，相当于原隶属函数向左平移了f（Δ）个单位），其中Δ为影响传感器运行的主要环境因素，如温度、风速等；设修正后的均值分别为速度v′、体温t′、身高h′、高宽比z′，如图4所示。

图4 均值可变隶属函数

2.3 评判矩阵

给出评判集合V{识别结果非人 无法识别 识别结果为人}，分别将收集的4 个传感器的数据代入图2 所示的相应隶属函数中，例如，将激光雷达收集的身高数据代入步骤2 确定的有关身高的隶属函数中，计算后得到该数据对应的y 值。将每一个数据得出的y 值分别与该数据对应的隶属函数中选定的α上界及α下界相比较，若y∈（0，α下界]，则这一数据的判断结果为“识别结果非人”；若y∈（α下界，α上界]，则这一数据的判断结果为“无法识别”；若y∈（α上界，1]，则这一数据的判断结果为“识别结果为人”。将每一类传感器的每一个数据代入隶属函数中，P 次计算后（P 取决于每类传感器收集的数据的数量），分别统计每一类传感器收集的若干数据中对应“识别结果非人”“无法识别”以及“识别结果为人”的百分数，整合后构成2×3 的矩阵X 与Y，即：

式（1）（2）中：X 与Y 分别为热成像传感器和激光雷达对应评判集V 的评判矩阵；x11为激光雷达收集的若干速度数据中对应“识别结果非人”的百分数；x13为速度数据中对应“无法识别”的百分数；x2j为激光雷达收集的若干身高数据中对应于3 种评判结果的百分数；y1j为热成像传感器收集的若干温度数据中对应于3 种评判结果的百分数；y2j为热成像传感器收集的若干体型高宽比数据中对应于3 种评判结果的百分数；其余符号含义类似，这里不加赘述。

2.4 信息权重及综合评判

2.4.1 构建三元频数统计法[7]确定信息数据权重

由于各个传感器的精度以及测量参数的地位是不一样的，本文提出一种三元频数统计法来确定各传感器的权重，该方法是从步骤1 给出的传感器系统{激光雷达，热成像传感器}出发，运用专家经验，给出i 组权重分配，根据给出的权重分配，按下列步骤对每类传感器进行权重统计。

第一，在所给的某一类传感器的i 组权重中找出最大值M 和最小值m。

并将权重从小到大进行分组。

第三，计算每组权重的频数与频率。

第四，选取最大频率所在分组的组中值作为该传感器的权重xi，从而得到权重向量N=[x1x2… xn]，之后将得到的权重向量进行归一化处理：

第五，对其他传感器重复上述操作。

由上述方法确定权重向量为：

式（4）中：N 为两传感器X、Y 的权重向量；N1为传感器X 速度与身高指标的权重向量；N2为传感器Y 温度和体型高宽比指标的权重向量。

2.4.2 进行综合评判

式（5）中，◦与矩阵乘法类似，表示一种合成关系，例如：

对A 进行归一化处理：

结果说明，有P1%的概率判断识别结果非人，有P2%的概率无法识别，而P3%的概率判断识别对象为人，取Pmax%对应的判断结果为最终判断结果，若其结果为无法识别，则转为人工排查。

3 结束语

本文介绍的基于热成像传感器和激光雷达的行人识别方法，用于解决在固定背景下的行人检测问题。该方法具有很好的容错能力，能够排除错误数据在融合过程中对正确结果的影响，并且能够降低数据冗余。