一种复杂光照下列车司机人脸自适应图像增强方法

江跃龙 黄震

摘  要：针对列车高速行驶过程中，进入隧道后低光照和出隧道后的高光照图像，分别采取低光照和高光照图像增强方法进行处理，增强列车司机人脸图像阴暗区域，提出一种复杂光照下列车司机人脸自适应图像增强方法并进行了研究，实验结果表明，在复杂光照下列车司机人脸自适应图像增强方法能有效提高人脸检测成功率，降低误检率，为后续研究AdaBoost算法进行人脸精准检测，提取Haar特征以及积分图训练弱分类器和训练强分类器奠定一定基础。

关键词：图像增强;低光照;直方图均衡化;人脸检测率

中图分类号：TP391.4      文献标识码：A 文章编号：2096-4706（2021）05-0103-05

An Adaptive Image Enhancement Method for Train Drivers Face under

Complex Illumination

JIANG Yuelong，HUANG Zhen

（Guangzhou Railway Polytechnic，Guangzhou  510610，China）

Abstract：In the process of high-speed train driving，the low illumination and high illumination images after entering and leaving the tunnel are processed by low illumination and high illumination image enhancement methods respectively to enhance the dark area of the train drivers face image. An adaptive image enhancement method for train drivers face under complex illumination is proposed and studied. The experimental results show that the adaptive image enhancement method for train drivers face under complex illumination can effectively improve the face detection success rate and reduce the false detection rate，which lays a foundation for the follow-up study of AdaBoost algorithm for accurate face detection，Haar feature extraction and integral image training of weak classifier and strong classifier.

Keywords：image enhancement;low light;histogram equalization;face detection rate

0  引  言

2020年受疫情影响，中国轨道交通基础设备建设发展现状及趋势将逆周期调节回升，截至2021年，全国（不含港澳台）共有44个城市开通运营城市轨道交通线路233条，运营里程7 545.5公里，车站4 660座，实际开行列车2 528万列次，完成客运量175.9亿人次，进站量109.1亿人次[1]，按目前情况发展来看，“十四五”新增运营里程和列车车次相比“十三五”将再上一个台阶，城轨市场仍处于增量阶段。从我国人口布局来看，城市轨道交通发展潜力巨大。轨道交通的快速发展，为人民日常出行和日常生活提供了很大便利，轨道交通是我國国民经济的命脉和交通运输的骨干网络，它促进了经济发展，同时，对列车的运营安全提出了更严格和更高的要求。

列车司机在驾驶中打盹睡觉、疲劳驾驶都属于严重违章驾驶行为，是铁路规章制度中严禁的，对列车司机的疲劳检测关键是轨道交通列车驾驶室内摄像头采集的列车司机图像，对列车司机图像进行预处理，其中主要使用的方式是基于非线性平滑技术的中值滤波处理和光照补偿处理。采用非线性平滑技术的中值滤波法，主要作用是消除列车司机图像中存在的噪声[2]，采用直方图均衡化处理的方法（实质是对图像中所有像素点的灰度级进行调整变换）进行光照补偿，实现增强列车司机图像对比度（Image Contrast）。

1  列车行驶过程中的复杂光照

由于列车行驶过程中外界环境是复杂的，在轨道交通列车驾驶室内拍摄的列车司机图像采集后对比度偏低、列车司机图像光线偏暗、灰度动态范围亮度差和收缩等方面的问题，导致列车司机的图像出现质量模糊以及退化严重的现象，为了在保持列车司机图像的原始图像不受影响，针对移动目标检测、目标识别、列车司机图像特征提取等后续图像处理的要求，通过列车司机图像人脸动态范围的扩展提升画面质量、亮度和视觉效果，使得增强后的列车司机图像更符合人眼视觉体验，有利于AI机器视觉分析和处理。

在列车行驶过程中复杂光照通常含有强烈太阳光照射、在隧道中光线较为昏暗，若列车司机长时间处于强光以及昏暗的外界光照环境下看行车路况对于列车司机行驶是一项巨大挑战，也是极为不安全的。在白天行车过程中，隧道的视野环境通常是外亮内暗环境;夜间行车过程中，隧道的视野环境通常是外暗内亮。

当列车行驶在进出隧道时，列车司机的眼睛都会因突然的光线昏暗渐变到强光变化而出现短暂性的视觉失明，形成了视觉盲区和“视觉白区”。当列车行驶在隧道行驶过程中，列车司机不但要承受光线的变化，而且视线、视野肯定受限，所以列车司机高速驶出隧道时，系统应尽可能自适应调节驾驶内的灯光强弱调节，保持驾驶内外可以提供给列车司机一个舒适行车环境。

2  图像增强的传统主流方法

采集驾驶室内列车司机人脸图像过程，由于列车行车过程速度很快，环境条件复杂，所以有可能会产生外界噪声干扰摄像头所采集列车司机人脸数据信息的图像，也有可能会在嵌入式处理器采集列车司机人脸图像信息的过程中产生噪声干扰。

根据列车司机人脸图像的噪声与信号的相关性，可将其表示为：Y（x，y）表示输入原始图像数据，F（x，y）表示图像信号，S（x，y）表示司机图像在列车行驶过程中产生的噪声。

传统摄像头采集图像信息的过程中产生主要有以下几种噪声：

（1）加性噪声，该噪声通常是指散弹噪声或热噪声，不管有没有信号存在，它都是始终存在。其与输入图像信号数据没有关联，它可表示为Y（x，y）=F（x，y）+S（x，y）;如信道噪声以及摄像机在正常采集列车司机图像时嵌入式智能摄像头扫描图像将产生热噪声、散弹的加性噪声。

（2）乘性噪声，此类噪声将是一种图像在获取、传输或处理过程中，通过乘法加入相关信号的随机噪声，其与原始的图像信号有关系，乘性噪声对原始图像的干扰比较严重，通常乘性噪声的图像是表示为Y（x，y）=F（x，y）+S（x，y）F（x，y），在实际应用过程中难以有效地对带有乘性噪声的原始图像数据处理，因为乘性噪声起伏较剧烈，均匀度也较低。

（3）量化噪声，该类噪声在传统的现代通信编码中，从已调信号中恢复信号的过程后，恢复的信号与原始传输信号之间的差异是由于信号幅度与时间之间量化或在模数转化ADC量化过程引入量化失真的噪声，该类量化失真与输入图像信号没有关系，而是信号在量化过程产生量化误差，而直接反映到信号接收端的现象。

在列车在行驶过程中，采集的列车司机人脸以及驾驶室的图像应该尽可能消除或减少噪声，可将输出列车司机的图像灰度级数增大到一定程度，使得司机图像中局部细节看起来清晰，可以有效地解决因列车司机图像的灰度级范围小导致图像对比度较低的问题。

而传统的图像处理增强和无损优化图像常用几种方法，如水平翻转、随机错切变换、随机翻转角度、直方图正规化、直方图均衡化（Histogram equalization）、自适应直方图均衡化（AHE）、线性变换、Gamma校正、线性变换、基于HSV空间的彩色图像增强方法、同态滤波器、直方图均衡化、对比度拉升等。

近年来国内外研究使用传统低照度图像处理增强主流处理方法主要有：

（1）低照度的舰船图像增强研究，田江丽等[3]提出对低照度图像建立Retinex模型，建立图像光照基础模型，引入低照度舰船图像，获得图层光照分布状态，通过亮度进行调整来滤除图层噪点目的。

（2）李庆忠等[4]提出了基于并联残差网络的低照度图像增强算法，为了解决低照度图像亮度低、对比度低、信息丢失严重、颜色失真等问题，其核心思路是将交替残差模块与局部全局残差模块进行并聯，运用改进的损失函数计算测试集损失，不断调整网络参数。

（3）张超等[5]提出一种基于动态场景估计的自适应图像增强算法，利用拉普拉斯算子来锐化图像细节，构建不同场景下的图像灰度映射函数，通过动态场景估计数据来调整图像灰度和对比度。

（4）马悦等[6]基于深度学习的低照度图像增强方法，提出了一种基于深度学习的端到端神经网络，其主要思想是通过空间和通道双重注意力机制来抑制色差和噪声，用来引导网络细化冗余的色彩特征。

3  列车司机驾驶室的图像噪声处理

利用人工智能+赋能对列车司机的疲劳状态进行判断之前，列车司机驾驶室的图像噪声处理是至关重要的环节，目前对图像噪声处理主要有以下几种处理方法：

（1）极大值和极小值滤波，该方法一种比较保守的图像处理手段，其原理就是选取排序周围像素和中心像素点的值，然将中心像素点值与最小和最大像素点值进行比较，如果该中心点的像素点值与最小值相比还要小，那么替换中心像素点值为最小值，如果中心像素与最大值相比还要大，那么替换中心像素为最大值，这样处理可以有效率过滤灰度值比较低的信号噪声。极大值滤波可以表示为：Maximum（F）=

max[F（x+n，y+p）]，其中，（x，y）属于A，（x+n，y+p）是定义在图像上的横坐标、纵坐标，（n，p）是定义在运算的模板A上的坐标。

一个Ker（A）矩阵为3×3的最大最小值滤波如图1所示。

排序以后为6，8，9，11，12，13，14，15，中心像素：36，最大值和最小值滤波后，中心像素值分别为：15和6。

（2）均值滤波是典型的线性滤波算法，也被称为线性滤波，是图像处理中较为常用的算法，其采用的主要方法为邻域平均法，即用几个像素灰度的平均值来代替每个像素的灰度，从频率域层面上来看均值滤波是一种高频信号将会被过滤的低通滤波器，因此，它可以很好地消除列车司机图像的尖锐噪声问题，从而很好实现平滑图像，具有速度快，算法简单等优点。理想的均值滤波主要思想是用每个像素值和它周围的像素点值计算出来的平均值替换原来的图像中每个像素值。据通常是3×3的矩阵，如图2所示。

以图2矩形中X中心为中心像素，中心像素周围有八个像素，计算九个像素点的平均值，替换X中心的像素值。

图片中一个方块区域（3×3矩阵）内，中心点像素点值为全部点像素点值加权平均值。均值滤波就是对于整张原始图片进行上面的操作。

式中，处理后图像在该点上的灰度值为g（x，y），M为该模板（3×3矩阵）中包含当前像素在内的像素值总个数。

均值滤波由于本身存在着固有的缺陷，可以有效抑制加性噪声，只能轻微的减弱它，但其容易引起原始图像模糊，所以它不能很好地保护原始图像细节问题[7]，针对原始图像去噪的同时也破坏了原始图像的细节部分，使得图像变得模糊，不能很好地去除图像的噪声点。

（3）中点滤波，结合统计排序和求平均，对于随机分布噪声工作得很好，如高斯噪声或均匀噪声。

（4）中值滤波，在“最小绝对误差”准则下的最优滤波法，通过对邻域内像素按灰度排序的结果决定中心像素的灰度，将周围像素和中心像素排序以后，取中值。在一连串数字：{3，2，4，6，7，9，10}中，数字6就是这串数字的中值。由此我们可以应用到图像处理中，在图像中取3×3的矩阵，该矩阵有九个像素点，我们将九个像素点进行排序：1，3，11，13，18，22，27，29，41，最后将这个矩阵的中心点赋值18，作为为这九个像素的中值。

我们可以看如图3所示的5×5矩阵进行理解。

均值滤波法具有平滑图像，速度快，算法简单等优点，虽对于高斯噪声的效果比较好，而中值滤波却对于椒盐噪声的效果比较好。

4  列车司机图像预处理

直方图均衡化（Histogram Equalization，HE）是把一张已知列车司机原始图像经过灰度转换得到列车司机灰度图，如图4、图5所示，然后经过一种特殊变换，得到灰度概率密度分布，使它演变为一幅具有均匀灰度概率密度分布的新图像，如图6所示。可以增强给定原始图像的对比度，使得结果原始图像具有均匀的灰度级分布。该方法可以平滑和拉伸图像直方图的动态范围，从而提高整体对比度。

当在列车行驶过程中复杂光照通常包含强烈太阳光照射与隧道中的昏暗光线，进出隧道时，图像需要增强和预处理，图7为模拟列车司机原始图像（数据集源于低光照人脸数据集），对列车司机图像分别进行直方图处理、非线性中值滤波法去除列车司机图像的噪声处理和列车司机图像直方图均衡化处理。

5  复杂光照下列车司机人脸图像自适应增强方法

图像增强处理算法有：图像平面上修改灰度的算法（空域法）、变换输入图像、在变换域执行特定任务、应用逆变换回到空间域（变换域法）和改变边界图像附近的灰度，去除间隙，并混合图像使得增强（融合法）。采集列车司机人脸和驾驶室内的图像，系统将先计算列车司机的人脸以及驾驶室图像平均亮度，然后通过前期评估数据得到的正常光照亮度范围区间值作为参考，判断当前人脸以及驾驶室图像的光照水平。对于驶入隧道后驾驶室光照环境处于低光照和出隧道后驾驶室光照环境处于高光照图像，分别采取低光照和高光照图像增强方法进行处理。

系統整体设计如图8所示。

对于正常光照列车司机的图像，不需要进行其他额外处理，采集列车司机的图像然后粗定位人脸并精准定位人眼，通过列车司机的眼睛状态评估和判断列车司机是否处于疲劳状态。如图9所示，列车每一次进出隧道后光照增强处理后，重新计算列车司机图像亮度并衡量光照水平情况。

6  结  论

本文提出一种复杂光照下列车司机人脸自适应图像增强方法，对于在列车行驶过程中，进入隧道后低光照和出隧道后的高光照图像，采取低光照和高光照图像增强方法以及增强司机图像阴暗区域的信息，为后续研究对列车司机图像中人脸区域的预分割、人脸位置的粗定位及高检测率的AdaBoost算法训练出弱分类器，然后将该弱分类器组合形成层叠的强分类器进行人脸精准检测，提取Haar特征以及为积分图训练弱分类器和训练强分类器奠定一定基础。

参考文献：

[1] 刘志强.全国城市轨道交通运营里程达7545.5公里 [N].人民日报，2021-01-07（10）.

[2] 赵亚利，魏迎梅，老松杨.一种基于聚类分割的航空图像道路提取方法 [J].系统仿真学报，2014，26（9）：2198-2202.

[3] 田江丽，李攀.低照度的舰船图像增强研究 [J].舰船科学技术，2021，43（2）：88-90.

[4] 陈清江，李金阳，胡倩楠.基于并联残差网络的低照度图像增强算法 [J/OL].激光与光电子学进展：1-17[2021-02-24].http：//kns.cnki.net/kcms/detail/31.1690.tn.20210222.1313.029.html.

[5] 张超，杨晶晶，王盛，等.基于动态场景估计的自适应图像增强算法 [J].计算机工程，2013，39（5）：34-41.

[6] 马悦.基于深度学习的低照度图像增强方法 [J].信息技术，2021（1）：85-89.

[7] 王际航.基于视频图像的眼动系统算法研究与实现 [D].长春：吉林大学，2016.

作者简介：江跃龙（1984—），男，汉族，福建龙岩人，讲师，电子技术工程师，硕士研究生，研究方向：人工智能、智能信息系统、机器学习、机器视觉;黄震（1999—），男，汉族，江西上饶人，研究方向：铁道通信与信息化技术 。