基于卷积神经网络的能见度估算

曹爽亮，杨亚莉，陈浩，杨书伟

摘  要：一直以来，如何准确便捷地监测能见度都是减少交通事故工作关注的重点所在，而传统的使用能见度仪检测能见度存在造价高、范围小等缺陷。随着深度学习研究的不断发展，使用深度学习估算能见度也变成现实。本文建立了一种VGGnet 16卷积神经网络模型，经过Dropout（丢弃层）和数据增强优化后，使用监控图像及其对应的能见度值对其进行训练。结果表明，优化后的模型能有效提升训练精度，在小数据集上也能实现非常好的能见度估算效果。

关键词：能见度;深度学习;卷积神经网络;丢弃层;数据增强

中图分类号：TP391.4     文献标识码：A

Visibility Estimation based on Convolutional Neural Network

CAO Shuangliang， YANG Yali， CHEN Hao， YANG Shuwei

（School of Mechanical and Automotive Engineering， Shanghai University of Engineering Science， Shanghai 201620， China）

caoshuangliang2020@163.com; carolyn71@163.com; pschenhao@163.com; 18016334293@163.com

Abstract： Accurate and convenient visibility monitoring has always been the focus of reducing traffic accidents. Traditional visibility meter has the effect of high cost and small range. With the continuous development of deep learning research， deep learning is used to estimate visibility in reality. This paper proposes to establish a VGGnet 16 convolutional neural network model. After Dropout （discard layer） and data enhancement optimization， monitoring image and its corresponding visibility value are used to train it. The results show that the optimized model can effectively improve training accuracy， and it can also achieve very good visibility estimation effect on small data sets.

Keywords： visibility; deep learning; convolutional neural network; discarding layer; data enhancement

1   引言（Introduction）

能見度是气象观测的重要因素之一，它对高速公路安全行车、机场飞机起飞等都有着重要影响。恶劣天气导致能见度低会引发许多交通事故[1-2]。因此，对能见度进行实时监测十分重要。激光能见度仪是用于检测能见度的常用工具[3]，但由于其造价高、团雾检测精度低、探测范围小等问题，难以大范围推广。因此，如何高效便捷地检测能见度已经成为一个值得关注的问题[4-5]。

随着机器视觉与人工智能的不断发展，使用计算机配合监控摄像头来监测能见度成为一种十分有效的解决方案。许多学者也就这一方面展开了研究，王京丽等[6]提出了基于数字摄像观测能见度的基本原理和软件流程。在此基础上，数位学者提出了一种基于亮度对比度和暗原色先验原理的道路图像能见度检测方法[7-9]。但是，这些研究只应用了传统的图像处理方法。

国内外许多学者将机器学习和深度学习运用到能见度监测中。刘南辉[10]提出了一种基于数字图像处理和支持向量机（SVM）相结合的道路能见度检测算法，对图像提取特征值后，导入SVM中进行分类训练，建立能见度检测模型。DUDDU等[11]开发了一种前馈反向传播神经网络（BPNN）模型来监测能见度。DEAR等[12]应用人工神经网络实现了能见度的预测。

卷积神经网络（CNN）是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一[13-14]，在图像处理领域应用广泛。圣文顺等[15]将卷积神经网络应用到病理图像的识别中。陈杰等[16]将卷积神经网络应用到掌纹识别中。李春利等[17]使用卷积神经网络进行人脸识别研究。ABIRAMI等[18]实现了使用卷积神经网络对图像中的人脸进行年龄和性别的估算。

本文使用卷积神经网络，将道路监控图像作为输入，自动提取特征后嵌入神经网络结构中，再将能见度值标签作为输出，训练网络得到能见度估算模型。实验结果表明，本文所设计的网络模型准确率达到92.7%。

2   数据集（Data set）

本文采用的数据集来自一段时长为7.5 小时的机场监控视频，以及通过能见度仪测出的此时间段内的能见度值。能见度仪每隔15 秒记录一次当前的能见度值，共计1，800 个能见度值数据。为从监控视频中提取出与能见度值一一对应的图片，本文使用Python编程语言搭配OpenCV模块，从监控视频中每隔375 帧（视频帧数为每秒25 帧）提取一张图片，共计1，800 张监控图片。部分监控图片与能见度值如图1所示。

截取的监控图片的分辨率为1280×720，为防止图片数据过大导致出现内存不足的情况以及为加快模型训练速度，将图像的分辨率降为卷积网络适用的正方形，本文使用的分辨率为224×224。由于能见度数据范围过大且各不相同，因此需要按照取值范围给能见度数据打上标签，本文将能见度数据分为11 类，具体分类标准如表1所示。

最后从监控图片及能见度标签数据中选取70%作为训练集，10%作为验证集，剩下的20%作为测试集，输入卷积神经网络。为保证各类数据的平衡性，本文采用手动分层的方法获取这三个数据集。

3  卷积神经网络原理（Principles of convolutional neural networks）

卷积神经网络最早是由Hubel与Wiesel通过对猫的视觉皮层电生理研究试验而发现的。卷积神经网络由输入层、卷积层、池化层、全连接层组合而成，相比于浅层网络，卷积神经网络具有更深层的结构，不同卷积神经网络的卷积层、池化层、全连接层的个数不尽相同。如图2所示为卷积神经网络的一般结构。

在卷积神经网络中，输入层的任务是读取图像信息，其神经元的个数取决于图像的维度。为提高卷积神經网络的运行效率和学习表现，输入的图像特征需要进行标准化处理。

卷积层的作用是用于提取图像特征，其工作原理是使用卷积核与输入图像的特征向量进行卷积操作，再通过激励函数的变换得到新的特征图。卷积层具有局部感知和权值共享的特点，其中，局部感知是指每个神经元只与上一层的部分神经元相连，只感知局部图像，最后在更高层将感受不同局部的神经元综合起来，得到全局信息。这样做的好处是可以减少连接的数目，即训练的权值参数;权值共享是指将在局部区域学到的信息应用到图像的其他地方去，这样也可以大大减少训练所需的参数。

池化层的作用是对输入的特征图进行压缩处理，从而简化网络计算复杂度和压缩特征，获取主要特征。常用的池化操作有最大池化（Max Pooling）和平均池化（Average Pooling），其中最大池化是指取池化窗口内的最大特征值作为新的特征值，平均池化是指取池化窗口内平均特征值作为新的特征值。池化层可以在保留有效信息的基础上减少数据量，加快训练速度。

全连接层在卷积神经网络中的作用相当于一个分类器。全连接层中的每个神经元与前一层的每个神经元进行全连接，对输入的信息进行整合，最后传递给Softmax函数进行分类。

4   网络模型构建（Network model construction）

本文选取的卷积神经网络为VGGnet 16模型，是由牛津大学计算机视觉几何组以及Google DeepMind公司研究院一同研发的深度卷积网络模型。该模型整体可分为8 段，前5 段为卷积网络。其中第一段网络中包含2 个卷积层和1 个最大池化层：两个卷积层的卷积核大小均为3×3，卷积核数量为64，步长为1;最大池化层的大小为2×2，步长为2。第二段卷积网络除卷积核个数为128之外，其余与第一段网络相同。第三段卷积网络有3 个卷积层，卷积核大小不变，但卷积层输出通道数变为256，步长为1。第四段卷积网络与第三层卷积网络类似，但输出通道增加到512。最后一段卷积网络与第四层卷积网络相同，且通道数维持在512。后三段为全连接层，其中第一、二个全连接层均有4，096 个单元，第三个全连接层有1，000 个单元。最后使用Softmax函数进行全分类。模型结构图如图3所示。

本文使用MATLAB搭建VGGnet模型，激活函数选用ReLU，以防止梯度消失;池化层选用Average Pooling;迭代设为50 轮，每轮8 次，共计400 次;学习率设为0.01。

5   训练结果（Training result）

将数据集输入构建完成的模型之后，运行模型开始训练，结果如图4所示。

从图4中可以看出，模型的验证精度从60%开始逐渐稳步上升，最终稳定在82.32%，不是十分理想，这可能是由于数据集过小导致的，因此需要对模型进行进一步优化。

6   模型优化（Model optimization）

由于数据集数量较少，训练过程可能会出现提取特征相对薄弱和训练过拟合的现象。为防止这种现象的出现，需要对模型进行进一步优化。本文应用了两个重要的深度学习技术：Dropout（丢弃层）和数据增强（Data Augmentation）。Dropout是由Srivastava等[19]提出的一种广泛应用于深度学习的正则化技术，具体思路为：在迭代过程中随机关闭一部分神经元，随着迭代次数不断增加，由于每个神经元都可能随时被关闭，因此神经元对相互之间的激活将会变得不敏感。数据增强可以从有限的数据中生成数量更多的等价数据，具体思路为通过数次随机转换生成可信的图像，以增加样本数量，在这种情况下，模型中不会看到两张一模一样的图片，这能让模型学到更多的图像特征。

对经过优化的模型再次进行训练，训练结果如图5所示。

从图5中可以看出，优化后的模型验证精度达了92.68%，这表明本文使用的优化后的VGGnet 16卷积神经网络模型能准确地从图像中估算出能见度，完成通过监控摄像头实时监测能见度的任务。

7   结论（Conclusion）

本文通过建立VGGnet 16模型，并使用Dropout和数据增强两种深度学习技术对模型进行优化，将模型应用到基于监控图像的能见度估算中，最终可以得出以下结论：

（1）经过Dropout和数据增强优化后的模型能更有效地应用于小数据集的训练。

（2）本文建立的模型能有效应用于基于监控视频的能见度估算中，且精度达到92.68%。

除了本文所应用的VGGnet 16模型，未来还可以使用其他算法来建立能见度估算模型进行对比，以得出最佳模型。

参考文献（References）

[1] 傅刚，李晓岚，魏娜.大气能见度研究[J].中国海洋大学学报（自然科学版），2009，39（05）：855-862.

[2] 杨杰颜，郭浩鑫.湛江市一次持续性大雾天气过程的特征分析[J].广东气象，2016，38（06）：55-58，66.

[3] 杨召琼，陈慧娴，付哲，等.能见度人工观测与能见度仪遥测资料的差异[J].广东气象，2008，30（S2）：11-12.

[4] 梁敏妍，林卓宏，黄晓东，等.江门地区初春大雾的预报预警业务系统[J].广东气象，2009，31（03）：13-15.

[5] 刘桂兴，周炳辉，庞志梅，等.实现“大应急”的遂溪县气象防灾减灾体系构建[J].广东气象，2016，38（06）：67-69.

[6] 王京丽，刘旭林，雷鸣，等.数字摄像能见度系统及其比对实验[J].电子学报，2014，42（11）：2298-2302.

[7] 郜婧婧，田华，吴昊，等.基于亮度对比度和暗原色先验原理的白天道路图像能见度检测方法[J].气象科技，2019，47（03）：386-396.

[8] 邱新法，叶栋水，曾燕，等.基于视频的雾天能见度实时监测方法研究[J].安全与环境学报，2018，18（04）：1413-1418.

[9] 郑辉，花毓幸，吴毅楠.基于图形兴趣窗格的能见度监测模拟[C]//中国气象学会.第33届中国气象学会年会 S10城市、降水与雾霾——第五届城市气象论坛.西安：中国气象学会，2016：819-827.

[10] 刘南辉.基于能见度检测的道路限速监拍系统[D].福州：福州大学，2017.

[11] DUDDU V R， PULUGURTHA S S， MANE A S， et al. Back-propagation neural network model to predict visibility at a road link-level[J]. Transportation Research Interdisciplinary Perspectives， 2020， 8：1-9.

[12] DEAR F， LELLYETT S. Application of artificial neural network forecasts to predict fog at canberra international airport[J]. Weather and Forecasting， 2007， 22（2）：372-381.

[13] LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE， 1998， 86（11）：2278-2324.

[14] CUN Y L， BOSER B， DENKER J S， et al. Handwritten digit recognition with a back-propagation network[J]. Advances in Neural Information Processing Systems， 1990， 2（2）：396-404.

[15] 圣文顺，孙艳文.卷积神经网络在图像识别中的应用[J].软件工程，2019，22（02）：13-16.

[16] 陈杰，张雷，张睿，等.基于卷积神经网络的掌纹识别[J].软件工程，2019，22（10）：7-11.

[17] 李春利，柳振东，惠康华.基于卷积神经网络的人脸识别研究[J].软件导刊，2017，16（05）：186-188.

[18] ABIRAMI B， SUBASHINI T S， Mahavaishnavi V. Gender and age prediction from real time facial images using CNN[J]. Materials Today： Proceedings， 2020，33（7）：4708-4712.

[19] SRIVASTAVA N， HINTON G， KRIZHEVSKY A， et al. Dropout： A simple way to prevent neural networks from overfitting[J]. The Journal of Machine Learning Research， 2014， 15（1）：1929-1958.

作者簡介：

曹爽亮（1997-），男，硕士生.研究领域：汽车零部件损伤与轻量化研究.

杨亚莉（1982-），女，硕士，副教授.研究领域：汽车零部件损伤与轻量化研究.本文通讯作者.

陈  浩（1980-），男，博士，教授.研究领域：汽车零部件损伤与轻量化研究.

杨书伟（1991-），男，硕士生.研究领域：汽车零部件损伤与轻量化研究.