户外天气状况分类识别①

史 静, 朱 虹, 韩 勇

(西安理工大学 自动化与信息工程学院,西安 710048)

用天气预报来获得天气状态的模式已经被大家熟知并广泛应用. 但是,对于视频监控领域,如果需要24小时全天候的室外监控系统,利用图像画面自动判断天气状况,是一个必须面对的问题. 然而,由于监控场景的景物丰富性,使得天气变化在画面上呈现的信息很弱,这就使得基于图像来进行天气状态的估计[1-5]成为难点问题.

文献[1]通过提取图像中天空,阴影,反光,对比度,雾等特征,然后利用一种投票机制完成对天气状况的分类估计; 文献[2]通过提取图像的功率谱斜率特征,对比度特征,噪声特征,饱和度特征进行训练,实现对天气状况的分类估计. 文献[3]利用HSI颜色直方图等特征,识别辅助驾驶系统中的晴天和雨天的天气状态. 文献[4]利用图像的天空,阴影,雨,雪的特征对阴晴雨雪四类天气进行分类.

这些方法不是应用领域有所局限,就是在提取特征方面较为复杂[6,7],鉴于此本文利用词袋模型和空间金字塔匹配对图像的天气状态进行判别.

首先,采用SIFT特征[8]描述子提取特征,并且对其采用K-Means聚类构建词袋模型的字典,再用字典对每一个图像进行量化形成字典原子[9,10]的统计直方图.然后,通过空间金子塔匹配模型[11,12]分层统计每一个子块的字典原子的统计直方图,最后将利用空间金字塔匹配模型生成的特征作为图像的特征训练和测试分类器. 其处理流程如图1所示.

图1 图像分类流程图

1 天气状态识别的词包模型

用于天气状态分类识别的词包模型[13]的构建,主要分为特征提取,视觉词典的构造,图像的词典结构描述,空间金字塔的匹配几个方面.

1.1 特征提取

晴天相比于阴天,在画面上呈现的视觉特性是明亮、清晰. 考虑大场景的多样性,本文采用了具有平移、旋转、缩放、甚至仿射变换保持不变性的图像SIFT特征. 如图2所示,是对一幅图像提取SIFT特征的示例. 图(b)标出了SIFT特征的位置、方向和大小,图中箭头的长度表示大小,箭头为方向,箭头的起点为特征位置.

图2 图像的SIFT特征示例

1.2 视觉词典的构造

将每一个SIFT特征描述子看做词汇,借助KMeans聚类算法将词义相近的词汇进行合并. 首先,从训练样本中随机选出一部分图像,对其SIFT特征描述子进行聚类,聚类中心作为字典原子,组成视觉词典.因为这里的聚类中心是构建词典的字典原子,所以,聚类的类别数越多,则表明字典越丰富. 综合考虑对场景特征的表达能力,本文设置的聚类类别数为200.

1.3 图像的词典结构描述

图像的词典结构描述就是求取图像的每个字典原子的统计直方图,一般该直方图是词典中的用词频次构成,为了更加细致地表述词典原子的影响程度,本文提出了一种基于最小二乘的词典原子影响程度统计方法,具体描述如下.

设D=[d1,d2,···,dm]是n×m的矩阵,列向量di为第i个n维的字典原子.s是一个SIFTn维的描述子,x为m的列向量,表示每一个字典原子di对该SIFT特征描述子的影响程度,则：

为了选取最合适的x让式(1)成立,引入残差平方和函数E：

如果矩阵DTD非奇异则x有唯一解：

对于一幅图像的SIFT特征描述子的集合S={s1,s2,···,sk}来说经过上述运算可得到x1,x2,···,xk的一组字典表示系数,则该幅图像的量化直方图X为：

1.4 空间金字塔匹配

为了弥补BOF模型中图像空间信息的不足的缺点而引入金字塔匹配,金字塔匹配是为了获得多尺度的图像词典结构特征.

首先,对图像求取SIFT特征,然后对SIFT特征图像进行尺度划分,将图像划分为0,…,L个尺度,如图3所示,将图像分为3个尺度level 0,level 1,level 2. 这里我们将图像的尺度l下的图像划分称为划分为2l-1×2l-1的子图像块. 那么对于图3我们将会将将图像依次分为1,4,16个图像子块,再对每一个图像块我们将会依据上述利用图像的词典结构描述得到图像块的量化直方图,那么我们将会得到 2l-1×2l-1个直方图.然后将每一个尺度下的所有直方图拼接成一个直方图,由于不同尺度对于图像描述的贡献不同,不同尺度下我们将赋予不同的权值,显然大尺度的权重小,而小尺度的权重大,因此定义权重为这样我们在进行图像各个尺度下的直方图拼接是对于不同的尺度图像块乘以相应的权重. 最后将得到的这个拼接的直方图就称为金字塔特征.

图3 空间金字塔特征

2 天气状态识别分类器的设计

鉴于支持向量机(SVM)[14]在解决小样本非线性及高维模式识别问题中所表现出的特有优势,本文采用了SVM分类器和随机森林分类进行分类融合[15],完成对天气状况的分类识别.

对文献[1]中数据库的2000个测试样本,有978个落在支持向量之间,而其中有304个是错分类的样本.为此,对小置信样本的再处理,是提高识别准确率的有效手段.

本文对第一次分类的结果,采用随机森林进行二次分类. 进行二次分类后错误样本数从336个降到了314个,识别率从83.2%提高到了84.3%.

3 实验结果及分析

本文采用文献[1]提供的图像数据集. 数据集由阴天与晴天两类图像组成,该图像集共有1万张图像,其中每类样本有5000张. 图4为该数据集的部分图像.

图4 文献[1]数据集的部分图像

对于两分类问题,即使是随机猜也能达到50%的准确率. 为了更好的表达算法的有效性,本文采用文献[1]提出的归一化识别率：

表1给出了与已有算法的对比测试实验结果,采用了文献[1]中的图像集,利用80%的图像作为训练样本训练SVM分类器和随机森林分类器,20%用于测试. 这里,对训练样本随机选取了5次后得到的实验结果的均值和方差作为分类的准确率. 可以看到,本文所提出的方法具有较小的方差和较大的归一化识别率.由此也验证了本文算法的有效性.

为了进一步验证本文方法的有效性[16],由于天气状态分类问题图像测试库缺乏,本文对自己采集的两类场景图像库进行测试,图5为本测试集的部分样本.

图5 本文数据集中的部分图像

表1 实验结果对比(单位：%)

本测试集阴天图像有289张,晴天图像有352张,试验中每类图像抽取200张用于训练,其余的图像用于测试. 本次实验通过对5次的实验结果分析可知传统识别率可以达到92.53+0.16%.

4 结论

本文利用图像场景分类的方法对于基于图像的天气场景分类方法进行分类. 利用BOF模型和空间金字塔匹配求解基于图像的天气状态识别问题,本文提出了最小二乘求解的最优系数更加准确地刻画每一个字典原子的影响. 在分类方面本文提出了利用支持向量机随机森林进行两次分类,提高了算法的识别准确率.

1 Lu CW,Lin D,Jia JY,et al. Two-class weather classification. Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus,OH,USA. 2014. 3718-3725.

2 李骞,范茵,张璟,等. 基于室外图像的天气现象识别方法.计算机应用,2011,31(6)：1624-1627.

3 Roser M,Moosmann F. Classification of weather situations on single color images. Proceedings of IEEE Intelligent Vehicles Symposium. Eindhoven,The Netherlands. 2008.798-803.

4 Zhang Z,Ma HD,Fu HY,et al. Scene-free multi-class weather classification on single images. Neurocomputing,2016,207：365-373. [doi：10.1016/j.neucom.2016.05.015]

5 Lalonde JF,Efros AA,Narasimhan SG. Estimating the natural illumination conditions from a single outdoor image.International Journal of Computer Vision,2012,98(2)：123-145. [doi：10.1007/s11263-011-0501-8]

6 Lowe DG. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision,2004,60(2)：91-110. [doi：10.1023/B：VISI.0000029664.99615.94]

7 Yan XS,Luo YP,Zheng XM. Weather recognition based on images captured by vision system in vehicle. Proceedings of the 6th International Symposium on Neural Networks：Advances in Neural Networks. Wuhan,China. 2009. 390-398.

8 Milborrow S,Nicolls F. Active shape models with SIFT descriptors and MARS. Proceedings of 2014 International Conference on Computer Vision Theory and Applications(VISAPP). Lisbon,Portugal. 2014. 380-387.

9 徐健,常志国,赵小强,等. 基于自适应梯度最速下降的分类字典训练算法. 计算机工程,2013,39(5)：225-229.

10 Ye MC,Qian YT,Zhou J,et al. Dictionary learning-based feature-level domain adaptation for cross-scene hyperspectral image classification. IEEE Transactions on Geoscience and Remote Sensing,2017,55(3)：1544-1562. [doi：10.1109/TGRS.2016.2627042]

11 彭天强,栗芳. 哈希编码结合空间金字塔的图像分类. 中国图象图形学报,2016,21(9)：1138-1146. [doi：10.11834/jig.20160903]

12 de Souza Gazolli KA,Salles EOT. Exploring neighborhood and spatial information for improving scene classification.Pattern Recognition Letters,2014,46：83-88. [doi：10.1016/j.patrec.2014.05.009]

13 Zhou L,Zhou ZT,Hu DW. Scene classification using a multi-resolution bag-of-features model. Pattern Recognition,2013,46(1)：424-433. [doi：10.1016/j.patcog.2012.07.017]

14 Shao L,Liu L,Li XL. Feature learning for image classification via multiobjective genetic programming. IEEE Transactions on Neural Networks and Learning Systems,2014,25(7)：1359-1371. [doi：10.1109/TNNLS.2013.2293418]

15 Ding M,Antani S,Jaeger S,et al. Local-global classifier fusion for screening chest radiographs. Proceedings of SPIE Medical Imaging 2017：Imaging Informatics for Healthcare,Research,and Applications. Orlando,FL,USA. 2017. 10138：101380A.

16 Geng YY,Liang RZ,Li WZ,et al. Learning convolutional neural network to maximize Pos@Top performance measure.arXiv：1609.08417,2016.