一种基于神经网络快速检测震后坍塌房屋的方法

戚瀚文花向红吴 冲，3李琪琪

1武汉大学测绘学院，湖北 武汉，430079

2武汉大学灾害监测与防治研究中心，湖北 武汉，430079

3武汉融云科技有限责任公司，湖北 武汉，430079

近年来，我国相继发生了汶川地震和玉树地震等特大地质灾害，这些特大地质灾害给国家和人民带来了巨大的损失。遥感作为及时获取灾害信息的有效手段，在抢险救灾中发挥了极大的作用［1］。利用遥感卫星影像进行坍塌房屋检测，可以有效评估地震灾害，并实施抢险救援工作［2］。传统的房屋坍塌检测方法主要依赖于人工设计的特征表达［3］，难以适应海量高分辨率影像数据［4］，极大降低了检测的准确率，既耽误了时间又无法得出高质量的检测结果，因而无法满足“应急测绘”的要求。因此，寻找新的震害房屋坍塌检测算法成为当务之急。

传统检测方法利用光学遥感影像、SAR、Li-DAR数据可以对震害坍塌房屋进行有效检测［5］。主要有以下两种：一是仅基于事后数据（post-event data）的检测方法；一是基于事前数据（pre-event data）和事后数据的检测方法［6］。基于事前和事后数据的检测方法具有较高的检测精度，但种方法也存在不足之处，许多城市，尤其发展中国家的城市无法获得事前参考数据，或者不能获取到相同区域的事后数据［7］。即使能够获得相同区域的事前和事后数据，检测精度也会因为颜色和光谱的差异而下降［8］。基于事后数据的检测方法指在利用震后的灾区影像，借助纹理、内容、边界、阴影、光谱信息进行房屋坍塌检测，超高分辨率影像的出现使得这种方法变得可行［9］，但这种方法需要巨大的人力成本和时间成本，需要实地踏勘才能最终确认检测结果［10］，不利于震后的快速检测和评估，并且仅基于事后数据的检测方法并不能取得很高的检测精度［11］。

卷积神经网络（convolutional neural network，CNN）已经成为影像地物提取的主流方法，并且广泛应用于遥感图像的分类、识别、检索和提取，在语义上基本全面碾压了传统的方法。文献［12］利用CNN实现了高分卫星影像的房屋信息提取。目前将深度学习应用于坍塌房屋提取虽然已经初步取得成效［13］，但仍然存在着速度慢、精度差、鲁棒性弱等问题。本文通过制作震后坍塌房屋数据集，并经过数据增强之后，训练得到了一个适用于快速检测震害坍塌房屋的模型，在检测速率上相比较传统方法取得了较大提高。

1 方法原理与流程

本文方法利用fast region-CNN（Fast RCNN）算法实现坍塌房屋检测，其基本原理是通过将经过处理（如数据增强等）后的影像数据直接输入共享卷积层获取特征图，然后将特征图输入区域提案网络（regional proposal network，RPN）得到候选区域以及候选区域的特征信息，接着将这些特征信息与之前的特征图一同进行兴趣区池化获取固定维度的特征信息［14，15］，最后利用分类器来判别是否属于坍塌房屋，对于属于坍塌房屋的候选框，用回归器进一步调整其位置，其流程如图1所示。图1中，输入训练集则表示模型训练过程，输入原始影像则表示坍塌房屋检测过程。

图1 算法流程Fig.1 Flow Chart of Algorithm

1.1 共享卷积层生成特征图

将原始影像输入到一个由13个卷积层、13个ReLU层和4个池化层组成的网络中，生成影像的特征图，对于一个尺寸为H×W的原始影像，通过共享卷积层可以得到维度为H/16×W/16的特征图，本算法采用了VGG16模型，共得到512个特征图。

1.2 候选区域的确定和特征信息提取

将生成的特征图输入区域提案网络中，首先经过一次3×3的卷积计算以进一步集中特征信息［15］，然后分别进行两次全卷积，其中第一次为对各区域可能存在坍塌房屋进行评分，第二次为确定可能存在坍塌房屋的区域。经过两次全卷积计算，每个候选区域得到两组信息，一组是长度为18的特征信息，另一组是长度为36的候选框调整信息。其中特征信息主要用于后续目标识别，候选框调整信息主要用于候选区域框的修正。RPN的结构如图2所示。

图2 RPN结构示意图Fig.2 Structure of RPN

1.3 RoI Pooling生成固定维度特征图

提取到特征信息和坐标信息后还需要进行识别分类和定位，将这些信息和之前共享卷积层生成的特征图一同提交到RoI Pooling层来获取固定维度的 特 征 图［16，17］，RoI Pooling的 实 现 主 要 分 为3步 完成：首先将区域提案分成H×W个网格，然后对每一个网格进行最大值池化，最终将全部输出值进行组合，输出一个固定大小为H×W的特征图，这样，对于任意维度的输入图片都可以得到一个固定大小的特征图。

1.4 区域目标识别分类和定位

将经过ROI Pooling得到的特征图输入到一个全连接层中，对全连接层的输出值进行Softmax分类，Softmax值的计算公式为：

对于Softmax值大于0.8的则确定为坍塌房屋，并且用回归器进一步调整预测框的位置，使得标注尽量准确。

2 实验分析

为了考察本文提出的方法可行性，采用实验方法加以分析。通过编程，实现本文的算法，实验环境为Linux 16.04平台，采用GTX 1080Ti GPU加速，python 3.6，TensorFlow 1.12.0。所采用的实验数据为2008年汶川地震和2010年玉树地震的部分灾后影像数据，该影像数据为无人机拍摄，飞行高度在300～500 m之间，地面分辨率为10～15 cm，格式均为RGB（red-green-blue）影像。实验主要分为4个部分：数据集制作、训练、测试、预测。其中训练是为了得到一组可以用于检测目标的模型，测试是将得到的模型应用在测试集上来检验模型的识别精度，最后预测就是将模型应用在原始的图片上来测试模型真实的识别精度。

2.1 数据集制作

在对影像数据进行处理，去除了模糊、噪声较多、曝光过多的图像后，从600多张照片中挑选了240张作为数据集。图3给出了部分所采集到的样本照片。

从图3中可以看出，不论是汶川还是玉树的坍塌房屋样本，坍塌的房屋已经失去了坍塌前矩形独立的特征，变成了分带形分布的碎屑状，因此在本文中坍塌房屋检测指检测坍塌房屋的区域，并非检测单独一栋坍塌的房屋。

图3 坍塌房屋无人机影像Fig.3 UVA Image of Collapsed Building

为了解决深度学习中过拟合问题，对影像数据进行数据增强处理。数据增强有很多种方式，本文对图像进行旋转、剪切、平移、拉伸的几何变换以及通过调节RGB通道、对比度和亮度、增加噪声对图像像素进行处理，扩大了训练集的规模。

2.2 模型训练

为了得到一组精度高、鲁棒性强的模型，首先将学习率调整为0.001，然后把训练次数设置为30 000次，并用Tensorboad记录下训练中参数的变化。训练过程中loss的下降曲线如图4所示。

由图4可视化结果可以看出，模型经过训练，loss值逐步下降，并逐渐收敛到0，这说明神经网络已经学习到了坍塌房屋的特征。

图4 loss下降曲线Fig.4 loss Decline Curve

2.3 模型测试

对模型进行精度评定，精度评定的指标为AP值，其计算公式为：

数据增强前后训练30 000次的模型测试精度如表1所示。

由表1结果可以看出，数据增强之前AP值仅有0.202 7，这一精度较低，其中可能的原因就是训练集规模太小，与其他检测任务所采用的的数十万张训练样本相比，本次实验所用的训练集规模过小，也就是说神经网络能学习到坍塌房屋的特征比较有限，所以导致精度较低。

表1 数据增强前后模型测试精度Tab.1 Model Accuracy Before and After Data Augmentation

数据增强后训练集中数据达到600幅，测试精度达到了0.272 3，相比较数据增强之前，提高了35%，这说明经过数据增强，模型的检测精度的确得到了一定的提高。

2.4 震后坍塌房屋检测

将得到的模型用于震后坍塌房屋的检测，图5～图8给出了部分不同区域的检测结果。

图5 区域1检测结果Fig.5 Detection Result of Region 1

由图5、图6可以看出：数据增强前的模型只能识别图中很少一部分的坍塌房屋，存在许多漏检的情况，甚至还会有错检的情况发生，其检测出来的坍塌房屋得分普遍比较偏低。数据增强后的模型不论是在检测数量还是平均得分都比数据增强前的模型要好很多，基本上可以将图中的主要坍塌区域全部提取出来，这说明数据增强确实起到了提高模型精度的作用。

图6 区域2检测结果Fig.6 Detection Result of Region 4

从检测的细节效果图7和图8中可以看出，汶川数据样本中，大片连成带状的粉碎状坍塌房屋区域都被正确地检测出来，且置信度得分都很高。在玉树数据样本中，坍塌的房屋也都被正确地检测出来，并且没有错检周围并未倒塌的房屋，体现出本文算法具有很好的鲁棒性。

图7 检测效果细节Fig.7 Detail of Detection Result

2.5 本文算法与其他方法对比分析

将相同的数据集用不同算法进行坍塌房屋检测，训练及预测速率结果如表2所示。

由表2可以看出，在训练效率上，本文算法相比较Fast RCNN算法提高了将近1.5倍，相比较RCNN算法，训练效率得到了显著提升。在检测速率上，本文算法仅使用0.2 s就完成了单幅影像的坍塌房屋检测，相比较其他基于人工神经网络的方法效率提升至少在10倍以上，更是完全超越了需要30 min的人工方法。

表2 不同方法对比Tab.2 Comparison of Different Methods

3 结束语

本文旨在解决地震发生后无法及时获取坍塌房屋分布的问题，借助人工神经网络的强大计算力，得到了一组可以快速较准确识别震害坍塌房屋的模型，这一模型相比较传统方法检测速率提升至少在10倍以上，但在精度上还有提升空间。未来通过不断积累数据集，优化模型参数，必将可以得到更加合适的模型，将会在快速检测坍塌房屋领域发挥举足轻重的作用。