基于图像处理技术的建筑物沉降研究

张 锐，蒋慧莹

(哈尔滨理工大学自动化学院，黑龙江 哈尔滨 150080)

1 引言

由于我国城市以及郊区地区高层建筑物的增加，怎么监测高层建筑物的使用安全，防止建筑物塌陷造成的生命财产损失，成为了值得思考并解决的问题。因为高层建筑物会随着时间推移对地基造成更大的压力，很容易产生不均匀沉降问题即竖直方向产生的变形，严重者将导致建筑物出现倾斜或者裂缝，从而会威胁到建筑物的使用安全性，所以这就要求要对高层建筑进行沉降观测，要充分掌握高层建筑物沉降观测的方法，这样才能更好地保证建筑物的安全性。常见的沉降观测方式包括：大地测量法(水准测量)、GPS测量法以及摄影测量法。

摄影测量法从20世纪80年代末期开始，数码相机逐渐取代光学相机，计算机更加强大，基于机器学习、模式识别等先进技术，像点自动量测和自动测图成为可能，由此开启数字摄影测量时代。数字摄影测量学是摄影测量学的分支学科，基于数字影像与摄影测量的基本原理，应用计算机技术、数字影像处理、影像匹配和模式识别等多学科的理论与方法，可提取所摄对象的几何与物理信息。近些年各类新型传感器，如便携式倾斜相机、多光谱相机等，以及Agisoft Photoscan、Pix4D mapper、Sart3D Capture和PixelGrid等这些数字处理软件的应用，提高了数字摄影测量的发展。

而相机标定技术是摄影测量的基础，即建立摄像机的几何成像模型，描述图像像素位置与空间坐标系中场景点位置之间的相互关系，最终确定摄像机内外参数等信息的过程随着计算机视觉技术的应用日益广泛，摄像机标定工作的重要性也逐步提升，新的标定方法也越来越多，在众多摄像机标定方法中，最重要的是张正友平面标定法。

在图像获取过程中，由于成像距离、成像设备分辨率等因素的限制，成像系统难以无失真地获取原始场景中的信息。成像系统通常会受到变形、模糊、降采样和噪声等诸多因素的影响，从而导致获取图像质量的下降。因此，如何提高图像的空间分辨率，改善图像质量，一直以来都是成像技术领域亟待解决的问题。而图像超分辨率重建(Super-resolution Reconstruction，SR)是解决这一问题的重要途径，即采用图像处理和机器学习技术，从同一场景中已有的一张或多张低分辨率(Low-Resolution，LR)图像构建高分辨率(High-Resolution，HR) 图像的技术，图像超分辨率重建(SR)在医学影像分析、安全监控、遥感成像等领域有广泛应用。

本文采用对建筑物进行定点拍照的方式进行建筑物沉降观测，一共拍摄了四期监测点图像。首先进行张正友相机标定，得到相机的内参和外参矩阵；然后对建筑物进行定点拍摄，获取建筑物局部特征影像；其次对获取的监测点图像进行卷积神经网络超分辨率重建，由此获得局部特征影像明显的边缘特征；最后通过对每一期图像进行建筑物监测点的SIFT特征点提取与匹配，得到一一对应特征点并计算沉降量。

2 建筑物沉降图像数据处理方法

2.1 相机分辨率

确定相机分辨率，所用原理为：如图1所示，在拍摄距离固定和角度相同的前提下，初次拍摄图像，在建筑物所在平面固定的直尺作为标尺，依据标尺的刻度进行划分，其相对的实际宽度为△()、△()、△()……Δ()，用边缘检测算子计算出其图像上对应所占像素个数为()、()、()……()；通过两者的比值得到相机分辨率为：

(1)

图1 检测系统确定分辨率原理图

2.2 相机标定

相机的成像模型中最常用且典型的是针孔成像模型，在针孔成像模型中，物体在世界坐标系中的坐标和投影到图像坐标系中的坐标之间的关系可简化描述为线性的关系，如图2所示，其中光心到像素平面的距离为焦距，设三维空间中任意一物点在世界坐标系的坐标为(，，)，和在相机坐标系的坐标为(，，)。

图2 针孔成像模型

三维空间点的坐标到像素坐标系点坐标的关系式如式(2)所示：

(2)

式(2)中为相机需要标定的内参数矩阵，，，，，为相机的内参数。和分别表示单个像素点的物理尺寸的长宽，一般情况下像素坐标系的轴和轴不会出现偏差，=90，因此=，像素在轴和轴的倾斜度=0。

常用的相机标定方法包括传统相机标定法、相机自标定法、主动视觉标定法以及张正友标定法等。本文采用张正友相机标定法，其利用标定板在三维空间中的不同姿态关系构造相机参数方程，操作简单便捷，标定准确度也相对较高。主要流程如图3 所示。

图3 相机标定流程图

标定后得到相机内参矩阵和畸变系数如式(3)、式(4)

(3)

(4)

2.3 基于学习的超分辨率图像重建

本文采用基于学习的超分辨率算法应用在建筑物沉降检测图像数据处理中，主要是为了使建筑物检测图像的边缘轮廓更明显，有利于做建筑物检测图像特征点匹配。本文提出了采用FSRCNN算法对建筑物沉降检测图像进行图像重建，其优点为直接将原始低分辨图像(LR)作为模型输入，在模型末端引入反卷积层代替双线性插值(Bicubic)操作，从而保证网络模型的计算复杂度仅与LR图像大小成比例；在映射层的前后分别设置了压缩层和扩展层，在保证网络模型精度的同时，减少了过多网络模型参数对其运行速度的影响；所以构建了五步神经网络模型，分别为特征提取、特征压缩、非线性映射、特征扩展以及高分辨率重建。

1)特征提取：直接对低分辨率图像(LR)进行卷积操作，选取的卷积核大小是5×5，卷积核的数量是d(特征维度)，通道数是1，可写作Conv(5，d，1)；

2)特征压缩：通过使用一个卷积核大小为1×1且卷积核数目较小的卷积层s，由上一层的维数d映射为s，采用s<

3)非线性映射：用于实现从低分辨率图像(LR)特征到高分辨率图像(HR)特征之间的映射，是决定超分辨率图像重建效果优劣的最重要因素。为了降低网络规模，使用较小的3×3卷积核达到相同乃至更大的感受野，可写作Conv(3，s，s)；

4)特征扩展：这一步骤类似于特征压缩的逆过程。这一步骤使用一个卷积核大小为1×1但卷积数目较大的卷积层d，从而实现特征扩展的功能，可写作Conv(1，d，s)；

5)高分辨率重建：使用反卷积层，实现从高分辨率特征到高分辨率图像的重建工作。采用卷积核大小9×9，可写作DeConv(9，1，s)。

激活函数选择了PReLU(the Parametric Rectified Linear Unit)，避免了零梯度造成的“dead features”，在实验中也证明了PReLU作为激活函数的卷积神经网络更为稳定。其中PReLU数学表达式如式(5)

(5)

2.3.1 超分辨率重建算法的评价指标

超分辨率重建的图像质量可以通过图像评价指标进行评价，本文采用峰值信噪比(PSNR)的客观评价方法。峰值信噪比(PSNR)通过像素的误差来估计图像的质量，该方法不仅对图像的噪声有很高的灵敏度，并且操作简单。其中峰值信噪比(PSNR)的数值越大图像的质量越好。

假设和的尺寸大小为×，两者间的均方根误差()定义为式(6)

(6)

而峰值信噪比()定义为式(7)

(7)

其中∂表示图像的最大可能值，针对unit8的图像数据，∂取值为255。

2.3.2 监测图像特征点提取与匹配

建筑物沉降监测的目的是通过不同时期对同一监测点的坐标进行测量，获取建筑物在同一时期内的沉降量。在图像中，可以利用数字图像处理中的特征点提取与匹配技术(SIFT)，对不同时期拍摄的影像中的监测点进行提取和匹配，获取同名监测点的一一对应关系，从而计算沉降量。特征点提取与匹配技术算法(SIFT)是通过建立高斯金字塔，利用原图像(，)与不同标准差的高斯函数(，，)进行卷积得到高斯尺度空间(，，)，如式(8)，(9)所示

(，，)=(，，)⊗(，)

(8)

(9)

其中，(，)为像点坐标，(，，)为高斯核，在二维空间中，和表示模板的规格，表示尺度空间因子。

3 实验结果与分析

沉降观测点选在比较稳定方便使用的位置，也要选在不受该建筑物地基影响的范围内，本实验选在距离建筑物20米处在建建筑物上选取监测点，并将直尺或其它的直线型标识物垂直于地表水平线布设在建筑物上，并在标尺上竖直画上多道2mm黑色粗线条，每道粗线条间距为2mm以便于监测建筑物沉降。在采集到的数字图像中建立直角坐标系，识别特征点。建筑物沉降观测方式采用摄影方法对建筑物上的沉降监测点进行拍照，在工作基点设立三脚架安装望远镜并在目镜镜头安装相机，用望远镜把建筑物上的标尺进行局部放大，再采用相同拍摄角度和拍摄高度，每次拍摄十组图片，保证拍摄精度，要求：

1)望远镜和数码相机垂直于建筑物，在观测过程中应保持稳定；

2)使标尺表面与望远镜光路垂直；

3)望远镜、摄像头与稳定的基准点牢固连接，并保证其牢固性和稳定性；

4)在阳光充足的白天进行沉降检测；

5)采用相同拍摄角度和拍摄高度，每次拍摄十组图片；

6)采用统一的基准处理数据。

本文在拍摄建筑物监测点前，对相机进行了标定，根据标定后的内参和外参矩阵纠正由相机造成的桶型畸变，对某居民楼定点拍摄了四期建筑屋沉降点图像并根据相机标定参数纠正图像。然后进行基于学习的超分辨率重建图像，由于重建后的图像好坏和参与训练的图像有密切关系，所以本文的训练图像在Image Net-91训练集的基础上，加入了居民楼的局部图像作为训练样本，保证重建后的监测点图像的重建效果，测试集采用拍摄到的监测点图像4个测试集。本文的实验平台采用Python3.6，深度学习框架采用Tensor Flow 1.8.0版本，图像处理采用基于Python的OpenCV，可视化采用Matplotlib，以上的工具包都基于Python，操作系统windows 10系统，硬件配置CPU为Inter(R) Core(TM) i5-6200U，内存为12 GB。本文进行了2000次的训练，选取的学习率是0.95，设置d=56，s=12，重建效果图如图4所示。

图4 重建效果图(部分图)

得到的重建图像的峰值信噪比(PSNR)达到了33db+，建筑物轮廓边缘信息平滑，有利于同一监测点的特征点提取和匹配。

建筑物沉降监测的目的是通过不同时期对同一监测点的坐标测量获取建筑物在一段时间内的相对沉降量。在重建后的图像中，可以利用数字图像处理中的SIFT算法，对不同时期拍摄的监测点图像进行特征点的提取和匹配，获取相同监测点的一一对应关系，从而计算沉降量。针对两期图像对其进行SIFT算法，本文选取了30个特征点，红色直线表示30条匹配较高的匹配直线，如图5所示。

图5 特征点匹配

由此得到相邻两张监测图像相同监测点的特征点坐标，计算同一个特征点像素差值。则第1次测量得到沉降量，如式(10)所示

(10)

式中，为初次检测标尺的建筑物沉降位移()；，，…，0是同一特征点像素差值。

第2次测量得到沉降量，如式(11)所示

(11)

式中，为第2次检测标尺的建筑物沉降位移()；，，…，1是同一特征点像素差值。以此类推计算各期建筑物沉降量，见表1所示。

表1 建筑物沉降量(mm)

4 结论

本文叙述了建筑物沉降监测的必要性，提出了基于数字图像处理技术在建筑物沉降监测方面的应用。首先确定相机分辨率，利用相机标定技术对拍摄建筑物监测点图像的纠正，然后定点拍摄建筑物监测点图像，采用基于学习的超分辨率图像重建方法，最后进行监测点一一对应的特征点的提取与匹配，并计算出建筑物各期沉降量，证明了图形处理技术在建筑物沉降方向的可实用性。