结构表观病害人工标记数据标准化批处理方法

董一庆 王达磊 潘玥 李晓娅

(1.同济大学 土木工程学院，上海 200092;2.同济大学 电子与信息工程学院，上海 201804;3.浙江省交通运输科学研究院，浙江 杭州 311305)

我国在役大跨桥梁众多，桥梁的日常运营和管理涉及大量的检查和维护工作。由于人工检测方法的便捷性和适用性，使其在大跨桥梁的日常管理养护中被大量采用；主要是通过目检或借助辅助工具，由专业检修人员对桥塔、主梁、桥面系等不同位置进行检测，并记录其病害或缺损信息[1]，由此产生了各种类型的检测和养护数据[2]。

然而，由于检测任务面广、量大，在检测完成后会形成体量庞大的构件病害原始数据。一方面，人工检测数据庞杂且往往缺少统一标准，难以形成批量化的处理方法；另一方面，以手动记录为主的检测数据难以高效处理，人工病害统计分类的工作非常繁琐、易出差错[3]；最后，长期积累的海量人工检测结果往往未形成结构化数据，导致检测数据难以支持进一步的桥梁劣化分析。以上诸多原因，导致了长期以来大跨桥梁人工检测获得的海量数据未得到有效利用，难以有效支撑实桥的管理养护，更难服务于劣化规律探究和机理分析。

近年来，新型的计算机视觉检测识别方法虽有一定程度上的发展[4- 5]，但仍存在设备硬件昂贵，算法调试及使用代价大、定量化使用困难等问题[6]；对传统检测方式进行根本性变革尚需时日。因此，建立标准化编码和数据批处理方法，不仅有利于人工方法和机器方法的数据兼容，而且能够更有效地实现桥梁性能长期跟踪，进一步挖掘数据价值。

目前，工程技术领域的研究者已在对人工检测数据进行有效处理方面开展了一些研究。如通过人工检测数据进行桥梁有限元模型修正，融合健康监测与人工检测进行综合的桥梁技术状况评价[7]；通过条件随机场模型，从桥梁的检测报告中有效提取病害信息实体，实现了基于特定内容的文本分析[8]；利用自然语言处理技术，对桥梁定期检查报告中的语言部分进行识别和信息提取，获取结构化数据并存入对应的数据库[9]。但是，针对量大面广的人工检测病害标记数据，无论是统一合理的编码体系，还是自动高效的处理算法，国内外相关研究尚少。

有鉴于此，本研究以人工标记的桥面铺装表观病害数据为例，提出了一种基于图像处理的人工检测数据标准化批处理方法。首先通过标准编码方法，按照构件网格进行病害区域栅格化，生成标准节段图；其次基于数字图像处理技术，进行病害检测和类型划分，提取病害面积、长度等信息；最后根据检测结果进行数理统计分析，获得病害类型和分布的分析结果。该方法可实现人工检测病害数据处理的标准化和批量化，生成了可供计算机快速分析的结构化数据，从而能够有效支撑对铺装病害发展规律的揭示与趋势预测等，为桥梁管理养护决策提供科学化依据。

1 铺装病害数据的标准化批处理方法

1.1 概述

文中提出了一种人工检测病害数据的标准化批处理方法，其过程示意图如图1所示。首先开展长期化的病害数据获取，比如裂缝、破损、坑槽等，通过人工定期检测，标记为构件病害分布CAD图。其次进行标准化病害数据处理，第一步是标准化转换方法，将全桥病害分布图按照位置进行区域划分和编码，实现网格式栅格化的标准尺寸病害分布图像批量生成；第二步是进行数字图像处理，包括连通域分析和形态学分类技术，提取病害定量信息，按照网格预设标签生成结构化病害数据。最后，对病害数据按时间、空间等因素进行统计分析，包括病害类型分析、位置分析、横向分布分析和纵向分布分析等。

图1 人工检测病害数据的标准化批处理Fig.1 Standardized manual-marked damage data batch-processing flow

1.2 铺装病害分类编码

从铺装病害的形态来看，可分为面状病害和线状病害[10]。对于桥梁结构而言，铺装病害的形态和位置在一定程度上反映了桥梁结构的受力特点和重载分布，因此首先对铺装病害按表观特征和位置特征进行分类和编码，结果如表1所示。

表1 铺装病害的分类编码Table 1 Type coding for pavement damages

此外，对于大跨径悬索桥，对吊杆、主梁横隔板和主梁加劲肋进行编号，实现对病害位置的描述：

行车方向(Direction):North、South

吊杆(Hanger):001、002、003、…

横隔板(Diaphragm):001、002、003、…

加劲肋(Rib):001、002、003、…

对于单次检测的单个病害，使用表2中所示字段进行病害描述，形成病害处理结果标准化方案。

表2 病害描述字段Table 2 Fields of damage description

1.3 病害分布图像网格式栅格化方法

为进行批量式的铺装病害提取和定位，首先整合人工检测标记的CAD铺装病害数据，按照位图图像格式标准进行批量导出，形成病害描述标准图像，如图2(a)所示，以相邻吊杆或斜拉索的锚固点作为上下边界，以道路中心线和护栏线作为左右边界，对桥面区域进行网格式栅格化的划分，形成单张标准图像范围，实现对应病害的区域分配。

因此，通过吊杆和道路中心线将全桥铺装范围划分为(n-1)×2个网格区域，其中n表示吊杆数量，从而得到单个标准图，即图2(b)，将标准图像命名格式定义为：{年份月份}-{方向}-{吊杆起点}-{吊杆终点}.jpg，如201102-North-001-002.jpg。

对于标准图，按照横隔板和U肋进行子网格划分，用于病害定位和分类，如图2(c)所示。

图2 铺装病害分布图像网格式栅格化方法Fig.2 Image gridding and rasterization method of pavement damage distribution

1.4 病害图像关键参数提取方法

获取标准图后，通过基于数字图像处理的分析算法[11- 13]，自动化提取病害关键参数，流程如图3所示。针对单张标准图，依次进行图像灰度化、图像二值化和连通域查找处理，得到图像中包含的连通域，与病害进行一一对应。对于每个连通域，通过图像细化算法，进一步提取其骨架，从而得到连通域的完整特征。最后，通过流程式的连通域判定算法，进行病害信息化和分类。

图3 标准图像处理方法Fig.3 Processing method of the standard images

1.4.1 灰度化和二值化

首先针对原始彩色图像进行灰度化，按式(1)对RGB三分量进行加权平均，得到灰度图像。

Gray(i,j)=0.299×R(i,j)+0.578×G(i,j)+

0.114(i,j)

(1)

然后采用最大类间差分法[11](Otsu提出的方法)进行灰度图像的二值化，该方法按照图像灰度特性，通过求取前景和背景之间的类间方差函数、进而取最大方差的方法进行前景背景分割，实现了全局阈值场景下的图像二值化；该方法计算简单快速，受图像亮度和对比度的影响小。

1.4.2 连通域查找

对于检测病害结果，反映在数字图像中即为连通域。连通域是指图像中具有相同像素值且位置相邻的像素点组成的图像区域，往往针对仅有一类前景信息的二值图像使用。二值图像连通区域标记(Connected Components Labeling,CCL)是图像处理中的常用操作，设X为与数字图像A大小相同，且满足在A的前景像素点记1、背景像素点记0的阵列，对X按照式(2)进行迭代，从而提取到各个连通域。

Xk=(Xk-1⊕B)∩A

(2)

式中:k=1,2,3,…;Xk-1⊕B表示结构元B对Xk-1的膨胀运算。

膨胀运算的定义如式(3):

A⊕B={x,y[(B)x,y∩A]⊆A}

(3)

式中，通过结构元B沿数字图像A进行按行按列滑动，每次提取B所在区域的最大值，即作为该点的运算结果，其中x和y分别表示行方向和列方向。

Wu等[12]提出的扫描数组联合查找(Scan plus Array-based Union-Find,SAUF)算法是CCL经过效率优化的算法之一，它是一种两遍扫描法，先后进行像素标记和区域归并，从而快速得到具有不同标签的连通域。

1.4.3 细化运算

对于数字图像，连通域只能得到面积、角点、形心点，在物体形状复杂时不能获得其线性特征(比如曲线连通域的长度信息)，因此引入图像细化运算。在数字图像处理中，将数字图像A的细化运算定义为式(4):

A⊗B=A-(A#B)=A∩(A#B)c

(4)

式中，A#B表示结构元B对数字图像A的击中击不中运算(Hit-or-Miss Transformation)。

A#B定义为

A#B=(A▯B1)∩(Ac▯B2)

(5)

式中,A▯B1表示结构元B1对数字图像A的腐蚀运算,Ac▯B2表示结构元B2对Ac的腐蚀运算，Ac表示将A的前景和背景进行互换。

腐蚀运算定义如式(6):

A▯B={x,y|(B)x,y⊆A}

(6)

式中，通过结构元B沿数字图像A进行按行按列滑动，每次提取所在区域的最小值，即作为该点的运算结果，其中x和y分别表示行方向和列方向。

采用Zhang等[13]提出的优化并行细化方法，实现高效提取连通域骨架，由于骨架宽度为1像素，因此骨架面积即为原连通域的实际长度。

1.4.4 连通域判定算法

在获取连通域后，需要通过算法进行参数判定和分类，从而准确获得单个连通域所对应的的病害标签。整个判定过程如图4所示，分为连通域属性提取、吊杆区域判定、横隔板区域判定、加劲肋区域判定、病害大类划分和病害细类划分6个子过程。

图4 连通域判定算法Fig.4 Assessment method of the connected components

(1)连通域属性提取：通过SAUF算法获取连通域本身属性信息，加上细化运算获取连通域骨架，获得的数据包括长度l、面积a、平均宽度w=a/l、形心横坐标xw、形心纵坐标yw，左上角点横坐标x1，左上角点纵坐标y1，右下角点横坐标x2，右下角点纵坐标y2。

(2)吊杆区域判定：通过文件名获取吊杆分布参数，得到吊杆起始编号hstart，结束编号hend。

(3)横隔板区域判定：通过图纸获取相应吊杆区间范围内的横隔板间距参数，得到横隔板起始编号dstart，结束编号dend。

(4)加劲肋区域判定：通过图纸获取相应吊杆区间范围内的加劲肋间距参数，得到加劲肋起始编号rstart，结束编号rend。

(5)病害大类划分：以连通域的长宽比作为大类划分的依据，若长宽比不小于3，表示区域呈线状，划分为L类;否则表示区域呈面状，划分为A类。

(6)病害细类划分：对于A类病害，判断横隔板起止编号之差，若差不小于2，则病害穿过横隔板，细类为A-1;否则病害不穿过横隔板，为A-2，如图4右上角示意。对于L类病害，首先通过像素取值运算I(x,y)，获取左上角点、形心点、右下角点的像素值，若值大于零则表示该点存在病害点，定义病害为直线型，否则定义为曲线型；然后判断横隔板起止编号之差，若差不小于2则病害穿过横隔板，否则病害不穿过横隔板；最后判断上下角点连线的斜率，若超过tan 65°，则定义病害为纵桥向，否则定义为横桥向。

2 实例分析

以某大跨悬索桥梁多年的人工检测铺装病害数据为例，按上述流程进行数据处理，通过结果分析和效率计算，对文中提出的铺装病害标准化批处理方法的可行性及其快速化、标准化的优势进行验证。

2.1 桥梁信息

背景工程为华东地区某大跨悬索桥梁(双向6车道+两侧应急车道)，主跨采用1 395 m扁平钢箱梁，梁宽36.9 m，梁高3.0 m，主梁断面如图5所示，桥面使用环氧沥青混凝土铺装。横向分布从外向内依次为临时停车道、重车道、变换车道、快车道和中央分隔带，对应的U肋编号分别为1#-3#、4#-10#、11#-16#、17#-23#和24#，如图6所示。

图5 主梁断面图(单位：mm)Fig.5 Section drawing of the tested girder(Unit：mm)

图6 车道和U肋分布Fig.6 Distribution of lanes and U-ribs

文中采用2011年到2014年的铺装人工检测数据，检测周期为2个月，检测范围涵盖全桥。

2.2 铺装病害数据处理

2.2.1 数据处理过程

首先，按1.3节中所述的病害图像网格式栅格化方法，以吊杆锚点和道路中心线为分界，对背景悬索桥桥面铺装的人工检测结果进行区域划分和批量导出，形成具有时序和位置信息的病害标准图。

然后，按照图3所示的图像处理算法流程，进行基于数字图像处理的铺装病害快速化批量处理，全过程示例如图7所示。以2014年2月份的铺装检查结果为例，已导出的201402-North-001-002.jpg如图7(a)所示，图像左边界为道路中心线，右边界为护栏线，上边界延长线经过2#吊杆，下边界延长线经过1#吊杆。灰度化后的图像如图7(b)所示，将原彩色图像转化为灰度图像。采用Otsu[11]提出的全局阈值二值化方法处理后的结果如图7(c)所示，将前景(病害)和背景(无病害区域)进行二值分离，背景区域处理为亮度为1的白域，病害区域处理为亮度为0的黑域。

图7 铺装病害图像处理过程示例Fig.7 Example for image processing of pavement damage

接下来通过SAUF算法进行连通域查找，为区分不同病害，分别采用不同颜色或不同编号表达，结果如图7(d)、7(e)所示，由此获得连通域的面积、坐标等信息。此外，通过Zhang等[13]提出的并行细化算法进行连通域细化处理，结果如图7(f)所示，可见算法提取到各连通域的骨架，由此获得连通域的长度等信息。然后，根据1.2节的病害分类编码规则，获得连通域对应病害的类型信息。最后，将每条病害提取的结果进行保存和入库，形成病害数字化信息。

此外，对北向1#到2#吊杆间的铺装区域进行按时序统计，结果如图8所示，由图8可看出病害发展和数量增加的过程。因此，为进一步分析病害演化过程及规律，需将识别到的铺装病害按时间和空间进行归并，实现病害时空信息获取。

图8 同位置不同时刻的铺装检测记录Fig.8 Pavement inspection records in the same location at different time

使用配置为Intel(R) Core(TM) i7-6800K CPU @ 3.40 GHz，32 GB RAM，NVIDIA GeForce GTX 1080 Ti的计算机，对3年的数据进行批量化图像处理和病害数据生成，结果显示，仅花费183 s的时间即可完成，体现出了该方法相对于人工计数明显的速度优势及标准化结果。

2.2.2 算法对比研究

为进一步验证所使用算法的效率，本节对其中核心算法进行同类别对比分析。图像二值化算法主要包括Otsu[11]提出的全局阈值法和自适应阈值法；连通域查找主要包括两遍扫描法和多遍扫描法[14]；细化运算主要包括Zhang等[13]提出的并行算法和Guo等[15]提出的迭代算法。各算法的效率对比结果如表3所示，由表3可见，文中所用Otsu算法、SAUF两遍扫描法和Zhang等提出的算法在同类别算法中均为效率更优的方法。

表3 算法效率对比Table 3 Efficiency analysis of core algorithms

2.3 病害统计分析

2.3.1 数量和位置分析

分析统计2011年2月、4月及2013年2月、4月的纵向病害数量分布，结果如图9、图10所示。由图9、图10可见，铺装病害沿桥梁纵向分布较为均匀。此外，根据桥梁维护报告，该桥仅在2011年8月进行过铺装的整体人工修复，从图9、图10也可看出，未进行人工修复干预情况下，铺装在承载一段时间后病害数量有明显上升。

图9 2011年2月和4月的纵向病害数量分布Fig.9 Quantitative distribution of longitudinal damages at February and April 2011

图10 2013年2月和4月的纵向病害数量分布Fig.10 Quantitative distribution of longitudinal damages at February and April 2013

分析统计2011年2月、4月及2013年2月、4月的纵向病害数量分布，结果如图11、图12所示。由图11、图12可见，铺装病害沿桥梁横向分布不均匀，在临时停车道(1#-3#区域)、快车道(17#-23#区域)和中央分隔带(24#区域)的病害数量很少，而较多出现在重车道(4#-10#区域)和变换车道(11#-16#区域)，其中5#、10#、11#、16#为较常出现的车辙位置，因此病害检测结果与桥面行车规则具有一定的关联性。

图11 2011年2月和4月的横向病害数量分布Fig.11 Quantitative distribution of transverse damages at February and April 2011

图12 2013年2月和4月的横向病害数量分布Fig.12 Quantitative distribution of transverse damages at February and April 2013

2.3.2 类型分析

对自动识别的铺装病害类型分别进行统计，结果如图13所示。由图13可见，裂缝类的线状病害数量远多于坑槽、鼓包等面状病害数量，且在线状病害中，L-3型占到了大多数，即直线型且不穿过横隔板的病害数量占主导。

图13 病害类型分布示例Fig.13 Examples of distribution of pavement damage types

3 结语

针对长期以来人工检测积累的海量数据的有效处理问题，提出了基于图像处理的人工检测表观病害数据标准化批处理方法，并以某大跨桥梁铺装人工检测标记病害CAD数据为例进行了实际处理。首先基于长期化的实桥铺装人工检测CAD标记数据，按照形态和位置进行病害分类及编码；其次进行病害分布图像的网格式栅格化，定义和导出标准位图；然后基于数字图像处理算法进行标准图像的标准化批处理，包括灰度化和二值化、连通域查找、细化运算和连通域判定算法等，从而按照预设标签生成病害表，保存了规范化的铺装病害结构化信息；最后进行了铺装病害数据分析，包括数量和位置分析、类型分析等。

该方法引入了数字图像处理技术，大大提高了标准化程度和处理效率，生成了结构化的铺装病害信息，从而实现了快速化和标准化的病害数据处理和整理，获取了一定的病害规律，为后续进行铺装劣化研究提供了行之有效的数据基础，通过病害劣化判断，进一步指导桥梁养护。此外，所提出的批量和标准化方法对于桥梁人工检测的其他构件病害数据、其他类型数据等，具有较强的可复制或可移植性。