基于移动激光点云的交通标志牌特征提取

瓮升霞，陈一平

(厦门大学信息科学与技术学院,福建厦门361005)



基于移动激光点云的交通标志牌特征提取

瓮升霞，陈一平*

(厦门大学信息科学与技术学院,福建厦门361005)

摘要：针对有效采集到的道路两旁高密度点云数据，基于移动激光测量技术，提出了一种户外交通标志牌的自动检测方法.主要是利用交通标志牌在点云中的反射强度与其他地物目标区别较为明显的特性进行目标提取.结合基于交通标志牌的形状特征检测方法，通过提取杆状物并分析杆状物中非杆状部分的维度特征，提取出具有面状维度特征的目标物作为所要检测的交通标志牌.综合检测结果可知，有效检测到点云数据中的交通标志牌，且召回率优于常用的基于反射率的方法，实验表明该方法能够取得好的提取结果.

关键词：移动激光扫描；交通标志牌；检测；主成分分析

交通标志牌作为一种重要的交通基础设施，可以为驾驶员和行人提供道路指引信息，在规范驾驶员行为的同时也起到了便利交通、保障安全的作用.鉴于此，交通部门定期对交通标志牌的测绘数据进行更新和维护.传统的测绘技术效率低，且受天气地形等因素影响.采用现代移动测量技术，移动激光车载系统沿道路行驶，可有效获得高精度点云数据和动态影像，极大地削减了人工成本，减少了人为误差.对于获得的点云数据，人工检测显得尤为繁琐，自动化提取越来越成为未来的发展方向，但是需要高效的检测强度才能真正应用于实际场景中.

基于视频图像的交通标志牌检测已经进行了十多年的研究[1-3]，图像的采集需要较好的天气和光照条件对目标物的位置进行正确的识别.然而，点云数据获取即使在恶劣的天气条件下也能完成.与在交通工程中普遍应用的人工视觉系统相比，激光扫描对点云的采集更加准确，密度也更高[4-5].例如，RIEGL VMX-450移动激光扫描系统每平方米可以采集到高达7 000～8 000点的三维点云数据.移动激光雷达系统可以完全捕获道路环境，包括真实的地理空间信息和回波反射能量，其中回波反射可以反映物体表面的材料特性.因此，利用移动激光雷达技术对城市道路目标进行采集是非常理想的.

近年来，基于移动激光雷达技术的道路目标提取取得了一定的进展.Yokoyama等[6]提出了一种基于拉普拉斯算子平滑和主成分分析(PCA)的杆状物提取算法.在该方法中，拉普拉斯算子用来对数据进行平滑处理，以消除数据中的噪声点和数据点的分布偏差；而PCA方法则用于对平滑后的数据分段进行特征分析，并从中检测柱状结构目标.Pu等[7]利用形状先验知识和拓扑结构来识别道路结构.董震等[8]通过从原始点云中生成多尺度超体素，在进行体素分割后根据分割区域的显著性进行邻域聚类，最后结合聚类区域的几何特性来判断目标所属类别.由于交通标志牌一般由高反射材料制成，具有清晰可见性，因此点云数据中的反射强度信息可以有效地将标志牌与道路其他目标区别开来，从而广泛地应用于交通标志牌检测中[9-10].另外，基于模板驱动的方法也用于检测交通标志牌[11-12]，利用交通标志牌的高反射强度、对称性等特征来实现检测.

交通标志牌的检测依然存在着一些待解决的难点，主要在于：交通标志牌往往会被其他目标遮挡，如树枝、路灯等，导致检测难度增大；标志牌长期在户外，难免会有损毁老化，致使它的反射率达不到标准水平；杆部可能倾斜变形；在采集数据的过程中，一些离扫描设备比较远的标志牌在点云中的密度较低，影响检测效果.因此，一般鲁棒的检测算法应该克服这些难点，得到精确的检测结果.目前基于三维点云进行交通标志牌提取的研究主要分为基于分割和特征识别的方法和基于反射强度的方法，前者主要受限于分割算法，由于自然场景的复杂性，重叠在一起的目标很难被分割开，所以，对标志牌检测的算法性能产生一定的影响.另一方面，基于反射强度的方法也有其缺陷，由于该方法主要通过标志牌在点云中的高强度值与其他道路目标区分开来，如果交通牌因老化而褪色，或是数据采集时由标志牌的反面扫描，会导致点云中标志牌的反射强度缺乏明显的区分度，基于反射强度的检测方法就会发生漏检.

基于以上分析，本研究综合运用2种方法进行交通标志牌检测，既可以弥补基于反射强度的检测算法在交通牌的强度值与其他地物目标未明显区分时导致漏检的缺陷，又可以对2种方法的检测结果相互验证.

1方法

本文中提出了基于反射强度和形状特征相结合进行交通标志牌检测的方法.基于反射强度的检测方法利用交通标志牌在点云中的高强度特性进行检测，并在后续聚类过程中定义规则以获得含有交通标志牌的聚类；基于形状特征的检测方法首先从点云中识别杆状物，通过分析杆状物中非杆状部分的维度特征，提取出具有面状维度特征的目标物作为所要检测的交通标志牌.最后将2次检测结果进行叠加合并形成最终的检测成果.工作流程如图1所示.

图1　交通标志牌检测流程图Fig.1The flowchart of traffic sign detection

1.1基于反射率的检测

1.1.1反射强度滤波

扫描得到的点云数据一般包含空间坐标、反射强度以及颜色信息，其反射强度受扫描距离、扫描角度、目标材质及传播介质等因素影响.为了行车安全，交通标志牌使用高反射率的材料进行喷刷，反射率的值必须达到国家安全生产标准的规定值.理论上，激光回波强度与地物目标的反射率成正比关系，即反射率越大，点云反射强度值越高.因此在点云中，交通标志牌的反射强度比其他目标都要高.尽管点云的反射强度也会受大气衰减、激光入射角度等多种因素的影响，但还是能够区分介质属性差别较明显的目标.通过将反射强度的阈值设定为超出某一值，道路场景中的大部分非目标物都将被滤除[10].阈值的大小需要经过实验进行调整以获得最佳滤波效果.滤波后的点云仍包括除交通标志牌之外的其他高强度目标，如汽车牌照、路锥等，需要进行进一步处理.

1.1.2欧式距离聚类

聚类的目的在于将离散、无组织的数据划分成一系列具有一定空间拓扑结构的三维语义目标，使每个目标中的数据“相似”或“相近”，而不同目标中的数据差异尽可能大.欧式距离聚类是一种根据相邻点之间的欧式距离关系进行划分的方法，其原理是：对于含有n个数据点的集合X={x1,x2,……,xn}，随机选取1个点pi(i=1,2,…,n)，并标记为已聚类点，将以pi为球心，dc为半径的球形区域内的所有未聚类点标记为已聚类状态，并且给以相同的类别标识Li.接着，对于每一个被标记的点，重复上述过程，直到Li已无法再吸收新的点，在数据集合的未标记点中再次进行随机选取.当数据集中所有的点都已经被标记，该递归聚类过程结束.

初始聚类之后，部分聚类中包含感兴趣的目标，为了判断每个聚类Ci是否包含交通标志牌，本文中定义了以下3种规则：

1) 点云数量滤波

结合交通标志牌的尺寸限制以及车载移动激光扫描点云的密度，Ci应该至少包含70个点，少于这个数量的聚类不足以构成交通标志牌.

2) 海拔滤波

依据交通标志牌的高度标准，Ci的z轴最小值与地面点的距离至少应为2 m.这一规则可以过滤掉海拔较低的聚类目标，如汽车牌照、路锥、临时标志牌等.

3) 高度滤波

依据交通标志牌尺寸标准，Ci的z轴最大值与最小值之差至少应为0.4 m.

根据上述的3个规则，不符合条件的聚类将被滤除.点云中剩下的聚类目标即为交通标志牌目标物.

1.2基于形状的检测

基于反射强度的方法会遗漏因老化或被损坏等因素致使反射率变低的交通标志牌，以及背面相对于扫描仪的交通标志牌.因此，结合基于形状的方法，以确保检测的完整性.首先，采用基于体素的向上生长方法将地面点从原始三维场景中滤除；其次，采用欧氏距离聚类方法对非地面点进行聚类，分离出空间上相互独立的目标聚类，从这些聚类中识别出杆状物目标；最后，采用PCA方法对杆状目标的非杆状部分点的维度特征进行分析，从而检测到交通标志牌目标.

1.2.1地面点去除

车载移动激光扫描系统采集到的被测场景的三维点云数据中包含大量、高密度的地面点.由于检测目标为非地面点，这些地面点无疑会增加检测算法的时间和空间复杂度，所以对点云数据进行地面点预处理将有效提高后续的检测效率.采用基于体素向上增长的方法进行地面点滤除，步骤如下：

1) 将整个三维点云场景在XY平面内按一定的宽度垂直切分成一系列局部点云块Bi，i=1,2,…,Nb， 其中，Nb为生成的局部点云块的总数.这些局部点云块将被单独地进行地面点滤除处理.

2) 对于每个局部点云块Bi，i=1,2,…,Nb，利用八叉树(octree)索引结构划分，按一定的宽度将其划分成一系列空间上连续的点云体素Vj,j=1,2,…,Nv，其中，Nv为生成的点云体素的总数.

3) 点云体素Vj,j=1,2,…,Nv上9个邻域定义为与Vj相邻接并且在空间上位于Vj上方的9个点云体素.接下来，向上生长过程以点云体素Vj的上9个邻域(L1,L2,…,L9)为起点，按同样的方式，分别沿着L1,L2,…,L9的上9个邻域继续向上生长.以此类推，当所有已生长到的点云体素再无上9个邻域可生长时，该递归式向上生长过程结束.从已生长的区域中计算出具有最大局部高度值的点云体素Vh，即该生长区域的至高点.

4) 定义高度Hg为地面高度临界值.如果Vh小于Hg，那么，点云体素Vh将被标记为地面体素.同时，滤除包含点云体素Vh的局部点云块中的所有点.如果点云体素Vh的高度值大于Hg，点云体素Vh将被标记为非地面体素.同时，保留包含点云体素Vh的局部点云块中的所有点.

1.2.2基于比例的杆状物检测

采用欧式距离聚类方法，将非地面点划分成一系列三维目标聚类.欧氏聚类的具体过程已在方法1.1.2中介绍.

对于初始分割得到的每个聚类Ci，为判断Ci是否为杆状物，对每个聚类Ci作如下处理：

1) 根据z坐标的值将Ci中的点分为4等分，从下至上编号为0～3.接着，取编号为1的部分，等距离分割成N个水平截面，并将每一个点都映射到相应的平面上(如图2).

图2　杆状物检测Fig.2Percentile based pole recognition

2) 对于每一个平面，易得包含所有点的最小外接圆.计算其最小外接圆的半径长度，并记录它与相邻平面外接圆半径的差值rdif.规定若Ci为杆状物，相邻半径的差值应不超过dneigh.当一次迭代完成后，计算rdif超过了dneigh的比例x=Nrdif>dneigh/N,如果x超过了预设阈值，则认为聚类Ci不是杆状物.

选择编号为1的部分作为判断杆状物的依据，既避免了草丛等物体附着在杆状物上所造成的干扰，也避免涉及到杆状物上部不同的非杆状部分，如路灯的灯头、树木的树冠等.

为了进一步对杆状物进行区分，对于杆状物聚类Ci作如下处理:

1) 取Ci中编号为2、3的部分，等距离分割为水平截面，并将每一个点都映射到相应的平面上.

2) 从Ci编号为2的部分开始，从下至上遍历每一个平面，拟合其平面上所映射的点的最小外接圆并计算其半径.当圆的半径长度大于某一个设定的最小值时停止.这时，在这个平面以上的部分即为杆状物的非杆状部分.

1.2.3交通标志牌检测

常见道路两旁的杆状物可分为树木、电线杆、路灯、交通标志牌几大类.这几类目标物的非杆状部分的构成如表1所示.

表1　道路两旁杆状物组成Tab.1　Pole-like objects composition on the roadside

在组成类别中，只有交通标志牌是含有且大量含有平面元素的.因此，采用PCA算法，通过分析维数特征，可以将交通标志牌与其他非研究目标区别开来.

PCA算法[13-14]是一种有效的降维方法，它在减少数据维数的同时保留对方差贡献最大的特征.对于目标聚类中的每个数据x，求取x的协方差矩阵，矩阵的特征向量即为点集的主方向，矩阵的特征值λ1,λ2,λ3(λ1≥λ2≥λ3)为对应的3个主方向上的分量大小.并进一步定义维数特征[13]:

(1)

根据扫描点的维数特征，依据式(2)把扫描点粗分类为线性(D=1)、平面(D=2)、离散(D=3)3类.

(2)

如果目标聚类中维数特征为平面的点超过预设阈值，那么可以认为这个目标聚类为交通标志牌.

2实验结果

本文中的测试数据采用RIEGL VMX-450移动激光扫描系统进行采集，如图3所示.RIEGL VMX-450由扫描仪、惯导系统、测距仪和4个高分辨率数码相机组成，扫描仪的激光脉冲发射率可达550 kHz,测距精度可达1 cm.被测场景为实时交通下的厦门环岛路，数据覆盖范围约5 260 m,包含127个交通标志牌.被测数据中包含常见的道路场景目标，包括建筑物、树木、路灯、交通标志牌、车辆、行人、草坪等.测试设备为个人台式机，配置为英特尔酷睿(TM)i5-3470，CPU主频3.2 GHz，内存8.0 GB.

(a) 环岛路点云显示；(b) 基于反射强度的交通 标志牌检测结果；(c) 基于形状的交通标志牌 检测结果；(d) 基于本文方法的交通标志牌检测结果.图4　交通标志牌检测结果(场景1)Fig.4Traffic sign detection results (scene 1)

图3　RIEGL VMX-450系统Fig.3RIEGL VMX-450 mobile laser scanning system

依据本文方法对数据进行处理，由基于特征选择的方法和基于反射强度的方法分别实现交通标志牌检测，最后将2次检测结果进行叠加合并形成最终的检测结果.图4显示的是部分环岛路的点云显示(图4(a))基于反射强度的交通标志牌检测结果(图4(b))，基于形状的交通标志牌检测结果(图4(c))，以及基于本文方法的交通标志牌检测结果(图4(d)).在图4(b)中，基于反射强度的方法漏检了反射率不突出的交通标志牌，在图4(c)中，基于形状的方法漏检了被树木遮挡的交通标志牌，而基于本文方法的结果没有漏检.图5展示了另外一个场景的检测结果.

(a)环岛路点云显示；(b) 基于反射强度的交通标志牌 检测结果；(c) 基于形状的交通标志牌检测结果； (d) 基于本文方法的交通标志牌检测结果.图5　交通标志牌检测结果(场景2)Fig.5Traffic sign detection results (scene 2)

从部分检测结果可以看出，本文方法不仅能准确地检测到独立的交通标志牌,而且当它与树木等目标交错甚至被部分遮挡时，以及在点云中反射率未明显高出其他地物目标时，该方法仍然可以得到正确的检测结果.但是,在某些情况下仍然存在检测错误,漏检主要集中在标志牌被树枝等物体完全阻挡时，误检主要是由于户外广告牌可能被当作是交通标志牌.

为检验本文方法对于检测点云场景中交通标志牌的有效性，以手工标记实验数据为参考数据，对本文所提出方法的召回率(召回率为检测到的交通标志牌与场景中交通标志牌总数的比率)、假正、假负数量进行计算(表2).从表2可以看出交通标志牌检测的召回率可以达到95.2%.同时对本文方法与文献[10]方法的正确率、召回率2个方面进行了对比,比较结果如表3所示.对于图4所示场景，大约710万个点，计算时间为1 095 s，文献[10]为1 021 s.本研究综合2种方法检测交通标志牌，发挥了2种方法的优势，并使得2种方法中导致漏检的缺陷相互弥补，因而召回率较文献[10]方法提高了1.2个百分点.实验结果表明,所提出的算法适用于道路交通标志牌的自动提取.

表2　环岛路上交通标志牌检测结果Tab.2　Traffic sign detection results on Huandao Road

表3　方法对比Tab.3　Compare with other method　%

3结论

本文以车载激光扫描数据为研究对象，提出了一种适合复杂城市环境的交通标志牌检测方法.综合运用基于形状特征和基于反射强度2种方法进行交通标志牌检测，既可以弥补基于反射强度的检测方法无法检测到从反面扫描或是老化褪色的标志牌的缺陷，又可以对2种方法的检测结果相互验证,从根本上提高了道路场景中检测交通标志牌的精度， 达到优势互补的效果.应用结果表明，该系统在复杂场景下可以有效检测到交通标志牌，从而为交通部门掌握道路标志牌情况，有针对性的进行维护奠定基础.同时，该检测技术也可在智能交通系统中推广应用.

但是该方法仍然存在一些漏检或误检，主要为当目标物被大比例遮挡时导致的漏检，以及户外广告牌可能引起的误检.下一步的研究将把点云与图像融合，使我们真正的可以“看到”交通标志牌上的内容.

参考文献：

[1]BRENNER C.Extraction of features from mobile laser scanning data for future driver assistance systems[M].Berlin，Heidelberg:Springer,2009:25-42.

[2]PICCIOLI G,DE MICHELI E,PARODI P,et al.Robust method for road sign detection and recognition[J].Image and Vision Computing,1996,14(3):209-223.

[3]LANDA J,PROCHAZKA D.Automatic road inventory using LiDAR[J].Procedia Economics and Finance,2014,12:363-370.

[4]CHEHATA N,GUO L,MALLET C.Airborne lidar feature selection for urban classification using random forests[J].International Archives of the Photogrammetry,Remote Sensing and Spatial Information Sciences,2009,39:207-212.

[5]HAALA N,PETER M,CEFALU A,et al.Mobile lidar mapping for urban data capture[C]∥Proceedings of the 14th International Conference on Virtual Systems and Multimedia.Limassol,Cyprus:Reasearch Gate,2008:95100.

[6]YOKOYAMA H,DATE H,KANAI S,et al.Pole-like objects recognition from mobile laser scanning data using smoothing and principal component analysis[J].ISPRS Workshop,Laser Scanning,2011,38:115-120.

[7]PU S,RUTZINGER M,VOSSELMAN G,et al.Recognizing basic structures from mobile laser scanning data for road inventory studies[J].ISPRS Journal of Photogrammetry and Remote Sensing,2011,66(6):S28-S39.

[8]董震,杨必胜.车载激光扫描数据中多类目标的层次化提取方法[J].测绘学报,2015,44(9):980-987.

[9]LAFLAMME C.Automatic asset detection,location measurement and recognition:USA 7623248[P].2009-11-24.

[10]AI C,TSAI Y C J.Critical assessment of an enhanced traffic sign detection method using mobile LiDAR and INS technologies[J].Journal of Transportation Engineering,2014,141(5):04014096.

[11]YU Y,LI J,GUAN H,et al.Three-dimensional object matching in mobile laser scanning point clouds[J].IEEE,Geoscience and Remote Sensing Letters,2015,12(3):492-496.

[12]VU A,YANG Q,FARRELL J,et al.Traffic sign detection,state estimation,and identification using onboard sensors[C]∥International IEEE Conference on Intelligent Transportation Systems.Hague:IEEE,2013:875-880.

[13]DEMANTKÉ J,MALLET C,DAVID N,et al.Dimensionality based scale selection in 3D lidar point clouds[J].International Archives of the Photogrammetry,Remote Sensing and Spatial Information Sciences,2011,3812(5):97-102.

[14]LALONDE J,VANDAPEL N,HUBER D F,et al.Natural terrain classification using three-dimensional ladar data for ground robot mobility[J].Journal of Field Robotics,2006,23(10):839-861.

doi：10.6043/j.issn.0438-0479.201512018

收稿日期：2015-12-18录用日期：2016-02-23

*通信作者：ypchenhk@gmail.com

中图分类号:TP 391

文献标志码：A

文章编号：0438-0479(2016)04-0580-06

Road-traffic-sign Detection from Mobile LiDAR Point Clouds

WENG Shengxia,CHEN Yiping*

(School of Information Science and Engineering,Xiamen University,Xiamen 361005,China)

Abstract:The demand for automated road-traffic-sign extraction is driven by the importance of maintaining and updating the fundamental geographic data of transportation systems for road engineering.Mobile laser scanning(MLS) is a promising technology for the rapid 3-D mapping of roads,providing an efficient means to capture details along roads.This paper presents an automated method to detect road-traffic-signs in outdoor environments using mobile light detection and ranging(LiDAR) and inertial navigation technologies.First,road-traffic-signs are detected based on the intensity attributes,as road-traffic-sign intensity renders significant differences from other objects in point clouds.Second,a road-traffic-sign detection method based on shape features is applied,recognizes pole-like objects from raw point clouds with data extracted by principal component analysis.Finally,two detection methods are combined to form the final detection result.Experiments demonstrate the feasibility and the effectiveness of the proposed method in detecting-traffic-signs from mobile LiDAR point clouds.

Key words:mobile laser scanning;road-traffic-sign;detection;principal component analysis

引文格式：瓮升霞，陈一平.基于移动激光点云的交通标志牌特征提取[J].厦门大学学报(自然科学版)，2016,55(4)：580-585.

Citation：WENG S X, CHEN Y P．Road-traffic-sign detection from mobile LiDAR point clouds[J].Journal of Xiamen University(Natural Science)，2016,55(4)：580-585．(in Chinese)