万凌峰 孙朋朋 赵祥模 文舜智
(1.长安大学,西安 710061;2.浙江数智交院科技股份有限公司,杭州 310013)
主题词:背景建模 点云处理 三维激光雷达 智能交通系统
激光雷达(Light Detection And Ranging,LiDAR)广泛应用于自动驾驶车辆、高精度地图等领域。车载激光雷达产生的点云可通过VoxelNet、PointPillars、PointNet、PointNet++等深度学习方法实现感知任务。与车载激光雷达相比,路侧激光雷达部署位置更高,可提供超视距感知能力。但路侧激光雷达发射到目标上的点云较稀疏,仅占全部点云的小部分,绝大多数点为背景点。并且路侧激光雷达部署在固定位置,背景高度同质化,卷积神经网络难以提取到有效特征,先滤除背景点云可有效提升感知效果。
目标和背景区域的点云密度不同,基于点云密度实现背景滤波是一类常见的方法。J.Wu等提出了三维密度统计滤波(3D Density Statistic Filtering,3D-DSF)及其系列衍生方法,其主要思想是利用密度将扫描空间分割为背景方块与前景方块,并滤除位于背景方块的点。G.Wang 等对点云进行栅格化,基于统计特征建立混合高斯模型,利用模型置信区间过滤背景点云。而点云的离散性会导致点云栅格化产生大量空栅格,消耗大量的存储和计算资源,且此类方法的性能与空间划分粒度密切相关,难以实现计算速度与准确率的折衷。同时,路侧激光雷达在风、车辆通过等因素作用下会产生摆动,影响此类方法的准确性。
同一线束发射到背景和目标上获得的点的坐标差异明显,可根据线束角度构建背景模型,此类方法将大幅减少计算消耗。J.Zhao 等根据一帧纯背景点云的纵坐标构建背景模型,利用目标点云与背景模型的纵坐标差值区分前景点和背景点。杨思远和J.Zheng等将多帧点云中各点高度均值作为背景模型。张桢瑶将统计点到激光雷达的距离作为背景特征。阈值的选取是此类方法准确区分前景点和背景点的关键。同时,由于背景可能发生改变,恰当的背景更新策略是必要的。
基于此,本文提出一种基于高度信息的背景滤波方法和帧差背景更新法。首先,利用点的纵坐标构建点云高度矩阵。然后对多帧点云高度矩阵进行中值滤波建立背景帧,降低激光雷达抖动造成的干扰。选取恰当的阈值对目标点云进行背景滤波,并使用帧差背景更新法对背景模型进行更新。
在三维空间内对点云进行栅格化时,假设激光雷达的有效范围为,探测区域的高度为,栅格边长为,则栅格数量为:
现有方法中常用的栅格边长为0.1 m,以有效范围100 m的激光雷达为例,若探测区域的高度为5 m,将生成2×10个栅格。每帧点云数据中包含的点云数量为:
式中,、分别为激光雷达的线数和水平分辨率。
则水平分辨率为0.1°的32 线激光雷达每帧所含有115 200 个点,即2×10个栅格中最多有115 200 个栅格包含点云,存在大量的空栅格,造成资源浪费。
将运动目标抽象为长方体,假设某条激光束在两帧中均探测到同一个运动目标,运动目标在两帧之间移动的距离为,则两帧间点的纵坐标变化量为:
图1 LiDAR摆动导致激光点偏移
以=17°、=5 m为例,当=0.5°时,产生的偏移量为0.45 m。
根据上述计算,对三维空间栅格化有较高的时间复杂度和空间复杂度,基于密度的滤波方法难以实现实时处理,故本文的方法根据线束进行背景建模。此外,路侧激光雷达出现摆动时,激光束所发射到的位置将出现较大的偏移量,不同时刻的两帧点云可能存在较大差异,由单帧或少数几帧不含有前景目标的点云构建的背景模型并不可靠,需要根据多帧纯背景点云实现背景建模。但由于交通场景的复杂性,在一段时间内场景中没有任何前景目标是几乎不可能的,所以需要一种能够从包含交通目标的点云中提取出背景特征的方法。
根据激光束的水平角度和垂直角度,构建一个二维矩阵,其中每个元素对应一条特定角度的激光束,二维矩阵的行数为激光雷达的线数,列数根据激光雷达的水平分辨率计算:
以水平分辨率为0.1°的32线激光雷达为例,二维矩阵含有32行、3 600列。
习近平从人类文明发展的角度和社会形态演变的角度看到了绿色发展是人类文明发展进步和社会形态演变的必然结果,是一个自然历史过程,并且从现实的角度对绿色发展作了符合当今中国实际的顶层设计。这是一种前所未有的创新,具有显著的前瞻性和现实指导性。
如图2所示,对于发射角度同为的激光束,背景点的纵坐标与前景点的纵坐标之间存在明显差值Δ。图3显示了2条激光束产生的点云的纵坐标,可以看出,背景点的纵坐标明显小于前景点的纵坐标。激光雷达摆动使背景点云的纵坐标在不同时刻呈现一定差异,但背景点与前景点之间的差异更显著。选取合适的阈值可以对二者进行准确区分,故将各点的纵坐标作为背景滤除的依据。将点的纵坐标作为构建的二维矩阵中对应元素的值,将该二维矩阵称为点云高度矩阵。
图2 前景点与背景点的纵坐标之差
图3 前100帧两条线束的点纵坐标
如图3所示,激光束发射到前景目标的次数远小于发射到背景目标的次数。所以一段时间内,同一线束的点纵坐标的中值与背景点纵坐标间的最大差值明显小于与前景点的差值。将一段时间内点的纵坐标中值作为背景点的纵坐标,能够减小交通目标物的存在与路侧激光雷达的摆动对背景构建的影响。
采集帧数量为的点云进行背景建模,将其映射为点云高度矩阵,则背景模型的元素值为:
式中,()为高度图中的坐标;H(0≤≤,∈N)为第帧点云的高度图;为中值函数。
在交通场景中,背景是动态变化的,构建的背景可能在一段时间后与真实背景存在较大差异,所以需要对构建的背景进行实时更新。
目标移动会导致区域内点的纵坐标发生明显改变:当目标进入激光束的探测区域后,点的纵坐标将增大;当目标离开激光束的探测区域后,点的纵坐标将减小;当区域内无目标进入和离开时,点的纵坐标无明显变化。可通过计算相邻两帧点云高度矩阵之差来检测运动目标所在区域,使运动目标区域内的背景模型保持不变,而对非运动区域的背景模型进行更新。
在、确定的情况下,仅与相关。设定=300帧、=0.05 m、=0.03,对的不同取值进行试验,统计第6 201~6 250 帧目标点云的和,结果如表1 所示。从表1 中可以看出,从0.1°增加到0.6°的过程中,从509 643个减少到87 060个,减少约83%,而仅减少2 500 个左右,减少约4%;从0.6°增加为1.0°的过程中,提升很小,而迅速下降。
使用B来更新背景B,得到更新后的背景B:
(1)地势变化与相对误差。茂名港外航道PN段地势平缓,内航道NM段存在边坡,MK段地势变化最大。由图3知沿着PNMK进港方向,航道及边坡地势变化加剧,方格网法、断面法、DTM法土方量相对误差均呈现递增状态,不同土方量计算结果差异变大。外航道曲线斜率相对较小,该区域三种方法计算结果差值较小,可靠性高。
式中,为背景更新率;为判断()是否处于运动目标区域的阈值。
路侧激光雷达的摆动在一定时间范围内存在周期规律,当背景建模的时间明显小于路侧激光雷达的摆动周期时,生成的背景模型与真实背景有较大差距。同时,在背景建模时间过短的情况下,激光束发射到目标上的时间可能比该激光束发射到背景上的时间长,导致将目标点纵坐标误认为背景点纵坐标进行处理。过长的背景建模时间也对滤波效果存在影响,在长时间的背景建模过程中背景可能已经发生改变,生成的背景模型与真实背景差距较大。
这一叙述承接的不仅有大洪水的故事、制造方舟的方法,还有祭祀时焚烧牺牲、以烟侍奉神仙、神也要靠人的供奉生存的理念。
如图1 所示,在实际部署中,激光雷达的支撑杆会出现微小摆动。假设激光雷达部署位置为点,部署高度为,支撑杆偏转角度为,、′′均为发射角度为的激光束,支撑杆偏转将导致激光束点云产生偏移量|′|:
式中,为目标运动方向与激光束发射方向在水平方向上的夹角。
两帧之间背景的纵坐标变化量较小,|/(coscos)|≥/cos,故设=/cos。对于Δ=0 的情况,由于目标处于移动中,一条激光束探测到运动目标的时间很短,并且更新率设定得较小,所以此时不会对背景更新造成较大影响。
将目标点云映射为点云高度矩阵,计算其中每个元素与背景模型中对应元素之差,并设定阈值,差值大于或等于的元素所对应的点为目标点,差值小于的元素所对应的点为背景点,将背景点过滤,完成背景滤波。
直接影响背景滤波的效果,取值不当将导致与背景距离较小的目标点难以与背景点区分开。激光雷达摆动导致背景点的纵坐标存在波动,的设定应考虑其变化情况。交通场景中大部分背景点位于水平面(如地面)或竖直面(如建筑物)上。如图4 所示,激光雷达初始位置为(′),摆动角度后位置为()或(),()、()、()是发射角度为的激光束,激光雷达部署高度为,支撑杆最大偏转角度为。图4a 展示了激光束发射到地面上的情况,由激光雷达摆动导致的不同时刻地面点云纵坐标之差最大为||||:
图4 LiDAR摆动造成背景点偏移
(1) 如无禁忌证,无论采用何种治疗策略,所有患者均应口服阿司匹林首剂负荷量150mg~300mg(未服用过阿司匹林的患者)并以75mg/d~100mg/d的剂量长期服用(Ⅰ,A)。
为验证方法的有效性,对背景建模和动态更新方法在真实交通场景中进行试验。
如图5 所示,试验使用的激光雷达是万集32LLiDAR-R,试验地点位于陕西省西安市问远路,道路周围有较多树木,对背景滤波任务有较大的影响。将激光雷达部署于道路一侧的移动基站顶部,距地面高度为5 m,激光雷达的工作频率为10 Hz,水平分辨率为0.1°,采集的原始点云如图6 所示。数据采集时间为18:00~18:30,共采集18 000 帧点云。使用的计算机配置为IntelCore™i7-9700 CPU@3.00 GHz,16 GB RAM。
按照“山东客栈”建设的相关标准和要求,从建筑样式、空间布局、装饰风格、庭院绿化、休闲功能等方面进行全方位的农村庭院建设,建成一批主题鲜明、生态良好、布局合理、功能完备的葫芦文化主题客栈,为游客提供新颖别致、温馨舒适的旅游住宿体验。
图5 LiDAR部署
图6 LiDAR原始数据
分别对背景建模所用的点云帧数、背景更新模块的阈值、更新率、背景滤除模块的阈值的取值进行讨论。使用语义分割编辑器(Semantic Segmentation Editor)标注点云,统计原始点云的背景点(Background Point,BP)、目标点(Target Point,TP)、过滤后剩余的背景点(Remaining Background Point,RBP)、保留的目标点(Extracted Target Points,ETP)数量,计算背景点滤除率和目标点提取率作为算法性能评价指标:
式中,、、、分别为BP、TP、RBP、ETP的数量。
华中科技大学档案馆2017年完善“档案业务网上服务系统”。根据师生反馈意见,对系统进行了修改和完善:重新修改了使用界面,使系统功能更直观明了;增加了在线互动功能,方便申请人和审核人进行交流;对部分系统缺陷进行了修改,使其更加安全稳定。项目在2017年获得学校“第二届工作流程设计与再造竞赛” 优胜项目奖项。
运用最邻近指数分析厦门民宿的空间格局,结果表明,R值为0.137,小于1,说明整体上,厦门民宿呈集聚分布态势.海沧区、同安区、翔安区民宿的R值均大于1,表明这3个区的民宿分布较为均匀;而湖里区、集美区、思明区R值均小于1,表明这3个区的民宿呈集聚分布,尤其是思明区,R值极其逼近0,表明其民宿呈高度集聚分布的态势.
4.2.1 点云帧数
老板道:开幕仪式镇长也来,还有表演,黄莹也来唱歌。印刷厂就开在我隔壁不远地方,你没事就到我的二楼包厢里来看,说不定还能看见剪彩。
对的不同取值进行试验,设=0.5°、=0.05 m、=0.03,计算不同时刻的滤波效果,如图7所示。从图7中可以看出,和两项指标在从50帧增加到200帧的过程中明显提升,而在从200 帧增加到300 帧的过程中提升幅度较小,在从300 帧增加到500 帧的过程中无明显提升。另外,随着的增加,算法能够在较长时间内保持稳定的性能。由试验结果可以看出,背景点云构建至少需要200帧点云,适当的建模帧数为300~400帧。
图7 不同n取值下的背景滤波指标
图8 展示了不同取值对应的滤波结果。从图8 中可以看出:取=0.1°时,大量背景点未被滤除,影响后续目标检测等任务的效果;取=0.9°时,大多数背景点被过滤掉,但同时也过滤掉了很多高度较低的目标点,导致很多目标不完整;取=0.5°时,方法能够滤除近98%的背景点,同时尽可能保留目标点。
将构建的背景高度图作为原始背景,对于目标点云,将其映射为高度图H,并求其与前一帧点云高度矩阵差分的二值矩阵:
表1 不同β取值下的背景滤波指标
4.2.2 阈值
图8 不同β取值时的背景滤波效果
4.2.3 阈值
仅由决定,激光雷达工作频率为10 Hz,故为目标在0.1 s内移动的距离。以移动速度较低的行人作为参考,分别取0.100 m、0.050 m、0.025 m,在=300帧、=0.5°、=0.03 的条件下进行试验,结果如图9 所示。由图9可以看出:取为0.050 m时算法的性能优于其他取值时的性能,说明大多数的运动目标速度高于0.5 m/s;当取值较小时,会将部分背景点作为目标点,从而不对背景模型中对应的元素进行更新;当取值较大时,会将部分移动较慢的目标点作为背景点,从而对背景模型中元素进行错误更新。
“非人磨墨墨磨人”,知人才能识其文。《钱锺书创作浅尝》可谓是高山流水识知音,揭示钱氏创作之最经磨处——“还是人的血肉之躯”(杨绛语)。而《遥寄张爱玲》则情系故人,洗去历史尘封,还一代名媛以本来面目。一卷《墨磨人》堪称篇篇振聋发聩,回味无穷。
图9 不同u取值下的背景滤波指标
4.2.4 更新率
选用合理的施工机械设备,在整个施工过程中至关重要,适合南水北调较大工程量的地基处理,且能满足施工质量和进度的需要。设计图纸对桩径、处理深度的要求直接影响选择大型、中型还是小型的桩机,尽可能优先选用履带式柴油打桩机(型号W1001)、3t柴油锤,这种中小型设备最能节省投资。
视频的帧差背景更新法中一般设定为0.005 或0.010。图像与点云高度矩阵都是二维的,有一定相似性,所以将设为0.005和0.010,设置=300帧、=0.05 m、=0.5°进行试验。另外,将设置为0观察不进行更新时方法的滤波效果。背景建模完成后,将一静止假人放入激光雷达探测范围内,测试更新方法的有效性,试验结果如图10所示。
图10 不同α取值时的背景滤波效果
结果表明,当设定为0、0.005 和0.010 时,均未能对假人进行过滤,对于缓慢变化的背景点过滤效果也较差,噪声点较多,原因可能是视频帧率与点云帧率不一致。由于设为0.005 和0.010 时未能有效更新背景模型,故增大更新率进行试验,得到如图11 所示的结果,取=0.02~0.04时,算法性能较好。其中=0.030的试验结果如图12 所示。在背景更新过程中,存在将运动目标点判断为背景点的情况,设置过大将增加误判的影响,而设置过小则影响背景更新的速度,造成背景模型与真实模型间存在较大的误差。
将4项水资源评价指标权重均设定为0.25,加权平均后可得水资源承载指数为0.22;将3项生态条件与环境质量评价指标权重均设定为0.33,加权平均后得生态条件与环境质量承载指数为0.65。参照省内指标的平均水平,按照弱、较弱、一般、较强、强五级分类方法进行分类评价(表4)。将承载能力为强、较强和一般的判定为可载,承载能力较弱的判定为临界,承载能力为弱的判定为超载。
图11 不同α取值下的背景滤波指标
图12 α=0.030的背景滤波效果
为验证本文提出的方法的性能,将本文方法与文献[17]提出的方法进行对比。本文方法的参数设置为=300帧、=0.05 m、=0.5°、=0.03;文献[17]的参数与其一致,=tan,并选取交通目标较少的一帧点云为背景帧。统计不同时刻2 种方法的BP、TP、RBP、ETP 数量,计算和,结果如表2所示。
以上问题串分别对应自变量处理、无关变量控制、因变量观测的注意事项,学生对问题进行讨论分析,逐步得出各变量的处理方法,为接下来设计实验奠定基础,促进学生深入思考探究。
表2 2种方法的定量评价指标
试验结果表明,相较于文献[17]的方法,本文的方法大幅提升了和。在测试数据集中,最高提升了4.40百分点,的提升最高达到31.35百分点。同时,本文方法能够在较长时间内保持稳定性能,在测试过程中,仅下降0.52 百分点,下降2.87 百分点。文献[17]的方法仅使用1 帧点云进行背景构建,在滤波时,若目标点云的背景与构建时的背景较为接近,则算法性能较好,若背景差别较大,则性能较差,故该方法的性能在不同时刻出现较大的波动。
由于整个高县都是田多地少,社员的大部分时间都用于种植水稻。据记分员许某讲述,以前插田是发牌的,插田的主要工种包括:铲秧、担秧和插秧。铲、担秧的计分方式一样,均按你的底分来折算。插秧则是插多少桶就得多少牌,收工后,再把这些牌上交给记分员,由他进行统计。(XJD170323)插秧的计分公式是:插田面积×28÷总工牌×个人工牌+担脚=当天个人工分[注]本文的三条公式均为笔者根据记分员的讲解和《工分簿》的记录整理而成。
图13 展示了2 种方法对第6 000 帧目标点云进行背景滤波的结果。文献[17]的方法由于只利用1 帧点云进行背景建模,在激光雷达摆动时,大量背景点云未被过滤,也不能有效滤除树叶等动态变化的背景,产生了大量的噪点。此外,由于背景模型与实际背景相差较大,文献[17]的方法将部分目标点判断为背景点并过滤,图13 中行人和车辆点云中高度较低的部分均被滤除。相比于文献[17]的方法,本文的方法能够在激光雷达摆动的条件下有效滤除背景,也能滤除树叶等动态背景,滤波后剩余的噪声点明显减少,同时,被滤除的目标点明显减少,能够在背景滤波的同时保证目标点的完整。
图13 2种方法的背景滤波效果
计算2 种方法的时间复杂度:文献[17]的方法仅使用单帧点云进行背景建模,故建模时间仅需0.1 s,但需手动选择交通目标较少的点云帧;本文的方法在试验时使用300帧进行建模,建模时间为30 s。在滤波过程中,统计处理100帧点云所需要的时间,并计算单帧平均处理时间:文献[17]的方法仅需进行背景过滤,单帧平均处理时间为27 ms左右;本文的方法需进行背景模型的更新,故耗时稍长,单帧平均处理时间为32 ms 左右。点云的采样频率为10 Hz,故本文的方法能够实现点云的实时处理。
本文提出一种适用于路侧激光雷达点云的背景滤波及背景更新方法。背景滤波方法提取多帧点云的特征构造背景模型,有效克服路侧激光雷达摆动引起的背景点坐标变化对背景滤波的影响。利用点云帧差对背景进行实时更新,能够解决交通场景中背景动态变化的问题。真实交通场景测试结果表明,相比于现有的路侧激光雷达点云背景建模方法,本文的方法不仅具有更高的准确率,还能在较长时间内保持更稳定的滤波效果,在测试过程中,背景点滤除率保持在98%以上,目标点提取率保持在93%以上。同时,方法具有较低的时间复杂度,背景构建时间为30 s,平均单帧滤波时间约为32 ms,能够快速完成点云的背景构建和滤波,满足智能交通系统的实时性需求。方法结合DBSCAN 等聚类算法可实现三维点云的多目标检测,并可进一步实现目标识别、目标跟踪等任务。