线激光三维测量装置研制

2021-08-23 07:58聂佩晗缪慧敏张雅婷
林业机械与木工设备 2021年8期
关键词:三维重建图像处理灰度

聂佩晗,缪慧敏,张雅婷,陈 勇

(南京林业大学机械电子工程学院,江苏 南京 210037)

随着科学技术与生产工艺的不断发展,测量场景和需求的多样化发展迅速,激光三维测量技术已广泛应用于多个领域。目前三维测量的方法有三坐标测量机的接触式测量[1]、基于光栅投影的三维测量[2]、基于双目视觉的测量[3]、线激光三维测量[4]等。然而当前激光扫描仪多数体积较大,且需要较高的成本。近年来国内外学者对激光三维测量技术有一定的研究。瑞典NDC公司开发的Laser Navigation Kit激光导航定位系统,其定位精度达到2 cm以内,检测距离为30~50 m[5];德国Ibeo公司的NavVis内景智能扫描机器人M3-Trolley应用先进的图像及激光雷达成像技术。国内,孟庆林等[6]提出基于线激光的三维检测系统检测客车轮廓形位公差,在1 200 mm范围内其精度能达到±0.6 mm;徐进军等[8]利用地面三维激光扫描技术测量桥塔挠度;李秋洁等[8]提出基于激光雷达提取、导航果园行间路径,从而获得树干测量数据;许莎莎等[9]利用激光技术标定识别作物;雷文[10]利用激光扫描技术实现了物料堆的测量,对不同堆体的体积测量结果误差在5%以内。由于国内对果蔬植物的采摘精度要求较严格,三维测量技术在农业上的应用更加广泛。国内三维测量在农业上的研究大多使用双目立体识别技术,但该技术所需成本高,有的甚至高达几十万,实际应用性较差。

为了解决这些问题,设计并构建了低成本的线激光三维测量系统,通过对pcDuino8硬件板卡、单片机、步进电机、线激光以及摄像头等硬件的设计,实现了结构相对简单、完善的算法,并展开了三维重建实验,实验表明该系统在农林自动化领域具有一定的适用性。

1 构建线激光三维测量系统

1.1 线激光三维测量系统结构

线激光三维测量技术属于主动式非接触光学测量方法,有测量精度较高和成本较低等优点,是目前最受欢迎的三维测量技术之一。设计的线激光三维测量系统主要包括云台控制、图像采集、图像处理三大部分,扫描系统如图1所示。

图1 扫描系统框图

其中,云台控制由步进电机驱动,旋转平台对于摄像头以及激光器运行有着重要的支持作用;图像采集部分由摄像头和激光器构成,激光器发射出的一字线激光照射在被测物体表面上,在被测物体的表面形成高亮度的线激光条纹,再由摄像头捕捉形成线激光条纹;摄像头与ARM开发板的usb接口连接,将图像传输给开发板。线激光三维测量系统的主要部分是图像处理部分,开发板是系统的核心,包括完成摄像头的标定、线激光条纹的图像处理、坐标的转化、点云的重建命令。

1.2 系统搭建

硬件主要是以pcDuino8开发板为核心基于Linux操作系统实现视频传输、显示及控制指令的发送;7寸高清液晶屏提供交互界面直接与主控制器相连接;VNC远程控制,借用PC机的显示屏以及键盘编写程序,待系统完成后可以直接通过HIMD接口连接液晶显示屏,实现缩小体积、降低成本的目的。

线激光三维测量系统的软件部分框架图如图2所示。软件设计主要基于QT Creator平台,通过调用OpenCV图像处理库函数实现摄像头的标定、图像处理以及点云的重建,其中图像处理包括图像灰度化、中值滤波去噪、背景去除、中心线提取。图像处理的效果极大影响着三维恢复的精度,因此需要确定理想算法,从而有效地处理图像。

图2 线激光三维测量系统软件框架图

2 图像处理

2.1 摄像头标定

通过对摄像头标定获取的摄像机内参和外参矩阵的分析可以有效地矫正图像,获得相对较小畸变的图像[11],标定流程图如图 3 所示。

图3 标定流程图

2.2 图像采集

线激光三维测量系统对被测物三维恢复的精度与图像采集的数量有着紧密联系,采集的激光条纹线条越密集,三维重建效果越好,系统精度越高。

为了提高系统的效率以及扫描精度,经过反复实验,本系统最终选择了利用摄像头拍摄视频后截取视频图像的方式实现图像采集,在节约时间的同时也提高了三维系统的完整性。通过调用OpenCV函数库中的VideoCapture函数打开摄像头、拍摄扫描视频、把拍摄的视频按帧分解为图片,并用循环代码显示每一帧,截取视频图像,完成图像采集。

2.3 图像预处理

2.3.1 灰度化

系统为提高图像处理的效率,需要把彩色图像展开灰度化[12],即转化彩色图像获得灰度图像,从而完成灰度化处理。灰度图像的描述在很多方面类似于彩色图像,其体现出整幅图像的整体和局部的色度以及亮度等级的分布和特征。可以直接通过OpenCV提供的颜色空间转换函数cv::cvtColor(rgbMat,greyMat,CV_BGR2GRAY)获得灰度图像,能够有效减少图像的计算量[13]。

2.3.2 滤波

图像滤波即对图像细节特征进行保存,能够有效抑制目标图像的噪声,在图像预处理中发挥着重要的作用[14]。图像滤波的目的一是提取对象的特征;二是满足图像的处理要求,有效地消灭噪声[15]。

中值滤波可以使线激光光条与环境交接部分的噪声得到抑制,而且也不像均值那样模糊化过于严重,同时中值滤波器还有保留边缘锐利度的优点。因此系统采用自定义中值滤波的方法,对图像中 3*3 的矩阵中存在的9个像素点进行顺序排列,展开对矩阵的中心点赋值以获得9个像素的中值,该方法能有效抑制线激光光条与环境交接部分的噪声,同时保留了边缘锐利度。

2.3.3 背景去除

图像经滤波处理后仍存在着其他背景,此时还无法提取激光条纹中心,因此需要预先进行图像分割,从而有效地去除图像中多余的背景。

图像分割的常见方法有阈值法、边缘检测法、差影法等。阈值法是最简单且速度最快的图像分割方法,广泛应用在硬件图像处理领域,适用于物体之间不接触且物体灰度和背景灰度之间差别比较明显的情况,这对本系统被测物体与背景要求较高[16];边缘检测法的结果是一个个的点,并不能作为图像分割的结果[17]。差影法是普遍使用的方法之一[18],也是本系统的最优选择。

差影法假定前景是会动的,而背景是不会动的,两个帧的不同可以用下面的公式来表示[19]:

D(t+1)=|V(x,y,t+1)-V(x,y,t)|

(1)

用D(t+1)来表示同个位置前后不同时刻的光强差,只要把D为0的点取出,就完成了背景去除。

2.3.4 中心线提取

为了能够精确地测量出被测物的三维坐标,系统采用简单极值法和自适应阈值法进行结构光条中心提取。

极值法本质属于一种光条中心提取算法,确定了光条横截面极大值,这样也就获得了光条中心,在这个过程中需要充分使用光条中心点位于光条横截面灰度的零阶极大值处所表现出的特征。分析极值法算法可知,需要满足的条件是充分使用光条中心点位于光条横截面灰度的零阶极大值处所表现出的特征,但噪声对其有着非常大的影响[20],噪声影响下的极值法如图4所示。

图4 噪声影响下的极值法

分析自适应阈值法算法可知,先确定光条图像的每行灰度最大值点,然后确定阈值,基于此对最大值是否为光条上的点进行判断,该过程需要保证足够的严谨性[21],如果最大值比此阈值要小,就将其视为噪声点,不能够再使用;如果与阈值要求相匹配,此极值点在这种情况下就会被确定为光条中心点,建立在极值点的灰度值基础之上,实现对光条横截面的灰度阈值有效测算。

gmax被视为最大值点灰度,t被视为行灰度阈值,此时存在着:

t=gmax-k

(2)

上述参数多是一种经验值,在研究中确定k=10~15。若要确定本行阈值t,就需要展开重心插值运算,实现对光条中心点详细位置的有效确定[22-23]。

2.3.5 三维重建

在 OpenCV 处理线激光条纹后取得的三维空间所对应的点云数据包括色信息和位置数据,三维重建的最后一步就是要把这些数据连接起来最终显示三维模型,对点云展开缩放等操作[24]。本文利用OpenGL来处理点云的显示及其变换操作。经过前期图像处理后,pcDuino8计算所得三维点云坐标数据通过直接文件载入完成点云显示。在显示的过程中,需要调用SwapBuffers函数,实现对前台和后台缓冲区的交换,使图形变得光滑。

3 线激光三维测量系统实验

3.1 测试精度与距离的关系

选择一平面,测量平面的四个角高度,确保平面高度一致。在平面上放置小木块,小木块长宽高均为 50 mm,实验图像如图5所示。

图5 实验图像

控制木块高度分别为300 mm、400 mm、500 mm、600 mm、700 mm、800 mm、900 mm、1 000 mm、1 500 mm、2 000 mm,使用线激光三维测量系统由上至下对其分别进行测量,选取中间木块进行对比误差。线激光三维测量系统所测数据为计算距离,激光测距仪测得数据为实际距离,根据偏差算出误差比例。测量结果见表1。

表1 测量结果列表 mm

分析表1可得:实际距离增加到600 mm与800 mm,误差可控制在3 mm范围内,其比例小于0.3%;实际距离增加到2 000 mm,误差控制在10 mm左右。在600~2 000 mm范围内,距离大于700 mm时,误差随距离的增加而增加;在距离600~800 mm范围内,距离误差值在2 mm左右;距离为700 mm时最高精度达到1 mm。由此摄像头拍摄范围为800 mm*800 mm的正方形,包括摄像头畸变等原因,测得四个角上的木块误差在2 mm左右。

3.2 三维重建实验

为了实现在农业中的使用,在图6所示试验台上对人工草皮进行了三维重建实验,实验效果如图7所示,可以看出三维重建后的草皮轮廓清晰,三维重建精度较高,能够满足农林业许多场合的测量需要。目前,课题组应用该装置在农田杂草识别、茶叶嫩芽识别、果蔬采摘等相关研究中。

图6 扫描系统整体实验图

图7 草皮三维重建图

4 结 论

构建了成本较低、精度较高的线激光三维测量系统,基于OpenCV完成了摄像头校正、图像采集、灰度化、滤波、图像分割等预处理,并融合了简单极值法和自适应阈值法,提高了算法的实用性。基于该系统进行了三维重建实验,实验数据表明,设计的线激光三维测量系统在使用距离为600~800 mm,实验误差在2.36 mm以内,在700 mm时最小误差在1 mm左右,能够满足农林业测量的基本需要,与传统测量装置相比有较强的实用性,且具有成本较低的优点。

猜你喜欢
三维重建图像处理灰度
采用改进导重法的拓扑结构灰度单元过滤技术
海战场侦察图像处理技术图谱及应用展望
人工智能辅助冠状动脉CTA图像处理和诊断的研究进展
三维重建的飞机机动动作库设计与可视化
天津港智慧工作平台灰度发布系统和流程设计
Bp-MRI灰度直方图在鉴别移行带前列腺癌与良性前列腺增生中的应用价值
基于Mimics的CT三维重建应用分析
Arduino小车巡线程序的灰度阈值优化方案
基于ARM嵌入式的关于图像处理的交通信号灯识别
基于图像处理的废有色金属自动分选算法研究