深度视觉传感器虚拟仿真实验教学研究

2023-07-31 08:27杜雨馨张建化
科教导刊 2023年16期
关键词:彩色图像障碍物标定

杜雨馨,张建化,梁 良,宋 彬

(徐州工程学院电气与控制工程学院 江苏 徐州 221018)

“传感器与检测技术”是电器类、自动化类、机械类等专业的必修课程,通过实验教学可以帮助学生掌握传感器的工作原理、测量电路、数据处理方法等,培养学生的逻辑思维和解决工程实际问题的能力。将虚拟仿真实验系统应用于传感器与检测技术课程的实验教学,能够避免真实实验或操作带来的危险、弥补现有教学条件或经费的不足、有效提高学生的学习兴趣与创造力。

LabVIEW 编程使用图形化的语言构建系统结构图,以向用户提供有效的学习环境[1]。本文设计了基于LabVIEW的深度视觉传感器虚拟仿真实验系统,可以同时展现同一场景的彩色图像、深度图像与三维点云,经数值运算后结合设定好的障碍物检测规则,可实现障碍物检测及预警功能。

1 深度传感器基本原理

Kinect 传感器属于深度视觉传感器的一种,它通过获取三维空间的深度信息,无须控制器或标记即可识别用户手部和身体等动作[2],在机器人技术、医学、科研等领域都得到了广泛应用。

Kinect 包含三个重要部件:彩色VGA 视频摄像头、深度传感器和多阵列麦克风。它们协同工作以检测用户的动作并在屏幕上创建人、物或环境的三维深度图像。摄像头检测红、绿、蓝成分及体型和面部特征。深度传感器包含一个单色CMOS传感器和红外投影仪,还通过传输不可见的近红外光,测量“飞行时间(TOF)”获取深度信息。麦克风为四个麦克风组成的阵列,可以在去噪的同时让用户获取附加控制功能。

Kinect v2 工作原理如图1 所示(p40),红外(Infrared,IR)发射器将预定义好的红外光图像投影至被拍摄物体上,反射光被深度传感器采集后,利用三角测量法分析调制前后的图像相位差,可计算出被测点的垂直距离,即像素的深度信息。

图1 Kinect v2 使用飞行时间(TOF)法获取深度信息

另一个巧妙设计是,IR 发射器会周期性地打开和关闭。当开灯时输出为A,关灯时输出为B。A 包含来自发射的IR 光和环境光,而B 只包含环境光。因此,从A 中减去B 得到的信息仅包含来自IR 发射器的反射调制光,从而可以准确地计算深度,这种设计使Kinect v2 可以产生质量更高的红外图像和深度图像。

将Kinect 应用于虚拟仿真实验教学,有利于提高本科生教育教学质量。作为一种学习工具,Kinect 有能力创造愉快、有趣的交互类型,提高学生的积极性,加深学生对于深度传感器工作原理与应用场景的理解,并通过利用多媒体和多感官能力促进学习。

2 实验基本原理

在移动机器人技术中,障碍物的检测对于机器人完成任务非常重要。常见的可用于障碍物检测的传感器有:红外、激光、超声波、视觉测距传感器等。Kinect 作为主动视觉传感器的一种,获取信息丰富,可实现较高精度、实时、非接触式的测量。若将Kinect 传感器用于实时障碍物检测,需事先完成相机标定、图像配准与障碍物检测规则设定等工作。

2.1 Kinect 标定

使用Kinect 进行深度测量之前,必须先进行标定。重要固有参数包括:焦距(fx,fy)和离光轴的距离(cx,cy)。这里我们假设镜头畸变非常小,可以忽略不计。使用Kinect传感器拍摄一组棋盘图像,通过张正友标定法完成深度相机的标定[3]。

此外,Kinect 返回的原始深度图像数值在0 到2047 之间,可经下式转换为深度信息depth。

之后将固有参数输入方程(2),便可由初始深度信息(x,y,z)得到真实世界坐标(X,Y,Z)。

2.2 深度图像与彩色图像配准

由Kinect 实物图可以看出,深度相机与彩色相机的位置有一定距离,故拍摄到的原始图像不能完全配对,故在障碍物检测之前,需对同一场景下的两幅图像进行配准。深度相机坐标系与彩色相机坐标系间的空间关系,可使用旋转平移变换表示。

其中,

带入后,有:

旋转矩阵R 与位移矩阵T 为深度相机与彩色相机坐标系间的变换矩阵,即两图像间的配准矩阵。

2.3 障碍物检测规则设定

对于移动机器人而言,正前方的物体对于行走路径的影响较大,而左右两侧的物体不会干扰到机器人的正常行走。依据Kinect 获取深度信息的原理与安装高度,2m 范围以内的物体检测精度较高,大于2m时,检测精度会降低。故,设定如下检测规则:①每间隔0.1s采样一次;②获取到的点云数据中min(Y)<30cm,或min(|X|)<30cm 时,认为检测到障碍物,发出警报。

3 虚拟仿真系统

2012 年,利兹大学为Kinect 开发了运动感觉工具包(Kinesthesia Toolkit)[4],帮助NI LabVIEW编程人员快速驱动Kinect 的主要功能,如:RGB 视频、深度相机、骨骼跟踪等。除Kinesthesia Toolkit 外,主机还需安装配准好Microsoft Kinect SDK 1.5 等。

图2(p41)给出了数据采集程序界面,图3(p41)为对应的可视化前面板。其中,中间窗口用于显示彩色图像,右侧窗口显示深度图像,左侧窗口显示三维点云。用户界面允许操作人员执行“启动”“终止”“暂停”“测量”“保存数据”等操作。在窗口中启动应用程序后,彩色图像与深度图像经Kinect 显示,三维点云经运算后在窗口中显示。计算得到的三维点云信息,依据设定好的障碍物检测规则,给出判断结果并发出警报。实验数据如表1 所示。

表1 障碍物检测结果

图2 LabVIEW 程序界面

图3 LabVIEW 可视化前面板

由实验结果可以看出,实验结果符合设定的检测规则,本系统可以满足移动机器人行走过程中对障碍物检测的需求。

4 结语

本文研究了基于LabVIEW 的深度视觉传感器虚拟仿真实验系统。首先使用张正友法获取深度相机与彩色相机的内外参数。之后,依据标定结果对同一场景下的两幅图像进行配准,得到像素点三维空间坐标。利用LabVIEW虚拟仿真软件构建移动机器人障碍物检测实验平台,能够实时显示彩色图像、深度图像与三维点云信息,可实现障碍物检测功能,达到了预期效果。除了进行障碍物检测外,还可让学生在平台上通过自主编程,完成人体姿态识别、手势识别、空间三维重建等实验应用,对同类实验课程的设计具有一定参考价值。

猜你喜欢
彩色图像障碍物标定
使用朗仁H6 Pro标定北汽绅宝转向角传感器
高低翻越
SelTrac®CBTC系统中非通信障碍物的设计和处理
基于FPGA的实时彩色图像边缘检测
基于匀速率26位置法的iIMU-FSAS光纤陀螺仪标定
基于最大加权投影求解的彩色图像灰度化对比度保留算法
船载高精度星敏感器安装角的标定
基于颜色恒常性的彩色图像分割方法
基于Harris-张正友平面标定法的摄像机标定算法
基于Arnold变换和Lorenz混沌系统的彩色图像加密算法