深度视觉传感器虚拟仿真实验教学研究

杜雨馨，张建化，梁 良，宋 彬

（徐州工程学院电气与控制工程学院 江苏 徐州 221018）

“传感器与检测技术”是电器类、自动化类、机械类等专业的必修课程，通过实验教学可以帮助学生掌握传感器的工作原理、测量电路、数据处理方法等，培养学生的逻辑思维和解决工程实际问题的能力。将虚拟仿真实验系统应用于传感器与检测技术课程的实验教学，能够避免真实实验或操作带来的危险、弥补现有教学条件或经费的不足、有效提高学生的学习兴趣与创造力。

LabVIEW 编程使用图形化的语言构建系统结构图，以向用户提供有效的学习环境[1]。本文设计了基于LabVIEW的深度视觉传感器虚拟仿真实验系统，可以同时展现同一场景的彩色图像、深度图像与三维点云，经数值运算后结合设定好的障碍物检测规则，可实现障碍物检测及预警功能。

1 深度传感器基本原理

Kinect 传感器属于深度视觉传感器的一种，它通过获取三维空间的深度信息，无须控制器或标记即可识别用户手部和身体等动作[2]，在机器人技术、医学、科研等领域都得到了广泛应用。

Kinect 包含三个重要部件：彩色VGA 视频摄像头、深度传感器和多阵列麦克风。它们协同工作以检测用户的动作并在屏幕上创建人、物或环境的三维深度图像。摄像头检测红、绿、蓝成分及体型和面部特征。深度传感器包含一个单色CMOS传感器和红外投影仪，还通过传输不可见的近红外光，测量“飞行时间（TOF）”获取深度信息。麦克风为四个麦克风组成的阵列，可以在去噪的同时让用户获取附加控制功能。

Kinect v2 工作原理如图1 所示（p40），红外（Infrared,IR）发射器将预定义好的红外光图像投影至被拍摄物体上，反射光被深度传感器采集后，利用三角测量法分析调制前后的图像相位差，可计算出被测点的垂直距离，即像素的深度信息。

图1 Kinect v2 使用飞行时间（TOF）法获取深度信息

另一个巧妙设计是，IR 发射器会周期性地打开和关闭。当开灯时输出为A，关灯时输出为B。A 包含来自发射的IR 光和环境光，而B 只包含环境光。因此，从A 中减去B 得到的信息仅包含来自IR 发射器的反射调制光，从而可以准确地计算深度，这种设计使Kinect v2 可以产生质量更高的红外图像和深度图像。

将Kinect 应用于虚拟仿真实验教学，有利于提高本科生教育教学质量。作为一种学习工具，Kinect 有能力创造愉快、有趣的交互类型，提高学生的积极性，加深学生对于深度传感器工作原理与应用场景的理解，并通过利用多媒体和多感官能力促进学习。

2 实验基本原理

在移动机器人技术中，障碍物的检测对于机器人完成任务非常重要。常见的可用于障碍物检测的传感器有：红外、激光、超声波、视觉测距传感器等。Kinect 作为主动视觉传感器的一种，获取信息丰富，可实现较高精度、实时、非接触式的测量。若将Kinect 传感器用于实时障碍物检测，需事先完成相机标定、图像配准与障碍物检测规则设定等工作。

2.1 Kinect 标定

使用Kinect 进行深度测量之前，必须先进行标定。重要固有参数包括：焦距（fx，fy）和离光轴的距离（cx，cy）。这里我们假设镜头畸变非常小，可以忽略不计。使用Kinect传感器拍摄一组棋盘图像，通过张正友标定法完成深度相机的标定[3]。

此外，Kinect 返回的原始深度图像数值在0 到2047 之间，可经下式转换为深度信息depth。

之后将固有参数输入方程（2），便可由初始深度信息（x，y，z）得到真实世界坐标（X，Y，Z）。

2.2 深度图像与彩色图像配准

由Kinect 实物图可以看出，深度相机与彩色相机的位置有一定距离，故拍摄到的原始图像不能完全配对，故在障碍物检测之前，需对同一场景下的两幅图像进行配准。深度相机坐标系与彩色相机坐标系间的空间关系，可使用旋转平移变换表示。

其中，

带入后，有：

旋转矩阵R 与位移矩阵T 为深度相机与彩色相机坐标系间的变换矩阵，即两图像间的配准矩阵。

2.3 障碍物检测规则设定

对于移动机器人而言，正前方的物体对于行走路径的影响较大，而左右两侧的物体不会干扰到机器人的正常行走。依据Kinect 获取深度信息的原理与安装高度，2m 范围以内的物体检测精度较高，大于2m时，检测精度会降低。故，设定如下检测规则：①每间隔0.1s采样一次；②获取到的点云数据中min（Y）<30cm，或min（|X|）<30cm 时，认为检测到障碍物，发出警报。

3 虚拟仿真系统

2012 年，利兹大学为Kinect 开发了运动感觉工具包（Kinesthesia Toolkit）[4]，帮助NI LabVIEW编程人员快速驱动Kinect 的主要功能，如：RGB 视频、深度相机、骨骼跟踪等。除Kinesthesia Toolkit 外，主机还需安装配准好Microsoft Kinect SDK 1.5 等。

图2（p41）给出了数据采集程序界面，图3（p41）为对应的可视化前面板。其中，中间窗口用于显示彩色图像，右侧窗口显示深度图像，左侧窗口显示三维点云。用户界面允许操作人员执行“启动”“终止”“暂停”“测量”“保存数据”等操作。在窗口中启动应用程序后，彩色图像与深度图像经Kinect 显示，三维点云经运算后在窗口中显示。计算得到的三维点云信息，依据设定好的障碍物检测规则，给出判断结果并发出警报。实验数据如表1 所示。

表1 障碍物检测结果

图2 LabVIEW 程序界面

图3 LabVIEW 可视化前面板

由实验结果可以看出，实验结果符合设定的检测规则，本系统可以满足移动机器人行走过程中对障碍物检测的需求。

4 结语

本文研究了基于LabVIEW 的深度视觉传感器虚拟仿真实验系统。首先使用张正友法获取深度相机与彩色相机的内外参数。之后，依据标定结果对同一场景下的两幅图像进行配准，得到像素点三维空间坐标。利用LabVIEW虚拟仿真软件构建移动机器人障碍物检测实验平台，能够实时显示彩色图像、深度图像与三维点云信息，可实现障碍物检测功能，达到了预期效果。除了进行障碍物检测外，还可让学生在平台上通过自主编程，完成人体姿态识别、手势识别、空间三维重建等实验应用，对同类实验课程的设计具有一定参考价值。