智能检测技术与系统教学内容实践与探索

付东翔，傅迎华，胡春燕，李菲菲，孙 红

（上海理工大学 光电信息与计算机工程学院，上海 200093）

0 引 言

随着人工智能、大数据等新技术的不断发展和新技术在社会各个领域应用的不断深入，在智能科学与技术专业如火如荼的当下，越来越多的高校开设了智能科学与技术专业或者相关专业。智能本科专业的课程内容如何与当前社会实际应用相匹配、如何体现本专业特色、如何满足当前社会与行业的人才需求等问题一直是教学工作中需要关注和思考的问题[1]。

当前信息技术的飞速发展，尤其工业机器人技术不断渗透、应用到生产和社会生活的方方面面，面对机器人技术的发展和应用，智能专业的培养计划和课程内容应该包括不断发展、扩大机器人相关领域的知识[2]。

智能检测技术与系统课程以面向机器人视觉标定与测量为主要内容，包括机器人视觉的概念、摄像机模型与基于标靶的标定方法、基于运动的摄像机自标定方法、视觉测量的基本概念与方法等。课程内容还衔接专业的机器视觉、自主机器人技术等其他课程。这些内容使专业课程体系较好地覆盖了智能机器人领域的各个方面，更具专业特色。

1 教学目标方向与定位

传统的智能检测技术与系统课程内容通常由传感器分类与原理、智能仪表及软测量技术等内容组成。随着机器人技术的不断发展和应用，智能专业课程中需要对机器人视觉测量相关技术的基本原理和方法进行介绍。机器人视觉与机器视觉、计算机视觉等学科关系密切，但概念又有所不同：机器人的视觉测量与控制着眼于提取视觉测量信息，进行机器人的实时运动控制，注重实时性和自主工作能力；机器视觉和计算机视觉侧重于根据目标的二维图像回复其三维信息[3-4]。

为了适应当前智能专业应用和技术发展，智能检测技术与系统课程的目标方向应面向机器人视觉测量技术与方法，课程定位为：熟悉机器人视觉测量的基本概念，熟悉和掌握摄像机内、外参数模型、摄像机基本标定方法、机器人手眼系统及其标定方法、视觉位置测量的基本原理与方法等，奠定学生在机器人视觉检测与控制方面的基础知识，为后续机器视觉、自主机器人技术等专业课程教学奠定理论和实验基础。

2 理论与实验教学内容

课程理论教学介绍以摄像机为传感器的视觉测量的基本理论和方法，同时在此基础上进行摄像机标定实验、标定算法程序设计和测量方法计算实验。理论教学分为两大部分：①摄像机、视觉系统和手眼系统的标定；②视觉测量原理和方法。实验教学是理论教学的实践，让学生认识和动手实践理论内容。

2.1 理论教学

1）摄像机与视觉系统标定。

在介绍机器人视觉的基本概念之后，着重介绍摄像机内、外参数模型与标定方法：①机器人视觉测量的基本概念；②摄像机模型与内、外参数，摄像机针孔模型与内、外参数的矩阵表达式；③视觉系统的标定方法，Faugeras、Tsai等经典标定方法[5]。Faugeras是一种经典的摄像机标定方法，其后许多改进的方法，如Tsai等方法都以此方法为基础[6]。

2）视觉测量的基本理论与方法。

①视觉测量中的约束条件，视觉测量中，对相同的场景，不同摄像机采集的图像存在一些约束条件；同一台摄像机在不同视点采集的图像之间也存在某些约束条件。这些约束有特征匹配约束、不变性约束、直线约束[7]。②单目、立体视觉测量，单目视觉测量是对平面内目标二维位置的测量，根据摄像机内外参数模型公式确定世界坐标系与图像坐标系的转换关系。双目视觉测量是根据两台摄像机采集的图像上的匹配点，计算空间点的三维世界坐标。③位姿测量，位姿的测量主要内容有：基于PnP问题的位姿测量、基于矩形目标约束的位姿测量和具有消失点的位姿测量等。④视觉定位，本部分内容是视觉测量的应用举例，基于PnP的定位和基于矩形目标约束的位姿测量。

理论教学内容与学时安排见表1。

2.2 实验教学内容

实验教学是理论教学的实践，分为2个部分：基于工具软件实现摄像机标定；摄像机标定算法计算和位姿测量仿真实验。主要内容可概括为3部分。

1）摄像机标定实验。

该实验内容包括采用Matlab2014a软件中的摄像机标定工具箱输入靶标图像，进行摄像机内、外参数的标定。与Matlab前期版本相比，其操作相对简单，步骤如下：添加图像。打开靶标图像所在文件路径，添加靶标图像，实验中有20幅；选择畸变矫正系数；点击标定按钮；导出标定参数。

表1 理论教学内容与学时安排

图1为实验输出结果形式。该实验通过靶标图像进行摄像机标定的步骤、过程。让学生充分理解摄像机内、外参数含义和形式。

图1 Matlab工具箱标定结果

2）基于OpenCV的摄像机标定实验。

该实验内容包括：采用VS2010及后续版面软件和OpenCV软件包，设计VS程序，输入靶标图像，进行摄像机内、外参数的标定。步骤如下：安装OpenCV程序，同时进行运行环境配置；在VS2010下建立一个win32控制台工程，配置OpenCV头文件和库文件编译路径，编写主函数代码；程序运行。程序流程如图2所示。

图2 程序流程图

通过该实验，学生动手通过程序设计，调用OpenCV库函数，实现靶标图像的读取和标定，使得学生熟悉和掌握标定的程序设计方法和步骤。实验结果形式如图3所示。

图3 OpenCV标定及结果

3）PnP问题仿真计算实验。

该实验以3个空间点的情况为对象，设计Matlab程序进行PnP问题的求解和验证其正确性。步骤如下：①给出3个空间点的世界坐标系下坐标和摄像机的内、外参数模型；②根据空间点的世界坐标和摄像机内外参数，计算这些空间点的摄像机坐标系下坐标和图像坐标，将该摄像机坐标系下坐标作为真实坐标将与计算结果比较；③按照P3P计算原理，计算3个空间点的摄像机坐标系下的坐标，将该结果与前面计算的摄像机坐标系下坐标进行比较，验证P3P计算的正确性。通过该实验，使学生熟悉视觉测量的基本计算方法和求解步骤。表2为实验课程内容与学时安排。

表2 实验课内容与学时安排

3 创新实践

基于视觉测量的智能检测技术课程教学内容为本专业其他课程（如机器视觉、自主移动机器人技术等）奠定了基础，与这些课程实现了较好的衔接，如图4所示。

图4 课程与其他专业课程的衔接

首先，在智能检测技术与系统课程的学习中，学生已经能够熟悉视觉系统的基本概念、摄像机标定的内外参数模型定义和方法、视觉测量的基本方法和原理等，同时实践了OPenCV库函数的调用和程序设计。这些为学生学习后续课程机器视觉、自主机器人技术等和参加实践比赛奠定了基础。学生在智能专业课程设计中还可以选择带有视觉测量功能的智能系统题目。

其次，通过本课程内容的学习，为学生申请本校和上海市的大学生创新项目和完成奠定了基础。专业学生近年来连续获得多项上海市大学生创新项目和上海理工大学本科创新项目。

最后，为专业学生参加各类全国大学生智能大赛奠定了视觉测量与控制方面较好的理论和实践基础，使得学生可以更多、更好地选择参加视觉类测量、控制项目。

4 结 语

面向视觉测量的智能检测技术与系统课程教学与实验以视觉系统的标定和测量为主要内容，围绕摄像机标定和视觉测量方法展开，使学生能够理解视觉测量的基本概念和方法，能够充分理解、熟悉视觉测量理论和方法在机器人系统中的功能和作用。课程内容较好衔接后续机器视觉、自主机器人技术等相关课程。为智能专业课程设计奠定了工作基础，使智能专业课程体系更加合理。

同时，本课程也在不断探索中，随着本专业实验室设备的更新和建设，后续设备如机械臂、工业相机和控制器等设备的购置和引入，实验课程部分拟增加机器人手眼系统标定和测量定位等部分的实验内容。

在目前机器人技术应用逐渐进入工业自动化领域和各个生活领域并且已经开始取代一些人类重复性工作的大趋势下，通过对机器人视觉测量原理和方法的熟悉和掌握，将使得智能科学与技术专业学生的专业应用能力更具有针对性和专业性。