乒乓球机器人在“新工科”教育背景下的课程教学与改革探索

季云峰 王刚

（上海理工大学机器智能研究院 上海 200093）

1、引言

随着近年来人工智能与机器人技术的不断进步，出现不同类型的机器人逐步进入高校实验室中，也成为相关专业教师上课的辅助器具之一。而随着“中国制造2025”计划的不断接近，我国对科技创新新型人才的需求大量增加，提高了我国高校对“新工科”教育背景中的人才培养的重视程度。2018年，教育部发布了《新一代人工智能发展规划》，里面明确提出高校需要完善新工科教育培养体系，加强人工智能相关专业建设，形成新一代工业体系下复合型“新工科”人才的培养新模式。

在“新工科”教育背景下，本文作者所属的上海理工大学于2019年1月成立了机器智能研究院，以“物理世界人工智能”为核心特色，依托学校控制科学、机械工程、系统科学与生物医学工程等学科，发展具有多学科交叉特色的“新工科”本科教育特色班。

2、“新工科”特色培养模式

目前“新工科”培养模式大多以理论教学+上机操作+实验教学为主，教师购买某套机器人设备作为教学平台，在提供一定学时的理论教学基础上，逐步教会学生使用机器人软件及操作平台。这种模式较之传统的课堂教学，大幅度提高了学生的实操及动手能力，扩展了课堂教学的局限性。但由于教学平台是购买的商用机器人，外接的功能是有限的，使得学生无法深入进入实际项目，掌握的知识较为浅显。基于此类问题，本论文探索出一种基于项目课程的“新工科”特色培养模式。

在上海理工大学的大力支持下，机器智能研究院成立了智能科学与技术（人工智能）第二专业，该专业是面向“新工科”创新型人才培养的试点专业，其特点是以项目式教学为主导、交叉学科基础理论为支撑，采用导师制个性化定制的模式，培养“机器人+人工智能”方向，符合新工科要求的人才。本专业课程分为三类：基础课程、项目课程与专家讲座课程，学生第一年以学习人工智能与机器人专业基础知识为主，从第二年开始，教师以项目课程形式对学生授课，以带领学生实际做项目的形式上课。在授课同时，机器智能研究院在提供高性能计算设备、宽松的科研环境、前沿的科研方向和全面的培养方案的基础上，鼓励专业所属学生参加相关领域内的比赛，表现优异者将提供出国交流的机会，以及创业与就业机会。本论文作者从事乒乓球机器人项目十余年，在此基础上，开设了基于乒乓球机器人项目的“新工科”项目课程。

3、乒乓球机器人项目课程

3.1、实验环境与课程概况

乒乓球机器人项目课程是“新工科”特色教育培养中的一个亮点特色，由本文作者担任授课教师，授课对象为智能科学与技术（人工智能）第二专业的学生，授课地点在实验室内，课程实验环境如图1所示。

图1 课程实验环境

本项目课程以实际参与乒乓球机器人为主要学习内容，乒乓球机器人分为三个系统：视觉系统、控制系统及执行系统。故在上课期间，教师将学生分成三个组别，每个组别负责机器人的一个系统。

（1）在视觉系统中，主要指导学生学习数字图像处理的相关内容，让学生逐步了解图像的构成，进而学习部分图像处理算法。给定学生目标，让学生实现对摄像机捕捉图像及传输，再完成对双目视觉的标定，同时实现对乒乓球的在线识别，最终实现对乒乓球三维坐标的实时跟踪；

（2）在控制系统中，让学生了解各类滤波、曲线拟合及多种控制算法，让学生根据项目需求改进算法，最终实现对乒乓球运动轨迹的预测以及对最佳击球点的选择；

（3）在执行系统中，让学生参与设计乒乓球机器人的本体机械结构，学习机器人运动学，实现对本体结构的运动规划及柔顺控制，以及选择最佳击球策略。

3.2、分组项目课程

（1）视觉系统项目课程举例——双目标定。

在双目立体视觉中，相机标定是获得物体三维信息必不可少的过程，相机标定的结果将直接影响后续目标物体三维坐标的计算精度，所以对相机进行标定至关重要。当前相机标定方法分为三种：传统标定法、主动视觉法和自标定法。本课程指导学生使用的是张正友标定法，此种方法可利用matlab工具箱，操作较为简单，标定精度高。

在相机标定过程中，标定板作为信息的重要来源，关系到特征信息的提取和相机的标定精度。为了有效提取特征信息并保证相机的标定精度，需要选取合适的标定板。本项目课程选用平面黑白棋盘格作为相机标定过程中的标定板，棋盘格规格为12×9，特征点为其内角点，黑白格子的大小为30mm。此时让学生分为两个组别，一个组别去了解标定方法，另一个组别去制作标定板。

确定好标定板后，需要对标定图像进行采集。具体方法是将标定板放置在双目视觉系统的视野范围之内进行拍摄采集，并在每组标定图像采集后将标定板变换不同的位置和角度，采集多组标定图像。考虑畸变对相机的影响，在移动标定板时要尽量保证标定板能覆盖视觉系统的整个成像视野，视觉系统视野范围内标定板覆盖的越多，对于边角视场的畸变系数的估算就会更准确。此外，由于视觉系统与标定板并不是垂直的，所以在调整标定板的角度时不能过于倾斜，以免标定时影响对棋盘格行列数的判断。

最终利用matlab中的Stereo Camera Calibration工具箱对双目相机进行标定，其左右相机分别采集棋盘格标定图像62张，共124张，通过提取标定图像平面中的特征点并精确亚像素角点，得到双目相机各自的内外参数矩阵。由于所采集的部分标定图像中标定板的倾斜角度过大，可能导致标定板的角点识别不准确，引起相机的标定误差。故本文通过调整重投影误差大小，筛选出重投影误差较大的标定图像，经筛选后得到的图像对、重投影误差及角点提取结果如图2所示。

图2 筛选后的标定图像及结果

通过对重投影误差进行微调，可以剔除对标定结果影响较大的标定图像对，能够保证相机标定的准确性。此时通过matlab工具箱还可以得到相机的极限约束矫正结果，通过上述相机标定后，左右相机图像的坐标轴基本实现了对齐，同时也完成了对原始图像边缘的径向畸变和切向畸变的校正，并获得左右两个相机的标定矩阵。

至此，视觉系统组别完成对左右相机的标定工作，在本次示例课程中，学生掌握了相机的标定原理，亲手制作了标定板，了解了摄像机的工作原理，并掌握了matlab中的工具箱使用方法，最终实现了对相机的标定，为后续目标三维定位打下坚实基础。

（2）控制系统项目课程举例——乒乓球飞行轨迹建模。

在本节项目课程中，主要培养学生的物理建模能力，通过对学生讲解乒乓球在飞行过程中的轨迹影响因素，让学生更加直观地了解到乒乓球的飞行过程。根据教师讲解的建模知识，学生做进一步的归纳总结，最终完成对乒乓球飞行轨迹的建模。

乒乓球在飞行过程中主要受重力、浮力、空气阻力及旋转时的马格努斯力的影响。浮力Fb的大小相较于其他几个力可以忽略不计。由于乒乓球旋转的测量有很大的难度，在本项目课程中暂不考虑旋转球，根据乒乓球受合力为重力和空气阻力对乒乓球进行受力分析后可得简化模型如下：

其中V是乒乓球的速度，m是乒乓球的质量，g是重力加速度，ρ是空气密度，s是乒乓球的截面积，Cd是空气阻力系数。对式积分可以得到x,y,z三个方向上的模型结果。

根据上述预测模型，只需获取乒乓球飞行轨迹的起始点及其速度，即可计算求得在无其他外力介入情况下，任意时刻乒乓球的位置和速度。

至此，完成对乒乓球飞行轨迹的建模，学生充分了解到轨迹建模的相关知识，也为后续做乒乓球落点及击球点预测打下坚实基础。

（3）执行系统项目课程举例——机械臂轨迹规划算法。

在本节项目课程中，主要培养学生对多自由度机械臂的轨迹规划算法的设计，本项目的乒乓球机器人使用的是六自由度机械臂，通过正逆运动学可以获得乒乓球机器人在击球时各个关节应当到达的位置和速度。本节由教师对学生讲解轨迹规划算法来控制机械臂完成击球任务，学生了解并需要对算法进行进一步改进。

本节轨迹规划算法使用的是五次多项式轨迹规划算法，预先计算好机器人每个关节在整个运动过程中每一时刻的位置、速度和加速度，按照预先规划的结果控制机器人运动即可完成指定任务。但此方法并不能直接应用于本文中的乒乓球机器人，由于每次击球过程中击球点位置和击球时间并不唯一确定，而是在乒乓球实时定位系统每次给出一个新的采样点后都会做一次修正，并不能预先规划好一条击球轨迹。紧接着由教师指导学生在传统的五次多项式轨迹规划算法的基础上进行了改进，使其能够在运动终点不断变化的情况下实现动态规划。

至此，本项目课程中的机械臂轨迹规划算法完成，学生掌握到对机械臂的控制算法，通过对传统五次多项式算法的改进，学生利用项目了解到机械臂是如何做规划控制的，并最终在执行机构上实现了对乒乓球机械臂的柔顺控制，进一步提升了学生的算法熟悉程度及兴趣。

学生在分组进行学习和实际做项目过程中，学习大量实操知识和算法，并有项目及时进行验证反馈，极大地提升了学生的学习兴趣和动手能力。本项目课程共持续两年时间，在此过程中，由教师指导学生实现对各小组目标的完成，并最终完成三个小组之间的联调，保证乒乓球机器人可实现正常人机对打，并不断优化，教师在学生学习过程中根据学生的学习态度及项目成果进行评分，最终需要完成整体项目目标才算结课。

4、结语

本次基于乒乓球机器人项目课程的“新工科”教学模式改革旨在培养高素质人工智能与机器人学科人才，目前已经在教育改革实施中。课程学生经过项目学习后，体现出了强大的团队合作及科技创新能力，在参与课程学习同时，学生带着课程项目参与了多项科创比赛，并取得了骄人的成绩，如，第七届互联网加全国银奖、电子设计大赛全国二等奖、Robocom机器人开发者大赛全国一等奖以及世界机器智能大赛一等奖等重量级奖项。这些荣誉印证了本次教学改革的有效性，为“新工科”教育教学模式培养提供了一种新的改革思路，希望在将来进一步提高课程教学质量，为培养具有深度思考、动手实操、创新创业等核心能力的人工智能与机器人领域高端人才而做出贡献！