基于图像识别的远程控制实验系统开发与实现

范光宇 曾祥绪 方草

摘要：新冠肺炎疫情的爆发对大学传统课程教学带来了很大挑战，很多课程教学方式由原来的线下教学转为在线教学方式，但很多实验课程特别是硬件实验课程的在线教学中难以完成硬件动手实际操作，给实验教学带来很大困难，在线教学和虚拟仿真实验教学的教学质量难以控制。本文针对电子信息类专业课程的硬件实验教学，利用互联网和图像识别技术，开发了基于远程控制方式的远程控制硬件实验系统，并用于电子信息类专业硬件实验教学。通过实验验证，本实验系统功能齐全，操作灵活，运行稳定，有助于学生进行远程操作实验，掌握实验原理和操作过程，提高了实验教学效果。

关键词：电子信息类，远程控制实验教学，图像识别，远程实验系统

1、绪论

2020年，一场突如其来的新冠肺炎疫情，给人们的生产生活带来了很多变化，也给传统课堂教学带来了新的挑战，很多课程教学不得不从线下转为在线方式进行[1]，而硬件实验课程由于有硬件动手实操，很难采用在线实验进行。为了解决这个问题，很多专家学者、教师和工程技术人员提出了各种电子信息类、计算机类实验课程教学系统、在线教学方法、线上线下混合实验教学方法。

文献[1]针对新冠肺炎疫情“停课不停学”的教学需求，利用在线教育平台和嵌入式系统的专业虚拟仿真软件，提出了针对嵌入式系统线上线下混合教学模式，提高了嵌入式系统线上教学效果。文献[2]提出了一种新的硬件类课程实验的教学方法，该方法通过远程硬件实验云平台来完成学生实验操作，学生还能通过平台提供的智能问答系统、教师在线辅导等方式获得帮助。文献[3]针对《计算机组成原理》这一课程提出了线上线下混合硬件实验教学的想法，学生通过虚拟平台完成线上预习、线上测评以及复习，用实验箱完成线下操作。这些方法虽然在线上线下混合教学上取得了一定的效果，但是在硬件实验方面上存在一下两个问题。一个问题是，虽然提出了线上硬件实验这个想法但是并没有具体的实现方案;另一个问题是，我只是通过软件仿真来达到远程控制硬件实验的目的，试验箱的使用我们仍然是在实验室完成。

为了解决以上问题，特别是保证在线实验教学也能使用实验箱完成硬件实验的问题，我们设计开发了远程控制硬件实验系统。

2、实验教学系统

本远程控制实验系统主要包括以下功能：远程操作与学校实验室统一配备的现有实验箱相连的电脑进行编程、仿真操作;远程操作实验箱进行按键、拨码等实操动作;远程视频观察硬件试验箱LED指示、显示屏等外设表现;同学老师远程控制视频观摩实验。

本实验教学系统主要以Python为源代码并结合开源模块库开发，系统界面可分为学生端和教师端两个客户端。本项目自主编程来实现实时远程控制师生教学、可视化音像交互实验，完成了机械动态定位功能、实时录像录音功能、个性化定制实验功能等。

本远程控制实验系统总体上包括硬件子系统和软件子系统两个子系统，下面分别介绍具体两个子系统的结构和功能。

2.1系统硬件結构

本远程控制实验系统硬件结构包括硬件控制、图像采集和图像传输等主要部分，硬件控制部分使用一个xyz滑台，在滑台下方放置实验箱，利用固定在z轴的顶针完成按键操作，在滑台的侧方放置一个摄像头。该摄像头可以获取实验箱实时影像，保证实验者、同组成员可对实验进行实时观察、观摩，也可保证教师对学生的实验操作进行实时观察，有利于教师了解学生实验操作情况并进行考核。

2.2系统软件结构

本远程控制实验系统的软件子系统采用客户端和服务端两个部分，其中客户端包括学生端与教师端两个版本。教师端的权限大于学生端，在教师端可以实现滑台在限位许可条件下x、y、z三个方向的任意移动，能够设置固定按键，设置限位保护，机械臂的使用权限;学生端的权限就小于教师端，只能通过教师设置的按键来实现机械臂的移动。学生端还可以进行截图以及录像的操作来完成实验内容的证明。

2.3系统功能模块

模块1：xyz移动模块

教师在界面更改目标位置信息，确定目标位置后，系统会检查机械臂是否连接正常，如果连接正常判断机械臂的当前位置与目标位置是否相同，若不相同，则使用G代码使得机械臂通过绝对路径方式移动至目标位置。

模块2：按键模块

按键模块包括添加添加按键、删除按键、按键测试以及按键点击。添加按键则是将此时的位置信息添加至按键列表信息中，删除按键同理;按键测试则是测试机械臂z轴移动能否实现按键的点击;按键点击则是点击按键使得机械臂在任意位置能到达按键所在位置并完成点击。

3、远程在线实验方法

远程在线实验教学通过软件远程操控置于实验室与实验箱相连的电脑，教师先在教学平台上传实验操作视频，使学生对软件以及实验有一定的了解。小组成员在课前交流实验操作，实验过程中只能根据教师发放的实验指导书操作，不得播放实验视频，教师在学生进行实验过程中观察不同小组学生的实验操作。教师还在实验报告中添加关于实验的思考题，学生将答案置于实验报告中上传教学系统。

4、总结

本文针对电子信息类专业实验教学特点，充分利用互联网、图像识别等信息技术，设计开发了远程控制实验教学系统。该系统将线下传统实验教学移植到远程控制实验教学，系统将硬件实验课程只能通过教师录制的视频讲解的教学方式转化成学生和教师均能在远程控制完成硬件实验，不受场地与时间的限制。教师端与学生端的不同使得本系统更加贴合实际使用，也使仪器损坏的可能性降低。本实验系统能为教师教学和学生学习带来更大的便利，提高远程控制实验教学效果。

参考文献：

[1]张宏伟，王海星，郭建锋，王新环.基于腾讯课堂和虚拟仿真技术的嵌入式系统远程控制教学[J].实验技术与管理，2020，37（12）：170-174.

[2]章复嘉，孙丹凤，赵建勇，林菲，李二涛.一种计算机硬件类课程实验教学方法[J].实验室研究与探索，2019，38（05）：151-154.

[3]张海英.《计算机组成原理》硬件实验线上线下混合教学模式探讨[J].电脑知识与技术，2020，16（23）：103-104.