Mind+结合XEduHub开发AI交互作品

谢作如 邱奕盛

摘要：在图形化编程工具Mind+和通用AI推理库XEduHub的支持下，中小学生使用简短的代码就能设计出有趣的AI交互作品。本文在介绍Mind+和XEduHub的同时，分析了AI交互作品的核心环节，指出作品可以由感知输入、智能处理和执行呈现三个部分组成，希望为中小学开展AI教育提供新的思路。

关键词：Mind+；XEduHub；AI交互作品

中图分类号：G434  文献标识码：A  论文编号：1674-2117（2024）11-0088-03

学习AI要从体验开始，青少年只有体验过AI，才可能对其产生浓厚的兴趣。为此，学校的AI学习空间（实验室、功能教室等）的展示区域或者科普走廊都会部署一些有趣的AI交互产品，让学生在体验中了解AI的能力，激发学习兴趣。有条件的学校还会选择采购和定制企业开发的AI交互作品，以追求更好的展示效果。

那么，中小学生能不能和老师一起设计一些有趣的AI交互作品呢？显然，自己动手丰衣足食，设计作品的过程就是学习的过程，也是解决真实问题的过程。仔细观察企业开发的AI交互作品，会发现背后的技术并不复杂，无非是将输入后的信息经过模型推理再通过屏幕输出。有了XEduhHub，目标检测、物体分类、关键点检测等AI技术的门槛就有所降低，加上Mind+的支持，小学生也有能力开发出不错的交互作品。

AI模型推理工具XEduHub简介

XEduHub是一个通用AI模型推理工具，既是XEdu项目的核心组成部分，又是一个可以独立安装的Python库（库名为XEdu-python）。XEduHub不仅支持XEdu系列工具训练得到的模型，还内置了常见的AI模型，如人体关键点检查、80种物体目标检测、OCR等，只要选择某一任务，即可自动从云端下载相应的模型，如图1所示。

XEduHub设计了“工作流”（Workflow）的方式来实现模型推理。每一次应用AI模型推理，数据都经历了输入模型、预测推理、输出结果三个阶段，就像是物料（数据）经过生产流水线加工后产出半成品一样。在XEduHub中这一次推理流只需要两行代码，第一行代码是通过指定task名称来确定使用何种模型构建工作流，第二行代码是输入数据并得到推理结果输出。如果想要处理多组数据，只要灵活使用第二行代码即可（如图2）。

在使用XEduHub来处理较复杂问题的时候，往往需要多个模型进行联动，这时，“工作流”可以看作不同模型之间的数据流动。例如，当画面中有多个人像时，需要先进行多人的目标检测以确定每个人所在的位置，然后将检测到的数据传入关键点识别模型，从而对每个人像进行关键点识别，最终得到每个人的关键点坐标数据。

在Mind+中安装XEduHub

Mind+集成了各种主流主控板及上百种开源硬件，支持人工智能与物联网功能。Mind+拥有实时、离线和Python三种编程模式，其中Python模式同时支持图形化和代码编写程序，适合初学者。

Mind+支持第三方插件，进入插件管理页面，在联网情况下搜索“XEdu”即可找到插件。安装插件后，再通过库管理工具安装“xedu-python”（XEduHub的pip包名称）。需要注意的是，在安装过程中，WARNING提醒内容可以忽略，同时，为了获得更稳定、更强大的模型部署使用体验，需要及时更新“xedu-python”库。经过上述的操作后，XEduHub的积木就出现在Mind+主界面的左边了，如图3所示。

Mind+的最大优势是加入了GUI界面设计、物联网和开源硬件交互功能。GUI界面可以使用unihiker库，物联网使用SIoT库，而开源硬件库为pinpong库。这些库为设计交互作品的天马行空想法提供了技术支持。以下页图4为例，几行代码就实现了对画面中人像的关键点绘制。

经典AI交互作品的分析和创意

经典的AI交互作品往往会实时采集现场数据，经过AI推理后，再输出呈现在终端上。作品可以由感知输入、AI推理、输出呈现三个部分组成。感知输入的常用设备有鼠标、键盘、摄像头、麦克风、雷达扫描仪，还有各类传感器，AI推理可以用XEduHub实现，而输出呈现可以借助显示器、扬声器等实现，还可以利用pinpong模块连接开源硬件，如LED、蜂鸣器、舵机等执行器都可以成为交互作品的组成部分。

对于仅仅用鼠标键盘和显示器交互的作品，学生已经司空见惯。软硬结合显然能够让交互作品妙趣横生。如下页图5所示，当结合物联网协议后，智能家居的各个产品也能够加入到交互作品之中。借助SIoT、HASS等软件，智能家居产品也可以与普通电脑联通，在本专栏中已经有多篇文章对其进行了介绍，欢迎阅读。

在了解XEduHub的功能后，将“感知输入”“AI推理”“输出呈现”这三大环节灵活组合，学生们就能设计出各式各样的创意AI体验作品来。例如，用人的情绪（微笑值）控制一个真实的指针，把摄像头中的动物转换为马赛克效果，用摄像头采集人体关键点来操控一个提线木偶，等等。当学生做虚拟鼓掌动作的时候，就能真的发出热烈的掌声，学校的AI实验室将会成为一个快乐的游乐场。

总结与反思

借助XEduHub，用简洁的代码就能快速调用多种模型，再经过学生的创意叠加，就能自由组合出各种有趣的项目。相比于采购企业开发的AI体验项目，自行设计更有挑战性。建议老师们将设计交互作品作为AI课程的大作业，定时将优秀的作品展示出来。这样的AI课程才是真实有趣的，是能吸引学生、能解决真实问题的跨学科学习课程。当然，教师还要鼓励学生在常见模型的基础上加入自己训练的模型，设计出更复杂的AI项目，让作品的交互更加精彩。

本研究为2022年度上海市自然科学基金面上项目“基于多模态数据融合的在线学习认知模型及优化研究”（项目编号：22ZR1421300）的阶段性研究成果。