计算机视觉赋能中小学实验教学设计研究

徐旭 王全兰

摘要：计算机视觉技术是人工智能重要的技术手段之一，作者通过计算机视觉技术在中小学科学、物理、化学、生物和地理等实验学科的应用，提出计算机视觉实验设计方案，尝试开展“人工智能+中小学实验”教学设计研究，并给出了计算机视觉技术赋能中小学实验教学的合理化教学建议。

关键词：人工智能;计算机视觉技术;实验教学;中小学

中图分类号：TP309  文献标识码：A  论文编号：1674-2117（2022）08-0081-05

● 引言

2017年7月，国务院在印发的《新一代人工智能发展规划》中指出要“实施全民智能教育项目，在中小学阶段设置人工智能相关课程，逐步推广编程教育”。[1]2019年11月30日，教育部发布的《教育部关于加强和改进中小学实验教学的意见》明确指出：“注重加强实验教学与多学科融合教育、编程教育、创客教育、人工智能教育、社会实践等有机融合，有条件的地区可以开发地方课程和校本课程。”[2]可见，将人工智能技术应用于中小学实验教学十分有必要。

● 研究综述

加拿大多伦多大学杰弗里·欣顿教授在计算机视觉比赛上将深度神经网络运用到计算机识别图像中，计算机识别图像能力提高了十几个百分点。计算机视觉是一个跨领域交叉学科，涉及计算机科学、数学、工程学、物理学、生物学和心理学相关知识，Ballard&Brown将计算机视觉定义为从图像中构造出对物理对象的明确而有意义的描述。[3]计算机视觉技术是人工智能重要的技术手段之一，是从现实世界的图像信息中提取数字式或符号式的信息。[4]

随着卷积神经网络仿造生物的视知觉（visual perception）机制构建，以计算机视觉为代表的人工智能技术日益成熟，开始广泛应用于工业制造、自动驾驶、智能安防等领域。在教育应用中主要集中在高等工程教育、课堂行为观察等领域，如孙浩[5]、李寿杰[6]在高等工程教育领域进行计算机视觉技术课程的开发和应用，贾鹏宇[7]、徐家臻[8]、孙众[9]、赵春[10]等将计算机视觉技术应用在课堂行为观察中。在中小学教学领域的应用目前还在探索阶段，如宋晓玉[11]在中小学课堂中让学生体验人脸识别、人体分析、图像识别和文字识别等。

● 研究框架

计算机视觉技术赋能中小学实验教学的本质，就是将人工智能技术应用于学科教学。本研究选取涉及实验教学的中小学学科，主要是中学（包括初中、高中）物理、化学、生物、地理和小学科学（部分省市开设初中科学）。尤其以新课程标准的高中物理、化学、生物和地理学科为例，以“信息技术”为关键词，检索上述四个学科的课程标准方案，得出“信息技术”出现的频次和涉及信息技术与实验教学融合的具体内容（如表1）。

根据清华大学姚期智教授主編的《人工智能》（高中版）列举的视觉识别任务，本研究选取光学符号识别、语义分割、图片分类、运动捕捉等运用到中小实验教学中（如图1）。

1.光学符号识别

使用计算机视觉的光学符号识别功能，识别不限于文字、数字、特殊符号等有意义的信息输入到计算机系统，进行有监督学习或者无监督学习，从而进行专家决策等。光学符号识别可以让中小学实验数据更加迅速获取、反馈和评价。常用的实验数据符号识别包括物理实验中的速度、加速度、动能、动量等，化学实验中的物质的量、体积、密度等，生物学实验中的植物群落、指数增长、微生物、细胞和分子等，地理实验的倾角、方向、气温、人口、城市化率等。光学符号识别还可以直接从实验教辅资料、手写体资料，转换成计算机可以编辑的实验数据，极大地改变传统实验记录方式。

2.语义分割

语义分割，将图片中的每个像素对应的物体标注出来，即不同颜色代表不同语义。[12]计算机视觉技术中语义分割与中小学实验教学相融合在高中物理、化学、生物学和地理等学科广泛应用。例如，高中物理教学中的电磁波谱系统涉及可见光的颜色;高中化学广泛运用语义分割，不论是物理反应的焰色反应还是化学反应的显色反应，都是以颜色为标志物和指示剂，各种单质、化合物和溶液的颜色是重要的推理和判断的依据;生物学涉及的显色反应更多，如糖类、蛋白质、脂肪的鉴定;地理上通过颜色辨别岩石矿物等。

3.图片分类

图片分类，识别图片中的主体物体，是一种通过机器学习、大数据等支持的计算机视觉技术。结合中小学实验教学的情况以及生活中常见智能手机软件，介绍可以运用图片分类进行物理、化学、生物、地理实验的可行性。例如，物理教学中可以使用虚拟现实技术进行物体识别、速度识别，化学教学中使用计算机视觉技术识别常见化学物质，生物学使用“花伴侣”软件认识常见的植物，地理教学中使用“卦天气象”软件进行云状识别，这些都是通过计算机视觉技术赋能中小学实验教学手段（如下页表2）。

4.运动捕捉

运动捕捉，即通过在人身上安装传感器等方式，捕捉人的行为，并通过计算机生成虚拟形象对应的动作。[13]使用运动捕捉的方式，可以获得中小学实验教学过程中的学生行为，进而获得实验教学的过程性资料，有利于实验教学的“档案袋评价”等。

此外，还有物体检测，光流估计、摄影旅行、三维场景重建、自动驾驶、图片风格变换等技术，可以与中小学实验教学融合。

● 实验设计

1.实验平台原理

计算机视觉技术是一门研究如何使机器“看”的科学，即指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使之成为更适合人眼观察或传送给仪器检测的图像。通过神经网络模型，加入有监督学习或者无监督学习，讲述输入图像的信息，经过隐层的计算，进而在输出层输出结果。

2.实验平台结构

实验平台硬件部分主要有编程控制系统、图像采集系统、信息输出系统、岩石识别系统。

（1）编程控制系统

使用笔记本电脑（预装Windows10家庭中文版），打开编程语言mPython0.5.4，调取内置的（N+）小方舟AI程序，结合掌控板进行编程。

（2）图像采集系统（小方舟AI模块）

小方舟AI视觉模块内置AI硬件加速单元（KPU、FPU、FFT等），可实现各类场景的本地视觉算法，这里主要是识别颜色对应的语义，原理是使用小方舟AI视觉模块进行比色卡颜色识别，识别到不同的颜色，RGB灯亮对应的颜色。步骤如下：第一步，小方舟初始化，并将模式切换到颜色模式;第二步，学习颜色以及识别顺序，ID0（身份证标识号，下同，开源硬件常见缩写）是绿色，ID1是黄色，ID2是粉色;第三步，编写其他ID的判断语句，重复执行相关程序。

（3）信息输出系统（掌控板）

掌控板是MicroPython微控制器板，支持mPython软件上的各种功能，具有很好的开源性，可以兼容小方舟AI，并能够通过读取灰度值，并进行计算编程，输出运算结果。

（4）岩石识别系统

登录地质云（GeoCloud）岩石智能（矿物）识别工具（试用版）网页版，网址http：//ykai.cgs.gov.cn/。师生通过上传本地图片或者填入网络图片地址就可进行识别分析。

3.“常见岩浆岩的认识和鉴定”案例设计

本研究选取高中地理选修Ⅱ-9地理野外实习模块内容，选取Ⅱ-9.5识别主要造岩矿物和常见岩石，认识不同性质岩石对地貌发育的影响，以“常见岩浆岩的认识和鉴定”为例，进行人工智能与地理实验教学融合探究。

（1）实验装置（如图2）

具体过程如下：

①计算机连接掌控板，进行图形化编程、信息输入、数据计算及读取。

②掌控板连接小方舟AI视觉模块，进行数据传授、获取，掌控板显示小方舟AI计算获取的相关信息，使用杜邦线将小方舟、掌控板（含拓展板白灵鸽）接在一起，组成简易计算机视觉识别装置。

③小方舟AI获取比色带信息，进行记录，并反馈给计算机。

④小方舟AI识别实验目标灰度，并反馈给掌控板，显示结果。

⑤小方舟AI输出图像给计算机，登录地质云岩石智能识别工具（试用版），进行岩石识别。

（2）实验目标

地理实践力：通过计算机视觉识别技术，掌握常见岩浆岩的分类，区分花岗岩、玄武岩、安山岩等，并通过实验设计和具体操作锻炼地理实践力。

综合思维：通过融合开源硬件和视觉识别技术，运用人工智能识别器，锻炼跨学科思维和综合思维。

区域认知：通过野外实习考察，掌握常见矿物形成环境，增强区域认知。

（3）实验过程

使用计算机视觉识别技术，认识岩浆岩，并进行分类。具体实验过程如下。

①情境导入。

教学内容：教师展示几款AI识花软件，识别身边的花朵，启发学生对人工智能的好奇心。提问：能不能做一个装置识别常见岩石？要求学生阅读课本知识，小组合作填写常见的岩浆岩分类，如花岗岩、玄武岩、辉岩。了解掌控板、小方舟AI软件以及初步的编程知识。

学生活动：通过合作学习常见岩石分类知识。

环节目标：以真实案例为情境，运用演示，启发好奇心。

②实验探究。

教学内容：一是明确实验目的，识别几种常见的岩浆岩。二是学生分组，进行AI赋能实验。使用AI装置进行识别，学生进行实际操作与数据记录，使用岩石颜色对比色带，将岩浆岩颜色大致分为三类，浅色的是花岗岩，深色是玄武岩，中间色是安山岩。过程：a.使用有监督的机器学习，通过判别灰度，规定不同岩石的灰度范围，从而获得岩浆岩识别常用知识;b.使用掌控板连接小方舟AI装置，将识别出的信息显示在掌控板上;c.使用笔记本电脑对掌控板进行Python编程;d.计算机视觉识别目标岩石灰度，进行判别。三是小组合作进行实验结果的分析，得出结论，展示。

学生活动：合作实验，观察实验现象和记录数据，分析结果。

环节目标：通过实验探究，能够说出三种类型的岩浆岩，通过颜色对比、颗粒大小对比、密度对比、提升地理实践力。

③交流拓展。

教学内容：讲解其他计算机视觉识别技术，并提供器材，引导学生继续探究。

学生活动：分组展示实验结论，并参与讨论。

环节目标：通过分析总结实验现象，建构人工智能技术背景下常见岩浆岩分类原理性知识。

④测评。

教学内容：分发测评试题，并进行过程性评价。

学生活动：限时完成习题。

环节目标：测评掌握情况。

● 教学建议

1.使用人工智能技术融合中小学实验教学的优势

其一，滿足个性化实验教学的需要。传统实验只能获取课本、教辅资料等片面和有限的知识内容，不能满足“因材施教”的个性化需要。而使用人工智能技术，增加了学生获取知识的量，满足了学生个性化学习的需求。

其二，使实验过程实时生成“档案袋评价”。传统的实验评价，无法便捷地完成实验过程中数据信息的整理汇总，尤其是实验教学中学生失败尝试等宝贵的过程性学习资料，记录起来十分烦琐。而结合计算机视觉运动捕捉技术，将学生所有的实验过程数据化，自动生成实验学习“档案袋评价”，有助于实验过程中的自评、他评、师评。

其三，利用计算机视觉技术可避免实验过程的危险。部分化学实验会接触易燃易爆物质，通过计算机视觉装置进行远程操作，可以避免师生受到伤害。

2.人工智能技术与中小学实验教学的融合步骤

展望未来，人工智能技术与中小学实验教学的融合可以分为三个步骤[14]：

第一步，师生将已经开发的人工智能算法和硬件装置与实验教学结合，此步骤需要师生掌握初步的图形化编程知识和具有开源硬件搭建基础。隨着人工智能教育师范专业的开设和国家人工智能素养师资培训的推广，政府、企业和学校共同建设中小学人工智能实验室的投入使用，相信该步骤实验教学很快就能实现。

第二步，师生使用已经开发的人工智能算法，自己开发适合实验教学的硬件装置。绝大部分非计算机专业的教师和学生，并不需要掌握人工智能的底层逻辑，只需要会运用已经开发的人工智能算法，结合先进的物联网实验仪器传感器，就可以开发新的人工智能赋能科学实验。

第三步，师生共同开发新的人工智能算法应用于实验教学。向麻省理工学院捐赠了3.5亿美元，用于建设Stephen A. Schwarzman计算学院的Stephen a. Schwarzman表示，人工智能学院的目标是培养“教育未来的双语者”，这里说的“双语者”是指那些在生物、化学、政治、历史和语言学等领域能够熟练应用人工智能技术的人们。[15]相信在未来更远的时间里，人工智能时代原住民能够具备开发实验教学人工智能新算法的能力。

3.人工智能技术与中小学实验教学的融合层次

蔡曙山（2021）从人类心智和认知层次将人工智能水平分为五个层次。[16]结合人工智能技术赋能中小学实验教学，可以将各类传感器、五感（计算机视觉、触觉、听觉、嗅觉、味觉）融合，避免学生直接接触实验带来的各类危险，也可以将各类实验数据精确化，保存实验过程的真实记录，进而进行演绎推理和专家决策。同时，还要通过人工智能技术赋能实验学习，使学生手脑并用，保持好奇心，激发想象力。

参考文献：

[1]国务院关于印发新一代人工智能发展规划的通知[EB/OL].[2017-07-20].http：//www.gov.cn/zhengce/content/2017-07/20/content_5211996.htm.

[2]教育部关于加强和改进中小学实验教学的意见[EB/OL].[2019-11-30].http：//www.gov.cn/xinwen/2019-11/30/content_5457115.htm.

[3]一文详解计算机视觉五大技术[EB/OL].[2018-05-15].https：//www.sohu.com/a/231713369_178408.

[4][12][13]姚期智.人工智能（高中版）[M].北京：清华大学出版社，2021.

[5]孙浩，邹焕新，计科峰，等.基于SPOC的“计算机视觉导论”课程混合式教学设计[J].计算机工程与科学，2016，38（S1）：127-131.

[6]李寿杰，宋华军，兴雷，等.基于机器视觉的气冰球机器人实验教学系统设计[J].实验技术与管理，2020，37（01）：200-204.

[7]贾鹂宇，张朝晖，赵小燕，等.基于人工智能视频处理的课堂学生状态分析[J].现代教育技术，2019，29（12）：82-88.

[8][14]徐家臻，邓伟，魏艳涛.基于人体骨架信息提取的学生课堂行为自动识别[J].现代教育技术，2020，30（05）：108-113.

[9]孙众，吕恺悦，骆力明，等.基于人工智能的课堂教学分析[J].中国电化教育，2020（10）：15-23.

[10]赵春，舒杭，顾小清.基于计算机视觉技术的学生课堂学习行为投入度测量与分析[J].现代教育技术，2021，31（06）：96-103.

[11]宋晓玉.在课堂上体验计算机视觉的教学实践探索[J].中国信息技术教育，2020（21）：63-64.

[15]MIT reshapes itself to shape the future[EB/OL].[2018-10-15]https：//news.mit.edu/2018/mit-reshapes-itself-stephen-schwarzman-college-of-computing-1015.

[16]蔡曙山.从思维认知看人工智能[J].求索，2021（01）：48-56.