智慧微课：基于人工智能的微课自动生成系统*

乐会进 贺胜 王丽红 刘俊生[通信作者]



智慧微课：基于人工智能的微课自动生成系统*

乐会进1,2贺胜3王丽红4刘俊生3[通信作者]

（1．中国科学技术大学 现代教育技术中心，安徽合肥 230026； 2．南昌大学 教育系，江西南昌 330031；3．讯飞教育技术研究院，安徽合肥 230088； 4．科大讯飞股份有限公司，安徽合肥 230088）

文章首先通过分析人工智能支持的微课自动生成过程及相关技术，特别是综合考虑相关因素，设计了一款基于人工智能的微课自动生成系统——智慧微课。随后，文章基于智慧微课的设计目标，构建了智慧微课的架构，分析了智慧微课采用的关键技术，并阐述了智慧微课的录制流程。最后，文章通过案例分析介绍了智慧微课的三种应用场景，并分析了智慧微课的应用效果。文章的研究表明：智慧微课能实现一键录制，生成结构化的微课视频及其图文混合文档，既能大幅减轻教师微课制作的工作量，也给了学生更大的自主调节空间，是人工智能应用于微课制作的一次有益尝试。

人工智能；微课；智慧微课；自动生成系统

微课是一种以微视频为核心的教育资源，它具有灵活简便、容量小、针对性强等特点，基本满足了“互联网+”时代的学习需求。传统的微课制作方式以人工为主，主要依靠制作人员的个人经验，虽然其制作质量有所保障，但是制作过程复杂，甚至需要建立专门的制作场所（如录播教室），故费时费力，且成本偏高，影响了微课资源开发的效率。2018年，教育部印发的《教育信息化2.0行动计划》提出了“教育大资源开发利用机制全面形成”[1]的新要求，传统的人工制作微课的方式显然已经不能适应新时代“教育大资源”建设的趋势，因此有必要寻求微课制作方式的新突破——人工智能和微课制作的结合，便是一种可能的发展方向。

一 人工智能支持的微课自动生成过程及技术分析

1 人工智能支持的微课自动生成过程

人工智能支持的微课自动生成过程包括五个环节：①视频录制环节，是指通过摄像头或屏幕录制软件采集视频画面。目前，通过自动录播技术（主要包括自动跟踪摄制技术、录屏技术和自动导播技术三种）[2]，已基本能够有效实现视频录制环节的自动化。②视频分割环节，是指根据一定的规则和方法，对录制的视频资源进行分割，从而将一个长时间的完整视频分为若干微视频片段。视频分割技术主要包括视频关键帧打点技术、视频镜头聚类技术和视频画面智能分析技术三种。其中，视频关键帧打点技术是利用相对成熟的录屏技术和基于PPT翻页的关键帧打点技术来实现；视频镜头聚类技术是通过语义技术进行视频镜头聚类[3]，虽然理论上比较先进，但其具体效果还有待进一步检验；而视频画面智能分析技术以图像识别技术为基础，其精确度不够高，目前还难以达到应用级的水平。③视频标注环节，是指在理解视频内容的基础上，对分割后的视频的基本属性进行语义说明。人工智能支持下的视频自动标注过程，通常以语义本体技术[4]为基础。已有的语义本体技术有两种做法：一是自动提取PPT页面中的标题，以该标题作为视频标注的语义。实践表明，该方法通常对PPT的制作格式要求较高，如果制作格式不规范，后期就需要人工辅助。二是利用智能语音技术将视频中的教师讲解内容进行文本化处理，并依据事先制定好的规则提取语义[5]。④视频重组环节，是指根据视频标注环节中的语义本体，对分割后的视频片段进行关联。目前，利用成熟的语义关联技术[6]，在语义本体库健全的情况下，已经基本可以实现视频重组环节的自动化。⑤资源结构化环节，是指基于前面四个环节，将视频片段和利用人工智能自动生成的文本、图片等资源进行结构化处理。与视频重组环节针对不同知识点的视频片段进行关联所不同的是，资源结构化环节是针对同一知识点的视频片段与其对应的文本、图片进行关联。资源结构化改变了视频作为单一媒体形式的不足，有助于学生快速定位学习重点。张一川等[7]通过研究发现，单一视频形式的微课不利于学习者的使用，学习者在日常自主学习中的应用也较少。因此，有必要在动态媒体形式（主要是指音频、视频）之外，提供一些便于浏览和交互的静态媒体形式（如文本、图片），从而形成动态媒体和静态媒体相结合的结构化微课资源。

2 微课自动生成系统的技术要点

从微课应用的角度出发，宜对上述五个环节中的微课生成技术进行取舍，即从中选取比较成熟的、适用的技术来设计基于人工智能的微课自动生成系统。而在上述五个环节中的微课生成技术中，视频录制环节和视频重组环节分别通过智能录播技术、语义关联技术，已基本能够进行自动化处理；视频分割环节的自动化技术还不够成熟，其中视频关键帧打点技术的智能化程度不够，但在微课开发领域却是一项实用的视频自动分割技术；视频标注环节受PPT制作格式和语义本体技术的影响较为明显；而资源结构化环节中的自动化技术尚有待做进一步研究。

通常意义上，视频属于控制性强的动态媒体[8]，学生难以通过视频画面精准定位学习重点；并且，学生在学习视频时基本处于被动接受的学习状态，认知负荷也较大。而利用快速发展的智能语音转写技术，可以生成与视频内容相匹配的语音文字稿，再配上视频关键帧截图，就能形成结构化的微课资源。此外，利用智能语音转写技术，不仅能将微课的动态语音转写为静态文本，还能自动生成语义文本，促进语义本体库建设。

值得一提的是，考虑师生应用的简便性，可以在视频录制环节采用舍弃录播教室和摄像头的轻量化硬件配置模式，只保留录屏的PPT画面。事实上，学生的主要信息来源是PPT画面，而不是师生影像画面。因此，舍弃师生画面，既不会对学生的学习效果产生明显影响，也能利用成熟适用的视频关键帧打点技术解决视频自动分割难题，还能大幅减少微课录制环境搭建的投入成本，有助于推动教育信息化资源建设的快速发展。

基于上述对人工智能支持的微课自动生成技术的分析，特别是综合考虑五个环节中自动生成技术的成熟度、微课资源的结构化和师生应用的简便性等因素，本研究设计了一款基于人工智能的微课自动生成系统——智慧微课。

二 智慧微课的设计

1 设计目标

①面向结构化形态的微课应用。利用智能语音转写技术，生成包括文字稿、关键帧截图和音视频等媒体形式的结构化微课，促进微课资源的学习和使用。

②基于知识点自动提取的学习内容快速定位。基于智能语音转写和语义关联等技术，能自动提取学习内容中的知识点，便于学生快速定位所学内容并有针对性地进行学习。

③一键录制式的微课自动生成过程。教师操作简单，一键录制上课内容；无需人为干预，能自动根据教学内容对视频进行分割、标注和重组；自动上传到云端，方便学生课后随时学习。

④简单易用。微课录制环境的软硬件设备操作简单，不必依赖专门的录播教室，在普通多媒体教室就能完成微课的录制；录好的微课可自动生成二维码，方便扫码分享和转发，便于师生随时使用。

2 架构与关键技术

（1）架构

基于智慧微课的设计目标，本研究构建了智慧微课的架构，如图1所示。

图1 智慧微课的架构

智慧微课的架构具有高内聚、低耦合的特点，尤其是智慧微课业务接口统一了核心引擎的调用方式，使得后期业务易于扩展。智慧微课的架构具体可分为五部分：①智能硬件，由智能麦克风、麦克风接收器和微云服务器组成，是智慧微课的主要外部设备。其中，智能麦克风支持定向采集教师的声音，避免环境噪音对录制效果造成干扰；麦克风接收器是智能麦克风与客户端的通信枢纽；微云服务器构建课堂内的局域网，通过连接智能麦克风、麦克风接收器和客户端，确保录制过程在无外网的情况下也能稳定运行。②客户端，是智慧微课的核心软件，能接收智能麦克风发送的操作指令。它能实现账号登陆、开始和结束录制、录屏、PPT截图、视频关键帧打点等功能，通过调用核心引擎，还能实现在屏幕上实时转写字幕的功能。③微课中心，是微课资源的管理平台，主要对微课资源进行收集、存储、管理和应用。它支持教师对微课内容进行编辑修改、结构重组，支持学校对微课资源库进行管理。此外，它还向师生提供预习、复习和教研等微课资源应用服务。④核心引擎，通过采用微服务架构模式，提供智慧微课业务接口，并统一了不同引擎（包括语音转写引擎、知识点提取引擎、文件存储引擎和图片处理引擎）接口的调用方式。当用户量突然增加时，系统能通过添加服务器的方式快速解决问题。⑤基础设施，包括数据库、服务器、智能芯片等，采用分布式架构，通过在两个中心节点搭建数据存储和数据备份集群，来提高计算性能和异地机房的容灾能力。

（2）关键技术

为确保用户获得良好的使用体验，在充分考虑学校实际网络情况、师生日常操作习惯、后期业务发展规划的基础上，智慧微课采用了以下关键技术：

①基于局域网的音视频数据采集技术。该技术通过微云服务器构建局域网环境，实现课堂内软硬件的互联互通，以确保上课期间网络稳定。当互联网断网或网络状况较差时，系统会把数据先缓存到局域网计算机中，待网络环境恢复到正常状态，再重新上传这些数据，并调用核心引擎完成语音转写。

②基于PPT翻页的视频关键帧打点技术。当教师通过智能麦克风或采取其它方式进行PPT翻页时，系统可应用该技术来自动记录当前翻页的时间点。因为语音转写后的输出结果为结构化文本，其记录了词、句子的开始时间和结束时间，而录制的音视频均含时间戳，所以系统可以通过记录的时间点对音视频和文本进行拆分，最终实现视频关键帧打点。

③基于自然语言处理的知识点提取技术。利用智能语音转写技术得到微课的文本数据后，知识点提取引擎会进一步对文本数据进行分词和停用词过滤、词义消歧等预处理操作，并将文本数据转换为数值数据的形式。通过相关算法，系统应用该技术可提取文本特征，并基于教研经验预设的学科语义本体库，通过深度学习得到学科知识点和文本特征的关联关系，据此计算出微课对应的知识点。

④基于二维码的结构化微课分享技术。微课上传后，客户端将接口返回的微课链接转换成二维码，教师通过该技术分享二维码，用户可通过手机等设备扫码观看。由于移动端对网络要求较高，故微课中心呈现的图片需经过图片处理引擎进行压缩处理。

总之，基于局域网的音视频数据采集技术能确保数据在网络异常的情况下不丢失、无损坏，基于PPT翻页的视频关键帧打点技术能通过简单易行的操作实现对视频等内容的快速分割，基于自然语言处理的知识点提取技术为构建微课重组所需的知识图谱奠定了基础，而基于二维码的结构化微课分享技术实现了随时随地分享与观看。

图2 智慧微课的录制流程

3 录制流程

智慧微课的录制流程如图2所示，具体如下：①工作人员安装好微云服务器，确保微云服务器正常联网，联网成功即生成特定名称的WIFI信号，教师机通过该WIFI成功连接微云服务器，并打开安装好的客户端。②教师把麦克风接收器插到计算机USB口，并将智能麦克风靠近麦克风接收器，两者进行自动适配后，麦克风接收器即可接收智能麦克风发送的信号。③教师通过智能麦克风一键开启或停止录制微课；在录制过程中，教师可通过智能麦克风的翻页按钮对PPT翻页，计算机屏幕实时显示语音转写后的文字。④录制完成后，生成的音视频截图和转写后的文字组成结构化的微课，通过微云服务器自动上传到微课中心；同时，教师通过微课中心对微课文字稿和PPT截图进行修改微调，并基于提取的知识点精准推送资源，供学生学习。

三 智慧微课的应用与效果分析

1 智慧微课的应用场景

目前，智慧微课已在北京、安徽、浙江等地的多所学校试用，这些试用学校的教师总结出智慧微课的应用场景主要有三种：

①常规课堂教学。在常规课堂教学中，教师利用智慧微课同步录制教学现场，边讲课边录制，自动生成微课资源。教师在录制过程中依托智慧微课的语音转写引擎，既可在屏幕上实时显示转写后的文字，也可自由调节字幕的高度、字体、样式和位置。若有需要，教师还可隐藏字幕，以减少其在授课过程中对学生的干扰。如教师讲解初中一年级语文课“从百草园到三味书屋”时，通过智慧微课把该课的教学重点录制下来，生成微课视频（其微课界面如图3所示），实时转写的文字记录如同教师课堂再现，教师可于下课后分发给班上学生供复习时用。

图3 “从百草园到三味书屋”微课界面

②公开课等教研活动。教研活动通常涉及多位教研人员的参与，故及时记录教研人员的点评内容尤为重要。在公开课等教研活动中，智慧微课可以自动记录课堂教学和课后教研环节的全过程。待教研活动结束后，与会人员便可通过现场扫描智慧微课自动生成的二维码，直接带走该教研活动的课堂教学讲稿和课后点评内容。如教师在开展高中一年级地理课“大规模的海水运动”教研活动时，通过智慧微课将视频、文本、点评等相关内容进行了结构化处理，动态同步了视频与文本实录，并着重标记了重点语句。

③课前导学材料制作。随着翻转课堂的盛行，课前导学材料成为了学生课前预习的重要内容，一些具有基础性、背景性的知识内容可以通过导学材料呈现给学生。教师可以通过智慧微课制作课前导学材料，生成的微课视频可以实现自动分段、重点标注、智能检索。当学生点击转写的文字或截取的关键帧图片时，系统会自动定位到与文字或图片对应的视频位置进行播放。

2 智慧微课的应用效果分析

由于智慧微课使用简便，故自推出以来就受到了广大教师的欢迎，许多教师纷纷在自己的课堂上进行了试用。笔者通过电话访谈和实地调研，采访了10位试用过智慧微课的教师，发现智慧微课在功能设计上基本达到了预期的设计目标，且极大地减轻了教师的微课制作工作量，但同时也发现了一些新问题，可为后续产品迭代和改进提供宝贵的实践经验，具体情况如下：

①实现了一键录制式的结构化微课资源自动生成功能。作为一款基于人工智能的微课自动生成系统，智慧微课的设计初衷是做到不依靠人工、全自动地分割视频并生成微课录像及其图文混合文档。使用智慧微课的一键录制功能，可以通过语义理解与分析，进行文本的结构化处理，实现知识点的自动归类与关联；并且，通过与演示课件动态同步，学生可以精准定位课堂内容，实现对课件、文本、声音、重点知识点等课程内容的结构化处理。鉴于大多数学校现有教室环境的信息化建设水平普遍不高，为了顺利进行智慧微课的“一键式”操作并搭建“轻量化”环境，系统没有进行教师画面采集和集成分析。但在访谈过程中，有些受访教师表示还是希望能够在微课视频中集成教师真人画面。诚然，教师真人画面是影响师生教学效果的重要因素，但要实现集成真人画面的功能，就需搭建更先进的智慧微课软硬件环境——究竟哪一种方式更适合推广应用，还有待进一步的实践检验。

②语音转写准确率和知识点预测准确率较高。系统后台的统计数据显示，智慧微课的语音转写引擎能够实现中文转写的准确率高达95%，而英文转写的准确率也达到了80%，实时转写延时不超过500毫秒。此外，智慧微课还能够实现主要学科知识点的预测功能，且准确率超过75%、召回率超过70%，其预测效果评估如图4所示。但在调研过程中，也有部分受访教师反映智慧微课的语音转写引擎有点“僵化”，主要表现为教师口语化的“嗯”、“啊”、“是吧”等语气词尚不能有效过滤掉，这就需要后续产品进一步提高语音转写引擎的语气词过滤能力。

图4 主要学科知识点的预测效果评估

③智慧微课在讲授型课程中的应用效果相对较好。微课是以教师讲授为主的课程视频资源，而智慧微课的应用场景集中于讲授型课程，这与微课的定位相契合。在讲授型课程中，教师声音占主导且通常比较清晰，生成的智慧微课效果相对理想。但在互动型课程中应用智慧微课时，由于师生声源变换频繁，存在收音困难、背景音嘈杂等问题，因此还需要进一步完善智能收音、智能语音技术的研发。

四 结束语

智慧微课是人工智能应用于微课制作的一次有益尝试。《教育信息化2.0行动计划》提出要全面形成教育大资源开发利用机制，强调利用人工智能、大数据采集等技术汇聚各类优质教育资源，来实现从“专用资源服务”向“大资源服务”的转变[9]。利用人工智能技术帮助教师快速生成微课资源，有利于学校乃至区域内“教育大资源”建设目标的实现，从而推动教师的自我发展和学生的个性化学习。虽然目前的智慧微课还存在诸如语气词过滤不够、学科术语转写精度有待提升等问题，但它所展现出来的环境搭建轻便、录制过程简便、分发使用便捷等优势，顺应了未来“教育大资源”建设的发展趋势，值得研究者给予更多关注并开展深入研究和实践。

[1][9]教育部.教育信息化2.0行动计划[OL].

[2]黄了非,韦军,郭淑华,等.精品视频公开课录播模式分析与比较研究[J].实验技术与管理,2014,(8):185-187、199.

[3][5]李鑫星,刘春迪,温皓杰,等.基于语音识别的蔬菜病害视频语义标注与分割方法[J].农业机械学报,2015,(9):308-313.

[4][6]岳俊芳,陈逸.基于语义技术的微课资源建设初探——以“西方经济学”课程为例[J].中国远程教育,2017,(8):51-56、78.

[7]张一川,钱杨义.国内外“微课”资源建设与应用进展[J].远程教育杂志,2013,(6):26-33.

[8]王以宁.教学媒体理论与实践[M].北京:高等教育出版社,2007:206-213.

Intelligent Micro-lecture: The Automatic Generation System of Micro-lecture based on Artificial Intelligence

LE Hui-jin1,2HE Sheng3WANG Li-Hong4LIU Jun-Sheng3[Corresponding Author]

Firstly, through the analyses on automatic generation process of micro-lecture supported by artificial intelligent and related technologies, especially considering relevant factors, this paper designed the automatic generation system of micro-lecture based on artificial intelligence, namely intelligent micro-lecture. Subsequently, based on its design goals, the framework of intelligent micro-lecture was constructed, the key technologies adopted by intelligent micro-lecture were analyzed, and further its implementation process was expounded. Finally, three application scenarios of intelligent micro-lecture were introduced through case analysis, and the application effect of intelligent micro-lecture was analyzed. The studies showed that the intelligent micro-lecture could achieve one-click recording, generate structured micro-lecture video and text-graphic combination document. This could not only greatly reduce teachers’ workload of micro-lecture making, but also give students more space for self-regulation. Therefore, the intelligent micro-lecture was a useful attempt to apply artificial intelligence into micro-lecture production.

artificial intelligence; micro-lecture; intelligent micro-lecture; automatic generation system

G40-057

A

1009—8097（2018）11—0005—07

10.3969/j.issn.1009-8097.2018.11.001

本文为国家语委“十三五”重大课题“智能语音及人工智能技术在语言学习中的应用研究”（项目编号：ZDA135-4）、2015年度江西省高校人文社会科学研究项目“社区学习共同体的自组织实现路径及引导机制研究”（项目编号：SH1512）的阶段性研究成果。

乐会进，讲师，硕士，研究方向为混合教学、智能教育，邮箱为364021545@qq.com。

2018年8月10日

编辑：小米