“机器视觉”课程教学改革与实践

朱建江， 陈景波， 刘继承

(常熟理工学院 电气与自动化工程学院， 江苏 常熟 215500)

0 引言

数字化、网络化、智能化是传统制造业转型升级与持续发展的关键[1]。机器视觉是制造业智能化的关键技术之一，在OCR识别、工件定位识别、尺寸测量、表面缺陷检测、机器人视觉引导、工件随机抓取等场景得到了广泛的应用。旺盛的产业需求和技术应用红利带来了业界对机器视觉技术应用人才的大量需求。为此，近年来自动化、测控、计算机等传统专业纷纷开设了“机器视觉”课程，机器人工程、智能制造等新专业更是将“机器视觉”作为核心课程开设。然而，这门课程既有相机、镜头、光源等图像采集硬件知识，又有图像增强、图像分割、形态学操作、几何变换、特征提取等图像处理算法，涉及的概念复杂、理论抽象、知识点庞杂，传统的重算法原理、轻算法的实际工程应用的教学模式已经无法满足业界对应用型人才的需求。因此，如何在有限的学时内教会学生基本理论的同时，侧重培养其工程实践能力是深化课程教学改革的关键。

近年来，许多学者进行了“机器视觉”课程实践教学改革的尝试。有学者侧重校企合作，建立了机器视觉实验平台，指导学生参与校企合作项目[2]; 有学者依托机器视觉与智能检测创新实验平台，采用教师监督下的学生分组自学方式，充分发挥学生的主观能动性[3]；也有学者侧重图像处理与计算机视觉算法，采用引导问答式教学,翻转课堂，加强教师与学生之间的互动[4～6]。还有学者建立了教学资源库，通过分析学生学习过程中的差异性数据进行实验项目的个性化选择，实现精准教学[7]。这些改革取得了不错的教学效果，为应用型本科的“机器视觉”课程教学改革提供了思路。

笔者在分析应用型本科高校“机器视觉”课程教学对象的基础上，面向企业需求，分析现有教学模式存在的问题，设计典型应用教学案例，分解案例所需的理论知识和实践能力，侧重问题的分析、方案的设计以及基本算法的综合应用，开展知识点分解-综合、案例驱动式理实一体化教学。通过案例驱动的方式，激发学生学习兴趣，引导学生建立完整的知识体系，在实践中学习和综合运用理论知识，培养解决实际工程问题的能力，取得了较好的教学效果。

1 现有教学模式的不足

随着机器视觉技术的快速发展和深化应用，企业对机器视觉人才的工程实践能力要求越来越高。传统的重算法原理、轻算法的实际工程应用的教学模式已经无法满足业界对应用型人才的需求，主要不足总结如下：

1)工科教学理科化，课堂教学枯燥乏味，学生很快失去兴趣

应用型本科高校以培养应用型工程技术人才为主，考研率通常在10%左右，80%以上学生到企业就业。因此，其“机器视觉”课程不应以算法的数学推导为主，工科教学理科化模式容易使学生陷入复杂的数学公式中而脱离实际应用，满堂灌输枯燥的数学知识使学生很快失去兴趣，学到最后仍然不清楚“为什么”和“怎么用”，导致解决实际工程问题的能力有限。

2)缺少案例驱动，不注重问题分析，知识点碎片化，学生碰到实际问题无从下手

应用型本科高校是高等教育大众化的产物，其学生的综合分析能力以及学习热情不如研究型大学的学生。因此，其“机器视觉”课程不应侧重于单个基础算法的原理，缺少案例驱动的教学模式忽视了学生问题分析和知识点综合运用能力的培养，导致知识点碎片化，学生的参与度不高，碰到实际工程问题无从下手。

3)实践教学与企业需求脱节

图像采集是机器视觉工程项目开发的关键点之一，合适的图像采集方案可以有效地简化图像处理算法。设计图像采集方案是机器视觉项目开发必备的技能。然而，传统教学模式通常采用成套实验设备进行图像采集实验，成套设备对学生而言属于“黑箱”，导致学生只知其然不知其所以然，达不到实际工程项目开发的要求。另外，传统教学模式采用Matlab进行图像处理算法教学，尽管Matlab非常适用于图像处理算法研究，但实际工程项目主流的开发工具为halcon、VisionPro或Labview，基本不用Matlab。

2 案例驱动式理实一体化教学

“机器视觉”课程教学改革的总体思路是：面向企业用人需求规格，设计教学案例，采用案例驱动理实一体化教学模式进行知识点的分解、训练和综合，培养学生形成工作能力，如图1所示。

图1 “机器视觉”课程教学改革思路

通过企业用人需求规格调研，结合笔者实际工程项目开发经验，将机器视觉开发工程师应具备的能力归纳为：工件检测需求分析能力、图像采集方案设计及实验环境搭建能力、图像处理方案设计能力以及软件开发能力。针对这些工作能力的培养，结合工件定位识别、目标检测、OCR识别、缺陷检测、尺寸测量、机器人视觉引导等典型应用，设计若干教学案例，根据应用案例分解成若干基本的知识点，包括图像的色彩、灰度、形状、纹理特征分析、图像平滑、去噪、滤波、锐化等增强方法、图像分割、几何变换、形状形态学和灰度形态学操作、特征提取方法、分类器、模板匹配、视觉标定、几何测量、视觉系统与机器人系统socket通讯等。采用案例驱动的教学模式，结合实际工程案例，侧重讲解基础算法的应用场景，侧重如何选用合适的基础算法以及相关基础算法的综合应用，边讲边练，通过知识点的分解-训练-综合，达到培养问题分析、方案设计和软件开发的能力。

3 典型教学案例分析

下面通过几个典型教学案例说明“机器视觉”课程教学改革的实践过程。

3.1 monkey图像分割

在“机器视觉”课程的第一讲，笔者设计了monkey图像分割的教学案例，分割出monkey图像中的“眼睛”和“鼻子”。作为课程的第一个程序，主要教学目的是使学生建立起图像、区域、灰度等基本概念，通过具体操作使学生了解图像处理的基本流程、halcon软件的编程环境以及灰度直方图和特征检测工具的使用，培养学生分析图像的能力。该案例涉及到图像读入、阈值分割、提取连通域、形状特征提取以及结果显示等知识点。

首先，结合具体图像，讲解图像、区域、像素点的灰度、灰度梯度等基本概念。然后，进一步引导学生如何分析图像中的目标、背景，及其灰度、形状和纹理特征，如“眼睛”的圆度特征，“鼻子”的灰度值高于周边区域，“胡须”区域的灰度与“鼻子”的接近，分割时注意粘连问题等。在此基础上利用灰度特征和形状特征设计该案例的图像分割方案。最后，结合halcon软件中的灰度直方图、特征检测工具具体讲解阈值分割、提取连通域、形状特征提取等知识点以及具体编程。该案例趣味性强，学生参与度高，充分调动了学生对本门课程的学习热情。该案例的过程结果如图2所示。

图2 monkey图像分割教学案例

3.2 DIY图像采集实验

机器视觉在工程上的应用属于特定场景下的特定方案，合适的图像采集方案(打光方案、相机、镜头选型方案)是获取高质量图像的保障，可以有效地突出目标与背景的对比度，处理杂乱背景、目标遮挡、旋转缩放等问题，进而有效地简化图像处理算法。因此，设计图像采集方案是机器视觉工程项目开发必备的技能。然而，传统教学模式通常采用成套实验设备进行图像采集实验，对学生而言属于“黑箱”，导致学生只知其然不知其所以然，无法培养学生的图像采集方案设计能力和搭建实验环境的动手能力。

针对上述问题，我校的机器视觉实验室采购了面光源、环光源、条光源、球积分光源、同轴光源等不同型号的常用光源，8、12、14、16、25、50、75mm焦距的computar镜头,130万像素的basler相机以及安装台架。笔者设计了DIY图像采集实验的教学案例，主要教学目的是培养学生根据工件的具体检测需求设计图像采集方案，自主搭建实验环境进行图像采集实验的能力。主要涉及视场的确定、相机分辨率计算及相机选型、焦距计算及镜头选型、打光方式确定及光源选型实验。

在教学过程中，首先，教师审核学生的自选工件及其检测内容并给出建议。然后，引导学生对工件的检测表面进行分析，包括工件的具体形状、材质的反光与透光性、各个检测表面是否粗糙以及相关检测内容等。综合运用所学知识点进行相机、镜头的选型计算，初步确定打光方案。最后，学生组装好相机镜头并安装到台架上，根据初步确定的打光方案，在实验室内自行挑选相应的光源进行图像采集实验，用halcon软件的图像采集助手采集图像，并确定最合适的方案。该案例采用学生DIY方式，在培养学生问题分析和图像采集方案设计能力的同时，在实际动手操作的过程中，加深了学生对打光方式等知识点的理解，最终采集到自选工件的图像，学生成就感高。

3.3 水果图像目标检测

针对彩色图像目标检测应用，笔者设计了水果检测教学案例，在15张水果图片中检测出每张图片中的桔子。该教学案例的主要教学目的是使学生掌握批量处理图像、色彩空间变换、图像分割、特征提取等基本技能，建立目标检测等实际工程应用中的检测准确率、召回率、漏检率、误检率等概念，重点培养学生图像共性特征分析、方案设计及对比的能力，并锻炼软件开发能力。

教学过程中首先引导学生分析不同图像中的桔子与柠檬的共性的差异性特征，如色彩有所不同、桔子形状更圆，同时引导学生注意到不同图像中的桔子大小不一，有的甚至比柠檬小，不应以面积特征来区分。此外，对于个别圆度接近桔子的柠檬，引导学生建立“伪目标”的概念。然后，引导学生对比原图像转成灰度图后分割、原图像色彩空间变换后分割两种方案。学生自己动手编程，发现转成灰度图后，因光照不均等因素，部分图片中桔子、柠檬的外轮廓与背景的灰度值差异不明显，导致阈值分割后有粘连，15张图片只有11张完全正确检出。进而，引导学生尝试将彩色图像分解成R、G、B三个通道后再进行HSV色彩空间变换，以减少图像受光照不均的影响。其中，H(hue)表示色调，S(saturation)表示饱和度，V(value)表示亮度。将彩色图像从RGB色彩空间转换为HSV色彩空间的变换公式如下：

Max=max([R,G,B])

(1)

Min=min([R,G,B])

(2)

V=Max/255

(3)

(4)

(5)

H、S、V的取值范围为：

H∈[0,2π],S∈[0,1],V∈[0,1]

学生将图像变换到“HSV”色彩空间后，对比灰度图和“H”通道图像，发现“H”通道图像中的水果目标边缘更加锐利，如图3所示。观察图4所示的直方图后发现“H”通道图像中的目标与背景呈现典型的“双峰”结构，粘连问题得到解决。此时学生的积极性被充分调动起来，很快的完成了整个程序编程，15张图片全部正确检出，如图5所示。最后，引导学生进行总结，完成知识点分解-综合，形成解决实际工程问题的能力。该案例采用问题导向，逻辑性强，逐步引导学生参与问题分析、方案设计、方案对比到最终解决问题，课堂互动性好，教学效果好。

图5 水果图像目标检测结果

4 结语

本文面向企业用人需求，分析了应用型本科高校“机器视觉”课程现有教学模式存在的问题，设计了教学案例，分解案例所需的理论知识和实践能力，开展知识点分解-综合、案例驱动式理实一体化教学实践。通过案例驱动理实一体化教学模式，激发学生学习兴趣，培养学生问题分析、方案设计以及基本算法的综合应用能力，进而提升学生解决实际工程问题的能力。

(a)灰度图像 (b)H通道图像图3 灰度图像与H通道图像对比

(a)灰度图像的灰度直方图 (b)H通道图像的灰度直方图图4 灰度直方图对比