面向工业应用视觉检测的数字图像处理课程实践与探索

王红一 陈继威 宋丽梅

摘  要  视觉检测技术在工业领域的应用日渐广泛，有必要对数字图像处理课程实践内容进行探索和改革，以提高课程价值。在实践教学中，以项目开发为牵引，将理论知识融入需求分析、方案设计和运行测试等各个环节，涵盖工业生产领域应用到的多方面数字图像处理技术，实现课程教学与工程实践的有机融合，培养学生的实践能力、创新意识、科学素养和社会责任感。

关键词  数字图像处理；视觉检测技术；实践教学

中图分类号：G642    文献标识码：B

文章编号：1671-489X（2022）07-0087-03

0  引言

工业的飞速发展对视觉检测技术和人工智能技术人才的需求与日俱增。数字图像处理是一门融合了计算机科学及信息学等多个学科的交叉课程，是学生学习机器视觉和人工智能等专业课的基础。该课程主要是让学生学习数字图像处理基础知识，掌握相关算法原理，提高学生解决实际问题的系统思维能力，并能通过自主编写相关程序代码和自主设计逻辑算法来完成项目开发。如何进行课程设计和课程实践来激发学生的学习热情，提高学生在课程、科研项目等实践中发现并解决问题的能力，提升综合素养和能力，是课程教学中值得深入探索的问题[1-2]。

本次教学改革针对课程实践环节，主要从工业应用角度出发，设计以工业产出为导向、以项目任务为驱动的容纳丰富数字图像处理算法的实践教学案例，注重项目开发过程的完整性，实现课程教学与工程实践的有机融合，让学生通过参与面向工业应用的视觉实践项目开发，提高运用课程相关技术解决视觉检测项目工程实际问题的能力，成为数字图像处理等领域的高素质人才。

1  存在的问题

在实际教学实践中，学生普遍存在基础理论不牢固、编程基础薄弱等问题，很难快速理解课程的知识体系。数字图像处理课程实践存在以下问题：

1）课程的实验内容缺乏综合性和创新性，没有增加与实际工业应用有关的前沿技术实验，忽视对学生综合能力的培养，难以锻炼学生对新技术的快速学习和应用能力，从某种程度上限制了对学生创新、实践能力及科研能力的培养；

2）课程实践内容没有紧跟当前实际工业发展趋势，与真实企业工业生产应用的技术存在很大的差异，学生对相关领域发展及行业前沿了解不清晰，难以适应科技和产业的发展需求；

3）教学过程中忽视了课程其他方面育人功能的挖掘，没有让学生认识到学习数字图像处理课程的意义和作用，缺乏对学生社会责任心和民族使命感的培养。

2  课程改革的主要目标及基本思路

针对以上问题，本文以提升学生的综合实践能力为主要目标，通过面向工业生产项目的开发实践，挖掘课程内涵，实现对课程的改革及探索，提高课程教学质量。课程改革的基本思路是以工业产出为导向，以图像处理领域的实际工程问题为驱动，通过大量实践活动激发学生对课程相关专业知识的学习兴趣，培养学生解决实际问题的能力。在以项目开发为牵引的教学实践环节，学生对项目任务进行需求分析，对解决方案进行可行性设计和讨论，并在实践上机时对所设计的方案进行实现、运行测试等，真正地将理论知识应用于实践。同时，在对项目需求进行分析调研时，要了解数字图像处理领域的前沿技术及发展现状，这有助于学生开阔眼界、明确目标、增强自信。

3  课程改革的具体措施

视觉检测技术在诸多工业领域均有迫切的应用需求，如工厂中人员入侵检测、安全帽检测、烟雾明火检测、设备运行故障检测等，这些视觉检测应用均需要用到数字图像处理技术。在进行课程实践案例设计时，应尽量选择对图像处理知识包含全面、实验数据易于采集、可实现性强的项目，使学生能够尽快熟悉课程项目内容，能够在学习课程内容后结合查阅资料以及小组合作等方式完成课程实践任务。

在智能化生产过程中，基于智能视觉检测技术，产品的生产制造从自动化变成智能化，极大地提高了工业生产的效率。在水泥加工、石油化工、纺织、智能制造等诸多行业中，基于数字图像处理技术的工业应用有很多，如利用深度学习、图像处理等技术对产品进行质量检测及类型识别，工业现场对工作人员的识别和跟踪等，都迫切需要先进的图像处理技术。本次课程实践改革以纺织工业领域的视觉检测任务为依托，把课堂教学打造成以案例构思、设计、实现和运行为生命周期的素质训练环境。

3.1  基于数字图像处理技术的织物纤维检测识别实践

以织物纤维检测识别为实践案例，该实践项目的任务是通过数字图像处理及识别技术实现显微图像中棉、麻、毛、丝类型的识别。在项目实践前期，要进行大量的项目调研工作，了解项目的具体需求、国内外研究现状、需要用到的核心算法及需要用的软硬件设备等。明确研究目标之后，就要根据调研的结果给出设计实施方案，理清项目的开发思路。之后，进入织物纤维检测识别项目的开发阶段，利用图像设备采集课程实践项目所需要的纤维图像，并利用所学课程知识进行图像处理。

利用电子显微镜采集到的棉、麻、毛、丝四种织物纤维的显微图像如图1所示。该项目可采用卷积神经网络模型（CNN）进行织物纤维的分类识别，其基本处理步骤包括图像去噪、图像细化、图像样本制作、图像识别。首先，组织学生对采集到的原始图像进行处理，并将学生分组来完成图像去噪等工作。其次，进行形态学膨胀、腐蚀，提取出纤维轮廓信息，并利用中轴变换算法提取出纤维走势的骨架信息。最后，运用整体批量裁剪与随机裁剪两种方法得到固定尺寸的样本图像，并经过图像的翻转与旋转扩充数据样本集。

该项目实践采用的是卷积神经网络模型。在织物分类识别模型训练阶段，组织学生学习与神经网络等相关的知识，指导学生学习关于深度学习超参数调节的知识，自主探索模型输入数据、学习率、迭代次数等参数设置过程，对项目模型不断地训练，最终根据评估指标及实验验证得到识别效果较好的模型，并组织学生分享项目实践学习经验。

在织物纤维图像识别项目实践过程中，学生运用到数字图像处理的图像灰度变换、图像几何变换、图像滤波、图像分割、图像裁剪和图像识别等方面的理论知识。在实践报告中，学生通过分析实践案例需求，利用课程相关技术解决了一些实际的问题。只有帮助学生全面系统地掌握这些数字图像处理的基础理论，学生在实践中及以后的工作中才能灵活运用这些知识解决工业生产的实际问题。同时，学生也通过实践案例提出很多自身的理解和非常有意义的问题，如提出可以利用其他网格搜索等优化算法帮助进行网络模型超参数调节来提高模型的识别准确度，不一定样本数量越多模型效果就越好等。

3.2  基于数字图像处理技术的织物缺陷检测实践

织物缺陷检测是纺织工业中产品质量监控的必要手段，基于视觉的织物缺陷检测方式已受到普遍认可。基于数字图像处理技术的织物缺陷检测实践项目的任务是利用数字图像处理课程相关技术，结合计算机软件基础知识、高级语言程序设计等知识，实现对织物瑕疵产品的在线检测，完成生产线产品质量的在线监控、产品品质等级的自动筛选、目标的定位及跟踪等。对项目进行方案设计，可设计为四个主要模块：图像预处理模块、定位检测模块、特征提取模块、图形界面设计模块。最终开发的程序应能实现缺陷的定位、缺陷特征提取、缺陷类型识别、等级分类等多种需求，能达到提高产品生产效率和制造质量的效果。在课程实践过程中，以小组合作分工的形式组织学生完成该系统设计。在课程实践结束前组织学生进行课程实践汇报及经验交流分析，分享实践过程中遇到的技术问题、图像处理经验、课程技术知识、前沿技术等。

在此项目中，为了准确地检测织物缺陷，需对图像进行全面的预处理操作，并提取图像的多种颜色、形状和纹理方面的图像特征，再对提取到的特征进行特征筛选和降维处理，最后定位并识别织物缺陷。这一实践项目较全面地涵盖了数字图像处理的基本处理技术，适用于数字图像处理课程实践。

通过以上两个工程实践案例可以看出，在实践教学中引入实际项目开发任务，既能激发学生的学习兴趣，又能巩固学生对课程理论内容的掌握，还能掌握解决工程问题的基本方法，同时深入了解工业的实际需求。学生通过亲自参与实际工程项目开发实践，可以利用课堂所学知识解决实际的工程问题，提升实践能力和行业竞争实力。同时，学生参与项目调研，可以深入了解行业前沿技术及发展方向，了解数字图像处理技术的发展历程。面向工业的实际项目也帮助学生了解了视觉检测技术在当前工业检测领域的迫切需求，提升了学生的社会责任感和专业认可度，锻炼了学生合作解决实际问题的能力，巩固了课堂所学知识。

4  结束语

本次数字图像处理课程实践改革，注重项目实践的完整性，包含需求分析、解决方案设计、程序开发实践和运行测试等多个环节，并且尽可能多地容纳数字图像处理中的多种技术，帮助学生全面掌握专业知识，培养学生的实践能力、创新意识和科学素养，使学生了解行业前沿技术和发展现状，加深对数字图像处理课程的认识和自身专业的理解，培养学生的社会责任感，增强学生为实现中华民族伟大复兴而努力奋斗的决心。

参考文献

[1] 王云发，程鑫桥，黄飞，等.基于卷积神经网络的  亚麻与棉自动识别系统[J].纺织检测与标准，2018，4（6）：19-23.

[2] 邵金鑫，张宝昌，曹继鹏.基于图像处理与深度学习方法的棉纤维梳理过程纤维检测识别技术[J].纺织学报，2020，41（7）：40-46.

[3] 刘畅荣，王志勇，王玉蝶.工程教育视域下高校人才核心素养培养体系的重构[J].中国教育技术装备，2021（11）：6-7.

[4] 李雯雯.高校创新创业教育观念变革的构想研究[J].科技与创新，2021（15）：114-115.

[5] 陆蕊.模式识别及其在图像处理中的应用研究[J].大众标准化，2021（16）：122-124.

*项目来源：天津工业大学2021年度研究生课程思政示范课程培育项目“数字图像处理与模式识别”（YJS202128）；

“纺织之光”中国纺织工业联合会高等教育教学改革项目“面向纺织行业的智能视觉课程内容改革及课程思政建设”（2021BKJGLX728）；中国学位与研究生教育学会研究课题“研究生个体成长与能力提升的影响因素研究”（2020MSA388）。

作者：王红一，天津工业大学人工智能学院，副教授，博士，主要研究方向为数字图像处理、智能检测技术；陈继威，天津工业大学控制科学与工程学院，主要研究方向为大数据分析、智能建模；宋丽梅，天津工业大学人工智能学院，教授，博士，主要研究方向为机器视觉、三维光学测量（300387）。