基于机器视觉的蚕茧分选综合实验系统

邵铁锋，唐建祥，廖艺真

（中国计量大学 工程训练中心，浙江 杭州 310018）

制造业是国家发展的基石，当今世界很多国家都纷纷提出了振兴制造业的国家战略[1-2]。智能制造不仅对生产的产品提出了更为严苛的要求，对智能制造人才的专业性和复合性等也提出了新的要求。为适应新时代的发展，培养符合新工科要求的高素质综合型的人才[3-5]，高等院校培养机械工程师就需要让学生掌握扎实的理论基础，同时需要培养学生的产品设计能力和对产品进行试验调试的应用动手能力[6-8]。

实验教学承载着学生实践能力、创新能力、分析问题和解决问题能力培养的重任[9-10]，对学生深刻掌握理论知识起到重要的作用。为满足我校机械电子工程专业的教学培养目标，培养符合新工科背景的智能制造业人才，解决现有的教学实验平台大多存在综合性不强、学生实操性低等问题[11]，本文将教师科研成果部分内容转化为实验教学资源，设计开发了蚕茧分选综合实验系统。该系统利用机器视觉技术实现不同种类蚕茧的识别与分选。根据蚕茧缺陷特征的多样与不确定性等特点，实验系统通过相应的机械装置，实现了蚕茧立体图像采集，在Visual Studio 2013 的开发环境下，结合 OpenCV 和 MFC 两个资源库进行蚕茧表面图像的处理，并将处理结果发送至下位机嵌入式控制系统，实现不同种类蚕茧分选操作。系统有机融合了机械设计[12]、图像处理[13]、嵌入式系统控制[14]、产品信息管理[15]等技术，能有效地完成机械和自动化等专业的基础性教学实训任务。

1 实验要求

该实验系统主要用于本科及研究生实验教学，使学生了解智能制造关键技术，培养学生的图像采集与识别、机械设计、嵌入式控制、企业信息化管理等方面的研发能力。学生需要了解的知识点包括：①机械设计基础知识。利用CAD 软件，实现产品零件设计，并利用3-D 打印技术，完成产品样机装配和调试。②嵌入式控制系统基础知识。设计并制作控制系统，包括传感器检测电路、嵌入式最小系统电路、电机控制电路设计、接口技术、嵌入式程序开发等，实现装置控制、光源控制、图像采集装置触发、与上位机通信等功能。③图像处理基础知识。利用OpenCV 等资源库，在Visual Studio 开发环境下实现蚕茧表面图像的处理与缺陷识别，并将识别结果通过串口发送至嵌入式控制系统。④信息化管理技术。开发蚕茧分选信息化管理软件，存储、统计、分析不同时间段、不同批次、不同产地的蚕茧分选结果，并出具相应的质量分析报告。

2 实验系统设计

2.1 实验系统整体结构

实验系统硬件部分主要由蚕茧分选辅助装置、嵌入式控制系统、图像采集系统、计算机组成，如图 1所示。

图1 实验系统硬件组成

（1）蚕茧分选辅助装置：主要包括翻茧机构、蚕茧分离机构、分选执行机构等。翻茧机构通过翻转蚕茧的方法辅助相机采集蚕茧茧层表面的完整图像；蚕茧分离机构将图像采集完成的蚕茧从翻茧机构中与未完成图像采集的蚕茧分离；分选执行机构根据计算机图像识别结果，分选分离后的蚕茧，将其放入不同的通道。

（2）嵌入式控制系统：嵌入式控制系统采用STM32系列单片机作为主控单元，与计算机通过串口（如RS485）通信，配合实现对装置的控制。主控单元通过 MOS 管控制装置中相机光源的开关状态，通过光电传感器获得各工位工作状态，同时采用专用电机驱动模块 TB6612FNG 实现装置中直流电机的启停、正反转控制。

（3）蚕茧图像采集系统：主要包括工业相机、工业定焦镜头、相机光源等。采用LED 光源落射照明和背照式照明两种方式为系统提供照明。

2.2 实验系统工作流程

蚕茧分选装置的整体结构如图2 所示。蚕茧经过单粒化处理后，经由传送带与拨茧机构将蚕茧送入翻茧机构。实验装置主要工作流程如下：

（1）蚕茧进入翻茧机构后，系统打开光源，第 1次采集蚕茧图像。

（2）翻茧机构实现蚕茧360°翻转，系统在蚕茧翻转的同时继续采集图像，实现蚕茧茧层图像完整采集。

（3）图像采集完成后，蚕茧分离机构将蚕茧推落至分选执行机构中，同时由计算机对采集到图像进行处理和识别，判断蚕茧的类别。拨茧机构送入下一粒待检测的蚕茧，并重复流程（2）。

（4）计算机将识别结果通过RS485 发送至嵌入式控制系统。系统根据处理结果控制分选执行机构将蚕茧送入到相应的通道中，实现蚕茧的分选。

图2 蚕茧表面图像采集与分选装置的整体结构示意图

3 实验项目开发

3.1 机械设计类实验

该类实验主要让学生了解蚕茧分选过程，并拆解拨茧机构、蚕茧分离机构、翻茧机构、分选执行机构。在了解其中的机械结构与工作原理的基础上，重新设计方案，并利用 Solidworks、AutoCAD 等 CAD 软件进行三维建模，再利用3-D 打印技术，完成零件加工与装配。实验项目可以提高学生的机械设计能力、三维建模能力和绘制机械图纸的基本能力。下面以翻茧机构设计为例说明。

翻茧机构的整体结构如图3 所示，翻茧机构的设计核心是实现蚕茧360°表面与蚕茧两端完整茧层图像信息的提取。因此，实验参考方案为利用两滚轴实现蚕茧翻转，并在蚕茧两端安装平面镜，实现蚕茧两端图像获取。此外，在两滚轴之间安装强光源，用于采集蚕茧内部图像信息。该实验包括齿轮传动设计、翻转轴设计与装配等。

图3 翻茧机构整体结构图

3.2 嵌入式控制系统设计实验

嵌入式控制系统设计实验主要分为两个方向：硬件电路设计和软件设计。实验目的是让学生掌握嵌入式软硬件开发的能力。硬件电路设计内容是根据系统需求选择相应的传感器，确定电机型号，进行元器件选型，采用Altium Designer 等CAD 软件设计系统原理图和PCB 图，完成电路板加工、焊接与安装。硬件电路组成如图4 所示，主要包括单片机最小系统电路设计、光电传感器读取电路、串口通信电路、电机驱动电路、光源驱动电路等。软件设计内容是根据系统需求及硬件电路选型，采用 KEIL 等集成开发环境，设计相应驱动程序。程序模块主要包括初始化子程序、串口通信中断服务程序、翻茧子程序、推茧控制子程序、分选执行子程序等。各模块的子程序独立设计，由主函数根据计算机发送的指令进行调用。最终与硬件电路一起完成程序调试，实现对装置的控制。

图4 装置整体控制结构图

3.3 计算机软件开发实验

在 Visual Studio 2013 的开发环境下，结合OpenCV、MFC 等资源库实现蚕茧表面图像处理与识别、蚕茧信息化管理。

1）图像处理算法设计实验。

本实验目的是使学生掌握图像处理的一般流程及相应的图像处理算法。图像处理算法的目的是将采样获得的图像去除多余的背景区域，仅保留蚕茧茧层表面图像区域，并完成蚕茧疵点识别。其程序流程分为以下7 个步骤：①根据所标记的坐标点对原图进行感兴趣区域（region of interest, ROI）选取；②将 ROI区域图像转换为灰度图像并确定二值化阈值，完成图像分割；③去除背景噪音，选择连通域；④根据蚕茧形状的特殊性，运用Canny 算法提取蚕茧区域的边缘轮廓[16]，根据Fitzgibbon 提出的直接最小二乘拟合算法对提取到的蚕茧边缘轮廓进行椭圆拟合[17]；⑤针对拟合完成的图像，进行旋转、展开、拼接等操作，得到直观的茧层表面图像并保存；⑥提取疵点图像，并计算疵点面积大小与种类。

2）面向对象软件开发实验。

面向对象软件开发编程实验的目的是让学生掌握面向对象的C#编程语言和OpenCV 库，在Visual Studio开发环境下完成相应软件开发。软件界面如图5 所示。主要实现以下功能：①实现摄像头与光源控制；②实现与嵌入式系统通讯，从而控制装置运行；③实现图形处理算法，完成疵点分析；④保存图像与分析结果，出具统计报告。

图5 软件界面

4 结语

本文设计了蚕茧分选综合实验系统，涵盖了机械、电子、计算机技术、图像处理技术等多方面实验，综合了多门学科知识，可以满足培养新工科背景的复合型人才的需求。同时，相对拔尖的学生可以在此平台的基础上，参与教师科研，进一步探索蚕茧分选方法与装置，使实验系统进阶化、创新化和工程化。该实验系统将科研与教学融合，实现了工程项目到实验项目，实验项目再到工程项目的循环，调动了学生的主观能动性，锻炼了学生的研究性创新思维，提升了实验教学质量。