机器视觉在鞋机运动轨迹识别中的应用研究

丁度坤，舒雨峰，谢存禧，张 铁

（1.东莞职业技术学院，广东 东莞 523808；2.华南理工大学 机械与汽车工程学院，广东 广州 510640）

1 引言

随着人们生活水平的提高，对自身所穿着的鞋类品质提出了更高的要求，个性化定制是将会是未来鞋业发展的趋势[1]。近年来，中国经济飞速发展，我国已经代替欧美国家，成为世界上最大的鞋业出口国[1]。据中国皮革协会提供相关的统计数据显示，2005年，我国鞋类产量是100亿双，占世界的60%，2010年我国的鞋类产量是130亿双，占到了世界总产量的65%。

鞋类的制作过程，通常包括造型、裁断、装配等几大工艺流程，整鞋的装配就是其中一道非常重要的工艺，其目的是将鞋帮和鞋底装配在一起以成为最终的整鞋[2]。装配工艺的好坏，直接关系到最终整鞋的外轮廓及舒适度，乃至消费者对该产品的最终认同感。鞋类的装配常见的有胶粘、缝制、模鞋、注塑及硫化等几种方法。其中以胶粘工艺因其流程简单等优点，成为了应用最广泛的装配工艺。据中国皮革协会统计，目前市场上80%以上的鞋子所采用的装配方式都是胶粘工艺，它是用粘胶剂将鞋帮、内底和外底粘合在一起的一种方法[3]。目前，制鞋的胶粘工艺基本上还是由工人手工完成，涂胶的质量，容易受到工人情绪、健康及操作熟练程度的影响，无法保证涂胶厚度的一致性，同时涂胶过程中所挥发出来的气体含有苯等剧毒元素，对工人的健康影响也很大。

实现涂胶过程的自动化，具有巨大的社会及经济效益。在鞋类自动涂胶机生产领域，国外的以意大利、法国的涂胶机较为知名。例如，意大利的Cerim公司开发了一种涂胶机，采用机器视觉自动识别鞋子的大小和形状，将相关信息输入给控制系统，再由控制器驱动5根轴联动，使得涂胶手臂能够在空间不同角度执行涂胶作业；法国的ACTIS（丰雅）公司研制了一条涂胶生产线，以6轴工业机器人为核心，实现不同工艺间的连接[4]。目前我国的自动涂胶设备大多数制造企业仍处于仿制的阶段，而且相关的功能单一，具有核心技术自主知识产权的企业还较少。

在鞋底运动轨迹的自动识别方面，国外的例如文献[5]采用结构光+机器视觉系统测量鞋底轮廓，获取鞋底轮廓点数据，引入NURBS曲线进行点插补；文献[6]先对鞋底进行三维CAD扫描，由此来获取涂胶运动轨迹。国内的例如文献[7]基于鞋底的CAD模型，通过读取鞋底CAD模型里的数据，获取到了涂胶点云数据，再对所获得的点云数据进行插补；文献[8]中对涂胶路径的规划进行研究，在获取到鞋底点数据的基础上，用蚁群算法，以最短路程构造优化模型，生成最优的涂胶路径。从未来的发展来看，最新的机器人、人工智能、物联网以及机器视觉技术在制鞋等生产制造领域的应用是趋势[9]。因此，研究了一种基于机器视觉的中后帮涂胶机运动轨迹识别新方法，在自主研发的涂胶机上，引入视觉检测技术，在自然光条件下，实时采集鞋底中后帮图像。在此基础上，用最新的GA人工智能方法，自动获取最优阈值，得到理想的鞋底二值化图像，并进行了边缘提取，为后期的涂胶轨迹生成奠定基础。

2 自开发中后帮鞋机自动涂胶系统

课题组自主开发了中后帮自动涂胶机，如图1（a）所示。其硬件架构，如图1（b）所示。主要包括了机械本体、工控机、运动控制器、伺服驱动器、交流伺服电机、图像采集卡及CCD相机等。其中工控机主机、运动控制器、伺服驱动系统及图像采集系统安装于床身之内，人间交互通过与主机相连的触摸屏及控制柜上的按钮实现。机械本体主要包括了涂胶进给Y轴、左涂胶X1轴及右涂胶X2轴，三个轴均由交流伺服电机驱动。工作时，随着Y轴的进给运动，X1轴及X2轴上的涂胶枪将逐渐偏离鞋底轨迹。此时，CCD相机实时采集鞋底信息，将运动点坐标反馈给工控机，以驱动左右涂胶轴对涂胶过程的运动轨迹进行实时跟踪，从而实现涂胶过程的自动化。

图1 自开发涂胶机及其硬件架构Fig.1 The Developped Gumming Automatic Shoe Machine and its Hardware Structure

3 基于遗传算法的中后鞋底图像识别研究

自然界的生物在与外界恶劣环境的抗争中，不断进化，只有适应环境的生物，才能够生存下来，并不断的繁衍总群，没法适应自然界环境的生物将惨遭淘汰。遗传算法是对自然界生物“优胜劣汰”机制的一种模拟，目前在机器人运动控制、寻优计算、信息处理等各领域得到了广泛应用。利用遗传算法强大的寻优迭代功能，实时获取最优的鞋底图像阈值[10]，提高图像分割效果。

3.1 鞋底图像灰度的编码及解码

初始的染色体总群由计算机随机生成，以代表图像的灰度等级。定义每条染色体个体包含8个基因位，基因位的取值为0或1，初始染色体个体的基因位取值由计算机随机产生，染色体个体解码，如式（1）所示：y=a8×27+a7×26+…+a1×20（1）

式中：y—鞋底图像的分割阈值，取值范围（0～255）；ai—图像灰度染色体个体第i位的数值，ai=0或1。

3.2 鞋底图像阈值适应度函数

将图像灰度的最大类间方差函数定义为灰度染色体个体的适应度函数。假设当前图像的阈值为k（0≤k≤255），C0灰度级为［0，1，…，k-1］的像素类，C1为灰度值为［k，k+1，…，L-1］的像素类，则图像灰度的类间方差定义如下[10]：

式（2）中各参数的表达式如下：

3.3 遗传操作

遗传算法来源于自然界的生物进化理论，对生物的遗传、选择与变异操作进行了数学化的模拟，以获取问题的最优解，具体的操作流程如下[10]。

3.3.1 选择与复制

选择与复制操作基于生物的“适者生存”原则，从总群中挑选适应度最高的个体进行复制，个体的适应度越高，其产生的后代个体也更多，从而使得优秀生物个体的遗传信息能够更好的传递下去，选择与复制操作原则如式（4）所示。

式中：gi—第i个灰度个体产生的后代个体数目，单位：个；N—生物总群中个体总数，单位：个；f（di）—第i个图像灰度个体的适应度。

3.3.2 交叉

交叉操作体现了自然界生物通过交换遗传信息来创造新个体的机制，首先确定要交叉的基因位置，然后将亲代生物个体左边或右边的染色体片段进行交换，由此产生新的生物个体，以期望能够得到适应度更高的生物个体，其过程，如图2所示。

图2 交叉操作Fig.2 The Crossover Operation

3.3.3 变异

在自然界中，当生物受外界某些偶然因素的影响时，其基因位可能发生变异，由此创造出全新的生物个体，进而产生了适应度不同的新个体，遗传算法的变异操作就是对自然界生物这种变异现象的模拟。具体的过程为首先定义一个图像灰度个体变异的概率值及总群的变异阈值，灰度个体的变异值由计算机随机产生。当个体的变异值大于总群的变异阈值时，图像灰度个体将发生变异，即图像灰度个体中的基因位的数值将发生逆转（0变为1，或者1变为0），如图3所示。

图3 变异操作Fig.3 The Variation Operation

4 基于遗传算法的中后帮鞋底轨迹识别

4.1 中后帮鞋底图像预处理

基于图1的系统，在自然光条件下，采集中后帮鞋底图像，如图4（a）所示。由图4（a）可以看出，由于未采用外加光源，图像较为昏暗，对比度不足。与此同时，在鞋底的周边还充斥着夹具、各种装夹螺钉等机械部件的干扰。为改善图像质量，提高鞋底与周边机械部件的对比度，对图像进行了中值滤波及灰度增强处理，处理后图像如图4（b）所示，由图4（b）不难看出，经过预处理后的图像，亮度得到提高，对比度显著增强，但鞋底周边的干扰信息也得到了增强。

图4 预处理前后鞋底图像Fig.4 The Shoe Images Before and After Preprossing

4.2 基于遗传算法的鞋底运动轨迹提取

由图4的分析可以看出，图像预处理在增强图像对比度的同时，鞋底周边的干扰信息也被强化了。必须选择最优的图像分割阈值，以去除鞋底图像周边的夹具、各种装夹螺钉等干扰信息。研究了基于遗传算法的鞋底图像阈值分割算法，以获取最优的图像分割阈值。初始的图像灰度个体由计算机随机产生，将图像灰度总群个体数设为400，每个灰度级个体包括8个基因位，基因位取值分别为｛0，1｝。按照解码公式（1），个体解码后的数值对应图像的（0-255）共256个灰度等级，灰度个体交叉概率设为0.6，总群变异阈值设为0.001，总群代数设为100代。如前所示，GA算法分别包括了图像灰度个体的随机生成、选择、交叉、变异等遗传操作。通过算法的不断迭代，使总群中灰度级个体的适应度不断提高，直到个体的适应度收敛于某一个限定值，即个体的适应度不再提高了为止，图像最终的阈值处理效果，如图5（a）所示。普通的ostu阈值法处理效果，如图5（b）所示。

图5 GA与Otsu处理后图像Fig.5 Images After GA and Ostu Process

由图5（a）的图像阈值处理结果不难看出，与传统的Ostu算法对比，基于GA的自动阈值处理能够获取到更优的分割阈值，有效地去除鞋底周边机械部件的干扰，准确地定位到鞋底区域，在去除周边干扰信息的同时，较好地保留了鞋底图像。从图5（a）也可以看出，在中后帮鞋底图像的周边存在一些孤立点的干扰。为去除这些干扰，对图5（a）的图像进行了数学形态学处理，如图6（a）所示。同时进行了边缘检测，得到了较为理想的鞋底边缘，如图6（b）所示。在忽略机械本体误差的前提下，鞋底轨迹图像误差由图像数学形态学的腐蚀处理造成，最终的图像误差为±0.03mm。

图6 后期处理后图像Fig.6 Image After Post Process

5 结论

（1）自主开发了中后帮鞋底自动涂胶机系统，引入了视觉检测方法，采集鞋底图像，并自动保存至计算机硬盘；（2）在自然光条件下，对采集到的鞋底图像进行了中值滤波及灰度增强处理。在此基础上，研究了基于遗传算法的图像阈值算法，获取最优的图像分割阈值。结果表明，与传统的ostu算法相比，基于遗传算法的图像分割能较好地去除周边机械部件及由于亮度不均所带来的信息干扰，准确提取鞋底信息；（3）对阈值分割后的图像进行了数学形态学处理，以滤除鞋底周边的孤立点，并用边缘检测算法较好地提取了鞋底轮廓的边缘，最终的图像误差为±0.03mm，为后期的鞋底运动轨迹生成奠定基础。

［1］李波.基于变形控制的涂胶机器人结构优化设计［D］.南昌：南昌航空大学，2013.（Li Bo.A structural optimization of spraying robot based on the deformation errors control［D］.Nachang：Nanchang Hangkong University，2013.）

［2］赵燕伟，钟允晖，陈建.基于制鞋涂胶工艺的机器人喷涂速度控制研究［J］.机械设计与制造，2013，42（3）.（Zhao Yan-wei，Zhong Yun-hui，Chen Jian.Study on the speed control of robot spraying based on shoemaking glue process［J］.Machine Design and Manufacture，2013，42（3）.）

［3］郝根旺.基于机器人的制鞋成型过程智能控制策略设计［D］.大连：大连理工大学，2014.（Hao Gen-wang.The design of intelligent control strategy for shoemaking assembly process based on robot［D］.Dalian：Dalian University of Technology，2014.）

［4］汪安国.甚干结构光的鞋底信息提取与机器人喷胶轨迹生成方法研究［D］.杭州：浙江理工大学，2010.（Wang An-guo.Research on the methods for shoe information extraction basedonstructurelightandrobotgummingpathgeneration［D］.Hangzhou：Zhejiang Sci-Tech University，2010.）

［5］Hu Zhongxu，Bicker Robert，Taylor Paul.Computer vision for shoe upper profile measurement via upper and sole conformal matching［J］.Optics and Lasers in Engineering，2006，45（1）.

［6］Kim，J.Y.CAD-based automated robot programming in adhesive spray systems for shoe outsoles and uppers［J］.Journal of Robotic Systems，2004，21（11）.

［7］武传宇，贺磊盈，李秦川.基于CAD模型的鞋底喷胶轨迹生成方法［J］.计算机辅助设计与图形学学报，2008，20（5）.（Wu Chuang-wu，He Lei-ying，Li Qin-chuan.CAD-based method for generating spraying trajectory of adhesive on shoe soles［J］.Journal of Computer-Aided Design&Computer Graphics，2008，20（5）.）

［8］胡小兵，黄席樾.基于蚁群算法的三维空间机器人路径规划［J］.重庆大学学报，2004，27（8）.（Hu Xiao-bing，Huang Xi-yue.Path planning in 3-D space for robot based on ant colony algorithm［J］.Journal of Chongqing University，2008，20（5）.）

［9］拜颖乾，赫东锋，刘波.表面贴装LED全自动编带机视觉检测系统研制［J］.机械设计与制造，2013（7）.（Bai Ying-qian，He Dong-feng，Liu Bo.Led of automatic taping machine visiondetectionsystemdevelopment［J］.MachineryDesign&Manufacture，2013（7）.）

［10］段海滨，张祥银，徐春芳.仿生智能计算［M］.北京：科学出版社，2011.（Duan Hai-bin，Zhang Xiang-yin，Xu Chun-fang.Bionic Intelligent Computing［M］.Beijing：Science press，2011.）