缝合机器人自主规划与协调控制系统设计

何俊杰，李金钟，王天琪，武永盛，侯仰强

（天津工业大学 天津市现代机电装备技术重点实验室，天津 300387）

复合材料因其耐腐蚀、强度高、热稳定性强等特点[1]，已广泛应用于航空航天、汽车等行业[2].同时，随着机器人技术的发展[3]，机器人逐步取代了人工操作，特别是在恶劣的工作环境下不仅安全性、稳定性得到了很大的提升，更使得劳动效率及劳动成本得到了优化，因此机器人缝合技术成为复合材料研究领域的焦点.德国的KSL公司对基于工业机器人的三维复合材料机构件的单边缝合技术进行了一定的研究[4-5]，该技术日趋成熟，已经应用到机翼、挡板等飞机部件的生产当中，由于航空领域的敏感性，该技术已经被封锁；国内关于单边自动化缝合的技术发展较晚，目前的缝合机器人为了提高其适用性已装备了一些传感器来感知周边工作环境[6]，可以满足一些简单平面形状缝合预制件的自主缝合，但是对于一些曲面造型的缝合预制件工作方式仍多为人工示教再现的形式，其灵活性与柔性受到了很大限制.

本文针对空间曲面形状的缝合预制件的自主缝合问题，通过三维扫描技术对缝合预制件进行三维信息采集与处理得到接缝特征信息；并提出一种缝合机器人位姿自主规划算法，对缝针位姿进行规划，进而对三维织物进行自动化缝合.

1 系统的构成及原理

缝合系统硬件主要由工控机、三维光栅扫描仪、ABB机器人和单边缝合装置组成，如图1所示.其中视觉系统采用Eye-to-Hand[7]方案采集缝合预制件三维信息，通过对三维光栅扫描仪获得的预制件整体点云数据进行处理得到接缝特征点信息.

图1 系统结构图Fig.1 Diagram of system structural

1.1 基于双目视觉的三维光栅扫描仪

双目视觉是三维扫描技术中最常用的技术之一，具有扫描效果好，精度高等优点[8-9].其工作原理如图2所示，通过计算空间中的一点P在2个摄像机上所成像的位置分别得出2条直线O1P、O2P方程，通过求解直线的交点，即可求得世界坐标系中点的空间坐标.

图2 双目系统成像原理Fig.2 Imaging principle of binocular system

本文采用Cposmini三维光栅扫描仪对缝合预制件进行扫描，在摄像机中间添加光栅设备，可以显著提高系统扫描的精度与速度.通过固定位置的三维扫描设备与旋转转台相互配合即可对整个缝合预制件的全部表面进行扫描采集.

1.2 控制系统设计

采用具有中央处理单元功能的工控机作为系统控制的主要设备；中央处理单元用于处理获得的预制件点云并在离线编程系统[10]中运用自主规划算法实现对缝针位姿的计算.单边缝合设备作为执行机构装载于ABB机器人末端，缝合工位控制采用Profibus现场总线技术组态S7-200xpsi与S7-300cn，由S7-300cn实现整个系统的协调，采用S7-200xpsi完成缝针运动控制，进而通过对整个网络的监控完成缝针运动与机器人运动的协调控制.系统工作原理图如图3所示.

图3 系统工作原理图Fig.3 Principle of system

2 数据采集及自主规划

2.1 接缝特征采集

本文通过cposmini三维光栅扫描仪对玻璃纤维缝合预制件点云数据进行采集.预制件点云如图4所示.

图4 预制件点云Fig.4 Point cloud of preform

由图4可以看出，由于所提取的预制件点云数据接缝处存在较大的曲率变化值，本文运用高斯曲率极值点对点云数据进行处理[11]；设j1、j2为点云数据上一点的2个主曲率，j=j1×j2即为该点的高斯曲率，高斯曲率体现的是曲面的弯曲程度，对于散乱点云特征点的提取具有较现实的意义；由于织物厚度的关系，织物搭接处存在2条曲率存在较大变化的位置；在求得2处点云特征点的情况下，通过求取2处特征点的坐标平均值作为接缝实际位置，并通过一定的偏移技巧求出实际的缝合位置的点云数据，对获得的点云进行处理，结果如图5所示.

图5 缝合处点云坐标Fig.5 Coordinates of Stitching

2.2 缝合机器人缝合轨迹规划

得到的接缝中心处点云后，在所获得的预制件点云的基础上分别求取与接缝处中心点云相距不同距离的3处点云，以中间位置的点云位置作为实际缝合位置，两边点云位置作为辅助缝合位置，根据3处点云数据，以中间点云处数据为主，如图6所示.

图6 邻近点分布图Fig.6 Distribution of adjacent points

根据最邻近点算法分别取其周围8个邻近点进行平面拟合，求取所拟合平面的垂向量作为位姿坐标系的Z轴，该点到下一点的连线作为位姿坐标系的X轴方向，依据右手定则即可求出位姿坐标系的Y轴方向矢量；求取后的位姿坐标系用矩阵的方式表示为T.

在求得预制件表面处的位姿矩阵后，依据机器人手眼关系将位姿矩阵转化为机器人坐标系下的矩阵；手眼关系的标定可通过对摄像机内外参数及手眼关系[12-13]的标定建立.令求得的手眼关系矩阵为M，则机器人坐标系下位姿矩阵

式中：

A为相机坐标系相对于机器人基坐标系之间的旋转矩阵；T 为平移矩阵；Px、Py、Pz为该点在机器人坐标系下的坐标；通过计算中心处点云上每一点在机器人坐标系下的位姿矩阵并将其传输到机器人控制系统中，进而对机器人的缝合路径进行规划.

3 协调控制系统设计

3.1 控制系统硬件的选取

由工控机将规划所得位姿信息以离线编程的形式传递给机器人，使机器人获得在各缝合工位处的路径点信息及缝针姿态信息，进而将机器人运动与缝针运动相结合即可完成缝合工作.

为了保证系统稳定性，采用具有高稳定性以及强抗干扰能力的西门子PLC作为核心控制单元.选用西门子公司S7-300CN作为机器人运动控制单元，通过Profibus现场总线技术建立机器人与PLC之间的通讯.伺服放大器采用三菱公司生产的MR-J2S-70A型伺服电机驱动器，S7-200xpsi作为控制单边缝合装置缝针运动的控制单元，通过上位控制器S7-200xpsi发送的脉冲序列来控制伺服电机转速及位置[14].S7-300cn与S7-200xpsi的Profibus-DP通讯[15]由EM277扩展模块完成.

3.2 组态对象分析

针对本系统的硬件配置及保证控制效率与响应效率，采用单主站结构形式，“一主多从”网络控制策略.将S7-300CN作为控制系统主站，并通过Profibus-DP现场总线依次串行连接S7-200xpsi、MP277触摸屏以及ABB机器人，即可将系统中各离散的分布式I/O与智能设备连接到一起，从而作为网络通信主站的S7-300 PLC通过Profibus-DP网络管理各个设备之间的数据交换，实现对整体系统的协调控制.系统结构如图7所示.

图7 PLC与触摸屏通讯连接Fig.7 Connection between touch panel and PLC

3.3 系统硬件电路图

本文设计的缝合机器人协调控制系统选用1台S7-300CPU，1台 S7-200CPU，1个 MP277触摸屏，1台伺服驱动器，1个驱动单边缝合装置的伺服电机，1台ABB机器人.控制系统电源输入端为单相220 V，输出电源共分为两部分，一部分通过交流接触器，用于供给伺服放大器，驱动伺服电机运转，另一部分通过AC-DC电源，输出直流24 V，用于给PLC核心控制单元进行供电，控制系统硬件构成如图8所示.图8中L1、L2、L11、L12均为交流接触器接口.

3.4 PLC之间的通讯

为了对PLC的工作进行监控，基于通讯方便、稳定性的考量，本文采用prifibus-DP通讯来实现PLC之间的通讯；该通信协议是一种主—从协议；工作过程中主站可以向从站发出命令信息，从站对主站发出的信息作出响应；基于该特点，在通讯过程中，主站可与较多数目的从站之间进行通讯，是一种较为经济的总线技术.

采用STEP7-Micro/WIN V4.0 SP7与STEP7 V5.4 SP4 HF3软件对PLC进行编程，通过PC/MPI适配器及PC/PPI通讯线缆将程序由工控机下载到PLC中，实现对缝合过程中各环节工艺的精准控制及缝针与机器人运动的协调控制，主程序流程图如图9所示.

图9 主程序流程图Fig.9 Chart of main program

4 实验结果及分析

实验所采用预制件材料为厚度3 mm的玻璃纤维，采集并处理得到的预制件点云数据，规划得到机器人在13个工位处的路径点坐标，结果如表1所示.

表1 缝合路径点Tab.1 Points of suture path

对表1中各点进行位姿矩阵求解，将结果以传输给机器人并对预制件进行缝合实验，缝合结果如图10所示；实验结束后沿缝合中心线对缝合机器人进行示教，将实际缝合点与计算点导入三维逆向软件Imageware进行线性拟合并进行轨迹误差比对如图11所示，轨迹偏差总体小于1.5 mm，满足精度要求.

图10 缝合实验Fig.10 Experimental of stitching

图11 轨迹偏差对比Fig.11 Result of trajectory deviation

5 结语

（1）本文采用三维扫描技术，对缝合预制件的三维信息进行采集并对点云数据进行处理，提出了一种缝合机器人自主规划算法，实现了对缝合机器人工作路径位姿矩阵的求解.

（2）基于Profibus现场总线通信技术，采用“一主多从”网络控制策略，应用西门子PLC设计缝针运动与机器人运动协调控制系统，解决了每一缝合工位缝针运动与机器人运动的协调控制问题.

参考文献：

[1]匡宁，陈同海，钱育胜.中空复合材料的成型工艺及应用进展[J].工程塑料应用，2015，43（1）：120-123.KUANG N，CHEN T H，QIAN Y S.Progress in molding technology and application of hollow composites[J].Engineering Plasitcs Application，2015，43（1）：120-123（in Chinese）.

[2]程小全，郦正能，赵龙.缝合复合材料制备工艺和力学性能研究[J].力学进展，2009，39（1）：89-102.CHENG X Q，LI Z N，ZHAO L.Fabricating process and mechanical property research of stitched composite structures[J].Advances in Mechanics，2009，39（1）：89-102（in Chinese）.

[3]王田苗，陶永.我国工业机器人技术现状与产业化发展战略[J].机械工程学报，2014，50（9）：1-13.WANG T M，TAO Y.Research status and industrialization development strategy of Chinese industrial robot[J].Journal of Mechanical Engineering，2014，50（9）：1-13（in Chinese）.

[4]DREEHSLER Klaus.Latest development in stitching and braiding technologies for textile prefroming[J].Materials and Processing Technology，2004，5：2073-2085.

[5]IINOM.Electroniccomputer：US，USD396849[P].1998-07-13.

[6]姜海珍，李亮玉，范芳蕾，等.三维预制件缝合机器人视觉跟踪系统[J].纺织学报，2008，29（10）：113-116.

JIANG H Z，LI L Y，FAN F L，et al.Vision tracking system of 3-D preform stitching robot[J].Journal of Textile Research，2008，29（10）：113-116（in Chinese）.

[7]PAN Hui，WANG Nali，QIN Yinshi.A closed-form solution to eye-to-hand calibration towards visual grasping[J].Industrial Robot，2014，41（6）：567-574.

[8]KROTKOV E，BAJCSY R.Active vision for reliable ranging：Cooperating focus，stereo，and vergence[J].International Journal of Computer Vision，1993，11（2）：187-203.

[9]MATT C，JASNA M，REBECCA L.An advantage for active versus passive aperture-viewing in visual object recognition[J].Perception，2011，40（10）：1154-1163.

[10]秦涛.基于结构光视觉传感器的焊缝实时跟踪控制[D].上海：上海交通大学，2012 QIN T.Real-time control of welding seam tracking based on vision sensor with structural stripe[D].Shanghai：Shanghai Jiaotong University，2012（in Chinese）.

[11]GUMHOLD S.Feature extraction from point clouds[J].Proc Ofimr，2001，25（7）：293-305.

[12]邱茂林，马颂德，李毅.计算机视觉中摄像机定标综述[J].自动化学报，2000，26（1）：47-59.QIU M L，MA S D，LI Y.The review of the camera calibration in computer vision[J].Acta Automatic Sinica，2000，26（1）：47-59（in Chinese）.

[13]沈爱华，罗印升，宋伟.一种基于双目视觉的手眼标定方法[J].机械设计与制造工程，2016，45（5）：42-46.SHEN A H，LUO Y S，SONG W.An approach to hand-eye calibration based on stereo vision[J].Machine Design and Manufacturing Engineering，2016，45（5）：42-46（in Chinese）.

[14]董明，邵伟，陆蔺辉.基于S7-200和V80伺服定位系统设计[J].制造业自动化，2014，36（7）：105-116.DONG M，SHAO W，LU L H.The design of position servo control system based on S7-200 and V80[J].Manufacturing Automation，2014，36（7）：105-116（in Chinese）.

[15]王勇.基于PLC与PROFIBUS的柔性制造生产线控制系统的设计与实现[D].苏州：苏州大学，2009.WANG Y.Design and realization of controlling system of flexible manufacturing line based on PLC and PROFIBUS[D].Suzhou：Soochow University，2009（in Chinese）.