赵竞远 窦 杰 刘云鹏 黄雅蓉 陈 洁 温家伟 吴 舟 朱彦彬
(嘉兴学院信息科学与工程学院 浙江嘉兴 314001)
随着“工业4.0”和《中国制造2025》的相继提出,传统制造业已经不能满足新时代制造需求,新一轮的科技革命即将到来。人工智能、先进控制等关键技术不断发展,智能制造必将是未来制造业发展的风向标[1]。随着工业机器人、数控机床、人工智能等先进技术的不断发展,智能制造已进入高速发展阶段。智能制造是基于新一代信息通信技术与先进制造技术深度融合,贯穿于设计、生产、管理、服务等制造活动的各个环节[2],具有自感知、自学习、自决策、自执行、自适应等功能的新型生产方式[3-4]。
在此背景下,近五年来在制造业已经有很大规模的机器换人,但很多工作依然不能由机械臂独立完成[5]。例如对生产线铸件进行细致打磨,因为由于模型型板的平整度、是否在分型面有落砂或其它杂物、是否压箱不好而涨箱或修型局部压得太多等因素,每个铸件的毛边都各不相同,所以我提出结合数字孪生技术,实现对铸件的精准测量识别后,利用孪生数据处理后引导打磨机器人实现铸件打磨,构成一个以铸件打磨为核心的小型数字孪生系统。解放劳动力,提高工作效率,解决现在智能制造中迫切需要解决的问题[6-8]。
数字孪生(DT——Digital Twin)作为核心技术之一其实是负责建立一个整体的框架,通过数据在其中不断的流通、处理、转换来完成物理世界实体数据的虚拟空间映射。
本文计划在融合数字孪生的五维模型即DT=PE+VE+CN+DD+Ss[9]的基础上,构建由物理实体层、孪生模型层、功能层构成的三层结构[10]。
首先是物理实体层,顾名思义,指生产线的主体、生产单元和产品等物理实体,是数字孪生五维模型中的物理实体[11](PE——Physical Entity);主要包括机器人、机械臂、打磨加工设备、自动导引运输车(AGV)、传送带、产品、零部件等实体。
孪生模型层是实体特征真实写照,包括实体形状、位置、动作及相互关系,是数字孪生五维模型中的虚拟实体(VE——Virtual Entity);利用连接(CN——Connection)模型将生产线上传感器、打磨设备等物理设备和虚拟设备以及服务结合起来保持交互、一致与同步;所产生的孪生数据(DD——Digital Data)是物理设备、虚拟设备、服务运行的“驱动”。主要是完成铸件实体在计算机空间内的虚拟映射,即铸件的数据孪生过程。
功能层是将数据再次面向生产线,将孪生的数字模型回归和造福生产线,是数字孪生五维模型中的服务(Ss——Services)。即利用上层产出的铸件孪生数据进行实际应用,包括可视化以及机械臂的路径规划。
通过连接和孪生数据模型贯穿物理实体层、孪生模型层、功能层构成的三层结构,构成完整的数字孪生铸件打磨系统以实现对现实世界更加精确的虚拟映射[3],从而完成对生产线铸件的仿真、分析处理及打磨操作。
以简单的球体铸件为例,在给定实验场景内,模拟工业相机在封闭实验舱内测量球型铸件的过程,给予适当角度的光源,送入球状物体到待测距离,并安装已完成内参标定和像素标定[12]的工业单目摄像机后,开始测量。
工业摄像机固定角度拍摄一张RGB图像,对图像进行白平衡、畸变矫正、二值化后提取铸件颜色区域的部分,其中二值化是提取该区域的最关键一步,需要提取图像的b通道和r通道的值,定义一个列表,用于存放所获得的上下阈值,保留灰度值在上下阈值中间的像素,此时得到的二值化图片,如图1。
图1 球体铸件轮廓图
使用OpenCV提供的“cv2.contourArea()”方法将计算二值化图像中每个单独的白色图形的轮廓的面积,并给每个图形一个轮廓索引号,再判断面积在指定范围内,就把该索引号的图形轮廓画出来,其他的不符合的都将“丢弃”。于是在现有所得条件下,使用“cv2.findContours()”方法检测并绘制轮廓,这个轮廓一定是面积最大的圆形的边长。此时使用获取最小外接圆的“cv2.minEnclosingCircle()”方法,输入2D点矢量,输出的返回值是一个二元组,包括center——圆心(x,y)和radius——半径r。由此得到了所拍摄的球体铸件的二维图形圆形的半径,但该半径的单位是像素,根据像素标定所得的像素分辨率,二者相乘可以获得所求圆形的实际半径,单位是毫米,也就求得了待测球体铸件的实际半径,如图2。
图2 球体半径测量值
球体铸件只是最简单的一种立体图形构成的铸件,且所设计的待测尺寸信息只包含半径这一个量,实际生产线上铸件必定结构更加复杂、环境影响因素更多、涉及的待测尺寸更多,所以可以将测量的相机换为双目摄像机,增加测量深度信息[13],或者在允许的情况下采用工业CT、雷达、多目摄像机等先进技术,提高精度的同时可以获得铸件更多的信息包括材料、颜色等。
利用铸件的孪生数据可以构成数字孪生模型的应用层,已获取到的尺寸数据首先进行三维可视化,再进行三维建模,如图3。
图3 球体铸件三维可视化图
然后利用铸件的设计工艺数据进行三维建模,此时利用算法将现实情况下铸件的模型与工艺图纸所构建的模型进行精细的比对,计算出铸件的飞边,最终结果模型转化为机器语言,进行路径规划引导机械臂带动打磨机器人对铸件进行打磨,由此构成完整的数字孪生铸件打磨系统。
数字孪生技术在智能制造行业大展拳脚的时代指日可待。本论文只提出了一种利用数字孪生构建的单个铸件打磨的小型系统,希望未来可以利用新技术不断完善与提高,使系统功能更为强大、实用性更高,能够真正利用在实际自动化生产线上,并且依照提出的方法可以向批量化的方向发展,可以结合其他多学科技术构建大型的智能数字孪生车间,为更加智能的工业生产线系统增砖添瓦。