基于图像识别的机床工况监控系统*

张 瑞 王振忠 郭 龙 吴沿鹏

(厦门大学物理与机电工程学院，福建 厦门361005)

在超精密加工过程中，为了保证加工精度和工艺稳定性，必须严格控制机床加工环境和机床工作状态，包括环境温湿度、振动、冷却液温度、主轴及静压导轨油温度等。因此，对加工环境的状态进行综合监测是一项非常关键的技术［1-2］。目前，对机床工况监控已有很多研究，赵高波等采用检测刀具振动的方法对刀具磨损进行检测，提出了一种基于CC2430 的刀具磨损检测系统［3］。陈海斌等研制一种新型的主轴回转精度测量系统，提出正弦回归法分离测量球的安装偏心，采用反向法来剔除测量形状误差，检测主轴回转精度［4］。康榜联等阐述了应用双频激光干涉仪对数控机床定位精度进行检测的方法以及通过补偿机床螺距和对丝杠间隙误差进行补偿的方法［5］。大部分研究主要监控刀具磨损、主轴进给轴精度、定位精度等对加工精度有直接影响的因素，而很少关注机床外围设备及环境的监控和管理。本文设计了一种基于图像识别的机床工况监控系统，系统通过对数字仪表进行图像识别，检测机床的加工环境和配套设备工况信息，通过以太网与DM642 通信，远程监控机床工况，实时获知机床运行状态，有利于准确定位、量化影响生产的各种问题。

1 超精密加工环境与系统功能

1.1 超精密加工设备及环境

能实现微纳米级增量进给的超精密加工机床是超精密加工的首要基础条件，它决定了超精密加工技术的水平。随着数控系统、光机电一体化技术的发展，超精密机床得到迅速发展，其综合性技术趋于成熟，并形成相应的结构特点，主要包括液体静压主轴及导轨、高精度运动及位置反馈部件、高分辨率数控系统、高精度热变形控制等。其中，热变形控制通常的重要措施如，对机床运动产生的热量、磨削产生的热量，通过恒温手段加以严格控制，如液压油液、冷却液等，其温度控制精度应在20 ±0.1 ℃以内;把发热量大的部件(如冷却液冷却机、冷却润滑油箱等)与机床本体结构分离或密封隔热。因此实际生产加工过程中，机床外围设备的状态信息通常很难实时、直观获取，而采取摄像头图像识别及网络传输的方式是经济可行的。

图1 为本课题组为满足大口径反射镜光学玻璃的高精度平面及非球面加工而开发研制的大尺寸高精度平面磨床2MK1760，以及外围配套的液压系统、冷却系统、过滤系统、润滑系统、空气净化系统等。机床放置于恒温恒湿隔振洁净车间，温度控制在20 ±1 ℃，湿度控制在50% ±5%。磨削液水冷却系统、主轴及静压导轨油冷却系统采用精密油冷却机，温度波动控制在20 ±0.1 ℃。

1.2 系统功能与结构

为保证超精密加工的加工精度和工艺过程稳定性，有必要对机床的环境温湿度、油压、冷却液和液压油温度进行监控，这些工况主要是通过机床配套设备的仪表显示，没有专门与计算机通信接口。文中所设计监控系统通过摄像头对这些仪表的图像识别，判断机床的工作状况。系统主要任务是图像采集、图像处理与识别、数据传输等。

系统的硬件结构包括摄像机、DM642(下位机)开发板、计算机(上位机)等，系统结构如图2 所示。远程客服端通过internet 访问DM642，来获取机床工况信息。本系统采用摄像机的型号是PNT- 619，像 素 是720 × 576。DM642 也就是TMS320DM642，专用于数字媒体应用的高性能32-位定点DSP，是TI 公司C6000 系列中的一款，工作主频最高达720 MHz，处理性能可达5760 MIPS［6］。

2 图像识别算法

系统有图像识别、网络传输和上位机程序等几个模块，其中，图像识别是系统的关键技术。网络传输和上位机程序算法简单，实现相对容易，而图像识别算法很复杂，要保证系统的高效稳定，图像识别算法的合理设计非常重要。

系统监控的仪表有温湿度记录仪、精密油冷却机、精密水冷却机、液压油泵等，其仪表界面如图3 所示。识别目标的不同，识别算法会不一样，主要是仪表定位方法有些差异，其他部分基本相同，所以本文只讲述了温湿度记录仪的图像识别算法，其它仪表识别都可以参考这个算法。图4 为图像识别的主要流程，首先读取图像数据，然后在图像中定位待识别字符的矩形区域，对该区域图像进行处理，分割出单个字符，再对每个字符图片进行特征提取，然后将提取出的图像特征送入已训练好的BP 神经网络，根据BP 神经网络输出，判定图片中字符［7］。

2.1 仪表定位与截取待识别区域

本文分析的温湿度记录仪如图3a 所示，图片显示的温度是21.3 ℃，湿度是42.8%，这就是要识别的数据。截取待识别区域需要先确定仪表位置，由于仪表显示屏的背景是蓝色的，图像在仪表显示屏部分蓝色分量很大，所以采用图像数据的蓝色分量，更容易找到仪表显示屏的位置。以蓝色分量作为灰度值生成灰度图，如图5a 所示，仪表显示区域蓝色分量一般都大于220，取150 作阈值对图像二值化。然后，寻找屏幕所在的白色区域，由于仪表显示屏连通白色区域很大，而其他连通的白色区域相对很小，这样可以搜索大面积的矩形白色区域，再确定显示屏的具体位置。

确定显示屏位置后，寻找包含温湿度显示值的矩形框的位置就比较容易了，因为它在显示屏中的位置是确定的，容易找到一个包含这个矩形框的区域，再对这个区域进行边缘检测。当然这时不能用蓝色分量图来寻找矩形框，DM642 采集到的信号是YUV 格式的，可以使用Y 分量数据，图5b 为截取到的待识别区域。

2.2 图像处理与特征提取

找到字符的显示位置后，首先，通过Otsu 方法确定二值化阈值，进行二值化。然后根据每个字符在矩形框的相对位置分割字符。最后，寻找每个字符的上下左右边界，将每个字符转化为25 ×35 个像素的图像，图5b 为温度值的处理结果。

提取的字符特征通常包括特征点、闭环特征、笔画特征、对称特征、像素比重特征、外围轮廓特征和骨架特征等。如何选择特征与识别方法有很大关系，本系统采用BP 神经网络做图像识别。因此，将字符图像均分为5 ×7 个区域，每个区域统计白色像素的个数，作为该字符的特征。

2.3 BP 神经网络

字符图像识别常用的方法有模板匹配法、支持矢量机、决策树、神经网络等，其中模板匹配法识别速度最快，但鲁棒性较差，对于其他3 种方法，由于仪表显示的数字很规则，识别效果都不错，而BP 神经网络设计简单，使用方便，所以最终选择BP 神经网络做为系统的识别算法。系统采用两层BP 神经网络，输入层有35 个神经元，输出层有10 个神经元。BP 神经网络的使用包括训练、识别两个过程，由于字符分类是确定的，是有监督的分类，在DM642 上训练神经网络很不方便，所以BP 神经网络的训练是在上位机中进行的，再将训练好的参数输入到DM642 中。

BP 神经网络常用h(I)=1/(1 +e-(I+θ))作为激活函数，然而指数运算在DM642 不好实现，所以BP 神经网络的激活函数在训练和识别时，都使用相同方法做近似计算。通过恒等变换有ex=2x·log2e=2N·2f，其中N和f分别是x·log2e的整数部分和小数部分。2N很容易计算，2f是通过用(0，1)、(0.5，1.414)、(1，2)三点插值所得的二次函数近似计算的。

3 程序设计

3.1 DM642 程序

程序使用RF -5 框架，主要实现图像采集、图像处理与识别、网络编程等功能。RF5 是一种大规模集成的参考框架，其专为多通道多算法的应用程序而设计，它是基于DSP/BIOS 实时操作系统的TSK 模块的应用，因此适用于大型DSP 应用系统。RF5 中的数据处理包括任务(task)、通道(channel)、单元(cell)和XDAIS 算法4 个层面［8-10］。本程序建立了4 个任务，分别实现图像获取、图像处理与识别、网络编程、图像的本地显示，其中，图像处理与识别是程序的核心。图6 为程序的数据流图，不包括控制信号。

3.2 上位机程序

上位机程序是用Visual C+ +6.0 编写的，主要实现网络通信、数据库、报警等功能。网络通信功能是通过Socket(套接字)编程实现的，采用TCP/IP 协议，下位机为服务器，上位机为客服端，下位机发送现场图片和识别结果给上位机，上位机给下位机发送反馈结果和控制参数。在温湿度等监控的机床工况超出警戒值时，上位机提供报警功能，包括对话框报警和声音报警。此外，程序的数据库用于保存机床工况，可以查询历史数据和统计异常情况。图7 为上位机程序的界面。

4 结语

基于图像识别的机床工况检测系统，通过对图像识别算法的优化设计，实现了正确实时地对机床仪表进行图像识别，通过上位机下位机的网络通信，保证数据的实时传输，实现了机床工况的远程监控，同时，上位机还实现了报警和数据库的功能，给机床状态信息管理和维护提供便利。本系统开发后经测试，系统运行稳定可靠，实现了超精密磨床加工环境的监控和管理，达到了预期的效果和设计要求，具有良好的应用前景。

［1］姜晨，郭隐彪，韩春光，等. 精密加工环境分布式无线网络监控技术研究［J］. 厦门大学学报:自然科学版，2010.49(5):631 -635.

［2］林静，郭隐彪，韩伟. 超精密磨床振动和温度无线监测系统研究［J］. 制造技术与机床，2012(6):131 -133.

［3］赵高波，贾春兰. 基于CC2430 的刀具磨损检测系统［J］. 科技信息，2010，21:434 -435.

［4］陈海斌，程雪梅，钟先信. 空气静压轴承主轴回转精度的检测［J］.重庆大学学报，2000，23(1):49 -52.

［5］康榜联，文怀兴，周志红. 数控机床定位精度的检测及补偿［J］.中国制造业信息化，2008，37(11):63 -65.

［6］赵劼，刘铁根，李晋申. 基于DM642 的高速图像识别系统设计［J］. 电子测量与仪器学报，2007.21(1):86 -89.

［7］左宗鹏，吕虹徐，婉婷. 基于DSP 嵌入式车牌识别系统的设计与实现［J］. 工业控制计算机，2010.23(2):51 -52.

［8］张科强，尹刚. 运动数字图像识别算法在DM642 上的实现及优化［J］. 电子测量技术，2008.31(10):135 -137.

［9］史英，张卫宁，王玮，等. 基于RF5 的DSP 开发方法的研究［J］.自动化仪表，2007.28(4):22 -25.

［10］朱建彬，胡博，杨荣，等. 基于RF5 的DSP 软件设计的研究［J］.武汉科技学院学报，2009(3):16 -19.