显微视觉技术在微细加工中的应用

李丽宏，张明路，孙凌宇 ，张建华，魏 智

（1.河北工业大学机械工程学院，天津 300130；2.河北工程大学信息与电气工程学院，河北 邯郸 056038）

随着微机电系统（MEMS）技术的不断发展，机械电子产品的集成化和小型化使许多零部件的尺寸日趋微细化，从而带动了微细加工技术的快速发展.在微细加工的各个环节中，由于操作工具或被操作对象的微小特性，为了控制微操作台对目标进行操作，必须采用基于显微镜头的图像采集处理系统，即显微视觉伺服控制技术.显微视觉已成为微操作、微加工获取操作信息的最主要的技术手段之一[1-2].针对上述情况，在20世纪80年代，国内外学者相继开展了基于计算机视觉的宏/微双驱动操作、加工技术的开发研究.1982年，由美国IBM公司研制成功的第1台扫描隧道显微镜STM，除可对样品表面形貌和物理性质进行检测外，还可用于对表面进行纳米级微细加工.美国麻省理工学院采用计算机微视觉系统实现了微运动参数的实时检测.德国Karlsruhe大学过程控制和机器人研究实验室利用显微平台作为装配平台，采用视觉反馈，另用鼠标和操作杆来控制，完成半自动装配过程.日本积极利用国外技术并结合自身优势，在基于显微视觉的微细加工、微操作方面发展速度较快.哈尔滨工业大学对变倍显微镜下的目标识别、跟踪和伺服控制技术进行了研究，为微细加工、微操作的半自动化和全自动打下了技术基础.华中科技大学利用显微视觉技术构建了三机械手协同控制的微装配、微操作加工系统[3－8].采用显微视觉技术为微细加工过程提供定性或定量评判，己经成为微机械制造的重要检测手段，显微视觉检测系统将给微细加工等技术带来崭新的技术飞跃.本课题在上述研究基础上，拟研制一套面向微细加工的显微视觉系统.此系统同时结合力觉传感器信息控制微细加工过程，能检测与控制工具与加工工件之间的三维空间距离，完成微细加工操作过程，操作者可以通过用户图形界面对操作对象进行操作.这样不仅提高了微细加工的质量，而且也提高了微细加工的效率.

1 显微视觉系统方案

显微视觉硬件系统简图如图1所示.

图1 显微系统简图Fig.1 Sketch of micro-vision system

该系统设计方案如下:

（1）此系统由CCD摄像机、图像采集卡、适配器、步进马达调焦台、运动控制卡、光学显微镜、LED环型照明光源组成.

（2）操作现场经显微镜、CCD摄像机采集图像，输入计算机中，计算机根据此图像计算自动聚焦评价函数值，并得出步进马达调焦台驱动量，从而控制调焦台运动量，依此采集到最清晰图像.

（3）根据采集到的最清晰图像，经图像去噪、图像分割、目标识别等图像处理技术，判断刀具与加工工件之间的接触情况.

（4）视觉与力觉混合控制加工操作过程.实验平台上有KISTLER力觉传感器，在显微视觉系统出现遮挡等情况，无法对目标位置进行精确测量而丧失了伺服控制能力的时候，可以借助微力觉传感器来判断刀具和工件间的接触情况，进而实现精确定位.当刀头与加工工件距离较远时，此过程由显微视觉系统控制；当刀头与加工工件距离很近和接触后，采用显微视觉与微力觉混合控制策略，操作控制过程如图2所示.

图2 操作控制过程Fig.2 Process of operational control

2 自动聚焦技术

2.1 聚焦评价函数

系统处理的图像是显微图像，因此，图像在被放大的同时，噪声也被放大了.针对噪声也被放大的情况，不能采用一般的聚焦评价函数处理过程，必须采用改进的聚焦评价.在显微图像中有散粒噪声和高斯噪声2种类型的噪声，用中值滤波方法对散粒噪声进行处理，采用双边滤波处理方式对高斯噪声进行降噪.为进一步降低噪声的影响，采用分水岭方法对图像进行过分割，即把滤波后的图像分成若干内部连通并且具有一定灰度相似性的小区域块，将小区域块的灰度均值作为该区域内像素的灰度值.这样一方面可以让每小区域块自适应地降低噪声的影响，另一方面还能加强图像的局部相关性.对含噪声的图像，区域均值更能反映图像的真实灰度值，从而进一步抑制噪声的影响.最后采用SML聚焦评价函数作为聚焦评判依据，SML聚焦评价函数是在空域聚焦函数中性能表现较好的聚焦函数，如式（1）所示.

为了验证上述处理方法，本文采集了37幅从模糊到清晰再到模糊的图像系列，即采集了37幅模糊→清晰→模糊的图像序列.图3（a）为图像序列的第19幅图像，对此显微刀具图像人为增加了强散粒噪声，如图 3（b）所示；图 3（c）为滤波后图像，因为噪声太强，所以滤波后的图像还是存在噪声；对图3（c）中的图像进行分水岭分割，分割图像块如图3（d）所示；对图3（d）中分割的每图像块，用其区域块均值代替此区域块内的像素值，结果如图 3（e）所示.对图 3（e）中图像利用SML函数进行聚焦评价函数的计算.

图3 图像处理Fig.3 Picture processing

如果按照常规处理，对滤波后的图像序列（即图3（c）图像序列）直接进行SML聚焦评价函数处理，仿真曲线如图4所示.

从图4中可以看出，此处理过程不满足聚焦评价函数的性能指标，即不满足单调性、单峰性、评价函数峰值两侧的斜率绝对值比较大等指标要求，同时从图中最大峰值得出最佳清晰图像为第21幅图像，与无强噪声影响图像得出的结果不一致，无强噪声影响的结果为第20幅图像是最清晰图像，其仿真结果如图5所示.因此，需对强噪声图像的评价函数进行改进，使其满足评价函数性能指标，同时使其与无噪声图像序列仿真结果相一致.

改进自动聚焦处理过程如下:

教师不能够忽视非智力因素的影响。以教师为主，将学生放在被动地位的传统教育模式。这样，学生只能通过反复记忆记住知识。而多媒体与教学相结合的话，凭借多媒体其信息技术的内容和特点，能够很大程度上提升学生的学习效率，对非智力因素的培养起到了很大的作用。

（1）读取图像，把彩色图像转换为灰度图像；

图4 强噪声图像序列仿真Fig.4 Simulation of image sequence with strong noise

图5 无强噪声图像序列仿真Fig.5 Simulation of image sequence without strong noise

（2）采用中值滤波和双边滤波处理方法进行去噪；

（3）使用分水岭算法对图像进行过分割；

（4）对分水岭分割后的图像，提取每小区域的灰度均值，用此灰度均值代替各小区域内像素的灰度值；

（5）在上述处理的基础上，进行SML聚焦评价函数的自动聚焦.

按照上述步骤进行聚焦评价函数的计算，即对图3（e）序列图像进行仿真，仿真结果如图6所示.

图6 改进评价函数仿真Fig.6 Simulation of improved evaluation function

从图6中可以看出，各方面性能指标明显优于图4中常规处理方法；同时，从图6中得出，最佳清晰图像为第20幅图像，与无强噪声影响图像序列得出的结果是一致的.从而验证了此改进评价函数方法是有效的，精度接近于无强噪声影响图像的仿真结果.

2.2 搜索策略

将原有的数据点作为“基准数据”进行插值运算，估算出基准点之间其他点的函数值，可以得到离散函数:

式中:t为插值密度，可以根据需要适当设定.

得到一帧图像并计算出FSML（x），在（2）式的离散函数值中顺序查找，直至满足:

可得:x ≈ i·t，镜头运动（i·t）距离即可聚焦.

以改进的SML评价函数为实验数据点，同时以这些点作为插值基准样点，选择精度较高的三次样条插值方法对聚焦实现曲线进行平滑处理.如果本聚焦系统的焦深用Z表示，插值密度用t表示，应有t＜Z，但是若t过小，不但不能提高聚焦精度，反而会因为查找大量数据而降低聚焦速度，所以设定的t值一定要适中.

如无法用简单的数学模型如多项式或高斯函数对聚焦曲线进行准确描述，插值法求离散函数F（x）不失为一种实现定位法的通用、实用而且有效的方式.

3 刀头与加工工件的识别

为了监测刀头与工件之间的距离，首先需要把刀头、工件从整幅图像中分割出来，本系统采用改进的otsu阈值分割方法.把刀头、工件从图像中分割后，需要对刀头和加工工件进行识别，识别方法可以有模板匹配、不变矩、广义hough变换等识别理论方法.相对于模板匹配、广义hough变换等识别方式，不变矩理论更加适用于显微成像系统.经典的不变矩理论仅具有平移和旋转不变性，不具有缩放不变性，所以需要对其进行改进，改进后的不变矩理论具有平移、旋转和缩放不变性，因而相比于其他识别方法更加适用于显微成像系统.

Hu[10]提出的不变矩理论对于连续数据具有平移、旋转和缩放不变性，但是对于离散数据只具有平移和旋转不变性，不具有缩放不变性.而本系统采集到计算机中的图像是离散数据，所以必须对不变矩进行修正；同时，为了计算速度快，不是让目标区域的所有像素参与计算，而是对其进行边缘检测，对检测后的图像再进行矩计算.

设 φ1、φ2、φ3、φ4、φ5、φ6、φ7为 Hu 提出的 7 个矩，对其进行修正，形成下面6个相对矩:

以图3的刀具图像为例，对此图像进行平移、旋转与缩放，计算公式（4）中的相对矩，以验证其具有平移、旋转、缩放不变性.在此，以计算 ψ1、ψ2、ψ3为例进行验证，如表1所示，从而验证了其具有平移、旋转和缩放不变性.

表1 相对矩Tab.1 Relative invariant moment

对分割完毕的图像进行相对矩计算，得出其特征值并与标准特征值进行比较，从而识别出刀具与工件，更有利于显微操作，从而控制其操作精度.

4 结束语

本系统面向微细加工，在力觉传感器的基础上，加入显微视觉系统，共同控制微小加工工件与微小刀具之间的距离，共同完成微细加工过程.针对显微图像在图像放大的同时噪声也放大的特点，采用了改进的聚焦评价函数处理方法，即对图像进行中值和双边滤波后，采用分水岭算法对图像进行过分割，从而分割成多个小区域，并用每个区域内的灰度均值代替此区域内每个像素的灰度值，从而抑制噪声的影响；再采用SML聚焦评价函数进行自动聚焦处理；在搜索方式上，为了避免回程间隙而损失定位精度，采用精度较高的三次样条插值定位方法；采用相对边界矩对目标进行识别，同时本显微视觉系统结合力觉传感器共同控制刀具与加工工件之间的三维距离，从而准确、快速、安全地完成微细操作控制过程.

[1]GEORGIEV Atanas，ALLEN Peter K，MEZOUAR Youcef.Microrobtic crystal mounting using computer vision[J].Pattern Recognition Letters，2007，20:199-206.

[2]宋 宇.面向微操作的微小型机器人视觉伺服技术研究[D].哈尔滨:哈尔滨工业大学，2007.

[3]郑汉卿，王伯雄，余 超，等.基于自动调焦显微视觉的MEMS运动测量技术[J].清华大学学报:自然科学版，2007，47（2）:177-180.

[4]吴建华.高效率的微器件自动装配技术研究[D].合肥:中国科学技术大学，2007.

[5]孙 杰，袁跃辉，王传永.数字图像处理自动图像聚焦算法的分析和比较[J].光学学报，2007，27（1）:35-39.

[6]TANSEL Ibrahim N，GRISSO Benjamin L，SINGH Gurjiwan.Wear estimation by testing the elastic behavior of tool surface[J].Internationa l Journal of Machine Tools&Manufacture，2011，51:745-752.

[7]TEYSSIEUX D，EUPHRASIE S，CRETIN B.MEMS in-plane motion/vibration measurement system based CCD camera[J].Measurement，2011，44:2205-2216.

[8]WANG H P，VASSEUR C，CHRISTOV N，et al.Vision servoing of robot systems using piecewise continuous controllers and observers[J].Mechanical Systems and Signal Processing，2012，33:132-141.

[9]宗光华，孙明磊，毕树生，等.显微视觉自动聚焦研究[J].光学学报，2005，25（9）:1225-1231.

[10]LI Lihong，JIA Dongli，CHEN Xiangguo，et al.A fast discrete invariant moment algorithm and its application on pattern recognition[C]//The 6th World Congress on Intelligent Control and Automation.Dalian:Institute of Electrical and Electronics Engineers，2006:9773-9777.