数码产品外壳表面的适应性智能检测技术*

邝泳聪 张坤 谢宏威

（1.华南理工大学 机械与汽车工程学院， 广东 广州510640； 2.广州大学 机械与电气工程学院， 广东 广州510006）

当前在电子、机械零部件等相关行业生产中，对零部件表面划痕、污渍、缺损等的检测要求很高［1-2］，使得基于机器视觉的检测技术具有广泛的应用价值［3-6］.国内外学者在此基础上开展了相关研究工作：Feng 等［7］根据太阳能电池的表面质量问题，收集了太阳能电池在检测过程中的图像，提取出各种损伤图像的特征，并用最小二乘支持向量机算法建立缺陷识别模型，以实现智能检测和太阳能电池的分类；Araki 等［8］将USB 摄像头和一个激光二极管作为测量的光学检测装置，开发了一种镜面抛光的金属表面缺陷（划痕和凹陷）检测系统，并采用独立成分分析法（ICA）去除特定模式，从而剔除灰尘等伪缺陷；Tsapaev 等［9］提出了一种基于图像分割的方法，用于对表面缺陷检测问题进行分析，并验证了型谱变化评估法（FSCV）检测表面质量的可行性.Huang 等［10］提出了一种基于计算机视觉的成型导光板自动缺陷检测和分类检测方法，该方法首先利用图像分割方法定位缺陷区，再利用傅里叶变换模型来消除由导光板的周期循环模式形成的纹理，然后通过Otsu阈值法和形态学技术突出缺陷，并利用人工神经网络法对缺陷进行分类.

上述方法在针对各自对象表面时都很有效，但是却没有一种较为通用的检测方法.特别是对于数码电子类产品外壳，常见的材料更是多达十几种，而这些材料由于质地不同，所呈现的光学效果也各不相同，使得生产线上单一的检测方式无法满足实际要求.有鉴于此，在研究大量数码电子类产品的表面光学特性后，文中筛选出最具有代表性的3 种手机外壳材料（PC、TPU、磨砂金属），提出了一种可同时适用于多种典型材料外壳的表面检测方法.

1 材料表面的光学成像

1.1 光学特性

针对不同的手机外壳材料，选择合适的光源与照射方式，可以突出待检测的特征，使图像处理更容易将目标从背景中分离出来.

聚碳酸酯（PC）是分子链中含有碳酸酯基的高分子聚合物，其光学特性高度透明、可自由染色，折射率高；热塑性聚氨酯弹性体橡胶（TPU）的表面比PC 更光滑，反光性更强，透明度更高.经过多次实验，使用条形光斜60°射入，对凸显以上两种材料的表面缺陷（划痕、凹凸点、污渍等）具有较好的兼容性.金属磨砂处理的表面不反光、柔和，因此划痕不容易被看出来.在比较各种光源的照明效果后，笔者发现使用同轴光源或无影光可以获得大范围的照射面积.

1.2 成像效果

如图1所示，同轴光源从侧面经棱镜反射后照射物体，光照十分均匀；条形光源倾斜照射物体，光照相对均匀，能凸显物体表面的凹坑或者凸起.

图1 两种光源的光照原理Fig.1 Lighting principles of two sorts of light source

条形光照射下PC 和TPU 材料的成像效果如图2（a）、2（b）所示，同轴光照射下磨砂金属材料的成像效果如图2（c）所示.

图2 3 种不同材料的成像效果Fig.2 Imaging effects of three different materials

2 基于混合阈值的图像分割技术

2.1 传统阈值分割法的弊端

全局阈值分割法是一种简单的基于区域的图像分割技术，因其实现简单、计算量小、性能稳定而成为图像分割中最基本的技术，但只适用于图像中感兴趣区域（ROI）的灰度值分布均匀、且和背景的灰度值差异较大的情况［11-12］.动态阈值分割法对灰度值差异非常敏感，对灰度值不均匀分布的前景图像也能取得较好的分割效果， 但其计算量比全局法大，且分割出来的区域比较碎化，不适合获取面积较大的连通区域.

综合考虑上述两种方法的优缺点，文中提出了一种结合全局阈值分割法和动态阈值分割法的混合阈值图像分割法，用于对PC 和TPU 材料表面上的缺陷进行分割.

2.2 混合阈值分割法

混合阈值分割法的主要思想是先通过一个全局阈值对目标进行分割，再利用动态阈值分割法对前景中的敏感信息进行二次分割.这样分割出来的对象既保留了目标特征，也不会产生大量的背景干扰.以PC 材料的图像为例，首先使用全局法的固定阈值（文中取为150）对图像进行二值化，确定出大部分亮区域，如图3（a）所示.为便于研究，将亮区域单独提取出来，用于形态学的处理，下面给出几个形态学计算公式与定义［13］.

图3 全局法分割和形态学处理Fig.3 Global segmentation and morphological treatment

定义1设A1为被腐蚀的对象，B 为结构元素，腐蚀表示所有B 中包含于A1中的点z 的集合用z 平移，则腐蚀的结果可定义为

定义2区域填充使得某一复连通区域变为单连通区域，区域填充的过程可以由下式计算：

式中：k 为自然数；⊕为膨胀运算；Ac为被填充对象A2的补集，Ac={w|w∉A2}；X0为Ac内的第1 个点；如果Xk=Xk-1，则Xk∪A2就是最后的填充结果.

文中选择3×3 的四连通邻域结构作为结构元素.经过一次腐蚀后，可去除边界上的毛刺，同时过滤掉一些噪点，如图3（b）所示；再进行一次填充，可补充原始的缺陷信息，如图3（c）所示；最后根据得到的区域将原始图像内的ROI 分割出来，如图3（d）所示.

将上述方法处理后的结果进行平滑滤波，设f（x，y）表示滤波前的图像，则滤波后的图像g（x，y）为

式中：w（s，t）为掩模系数；m×n 为掩模大小，文中取为15×15.这种滤波能够将图像中的前景（待检测缺陷）与背景信息进行融合，从而为动态法作阈值参考.

给定一个阈值T ＞0，文中取为20，则最终分割的结果R（x，y）为

图4给出了两种方法的分割结果比较，由图可知，全局阈值法不但出现很多干扰噪点，而且分割出的缺陷面积比实际偏小.

图4 两种方法的分割结果比较Fig.4 Comparison of segmentation results between two methods

3 改进的曲线检测器

3.1 磨砂金属表面的检测难题

图像分割法虽然能分割出表面光滑材料的缺陷，但不能有效地检测到磨砂金属表面的缺陷.此类材料表面以漫反射为主，因此获取的图像中缺陷部分的灰度值往往不是连续的，有的甚至与背景颜色相似，隐藏性很大，在实际生产过程中容易出现漏检的情况.图5所示是磨砂金属表面中常见的凹点和划痕，图5（a）原始图像中暗像素个数不会超过20，凹点中央的灰度值相似甚至超过了背景；图5（b）原始图像中的划痕在实际中是连续的，但因受到光照条件和成像系统等因素的制约，故在图像上出现了断裂.从图5可知，无论是灰度原始图像还是三维（3D）图像，缺陷都不明显.

图5 磨砂金属表面图像及其灰度三维网格线Fig.5 Images of matte metal surface and its grey 3D gridlines

3.2 频率域下的高通滤波器

为了提高图像对比度，需要对其进行增强.首先将图像从空间域转为频率域，图像f（x，y）的傅里叶变换为

式中，M×N 为图像的尺寸.通过衰减傅里叶变换后的低频部分，保留高频部分，可以使图像进行锐化.这种增强对表面划痕的凸显比空间域的增强有效，且由之带来的干扰成分也会相对较少.

选择理想的高通滤波器，定义为

式中，D0为截止频率，

图6 频域增强前后带有划痕的磨砂表面Fig.6 Images of scratched matte surface before and after frequency domain enhancement

滤波公式为

滤波后需要利用傅里叶反变换将图像转回到空间域中，反变换的表达式这里不再给出.图6给出了增强前后带有划痕的磨砂表面，可以看到增强后的表面划痕更明显.

3.3 高斯卷积下的曲线轮廓驻点

Steger［14］在二阶泰勒多项式的模型上，提出了一种提取曲线结构的算法.首先图像f（x，y）会包含一些噪声，这不利于曲线的提取，因此需要进行平滑滤波.为了最大程度地抑制噪声，同时保留曲线的形状，文中选用高斯核函数

对原图像卷积

假设H（x，y）是图像f（x，y）中任意点的Hessian 矩阵，定义为

曲线的横截面被抽象成图7所示的模型，因此认为该轮廓的最高点（即一阶导数为0 的点）是提取出来的曲线上的某一点.推广到二维图像中，可得到判定点（x，y）是否为曲线上某一点的准则：

图7 曲线横截面的轮廓模型Fig.7 Contour model of curved cross section

3.4 曲线上点的“松弛”归类

文献［15］在连接孤立点时着重考察了相邻像素之间的关系，它对线的连贯性要求较高，故这种方法并不适用于断裂的划痕的检测.同时，该文中提到的迟滞阈值主要用于确定不同线的起始位置，引入后会过度分裂灰度值深浅不一的磨砂类表面的凹点和凸点缺陷等.为此，文中提出了一种“松弛型”的点归类方法.

假设p（x，y）是已经被检测出来的曲线上的某一点，且该点沿着曲线的法方向向量为（nx，ny）=（cosα，sinα）.“松弛”归类法实际上是一种按距离优先原则的搜索算法，引入一个松弛因子ζ=10，寻找下一个离（x，y）最近的点p1（x1，y1），沿着曲线的法方向向量为（cosα1，sinα1），如果满足

则该点即被归为此曲线上的点，否则继续寻找下一个点，直到w|pp1|＞ζ 为止，完整的曲线也随之得到.其中w 是距离权重因子，文中取为2.接着在剩余点中寻找二阶导数最大的点作为起始点，重复上述步骤，则可找到图像上的所有曲线.事实上两向量的夹角在0～ 之间，但曲线的轨迹不应具有方向的属性，也就是说当|α－α1|＞/2 时， 曲线在两点上的方向突变应该表示为-|α－α1|.

用示意图的方式简要说明这种算法的可靠性.如图8所示，p 为当前点，p1和p2分别为距离p 较近的两个点，箭头表示该点在曲线上的法方向，使用“松弛法”对这两个点进行归类，所得到的曲线连接结果如图8（a）所示，与其他方法的连接结果（见图8（b））相比，使用“松弛法”所得到的曲线轨迹更加平滑，路程更短，符合检测划痕、凹凸点的轮廓的实际情况.

图8 两种方法连接点的效果分析Fig.8 Analysis on effects of connecting dots for two methods

4 材料表面的适应性智能检测

4.1 材料表面缺陷分类

先将所有不同材料的表面缺陷进行归类分析，如图9所示，3 类材料表面中还有一种常见的缺陷——脏污，因其成像效果与凹点很相似，现有的照明方案还无法区分，故文中将其当作凹点来检测.

图9 不同手机外壳材料表面的缺陷分类Fig.9 Classification of defects on the surface of different mobile phone case materials

4.2 适应性智能检测的流程

根据实际在线检测的要求，文中将适应性智能检测过程大致分为3 个阶段，如图10所示.第1 阶段是材料的分类.先将某种在线的产品统一通过同一亮度的同轴光照射一次，对所采集的图像进行灰度值统计分析，从而确定是哪种材料，以便后期选择相应的检测算法.具体方法是：采用基于颜色特征的智能定位算法［16］对感兴趣区域进行定位，再在该区域下统计灰度值最亮的前n 个点(文中取n=100)，算出这些点的平均灰度值，将该值与之前已制好的灰度值查找表进行比较，从而选择最匹配的项目.其中，制作灰度值查找表需要预先采集相同光照条件下各种材料的图像，文中样本个数为50 左右，之后统计每个样本中最亮的第n/2 个点，算得各自平均值.第2 阶段是算法的选择.根据所得到的材料信息自动选择对应的算法；同时，产品将通过条形光的照射环境.第3 阶段是检测阶段，按算法需求选择前两种光照下采集的一幅图像，对PC、TPU 材料表面使用Blob 分析方法进行检测，而对磨砂金属表面先使用图像增强方法再采用改进的曲线检测器进行检测.笔者使用150 块各类材质的样本进行分类准确性测试，结果显示分类全部正确.

图10 适应性智能检测流程图Fig.10 Flowchart of intelligent testing on adaptability

5 实验与结果分析

为验证文中方法的有效性，使用笔者所在课题组与某公司联合研发的离线手机外壳检测系统为实验平台（计算机配置为CPU Intel i3 3.10GHz，内存2GB，算法用VC.NET2008 实现），选取若干不同类型的手机外壳进行实验.

5.1 稳定性分析

为了研究外界（包括硬件和软件）干扰因素对文中方法的检测精度的影响，实验选择光源亮度的稳定性、材料的分类结果、检测算法中参数的选择这3 种影响最大的因素作为研究对象，调整各自的值，考察检测效果的稳定性.

由于PC 和TPU 材料的表面检测主要利用了基于灰度的图像分割技术，它会对光照的明暗较为敏感，两种材料的性能类似.

实验1选取某一块PC 材料手机外壳，其表面存在凹点，选择可调控电压的光源控制器来提供光源亮度的无级调节，光源的输入电压范围为0～24 V，选择固定的算法分割参数，分割出来的缺陷面积随电压的变化见图11（a）.可以看到：当电压为20 V 时，分割出来的面积最大；当电压在15～22 V 之间时，面积的波动范围非常小，可认为在实际生产中，光源在这段电压区间内的照射亮度最适合检测.

实验2选取一块带有划痕的磨砂金属表面手机外壳，仿照实验1 的思路，依次调节同轴光的光照强度，并计算检测到的划痕长度，结果如图11（b）所示.可以看到，当电压在17～21 V 之间时，检测到的划痕长度几乎为一定值.综上所述，文中算法对光源亮度有较强的适应性.

图11 光照强度对缺陷检测的影响Fig.11 Influences of lighting intensity on defect detection

实验3考察在检测中材料分类不准确对检测结果可能带来的影响.选择TPU 和磨砂金属表面的手机外壳各7 块，对所有样本先用Blob 分析法检测一次，再使用曲线检测器法检测，结果如表1所示，其中最大长度Lmax和最小长度Lmin分别表示最大、最小缺陷的轮廓线像素之和；最大面积Smax和最小面积Smin分别表示最大、最小缺陷的轮廓线包围的面积之和；平均长度表示所有缺陷的轮廓线平均像素之和；平均面积表示所有缺陷面积的平均值.从表中可以看出：曲线检测器法能够检测出所有的缺陷样本，但检测出来的缺陷数量总体上会小于Blob分析法；对磨砂金属表面的图像来说，Blob 分析法只能有效地检测出一部分磨砂金属表面的缺陷，在缺陷比较细小或者成像效果不好的情况下该方法会失效.从前面分析知道，利用高斯核卷积可去除原始图像中的噪声，而平滑参数σ 对去噪效果的影响很大，进一步可对曲线检测的稳定性产生影响.因此，文中通过实验来讨论如何确定σ.

表1 两种方法对手机外壳材料表面缺陷的检测结果Table1 Detecion results of defec on the surface of mobile phone case material by two methods

实验4选择一张增强后的磨砂金属表面图像（素材来自图6），按σ 分为6 组分别进行测试，曲线检测效果如图12所示.

图12 不同σ 时的曲线检测效果Fig.12 Curve detection results with different values of σ

对比图6可知，当σ=2.8 时，曲线检测效果最好.实际应用中，可以使用若干幅图像，分别用不同的σ 比较测得曲线的数量，最后选择可最大程度地提取缺陷和排除干扰项的σ.

5.2 精度与速度分析结果

为验证文中方法的综合性能，选择带有不同程度缺陷的3 种材料手机外壳（140 mm×70 mm）各112 个及良品38 个.在合适的光源条件下，选择适当的参数，按适应性智能检测的流程进行实验，误报率、漏报率、正确率及算法耗时如表2所示，几种方法的性能比较如表3所示.

由表2可知，文中方法的可靠性较高，其中最难检测的磨砂材料的正确率超过了90%，PC 和TPU 材料的正确率则至少为95%.由表3可知，相比其他3 种方法，文中方法的检测速度虽然不占优势，但其检测精度明显高于其他3 种方法.经实验测得一块手机外壳需要采集4～5 幅图像，采用文中方法检测一块完整的手机外壳（包括分类、检测和运动）需要约2.5 s，基本上可满足实际工程要求.

表2 文中方法的综合性能Table2 Comprehensive performance of the proposed method

表3 不同方法的性能比较Table3 Comparison of performance among different methods

6 结论

表面光滑的数码产品外壳检测一直是机器视觉领域的难点，市场上也缺乏完善的解决方案.文中提出了一种对材料表面具有高度适应性的检测方法，选择最具代表性的3 种材料作为实验对象，依次通过条形光和同轴光的照射，再通过图像识别技术将材料进行归类.实验结果表明，文中提出的方法具有较高的可靠性，可用于手机外壳的在线检测.

［1］李勇.基于机器视觉的精密零件表面质量自动化检测系统研究［D］.合肥：中国科学技术大学自动化系，2011.

［2］Pastor-López Iker，Santos Igor，Santamaría-Ibirika Aitor，et al.Machine-learning-based surface defect detection and categorisation in high-precision foundry［C］//Proceedings of the 7th IEEE Conference on Industrial Electronics and Applications.Singapore:IEEE，2012：1359-1364.

［3］邝泳聪，张坤，谢宏威.基于轮廓矢量化的形状匹配快速算法［J］.计算机应用研究，2014，31（4）：1236-1238.Kuang Yong-cong，Zhang Kun，Xie Hong-wei.Rapid shape matching algorithm based on contour vectorization ［J］.Application Research of Computers，2014，31（4）：1236-1238.

［4］Shankar Bharathi S，Radhakrishnan N，Priya L.Surface defect detection of rubber oil seals based on texture analysis ［C］//Proceedings of the Fourth International Conference on Signal and Image Processing.Coimbatore：Springer，2013：207-216.

［5］Tsai Du-Ming，Chen Ming-Chun，Li Wei-Chen，et al.A fast regularity measure for surface defect detection ［J］.Machine Vision and Applications，2012，23（5）：869-886.

［6］葛动元.面向精密制造与检测的机器视觉及智能算法研究［D］.广州：华南理工大学机械与汽车工程学院，2013.

［7］Feng Meilin，Zhou Xianjuan，Yu Jianguo.Research of solar cell surface defect detection system based on machine vision ［C］//Proceedings of the 3rd International Conference on Advanced Measurement and Test.Xiamen：Trans Tech Publications Ltd，2013：532-536.

［8］Araki Nozomi，Nishiuchi Koji，Sato Takao，et al.Defect detection for mirror polished metal surface using independent component analysis ［J］.ICIC Express Letters，2011，5（9B）：3291-3295.

［9］Tsapaev Alexei Petrovich，Kretinin Oleg Vasilyevich.Image segmentation methods in problems of surface defect detection ［J］.Computer Optics，2012，36（3）：448-452.

［10］Huang Ming-Shyan，Chiu Hsueh-Yuan.Surface defect inspection of light guided plates with the computer-vision assisted detection method ［J］.Journal of the Chinese Institute of Engineers，2009，32（2）：179-191.

［11］贺华艳.注塑制品表面缺陷视觉检测系统研究与设计［D］.广州：华南理工大学机械与汽车工程学院，2011.

［12］麦国铭.表面光洁的注塑制品外观缺陷视觉检测方法研究［D］.广州：华南理工大学机械与汽车工程学院，2012.

［13］冈萨雷斯.数字图像处理［M］.阮秋琦，阮宇智，译.北京：电子工业出版社，2003：425-434.

［14］Steger Carsten.Extraction of curved lines from images［C］//Proceedings of the 13th International Conference on Pattern Recognition.Vienna：IEEE，1996：251-255.

［15］Stege Carsten.An unbiased detector of curvilinear structures［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20（2）：113-125.

［16］谢宏威，张坤，邝泳聪，等.基于颜色特征的智能焊点定位算法［J］.华南理工大学学报：自然科学版，2013，41（3）：116-121.Xie Hong-wei，Zhang Kun，Kuang Yong-cong，et al.Intelligent positioning algorithm of solder joints based on color features ［J］.Journal of South China University of Technology：Natural Science Edition，2013，41（3）：116-121.