一种基于Blob分析的摄像头模组缺陷检测方法

梁雄，张舞杰，李听听

（华南理工大学机汽学院，广东广州510640）

根据ABI对于智能终端影像技术的最新研究，2012年全年超过10亿的摄像头用于智能手机和平板，到2018年将达到27亿智能终端的出货量智能手机将占其中80%的份额，并且很多国家都在建设LTE网络，智能手机及平板目前在视频通话越来越普及，一个手机同时设置了前置及后置摄像头，因此随着电子产品需求的增加，手机摄像头的需求量将会越来越大。

摄像头简称摄像头模组，由镜头、红外滤光片（IR Filter）、图像传感器（Sensor IC）、数字信号处理（DSP）以及软板（FPC）构成。在拍照及视频过程中，光线穿过镜头后，经过红外滤光片滤波后照射到Sensor中，Sensor上图像传感器传来的光线由光信号转为电信号，然后经过AD转换为数字信号，供PC处理使用。在整个过程中图像传感器重要作用不言而喻，如果图像传感器上有灰尘都将会影响整个摄像头的拍摄效果，从而影响手机的客户满意度。由于灰尘面积为μ级，等价于几个像素，因此识别度较难，且随着社会的快速发展，人们对手机像素的要求越来越高，因此对Sensor灰尘检测精度要求也会加大。

Blob分析方法已经被广泛的应用于很多行业中，例如工业检测（塑料污点检测）、医学生物（血液细胞）、食品领域（如饼干）的品质检测、农产品（如稻谷的缺陷检测）及PCB表面上电子元器件检测的应用。目前该领域中的中高端设备完全被国外垄断，国内主要采用人工检测的方法，由于人工检测过程中人员流动性大，导致培养新人需求成本较大，同时人工效率低，易误判。因此针对目前情况，提出了一种基于Blob分析的摄像头模组缺陷检测方法。

1 检测系统的软硬件构造及工作原理

1.1 检测系统的硬件方案设计

图1为摄像头模组检测系统硬件架构图。由图1可知摄像头模组硬件架构由3部分组成：1）运动控制系统；2）光学系统；3）光照系统。运动控制系统包括IPMC8188运动控制卡、伺服电机、伺服驱动器、丝杆、导轨及底座。光照系统由AOI环形光源、卤素灯点光源、偏振片、单环形光源以及4路数字光源控制器。光学系统由相机、镜头构成，其中相机为德国SVS的500万黑白相机和500万像素的彩色相机，接口采用网络GigE Vision，镜头采用美国Thales Optem双筒自动调焦T型镜头。

1.2 系统工作原理

在百级无尘室下将物体放于工作台上，通过上位机发送信号给运动控制卡，运动控制卡发送脉冲信号给电机运转将物体运送到光照系统下。根据待检测的物体的尺寸，调节镜头的放大倍率、物镜以及镜头的工作距离，获得质量较高的图片。相机内部CCD将采集的图片从模拟信号转为数字信号，在传输到计算机中，通过自行设计的图像算法软件对图片进行处理，从而检测物体上是否有灰尘并存储灰尘的坐标于数据库，在检测完成调用保存的坐标对物体上的灰尘进行人工在线清洁。

图1 摄像头模组架构图Fig.1 The framework of the camera module

2 光照系统的设计及Sensor图像获取

图像一般由背景以及目标构成，图像的好坏直接影响算法的耗时性以及检测的精确性进而影响检测的效率及准确性。良好的图片易于将目标与背景分离开，利于算法的处理。采集图片过程中，光照对图像质量好坏具有很大的影响。光照过程一般分为明场照明和暗场照明，明场照明指光通过目标物体反射进入镜头，一般采用高角度的光源；暗场照明指在照射过程中由于物体表面的凹凸变化（目标物体），使得该漫反射的光线进入相机，其余的光线被反射离开相机，一般采用低角度环形光源或者点光源。根据摄像头模组上图像传感器材质的特性，以及灰尘的特性，采用暗场照明，由于Sensor上有灰尘的区域呈现凹凸，导致光线进入相机，使得灰尘区域呈现白色，其余区域呈现黑色，从而将背景与目标分开。图2为采集带有灰尘的局部Sensor图片，能够很好的将灰尘及背景分离开。

图2 光照下采集的Sensor图像Fig.2 The acquisition image of the optical system

图3 光照系统图Fig.3 The image of the optical system

表1表示自行设计的光照系统下检测的灰尘与金相显微镜对比图。由表1得出自行设计的光照系统与金相显微镜下检测到的灰尘数基本相同，因此自行设计的光照系统能够满足算法的需求。

表1 检测灰尘数对比Tab.1 The comparison of the sensor number

3 图像关键算法设计流程

3.1 图像二值化

图像二值化就是通过设定一定的阈值将背景与目标物体分开[5]，使得图像中的所以像素为0或255，从而为黑白图像。在二值化过程中将大于阈值的像素点设为255，小于阈值的像素点设为0。目前普遍采用二值化为全局阈值和OSTU法，但本课题采集图片像素为2 456×2 058，由于图片较大，在光照过程中可能存在的微小不均匀性影响，为了提高实验的准确性，对图片进行分割，然后在对分割区域求取阈值进行二值化。

设图像为G（x，y），x代表像素点的横坐标，y代表像素点的纵坐标，每个像素点灰度值为G（xi，yi），二值化后的像素灰度值为F（xi，yi），采样步长为n，平均阈值为Tk，K为区域块的标记，则函数表达式为：

其中K为K1，K3中较小值

当K为K3，K4时候二值化方法同上。

经过实验验证，当采样步长为n=64时图像二值化的处理速度最快。

3.2 Blob分析

Blob就是将图像中具有相同特征的点连通起来，从而将物体中的背景与目标分离开，根据获得的Blob连通域计算目标物体的一些特征参数，例如目标物体的形心、面积、周长等。在Blob分析中最为核心的就是连通域如何进行标识，因此在Blob分析中先对二值化后的图像先进行连通域标识。

3.3 运用Blob游程链法获取灰尘的形心

文献[4]提出了一种在连通标记法中引用动态数组，按照从上到下，从左到右对图像进行扫描，扫描过程只处理相邻两行像素。因此为了保存在处理过程中相应的数据，设计了CBlob类、BeginRow和EndRow两个动态链表，CBlob::BeginRow对应处理第一行元素，CBlob::EndRow对应第二行元素。在整个图片搜索过程中寻找两行之间的连通性关系，从而将连通性关系转为了数组游程点之间的关系。如果两行元素连通，将BeginRow归属于EndRow的所属的Blob类中，否则为算法分配新的Blob类。

根据获得的Blob中的连通域的关系求取灰尘的形心，求取形心的公式如下，设形心的坐标为（Xcenter，Ycenter）：

其中xi，yi分别为连通区域灰尘中像元的横坐标和纵坐标，zi为连通区域灰尘每行像元个数的综合，m为构成一个灰尘的总像元数。

4 实验结果及测试

4.1 实验结果

针对目前市场上的主流摄像头模组为8.5×8.5 mm尺寸，采用自行研发的图像处理软件处理前、后的图片如图4和图5所示。从图4和5可以看出，处理后的图片能将Sensor上的灰尘全部检测出来并采用方框做标记以便识别是否检测，同时采用数据库保存灰尘的坐标，有利于下一步在线清洁的实现。该检测为实现自动检测Sensor灰尘做好了准备。

4.2 耗时性对比测试

针对尺寸为8.5×8.5 mm的摄像头模组做了10组样品的耗时性测试，对比了运用Blob分析检测与传统的区域增长法做了算法耗时性比较，比较结果如表2所示。

图4 处理前Sensor图像Fig.4 Unprocessed image of the Sensor

图5 处理后Sensor图像Fig.5 Processing image of the Sensor

表2 算法耗时性测试结果Tab.2 Result of the time-consuming

从以上耗时性测试结果表明，算法的耗时性与灰尘的个数有关系，灰尘越多耗时性越高。目前由客户端反馈数据统计，一组供料中仅有10%左右的摄像头模组需要检测，且被检测摄像头模组中每一个摄像头模组上的灰尘不会超过5个，普遍在0个左右，由以上表看出5个灰尘检测耗时为300 ms，传统的区域增长法所需的时间最大为2 500 ms，是同等条件下Blob检测的8倍，因此使用Blob算法能够满足摄像头模组的检测，同时能够提高检测效率。

4.3 灰尘形心检测精度对比测试

由于灰尘的体积很小，在后续的清洗过程中需要进行人工进行清洁，因此对灰尘的位置精度要求较高，以便于能够准确清洗图片，在检测后根据灰尘的形心设置了框形区域。本文针对8.5×8.5 mm的摄像头模组在自行设计的软件下计算的形心坐标与金相显微镜下计算的形心做了对比，实验结果如表3所示。

从以上精度对比实验结果表明，自行设计的检测精度与金相显微镜精度误差范围在2个像素以内，因此表明基于Blob分析算法能够满足物体形心的检测。根据目标物体的形心标准，标记物体的位置，从而能够满足人工在线清洁。

表3 精度对比结果Tab.3 Result of the precision comparison

5 结束语

根据实验数据得出，依据物体特性设计的光照及光源系统能够完全满足摄像头模组上灰尘的检测。基于Blob分析的摄像头模组Sensor灰尘检测方法耗时性较低，且定位精度较高，能够满足人工在线清洁以及高效率生产，为高像素的摄像头模组缺陷检测打下了基础。

[1] 李映.手机摄像模组：像素攀高功能求新[N].中国电子报，2007-09-25.

[2] 马宁.手机摄像头的现状与发展趋势[J].世界电子元器件，2007（7）:39.MA Ning.Situation and trend of development of the mobile camera[J].Global Electronics China，2007（7）:39.

[3] 冈萨雷斯.数字图像处理[M].北京:电子工业出版社，2009.

[4] 张二虎，冯江.Blob分析中基于游程链的连通区域标记[J].应用科学学报，2008（5）:536-540.ZHANG Er-hu，FENG Jiang.Run-list based connected components labeling for Blob analysis[J].Journal of Applied Sciences，2008（5）:536-540.

[5] 霍宏涛.数字图像处理[M].北京：机械工业出版社，2003.

[6] 陈书海，傅录祥.实用数字图像处理[M].北京：科学出版社，2005.

[7] 陈兵旗.实用数字图像处理与分析[M].清华出版社，2008.

[8] Carmona E J，Martnez Cantos J，MIRA J.A new video segmentation method of moving objects based blob level knowledge[J].Pattern Recognition Letters，2008，29（3）:272-285.

[9] TSAI Duming，HUANG Tseyun.Automated surface inspection for statistical textures[J].Image and Vision Computing，2003，21（4）:307-323.

[10] HU Qing-mao，QIAN Guo-yu.WIESLAW L N.Fast connected-com-ponent labeling in three-dimensional binary images based on itera-tive recursion[J].Computer Vision and Image Understanding，2005，99（3）:414-434.