基于线阵CCD的小物体掉落自动检测系统

陈 平，李毅红

（中北大学 电子测试技术国家重点实验室，太原 030051）

0 引言

随着自控产业的发展，现代工业中常遇到的分拣工作、掺杂工作，都改变了传统的手工分拣模式，采用自动控制模式执行，如：螺丝的分拣装包、钢化玻璃中掺杂小钢珠等等[1]。而自动化流程执行的稳定性和可靠性，需要相应的检测系统作为技术保障，因此小物体掉落的自动检测成为主攻关键。

考虑到光电检测技术的非接触、适应能力强、快速高效、准确、柔性好、可靠性高等特点，光电检测成为实现小物体掉落检测的首选方法[2,3]。而且随着光电检测技术的发展，小物体掉落检测技术也逐渐成熟。如美国欧姆龙、日本基恩士等公司都已生产出了相应的光电传感器，但是此类光电传感器只能检测物体是否掉落，不具备掉落位置识别功能，如此对于某些行业中的一排多组掉落情况，则需要增加光电传感器的数目，实现每组掉落情况的识别，这样系统的整体成本较高，不适宜工程化[4]。此外，此类传感器随着物体尺寸的减小，其价格也逐渐翻倍增加。因此，从成本角度考虑，在满足检测精度前提下，应尽量减少检测系统数目，即一个检测系统应能够满足多组掉落情况的检测，对此成像方法将成为有效检测方法。

产生于上世纪70年代初的电荷耦合器件（Charge Coupled Device，CCD）作为现代最重要的图像传感器之一，它是由一种高感光度的半导体材料制成的模拟集成电路芯片，借助光学系统和驱动电路可以实现物体表面的光反射信息的获取，其具有灵敏度高、结构简单、成本低廉，在检测检测方面有诸多应用。如：利用线阵CCD可以实现物体运动速度、物体外形尺寸等测量[5～8]。面阵CCD可以实现物体跟踪，3D成像、表面缺陷识别等方面的应用[9～12]。对于一排多组的小物体掉落的检测，仅需线阵CCD即可，但是对于一排多组的检测系统设计、设备选型依据、以及满视野成像的光照自适应性等方面还需进一步研究。

考虑上述问题，本文针对一组多排的掉落情况进行了研究，设计了基于线阵CCD的小物体掉落自动检测系统。论文首先针对一组多排的掉落情况，设计了线阵CCD检测系统，并对系统部件的选型进行了说明，同时针对系统所涉及的相关技术进行了详细论述，最后针对玻璃加工过程中掺杂钢珠的实例，进行了工程应用，验证了系统的稳定性和有效性。

1 系统构成及其工作原理

1.1 系统构成及工作原理

图1为小物体掉落检测系统原理图。 它主要由照明子系统、光学成像子系统、图像采集子系统以及计算机等组成。照明子系统由光源、光源控制器构成。光学成像子系统由变焦镜头等组成。图像采集子系统由CCD相机和图像采集卡等构成。进行检测时，由成像系统获取图像数据，由软件进行掉落情况与掉落位置的识别。

图1 测量系统原理图

如图1所示，依据生产线在线检测环境设计光学成像子系统，并由图像采集子系统控制数据采集，所采集的图像数据经图像采集卡传输到计算机。考虑实际检测需求，在光学成像子系统中需要设计相应的照明子系统，为了提高系统控制的智能性，照明子系统与计算机之间通过光源控制器，以串口通信方式进行光照度的自动调节。最后通过对采集回来的数据进行处理与识别，并结果反馈生产设备，进行反馈控制。

1.2 系统部件选型

1.2.1 线阵相机

线阵相机的选型主要取决于相机的分辨率、采集频率以及镜头焦距。相机的分辨率由检测物体的直径决定，采集频率由物体运动速度决定，镜头焦距由分辨率和视野大小决定。

对于掉落的检测，假设检测物体直径为d，一排有n组掉落，n组总宽为D。为了提高检测的稳定性，对于直径d的掉落物在图像上应至少反应为2～3个像素，则可按如下公式（1）确定图像分辨率M：

掉落物属于自由落体运动，假设在距离掉落点s处进行检测，根据重力加速度可计算出检测点处的掉落物运动速度v为：

公式（2）中的g为重力加速度9.8 m / s。依据公式（2）可知1秒钟，掉落运动距离为v，假设在运动v的过程中，线阵相机应至少抓拍一行。依据公式（1）可知，每行对应的实际视场尺寸为d / 2，则相机的采样频率k应为：

假设相机安装在距离掉落物L处，同时依据公式（1）（3）进行相机定型后，CCD芯片尺寸为 d'，从而依据三角成像原理可确定镜头焦距l为：

根据上述公式（1）、（2）、（3）、（4），待检测对象和检测空间尺寸确定后，可以进行相机和镜头的选型及设计。

1.2.2 光源

由于线阵相机感光性能差，同时掉落的物体一般尺寸较小，所以系统采用背光源作为图像背景。在检测过程中，通过相机获取背光源的图像。当有物体掉落时，在背光源的亮背景上出现阴影，所获得图像就是包括该阴影的图像信息，在此基础上，利用相关图像处理技术，提取掉落物体的空间信息，实现掉落物体的检测。

在光电检测中，通常采用高密度LED阵列面提供高强度背光照明，能够凸显物体的外形特征，为了避免自然光的影响，系统采用红色背光源进行光源补偿。同时对于满视野成像，由于镜头的一致性问题往往导致所获取的图像，中间较亮边缘较暗，图像灰度的一致性较差，不利于图像边缘区域的检测[13]。为此照明子系统设计为三路独立控制结构，将中心区域光照强度调弱，边缘区域相对调强，以保证满视野成像范围内的图像灰度一致性。

2 系统软件实现的关键技术

2.1 多线程同步

对于高速运动的物体，一般要求线阵相机具有较高的帧频，一般能够达到几KHz，甚至几十KHz，如果采用常规的单线程软件处理方法，将会占用系统资源较多，主控界面无法实时刷新。在此基础上进行相关图像处理工作，将会直接影响数据采集的正常性，不易于高速运动物体的检测。

而随着操作系统技术的发展，先后出现了多通道程序设计、分时系统等许多技术，提高了系统运行的效率。多线程技术的引入，不但可以挖掘潜在的CPU空闲时间，而且还可以提高应用程序反应的速度，其优点在有多个任务需要完成和有巨大数据流量的程序中反映的尤为突出[14]。因此可以采用多线阵程序设计方法，对该系统的数据采集与数据处理进行分时同步执行。对于多线线程的同步时程序设计首要解决的问题，要保证有数据可处理，无数据重复处理过程，对此采用事件促发模式进行响应，当有新数据采集时，促发数据处理事件，执行数据处理线程。在整个软件执行过程中，数据采集线程始终处于触发状态，保证信息获取的有效性。

2.2 基于内存递归访问的数据处理方法

在程序执行过程中，受数据处理算法复杂度的影响，数据采集时间往往大于数据处理时间，易造成在数据处理的同时由于内存冲突无法实现新数据的获取，影响掉落物的检测稳定性。对此，系统采用了内存递归访问方法，避免了内存冲突。

该方法首先申请N块小内存组成的大内存，每块小内存的大小等同于相机一次数据采集的数据量。在数据采集线程中，依照时间顺序将采集的数据依次存放于N块小内存中，并赋予相应的标志变量。当存到第N+1次时，又循环到第一小内存中执行。而数据处理线程采用同步执行方式，依次递归处理有标记的小块内存数据，处理完毕后清空标志，待数据采集线程进行新的数据填入。如此可通过两个线程对N块小内存处理的时间差，避免内存冲突问题，确保检测的稳定性。当然小内存块数N由计算机操作系统决定，如果计算机CPU主频相对较高，N的数目可偏小，反之偏大。

具体执行过程如图2所示：

图2 内存递归访问示意图

2.3 基于邻域空间的掉落物自动识别

对于一排多组掉落情况，除了需要判断物体掉落与否，还需判断物体的掉落位置，实现掉落物的自动识别。由于系统采用分区域光强可调的背光源照明补偿，所获取的图像背景较单一，灰度一致性较好，可利用阈值分割实现掉落物的特征提取，如公式（5）所示：

在公式（5）中，I表示相机采集回来的图像， I'表示阈值分割后目标提取的图像，(x, y)表示像素空间位置，T表示分割阈值。掉落物在背光源的补偿照明下，由于光路遮挡，图像灰度较暗，对此可采用最大类间方差方法自动获取分割阈值T，进行图像分割，并将掉落物以“1”像素表征于二值图像中。

而掉落物定位是基于分割后二值图像，利用邻域空间标识进行识别。二值图像的邻域标记是从“0”像素（表示背景）和“1”像素（表示掉落物）组成的一幅点阵图像中，将邻近空间内（4-邻域或8-邻域）的“1”值像素集合提取出来，并用位移的标记值进行标记。通过处理位于一个完整目标对象（相同标记值）内所有像素特性，从而获得掉落的整体性能和参数。

在检测对象邻域分析过程中，受光照等影响，易出现干扰像元影响掉落物的识别，对此可依据掉落外形尺寸先验对所标记的领域空间尺寸进行限制，去除干扰因素，凸显目标信息。对所提取的目标信息进行重心计算，并依据成像视野的空间位置确定掉落位置，从而实现掉落位置的识别。

3 实验验证

3.1 实验系统

在玻璃加工中，为了改变玻璃相关成分的应力分布，一般通过掺杂0.3～0.5mm的小钢珠，而且对小钢珠的掉落位置以及掉落数量有严格要求。针对该背景，利用本文系统进行了实验验证。系统设计如图3所示。

图3 检测系统示意图

在钢珠的掉落过程中，为了保证视觉可检性，在钢珠掉落通路上安装薄壁透明玻璃管（11个），玻璃管两端接PVC管，保证钢珠能落在玻璃的指定区域。线阵相机只获取玻璃管固定架下端一条线上的小钢珠掉落信息。

在检测系统的安装过程中，线阵相机距离检测对象为450mm，有效成像视野宽为450mm，相机检测位置位于玻璃管口部往下20mm处，依据2.2节的设备选型依据，选择4K的线阵相机，采集频率设置为5KHz，采用45mm的相机镜头。为了保证数据采集效率，采用以太网数据传输模式。相机采集采用多线程实时采集，每次采集返回的图像分辨率为：4096×60。经在CPU主频2.6GHz，内存2G的计算机上测试，选用小内存块数N为7块。

3.2 实验过程与结果

为了能够识别钢珠的掉落位置，首先获取未掉落时的背景信息，提取每路钢珠掉落的具体位置。

图4 钢珠未掉落时的背景信息

从图4可以看出，由于采用了分区域光强可调的背光源，所获取的满视野图像的灰度一致性较好，在图中可以清晰地看见透明玻璃管信息。对该图进行区域分割，提取每路钢珠的可运动空间位置，如图5所示。

图5 运动空间标识图

如图5所示，白色区域将是每路钢珠掉落时可运动的自由空间，以此作为基准，可实现钢珠掉落位置的识别。图6是相机获取的若干路钢珠掉落情况的示意图。

图6 实际获取的钢珠掉落图像

对图6进行特征提取，结果如图7所示。

图7 钢珠掉落图像的特征提取

在上述实验中，图6（a）和图6（c）仅是掉落一颗钢珠，图6（b）是在短时间内连续掉了两颗钢珠，从识别结果来看，该系统能够有效地对其掉落数量进行识别。同时根据识别结果重心X的位置，并结合图5所提出的钢珠可自由运动的空间区域，能够实现钢珠掉落位置的识别。

表1 图6的识别结果

4 结束语

本文结合光电检测技术，针对一排多组的小物体掉落检测需求，利用线阵CCD相机设计了成像检测系统。同时以玻璃加工行业中的小钢珠掉落为实验对象，对系统进行了验证，实现了一排11路0.3～0.5mm的小钢珠同时掉落情况的识别。结果表明，系统成像质量良好，能够实现一排多组掉落情况的掉落数量及掉落位置识别，系统性能稳定、可靠性好，在分拣、掺杂等行业具有巨大应用前景。

[1] 张英,张九六,李春生,周铭. LED高速高精度自动测试分拣设备研制[J].中国计量学院学报, 2011, 22(2):120-123.

[2] A.L. Yuille. Com pu ter v ision needs a co re and foundations[J]. Image and V ision Com puting. 2012,30:469-471.

[3] Fuqiang Z, Yi C, Bin P, Yexin W. A novel optim ization m ethod o f cam era param eters used f o r v ision measurement[J]. Optics & Laser Technology. 2012,44:1840-1849.

[4] 陈骥,王鑫,曹久大,周兆丰.高速CCD激光位移传感器[J].光学精密工程.2008,16(4): 612-616.

[5] 艾莉莉,袁峰,丁振良.应用线阵CCD的空间目标外姿态测量系统[J]. 光学精密工程. 2008, 16(1):161-165.

[6] 倪小芳,吴平辉.利用线阵CCD对物体尺寸测量的研究[J].光学仪器.2011, 33(6):11-13.

[7] Wei W, Zheng L, Mo C, X iaom ing Y, X iaohai H. An automated vision system for container-code recognition[J].Expert Systems w ith Applications. 2012, 39:2842-2855.

[8] 郭强生,靳卫国,周庆亚.集成电路粘片机视觉检测技术研究[J].电子工业专用设备. 2005, 34(7):34-40.

[9] Vassilis M P, Iannis E P, Fani L, A lexios G, Maroudio K.A compter-vision system and methodology for the analysis of fish behavior[J]. Aquacultural Engineering. 2012,46:53-59.

[10] PING C,YAN H. The Algorithm of Vehicles Trajectory Extraction Based on Video Image Sequences[J]. CISP’10.2010: 1018-1022.

[11] 唐启敬,田行斌,耿明超,周游,赵铁石.CCD视觉检测系统的整体标定[J]. 光学 精密工程. 2011, 19(8):1903-1908.

[12] G.C.H.E. de Croon, C.De W agter,B.D.W. Remes,R.Ruijsink.Sub-sampling: real-time vision for m icro air vehicles[J].Robotics and Autonomous System s. 2102,60:167-181.

[13] 关澈,王延杰.CCD相机实时自动调光系统[J].光学精密工程.2008, 16(2):358-365.

[14] 汤伊黎,于敏,戴振东,杨松祥.基于多线程技术的运动控制与数据采集程序设计[J].工业控制计算机.2007, 20(3):46-47.