基于智能相机的模组视觉定位系统

薛海辉，石 峰，柳 君，王昭鹏

（浙江中控技术股份有限公司 创新创业总部，杭州310053）

在石墨烯模组生产过程中，流水线上的模组在进入点胶机前需要工人依次将其拾起并安装在点胶机定位凸模上，然后由点胶机进行模组点胶。如果采用工业机械臂上料方案，方案就必须满足模组自动上线的设计要求，即V 型凹槽模组安装在点胶机定位凸模上的成功率要求在99.2%以上。由于石墨烯模组每次到达烘道出口的位置及模组V 型槽角度姿态均存在差异，因此在工业机械臂抓取前必须借助视觉系统完成模组定位检测，获取模组当前位置X，Y值及V 型槽旋转角度数据，从而引导工业机械臂抓取及放置模组，实现模组自动上线。

1 系统总体设计

1.1 智能相机模组视觉定位系统

智能相机是一种高度集成化的、微小型的机器视觉系统，属于系统范畴；而工业相机只属于机器视觉系统中的一部分，属于工业元件范畴[1]。

在机器视觉的使用中，工业相机多是基于CCD或CMOS 芯片的相机，在使用时需要外接DMA 控制器来实现实时进行数据采集与存储。另外，编程人员需要具备一定的C#，C++或JAVA 等计算机编程语言技能。

而智能相机由于应用了最新的DSP，FPGA 及大量存储技术，它将图像采集单元、图像处理单元、数据通信单元统一集成在智能相机内部，因此无需再外接DMA 控制器，就可以独立进行图像检测工作。在实际使用中，智能相机视觉系统在图形用户界面（GUI）Spreadsheet 区域可以通过调用函数的方法来实现对视觉系统的二次开发。

在视觉系统中，图像采集质量的优劣在很大程度上受限于所选光源的质量。为了获得理想的照明效果，可以根据实际应用场景选择适合场景的照明装置。按照具体的照明方法分类，照明可以分为背向照明、前向照明、结构光和频闪光照明等[2]。一般为了利于安装，可以采用前向照明方式[3]。

1.2 网络构架示意

石墨烯模组智能相机视觉系统在没有其它外部设备需要进行通讯的情况下，可以直接与工业机械臂进行TCP/IP 通讯，主要采用工业以太网通讯技术，引导工业机械臂到达指定目标位置。石墨烯模组视觉系统网络架构如图1所示。

图1 石墨烯模组视觉系统网络架构Fig.1 Network architecture of graphene module vision system

设备IP 地址分配与规划：智能相机IP 地址（192.168.20.100）；工业计算机IP 地址（192.168.20.101）；工业机械臂IP 地址（192.168.20.102）。

图像采集单元包括镜头、相机、光源、光源控制器等[4]。智能相机图像采集单元等价于CCD 相机或CMOS 相机及图像采集卡，传输数字图像到图像处理单元[5]。

图像处理单元同样也被集成在智能相机之中，它不仅可以实时存储图像数据，而且还可以独立完成图像处理任务。

图像处理软件为图像处理单元硬件提供边缘提取、特征捕捉等算法，支持图像处理单元硬件完成图像处理[6]。

网络通信装置其主要功能是完成控制信息和图像数据的通信任务。智能相机模组视觉定位系统采用TCP/IP 通讯协议，通过工业以太网进行数据有效传输。

2 工作原理

使用智能相机模组视觉定位系统对石墨烯模组产品外观图像进行图像背景处理、轮廓像素点提取、形状特征提取，以实现对模组的识别。通过观察石墨烯模组外观得出，模组外侧由众多环绕圆心生成的筋板组成，筋板颜色为深黑色；模组内圆组成部分表面为银白色，材质表面具有反光性；外圆与内圆之间设计有V 型槽，用于模组在点胶机工装板上定位。产品外观与特征局部如图2所示。

图2 产品外观图与特征局部图Fig.2 Product appearance diagram and feature local diagram

利用视觉系统图像处理软件中的几何边缘提取算法，获得石墨烯模组的内圆参数，系统自动标定出模组的几何圆心位置。通过捕捉图像特征，首先识别出模组上V 型槽角特征，标定出V 型槽的角平分线。

由于智能相机模组视觉定位系统可以同时采集多组产品特征，因此可以同时标定出V 型槽的角平分线和过圆心的基准线。过圆心的基准线与V 型槽角平分线二者之间的夹角即为所求平面内模组旋转角度。

3 设计过程

3.1 图像几何边缘的提取与特征捕捉

图像的边缘汇集了图像的大部分信息，边缘检测对于图像识别具有重要意义。图像f（i，j）灰度值的梯度可使用一阶差分来进行近似：

式中：Δx f（i，j）为点（i，j）处沿x方向一阶差分；Δy f（i，j）为点（i，j）处沿y方向一阶差分。

图像f（i，j）在x和y两个方向上偏导数的两个矩阵[7]为

式中：P［i，j］为x方向偏导数矩阵；Q［i，j］为y方向偏导数矩阵。

对图像灰度剖面进行分析可以得出，在图像灰度剖面中图像灰度值从较小的一个灰度值缓冲区急剧过渡到一个较大灰度值。借助离散化梯度逼近函数可以计算出图像灰度矩阵的灰度跃变位置：

式中：（x，y）为像素的模板坐标；σ 为正态分布的标准偏差。

然而图像中梯度值较大的点并不能代表该点就是边缘，确定图像边缘还需要对图像中梯度值较大的点实行非极大值抑制[8]。实行非极大值抑制是边缘确定与提取的关键，图像梯度幅值非极大值抑制可以有效地把非极大值点所对应的灰度值置为零，从而确定图像边缘。图像几何边缘提取如图3所示。

图3 图像几何边缘提取Fig.3 Geometric edge extraction of image

内圆提取：内圆可以通过调用“FIND CIRCLE”函数来实现提取，内圆圆环：｛X，Y，Inner Radius，Outer Radius｝。在环形图像区域内定位单个图像边缘，“FIND CIRCLE”通过对同心圆上的像素值求和，以生成图像区域的一维投影，沿半径增大的方向扫描，从投影图像数据中提取边缘变换。

测量线0 与线1 两条直线夹角可以通过调用“LINE TO LINE”函数来实现，其中，线0：｛X0，Y0，X1，Y1｝；线1：｛X2，Y2，X3，Y3｝。

对象特征的捕捉：图像分割是图像特征提取的前提，图像分割效果直接影响系统获取形状特征参数的准确性[9]。系统提取图像特征首先对图像进行自动分割，划分出特征区域。然后根据特征区域提取出图像特征，并建立起图像特征索引[10]。最后再通过检查特征区域内每个像素由此判断该像素是否属于同一个特征。

在图形用户界面的Spreadsheet 中，插入函数做出产品中心检测工具、产品偏差输出工具，如图4所示。

图4 Spreadsheet 中创建检测工具Fig.4 Create a instrumentation tool in the Spreadsheet

3.2 相机标定

通过智能相机视觉系统采集石墨烯模组的标定位置图像，即模组标准位置、模组东、西、南、北、东北、西北、东南、西南9 张位置图像，如图5所示。

图5 相机标定采集图像Fig.5 Camera calibration and image acquisition

依次完成对1.000～9.000 9 点位置调整（标定）如图6所示，调用视觉软件模块化标定工具快捷地完成整个标定过程。

图6 视觉软件标定工具Fig.6 Visual software calibration tool

3.3 设置视觉系统目标位置引导范围

为了保证工业机械臂对目标位置的到达能力同时也为了避免在引导过程中机械臂因关节轴运动与安装在臂上的相机、光源发生位置干涉（碰撞），特此设置视觉系统目标位置引导范围。

设置模组X方向偏移引导范围为-100.000～+100.000 mm，引导前如果模组当前位置X值与相机标定基准位置X值的差值不在-100.000～+100.000 mm的范围内，视觉系统则不向机械臂发送目标位置X，Y及角度引导数据。

设置模组Y方向偏移引导范围为-100.000～+100.000 mm，引导前如果模组当前位置Y值与相机标定基准位置Y值的差值不在-100.000～+100.000 mm的范围内，视觉系统则不向机械臂发送目标位置X，Y及角度引导数据。

设置角度偏移引导范围为-135.000～+135.000°，引导前如果模组当前位置V 型槽角平分线与相机标定基准位置V 型槽基准线差值不在-135.000～+135.000°的范围内，视觉系统则不向机械臂发送目标位置X，Y及角度引导数据。

4 实验结果分析

石墨烯模组视觉定位系统检测结果如图7所示，实验结果表明，采用130 万像素智能相机解决方案，视觉系统成功获取到随机摆放的石墨烯模组X，Y位置及旋转角度A值。

图7 视觉定位系统检测结果Fig.7 Visual location system test results

在引导工业机械臂抓取放置实验中，每组测试500 件石墨烯模组，分4 组依次对不同批号石墨烯模组进行机械臂自动上线抓取放置实验，工业机械臂对模组抓取及放置结果如表1所示。

表1 引导机械臂抓取及放置结果Tab.1 Result of guiding the arm to grasp and place

5 结语

本文从智能相机的显著优势谈起，介绍了智能相机模组视觉定位系统的网络架构、工作原理等内容。以“FIND CIRCLE”，“LINE TO LINE”等函数为例论述了智能相机模组视觉定位系统图像处理软件的函数调用功能，以及图像几何边缘提取、对象特征捕捉的实现过程。通过在软件平台创建系统定位检测工具完成相机标定，获取到随机摆放的石墨烯模组X，Y位置及旋转角度。为引导工业机械臂抓放模组自动上线提供了稳定、可靠的数据支撑。通过完成对不同批号石墨烯模组的分组测试，实验结果表明该石墨烯模组视觉定位系统满足模组自动上线的设计要求，模组安装在点胶机定位凸模上的成功率均在99.2%以上。