基于HALCON的板料成形网格应变的测量

项辉宇，刘倩倩，韩宝安，李 鹤

（北京工商大学 材料与机械工程学院，北京 100037）

基于HALCON的板料成形网格应变的测量

项辉宇，刘倩倩，韩宝安，李 鹤

（北京工商大学 材料与机械工程学院，北京 100037）

计算机视觉在网格应变测量领域的应用已成为研究热点，本实验是基于先进的图像处理软件HALCON，利用双目立体视觉原理，对印制有圆形网格的板料应变测量。首先采用印制有圆形标志点的平面标准标定板，对摄像机进行标定，获得摄像机的内外参数。采用基于NCC的匹配方法对左右图像特征点进行匹配，利用视差原理获得匹配点的三维坐标，对印制有圆形网格的板料进行三维重建。然后根据圆形网格变形后的椭圆长短轴的长度变化，计算得到真实应变，用OpenGL语言将应变可视化。

标定；立体匹配；三维重建；HALCON；应变可视化

0 引言

传统接触式的应变测量方法已无法完成对大挠度塑形变形的应变测量，工具显微镜法[1]是板料成形的传统应变测量方法，其采用圆形阵列网格，通过工具显微镜直接读取变形后的椭圆的长短轴长度，并与初始圆网格的直径进行比较，从而获得单个圆形区域的应变值，对手工操作的依赖性较大，效率和精度较低，难以解决复杂板件的应变测量。采用HALCON进行非接触式的快速精确的应变测量方法已在各领域都得到广泛的应用。HALCON拥有一套图像处理库，由一千多个独立的函数以及底层的数据管理核心构成。包含了滤波，色彩以及几何、数学转换，形态学计算分析，校正，分类辨识，形状搜寻及影像计算等功能，基于HALCON强大的计算分析能力，应用范围几乎没有限制，涵盖从医学，遥感探测，监控，到工业上的各类自动化检测[2]。本实验利用强大的HALCON的算子和算法实现对板料成形网格应变的测量。

1 双目立体视觉标定

双目立体视觉标定的流程如图1所示。为了进行摄像机标定，必须在世界坐标系中已知足够多空间点的三维坐标，找到这些点在图像坐标系中的坐标，并建立对应关系，通常将容易提取特征的目标物或标志放置在一个已知位置上。本实验中使用的是（60×60）mm平面标准标定板。

利用算子open_frameg-rabber()打开和配置选定的图像获取设备，利用算子grab_image()实时采集图像。通过while循环，利用get_mposition()算子，实现鼠标左键点击图像窗口时进行图像采集并保存。为了简化复杂的非线性问题，需要给定摄像机的初始参数，摄像机参数包括焦距、畸变、像元大小、图像中心点坐标以及图像大小。本实验中使用的摄像机参数为Start-Paramater=[0.016,0,5.2x10-6,5.2x10-6,640,512,1280,1024]。然后将抓取的图像利用算子find_caltab ()提取标定板内部区域。找到标定对象上的内部区域之后利用算子find_marks_and_pose()从图像中提取2D标定标志，并计算摄像机外部参数的初始值，该算子使用亚像素边缘提取方法来提取标志点的边缘如图2所示。确定了标志点与它们在图像中投影之间的对应关系后，利用算子binocular_calibration()根据上述过程可以计算出双目立体视觉系统中摄像机的内部参数以及两个摄像机之间的位置关系，结果如图3所示。

图1 标定流程图

为使摄像机参数更加准确，需要有足够多的标定图像，因为摄像机参数之间存在不容忽视的相关性，这些参数只能通过多次无关测量进行求解。标定板在标定图像中最好能够覆盖整个视野，这样可以使计算得到的畸变k更加准确。如果标定板可以覆盖较大的深度范围，所得到的摄像机参数会更准确，可以通过将标定板绕其x轴和y轴旋转一定角度，或者将标定板放置在与摄像机不同距离的位置上，以增大标定板覆盖的深度范围[3]。

图2 提取的标志点

图3 双目立体标定结果

2 立体匹配

2.1 立体匹配

进行立体重构主要的一步就是得到图像中每个点的视差，一般是指第一幅图像的所有点，求视差的过程可以看做模板匹配问题。图像的匹配就是要找出同一目标在左右成像面上的特征对应关系，根据二者视差恢复图像的深度信息[4,5]。一般情况下基于灰度值的匹配方法是立体匹配中最快的方法。最简单的计算相似度量[6]的方法是SAD （sum of absolute gray value differences）和SSD（Sum of squared gray value differences），对于立体问题来讲，可使用如下等式表示：

这两种相似度量方法的运算速度非常快，不过这两种方法受光照变化影响比较大，而由于两个摄像机视角不同，加之被测对象本身等原因，光照变化在立体重建中经常出现，因此在一些应用中必须使用归一化互相关方法（NCC）计算相似度量，在解决立体匹配时，可以使用下式表示：

式中，mi和si（i=1,2）分别表示第一幅和第二图图像中窗口部分的均差和标准差。使用归一化互相关方法可以保证线性的光照变化不会导致互相关系数发生变化。

2.2 匹配过程

图4 匹配过程流程图

在HALCON中调用相关算子进行匹配并得到视差图，匹配过程流程图如图4所示。

摄像机标定完成后，在摄像机相对位置以及各项内部参数均未发生改变的情况下，获取变形后的板料的左右两幅图像。为简化匹配过程需要对图像进行校正，实现两幅图像处在同一平面，根据极线约束原理，对于左图像中一点，其在右图像中的匹配点肯定位于与该点在左图像相同的行上，这样匹配的过程中只需在与已知点的相同行上进行搜索即可。利用标定得到的摄像机内外参数对图像进行变换，使得变换后的图像共轭极线共线，并平行于图像的水平轴。算子gen_binocular_rectification_map()用于创建校正后图像对所在的图像平面，而map_image()将测量图像投影到刚创建的图像平面，对板料图像进行校正后的图像如图5所示，此时左右图像中对应匹配点位于相同的行上，匹配结果如图6所示。

HALCON中算子binocular_disparity()利用相关一致性技术，计算校正后的两幅图像之间像素级精度的对应关系，输出结果为视差图和匹配分值图，如图7所示。两幅图像均是参考第一幅校正图几何，即第一幅校正图像中点的视差就是视差图中位置处的灰度值。在视差图中匹配失败的区域以白色显示，而在匹配分值图中则以黑色显示。

图5 图像校正结果

图6 匹配结果

图7 视差图和匹配分值图

3 三维重建

3.1 三维重建过程

整个三维重建过程如图8所示。在HALCON中算子draw_rectangle2()定义区域并利用算子reduce_domain ()来创建感兴趣区域ROI。利用算子edges_sub_pix()对ROI进行亚像素精度边缘提取，配合使用算子select_contours_xld()和select_shape_xld()，对提取的边缘进行选择，由于印制的网格有一定的宽度，因此每个圆形网格均会有内边缘和外边缘。

图8 三维重建流程图

本实验中使用自编的算子sort_contours_xld_by_line ()，实现按线段或直线对提取的椭圆轮廓进行排序。在HALCON中，先按照轮廓排列顺序，从中选出一个，然后用算子fit_ellipse_contour_xld()进行椭圆拟合，得到拟合后椭圆的各项参数包括中心坐标、长短轴方向、长短轴长度以及长短轴终点坐标，将内外轮廓对应的这些参数按照排列顺序进行平均运算，得到真实位置椭圆的各项参数，再利用算子gen_ellipse_contour_xld()生成椭圆。

3.2 三维坐标转换

双目立体模型在经过校正后变成了双目平视模型，空间点在两图像中的投影 （称为共轭点）的图像坐标分别可表示为：

共轭点在两图像上的位置差称为视差d，即：

其中焦距f和基线b均为校正后的图像参数，为已知，而视差d由算子binocular_disparity()求得，这样空间点的三维重建将大大简化。

算子disparity_to_point_3d()以校正后的摄像机参数、图像坐标和视差值为输入参数，将图像坐标转换为校正立体系统下的三维坐标（Xc，Yc，Zc）。

4 应变计算

4.1 应变计算

常用的网格类型有圆网格、方网格和混合网格，对于不同的网格计算应变的方法也不同。采用圆网格进行应变计算时，计算方法非常简便。记d0为变形前圆的直径，d2和 d1分别为变形后的椭圆之长、短轴的长度[8]，变形后椭圆的长轴方向为主应变方向，短轴方向为另一个主应变方向，主应变的计算公式为：

真实应变：

4.2 应变可视化板料表面的应变计算出来后，为了便于方便的观察板料成形应变，需要通过科学计算可视化技术显示出这些数据的意义。本文中的科学计算可视化是在 OpenGL的基础上实现的[9～11]，其整个可视化流程如图9所示。

图9 可视化流程

4.3应变可视化系统实现

本实验利用OpenGL语言，在VC++6.0基础上编程实现了应变可视化系统，如图10所示，该系统中可以观察三维曲面、主应变、工程应变、等效应变、厚向应变的离散点图和曲面图，通过鼠标操作可实现平移、旋转、缩放和复位同时在系统设置中可对双线性插值次数、离散点大小和背景颜色进行设置[12]。本实验以主应变为例，显示应变效果如图11所示。

图10 应变可视化系统界面

5 结论

图11 真实主应变

本文将图像处理软件HALCON引入到板料成形网格应变测量中，采用平面标准标定板，通过在标定板区域内对标志点轮廓进行椭圆拟合，确定标志点中心在图像中的投影，根据多幅图像中的这种对应关系确定两摄像机内部参数和两摄像机之间位置关系，根据双目立体视觉原理得到了准确的标定结果。通过基于灰度值的匹配方法获得图像的视差，为了消除光照变化的影响，本实验采用NCC相似度量方法，得到匹配结果——视差图和匹配分值图。要完成三维重建，除了校正后摄像机的参数和视差图，还需确定特征点的位置以及对应的视差值，因此需要对特征点的提取进行预处理操作，包括创建感兴趣区域、亚像素边缘、轮廓提取及排序、椭圆拟合和平均运算，得到椭圆中心点坐标，根据视差原理求得特征点在摄像机坐标系下的三维坐标，进而获得圆网格应变。在VC下调用OpenGL图像库，实现应变的可视化。实验证明，基于HALCON的板料成形网格应变测量方法快速、准确，具有很强的鲁棒性。

[1]工具显微镜编写组.工具显微镜[M].北京：机械工业出版社，1978.

[2]王家国.瓶装啤酒异物在线检测关键技术研究[D].山东大学,2009.

[3]（德)Steger,C.,Ulrich,M.,Wiedemann,C.,等；杨少荣，等（译）.机器视觉算法与应用[M].北京：清华大学出版社，2008:218-245.

[4]王玉翰.基于双目立体视觉的番茄识别与定位技术研究[D].浙江大学，2012.

[5]王晓华.基于双目视觉的三维重建技术研究[D].山东科技大学，2004.

[6]王瑞.基于计算机视觉的深度信息提取技术的研究[D].沈阳工业大学，2007.

[7]徐玉华.二维光学和距离图像配准方法及其应用研究[D].合肥工业大学，2011.

[8]靳海亮，高井祥，康建荣.基于VC和OpenGL的地形三维可视化[J].微计算机应用，2006，5.

[9]王海涛，张力，项辉宇.基于视觉的汽车覆盖件塑性主应变测定[J].北京工商大学学报（自然科学版），2008，4.

[10]郭涛，平西建.基于OpenGL的三维地形可视化技术研究[J].计算机工程与设计，2008，1.

[11]刘媛媛.板料成形试验中应变测量与数据处理系统开发[D].南京航空航天大学，2012.

Grid Strain Measurement in Sheet Metal Part Forming Based on HALCON

XIANG Hui-Yu，LIU Qian-Qian，HAN Bao-An，LI He
(Materials and Mechanical Engineering College,Beijing Technology and Business University,Beijing 100037,China)

Computer vision application in the field of strain grid measuring has become a research topic,the study mainly measure strain to sheet metal with circular grid using the principle of binocular stereo vision based on advanced HALCON which is an image processing software.First calibrate the cameras with plane standard calibration plate to acquire the cameras'internal and external parameters.Matching feature points of left and right images by matching method based on NCC.Using the disparity principle to get three-dimensional coordinates of the matching points with which to conduct 3D reconstruction to the sheet metal part printed with circular grids.Then according to the length change of the elliptical axis after circular grid deformation,calculate the the true strain,and visualize each strain with OpenGL language.

calibrations；stereo matching；3D reconstruction；HALCON；visualization strains

TP39

：Adoi:10.3969/j.issn.1002-6673.2014.03.048

1002－6673（2014）03－125－04

2014－04－03

项辉宇(1966-)，男，工学博士，教授。主要研究方向：数字化设计制造技术；刘倩倩（1988-），女，硕士研究生。