基于HALCON的双目视觉物体位姿测量的研究

何斌成 张冠华 李福东

摘要：双目视觉作为一种远程传感技术，在计算机被动测距方法中占有最重要的地位，在机器人导航、工业检测、控制和检测姿态、军事等领域得到了广泛的应用和航空制图，和医疗机器成像。本文对双目视觉物体的姿态测量和双目视觉物体的位置测量系统进行了初步研究，基于 HALCON 的图像处理主要是图像采集、摄像机标定、图像预处理。特征提取、立体匹配和信息提取。

關键词：双目视觉；姿态测量

一、项目背景

双目视觉技术广泛应用于大型机械姿态感知、小工件测量、无人机自动跟踪、3D 打印、汽车自动驾驶等科技领域。机器视觉的主要目的是从图像或图像序列中获得对世界的描述。自20世纪70年代马尔首次提出机器视觉系统的完整理论框架以来，立体视觉信号一直吸引着人们的注意力。双目视觉系统分为摄像机标定、特征提取、立体匹配和深度信息提取。

二、研究现状

浙江大学机械系统充分利用透视成像原理，采用双目体景法实现多自由度机械设备的动态、准确姿态检测，只需提取三维坐标的必要特征点来自两个相应的图像，信息少，处理速度快，特别适合动态情况。与手眼系统相比，被测物体的运动对相机没有影响，在不知道被测物体运动先验知识和限制条件的情况下，有助于提高检测精度。利用双目 CCD 摄像机，从工业相机内部人参标定、镜头畸变标定、立体匹配、特征点分割处理等方面给出了详细的数学模型和算法接口。上。双目标软件 Cca 采用张正宇平面。

双目立体视觉技术在实际应用中已有许多成功的报道。其中最流行的是双目视觉技术在移动机器人障碍物检测和避障中的应用。激光、红外线等传感器测距比较方便，但设备价格昂贵，性价比不高，难以广泛使用。然而，使用相机作为传感器可以获得更多的环境信息，并检测到更宽距离的优势。双目摄像机在实际应用中的应用，可以更好地获得场景的三维信息。

三、发展方向

根据双目视觉技术的发展现状，构建一个像人眼一样灵活的双目立体视觉系统仍然需要研究和开发。所以进一步的研究方向可以如下总结：

如何实现更为有效的双目立体视觉模型的建立，使之能够充分地反映出立体视觉不确定性的本质属性，使匹配条件加入约束信息，得以降低立体匹配的难度；

探索适合整体立体视觉的新计算理论、有效匹配准则和算法结构，解决灰度失真、几何失真、噪声干扰、特殊结构，以及隐行场景的匹配；

算法方面向并行化发展，提高计算速度，并减少计算量，增强系统的实用性；

在不同场景和不同的任务约束之下，针对不一样的应用目的，建立面向任务的有目的的双目立体视觉系统。

四、双目视觉原理

立体匹配作为双目视觉系统的核心内容，主要是寻找三维场景中不同位置和角度获得的二维图像特征信息与立体匹配之间的对应关系。过程主要匹配窗口中的要素信息，如灰度和颜色，并通过计算两个值边缘渐变来减少匹配误差。窗口中特征信息的加权功能可以提高匹配精度，窗口的大小直接影响这些功能的复杂性，一般来说，窗口越大，图片信息就越全面集合，匹配的基础也更充分，更多的要素信息提取，使窗口有更多的相似之处，陷入更多的特征点不匹配需要一个更复杂和复杂的数学模型来减少此类错误的产生。

双目立体视觉 是基于视差原理，并利用成像设备从不同位置获取被测物体的两个图像，方法是几何计算对应点之间的位置偏差。图像，以获取对象的三维几何信息。双目立体视觉的三维测量是根据视差原理进行的。下图显示了一个简单的双目立体成像原理图，其中基线是与 B = 两个摄像机的投影中心的距离；相机焦距为 f. 同时设置两个摄像机以查看空间物体 Pxyz 的相同特征点，分别位于 "左眼" 和 "右眼" 中，以获得 P 点图像，其图像坐标为 PL（uL，vL）和 PR（uR，vR）。当两个相机的图像在同一平面上，则特征点P的图像坐标Y是相同的。

视差：Disparity=UL-UR。所以，可以计算相机坐标系中特征点 P 的三维坐标：

因此，任何点在左相机上，只要可以在右相机表面找到相应的匹配点，就可以完全由点的三维坐标来确定。此方法是点对点操作，就像平面上的一点就有相应的匹配点，可以参与上述操作，从而获得相应的三维坐标。

五、算法实现

本实验主要说明如何从一个圆周相应的二维投射中确定它的三维模式。

首先，利用算子p_determine_ellipse_contours（ ）提取一定参数钻孔的轮廓，然后用算子concat_obj（ ）把大椭圆轮廓和小椭圆轮廓连接成一个图形元组，用再算子get_circle_pose（ ）由2D投影确定圆的的3D位置，并确定这些轮廓中心点的3D位置，最后使用算子p_cluster_normals（ ）输出圆的两个可能方向。

六、结语

本文综述了近年来国内外双目视觉的研究现状和发展趋势，并对目标姿态测量的研究现状进行了研究。通过对双目立体视觉原理的分析，并通过实验对圆周相应的二维投射中确定它的三维模式的测量过程进行了研究和验证。双目视觉物体位姿测量还能有更广的扩展和拓展，还能解决许多传统方式所存在的问题，具有广大的市场价值和应用前景。

参考文献

[1]张如如，葛广英，申哲，秦腾飞，董腾.基于HALCON 的双目立体视觉工件尺寸测量，计算机测量与控制[A].2018.26（1）：1671-4598.

[2]于春和，祁乐阳.基于HALCON的双目摄像机标定，电子设计工程[A].2017.19（10）：1674-6236.

[3]邢作常，田素博，刘思瑶，林 静，张祖立.基于Halcon的无序堆放状态下农机热态锻件的三维模板匹配研究，锻压技术[A].2016.41（4）：1000-3940.

（作者单位：江苏扬州大学信息工程学院）