双目视觉技术在散货堆场中的应用研究

吴振华（交通运输部水运科学研究院，北京 100088）

双目视觉技术在散货堆场中的应用研究

吴振华（交通运输部水运科学研究院，北京 100088）

机器视觉技术在国民经济的各个领域得到广泛的研究与应用。为了解决散货堆场信息获取环节中存在的问题、提高自动化水平，基于双目视觉技术，对其在散货堆场三维信息获取中的应用进行了研究。

立体视觉；特征提取；三维重建

散货堆场上，散货具有堆放零散、形状不规则的特点。为了获取散货的分布情况、重量等信息，采用人工测量方法耗费人力较多且时间较长。研究与探讨一种便捷、有效的散货信息获取方法是很有必要的。双目视觉技术是一种非接触、高效的三维测量技术。通过散货三维信息，可直接获知散货分布情况；结合散货密度等先验知识，可获得散货重量。自20世纪60年代诞生以来，立体视觉技术不断完善、发展。目前该技术已成功应用于国民经济的多个领域，尤其体现在智能交通领域，智能无人驾驶汽车已经逐步走进人们的生活。根据散货堆场对信息获取的需求，针对目前信息获取方法存在的问题，基于立体视觉技术对散货堆场信息获取方法进行探讨。

1 立体视觉技术综述

1.1 Marr视觉理论

20世纪60年代中期美国麻省理工学院的Robert把二维图像分析推广到三维景物分析，标志着计算机立体视觉技术的诞生。70年代中期到80年代中期，Marr提出了第一个计算机视觉领域的理论框架[1]，极大地推动了计算机视觉的发展，并最终形成了这一领域的主导思想。

Marr从视觉计算理论出发，将系统从输入的二维图像数据到输出的3D描述信息分为了自上而下的三个阶段。第一阶段，构建由二维图像中的边缘点、曲线、纹理等基本几何元素组成的基元图（Primary Sketch）。第二阶段，在以观察者为中心的坐标系中，表达可见区域的方向、深度值和不连续轮廓等不完整的三维信息，又称为对环境的2.5维描述。第三阶段，由2.5维描述最终获得场景中物体的三维描述，确定三维场景中物体的位置和姿态，如图1所示。

1.2 双目视觉测量原理

立体视觉技术可分为单目视觉技术、双目视觉技术和多目视觉技术。单目视觉技术对三维信息的获取总是依赖于一定的假设条件、先验知识等辅助信息，检测结果直接依赖于假设和信息的准确性。双目、多目视觉系统技术根据视差原理测量，检测结果不依赖于任何假设条件、先验知识等辅助信息的存在。综合以上分析，本文采用双目视觉技术。

图1 Marr的视觉理论框架

双目立体视觉基于视差原理进行三维测量，以简单的平视双目立体视觉系统为例说明测量原理，如图2所示。

图2 双目立体视觉测量原理

其中左右摄像机光心分别为Ol、Or，两摄像机光心间距（基线距）为b。在以左摄像机光心为原点的世界坐标系中，世界坐标系中一点P坐标为 P( xw,yw,zw)， Pl( xl, yl,)、 Pr( xr,yr,)分别是其在左右摄像机中对应的像点，其中图像坐标系原点为各自成像平面的中心点。理想情况下，两摄像机均无畸变且参数完全相同，由三角几何关系，可得式（1）。

2 立体视觉技术在堆场中的应用探讨

采用立体视觉技术获取散货堆场上散货的三维信息，包括堆场上散货的平面相对坐标、高度、面积和体积。主要分为三个步骤：图像预处理、特征提取与匹配、三维重建。

2.1 图像预处理

获取彩色图像后，需对其进行图像预处理。图像预处理主要包括图像灰度化和图像滤波。彩色RGB图像转换到灰度图像，有多种模型：YUV、YIQ等。其中YUV模型用于PAL制式的电视系统，YIQ模型用于NTSC制式的电视系统。两种模型中Y均代表亮度，且转换公式是一样的，如式（3）。

实际采集的道路图像中存在大量噪声干扰，图像灰度化以后需要对图像进行滤波。主要的滤波算法有：中值滤波、均值滤波、高斯滤波、小波滤波算法等。在滤波环节需考虑两方面因素：一是要去除噪声干扰；二是要尽量保持图像的原有信息。工程中一般采用能够有效抑制噪声、保持原图像有效信息且实时性好的中值滤波方法。

2.2 特征提取与特征匹配

为了获取测距所需的视差信息，应先进行特征匹配，特征匹配前需进行特征提取。图像中的特征是由于景物的物理、几何特性使图像中局部区域的灰度产生明显变化而形成的。一般特征分成三类：区域特征、边界特征和角点特征。其中角点特征具有旋转不变性和不随光照变化而改变的优点，具有直观性和高可靠性的优点。目前已有的点特征提取算子，大致分为两种方法：一种是基于模板的方法，另一种是基于几何特征的提取方法[2]。

SUSAN算子是一种基于几何特征的，直接对图像灰度信息进行处理的类积分特征提取算法。该算法利用圆形模板对角点待提取区域进行扫描，并对模板中心点和非中心点灰度值进行比较、运算，所得结果与阈值比较后，判断此中心点是否为特征点[3]。SUSAN特征提取算法有抗噪性强和处理速度快的优点。采用SUSAN算子可有效提取出堆场上散货的角点信息，以左摄像机所摄取的左图像为例，如图3所示。

图3 散货堆场特征提取效果示意图

下一步是特征匹配，进行特征匹配的目的是建立左右图像中特征点的一一对应关系，进而求得视差信息，最终结合摄像机标定结果最终获取三维信息。匹配的过程总是依赖于一定的相似测度函数，通过对多种相似性测度函数的分析比较，采用实时性好的最小绝对差算法SAD (Sum of Absolute Differences)相似测度函数，如式（4）。

CSAD值越小，则相似度越大，匹配过程中为了降低对应点匹配的复杂程度，提高匹配正确率，应结合一定约束条件。这些约束条件有：外极线约束、唯一性约束、连续性约束、视差有限约束、顺序一致性约束、光度匹配约束、几何相似约束等。特征匹配后可建立左右图像中特征角点的一一对应关系，散货堆场角点特征匹配效果示意图，如图4所示。

2.3 三维重建

摄像头成像过程总是有一定的畸变，三维重建前需对摄像机进行标定以获取摄像机参数。摄像机参数分为表征摄像机内部几何学和光学特征的内部参数和表征摄像机坐标系相对于世界坐标系的位置和方向的外部参数。双目视觉系统中摄像机外部参数包括：左右摄像机坐标系相对于世界坐标系的旋转矩阵和平移矩阵。摄像机的内部参数主要包括：镜头畸变系数和焦距。

摄像机标定后，最后结合标定[4～5]结果对堆场进行三维重建，以最终获取堆场的相对平面坐标、高度信息。经由空间几何计算，可获取堆场上散货的体积，结合密度可获取堆场上堆积散货的重量。最终这些信息可传送到管理信息系统，以实时监测、记录堆场内散货的相关信息。

3 结语

立体视觉技术是一种非接触、高效的三维测量技术。自诞生以来，立体视觉技术不断完善、发展，已成功应用于国民经济的多个领域。本文针对目前散货堆场信息获取方法存在的问题，基于立体视觉技术对散货堆场信息获取方法进行了探讨，以期为后续研究提供一定的参考。随着更多的研发力量转到该领域的研究、设计与实现、市场推广等方面，有理由相信立体视觉技术将在散货堆场信息获取中广泛应用。

[1] Marr D. Vision: A computational investigation into the human representation and processing of visual information[M]. San Francisco: W.H.Freeman and Company, 1982.

[2] 官云兰, 张红军. 点特征提取算法探讨[J]. 华东理工学院学报, 2007, 30(1): 42 - 46.

[3] 刘博, 仲思东. 一种基于自适应阈值的SUSAN角点提取方法[J]. 红外技术, 2006, 28(6): 331 - 333.

[4] 贺俊吉, 张广军, 杨宪铭. 基于交比不变性的镜头畸变参数标定方法[J].仪器仪表学报, 2004, 25(5): 597 - 599.

[5] 郑榜贵, 田炳香, 段建民. 基于交比不变量的摄像机标定方法[J]. 北京工业大学学报，2008, 34(5): 476 - 480.

News[ 新闻 ]

“华龙一号”首堆示范工程开工 核电项目迎密集核准期

2015年5月7日，我国自主三代核电技术“华龙一号”首堆示范工程——中核集团福清5号机组正式开工建设，预计于2020年7月实现商业化运营。该技术的另一个示范项目防城港二期项目也计划在今年7月底开工建设。

业内人士认为，2015年是核电重启的关键之年，目前多个核电项目已做好开工准备，我国核电将迎来密集核准开工期，利好核电设备及核电材料供应商。

2015年3月29日，红沿河核电厂二期项目（5号机组）开工建设，这是日本福岛核事故4年来我国首个新核准核电项目开工，标志着我国核电规模化建设正式重启。

据中国核能行业协会理事长张华祝介绍，目前我国在建核电机组26台，装机容量2850万千瓦，在建规模继续保持世界第一。按照国务院《核电发展中长期规划》，至2020年中国核电装机将达到5800万千瓦，在建3000万千瓦。预计年内将有6～8台机组开工建设，有8台核电机组投入商业运行，成为投入商业运行核电机组最多的一年。

目前，各大核电集团已做好项目核准或开工准备。中广核集团“华龙一号”总设计师咸春宇介绍，作为“华龙一号”示范项目之一，防城港二期项目3、4号机组设计文件、设备采购及供货、现场施工准备、项目核准与执照申请等各方面工作按计划稳步推进，计划今年7月底开工建设。

与此同时，山东石岛湾已成为华能开发建设的第一个核电基地，高温气冷堆核电站示范工程将在今年6月实现从土建向安装移交。中国华能集团核电事业部主任王永福透露，华能与国家核电技术有限公司共同投资2台CAP1400机组，并规划了后续4台百万千瓦级核电机组扩建工程，有望近期获批开工建设。

有专家认为，2015年开始全行业进入为期6年的开工与投产双高峰，而且核电发展出现代际更迭，设备商产业格局将出现重构。

Application of Binocular Vision Technology in Bulk Cargo Yard

The technology of machine vision has been extensively studied and applied in various fields of the national economy. In order to solve the existing problem in bulk yard information acquisition and improve the automation level, application in bulk cargo yard 3D information acquisition is studied based on the binocular vision technology.

Stereo vision; Feature extraction; 3D reconstruction

B

1003-0492(2015)05-0112-03

TP391

吴振华（1982-），男，河北保定人，工程师，硕士，现就职于交通运输部水运科学研究院，主要从事港口自动化、智能交通方面的研究。