浅谈SLAM同步定位构图及多普勒3D扫描技术与视觉智能产品的有效结合

文|浙江舜宇智能光学技术有限公司 严建伟

现代智能化产品不断涌现，SALM同步定位构图、DOPPLER多普勒3D扫描技术广泛应用于视觉产品的结合， 成为新一代人工智能产品，本文着重介绍了相关原理，以及实际产品的发展、研发和生产过程，并展望了该技术未来的发展情况。

一、概述

1、SLAM（Simultaneous localization and mapping）同步定位构图技术起源

该技术来源于美军的潜水艇的深水定位测试技术，在目前产品应用中，是同步定位按装在智能机器人上视觉相机系统，实时记录视觉相机系统的行走轨迹及周边场景，构建相应场景地图。SFM（Structure from motion）三维重建，是一种三维重建的方法，用于从motion中实现3D重建。也就是从时间系列的2D图像中推算3D信息，从运动中恢复结构如图1所示。

图1 三维重建图

2、多普勒3D扫描系统简述

该系统是采用多台（通常为3台）独立高精度激光干涉仪，在目标扫描过程中，三路激光同时照射同一目标位置，通过终端计算机的软件控制，整合多区域扫描三维数据，输出三维图形。

3、原理简介

（1）多普勒激光干涉仪

多普勒激光干涉仪，光路原理如图2所示。

图2 多普勒激光干涉仪光路原理

高精密激光干涉仪内的激光器发出的偏振光(设初始频率为f0），经分光镜后分成两路，一路为测量光，一路为参考光。参考光通过布拉格声光调制器具频移为（f），测量光聚焦到被测物体表面，物体运动引起测量光多普勒频移（f '=2v/λ）。光路系统收集反射光并与参考光汇聚在传感器上，两束光同向，有固定频差的光在传感器表面产生了干涉，干涉信号的频率为f0+f+f '，携带了被测物体的运动信息，系统里的信号处理器将频率信号转换为物体运动的速度和位移信号。

（2）多普勒效应简述

多普勒效应波在传播过程中，其频率随波源、观察者位置之间的相对运动而发生变化。即当光照射到运动物体表面时，由于物体运动，使得从物体表面散射的光的频率发生变化。该频率变化值与物体运动的速度、方向、波长以及入射光的方向有关，按固定的数学关系存在，如图3所示。

图3 多普勒效应数学关系

（3）光外差干涉原理

光外差干涉即当不同频率的两束相干光同时投射到光电探测器光敏面上时产生干涉，通过光电转换的平方律效应，得到两束相干光之间的频差，即多普勒频移，其余光波频率信息被滤掉，如图4所示。

图4 光外差干涉原理

二、SLAM 同步定位构图技术与视觉产品的有效组合

1、SLAM 同步定位构图技术与视觉产品的组合

当某种移动设备（如机器人/无人机、汽车、移动终端产品等）在运动过程中通过相关传感器（如激光雷达、摄像头等），观测自身在三维空间中的定位位置和姿态。根据自身位置进行增量式的三维地图构建，达到同时定位和地图构建的目的，这就是SLAM同步定位构图的过程。目前以激光雷达、双目相机和结构光/TOF相机为代表的三维传感器硬件不断更新迭代，迅猛发展。国内外已经形成了该产业完整的上下游产业链，三维视觉传感器也逐渐走入大众生活。

2、视觉产品分类

常用SLAM 视觉传感器如图5～10所示。

图5 单目相机

图6 双目相机

图 7 RGB-D 相机

图 8 全景相机

图9 D-TOF 激光雷达

图10 激光雷达

3、视觉产品视差校正、深度重建

常用SLAM 视觉传感器采用双目结或结构光相机，由于存在视差，所以涉及深度重建，双目深度重建利用三角测距法，计算被测物体到相机的距离。也就是从两个相机同时观察同一物体，被观测物体在两个相机中拍摄到的图像中的位置会有一定位置差。如左、右眼看放在鼻尖前的手指位置会有一个错位的效果，这个位置差即称为视差。被摄物离相机越近，视差就越大，距离越远，视差就越小。在已知两个相机间距等相对位置关系的情况下，即可通过相似三角形的原理计算出被摄物到相机的距离，如图11所示。

图11 三角测距法

采用归一化8点算法，基本矩阵由下述方程定义按下列公式（1）、（2）运算完成，其中x↔x '是两幅图像的任意一对匹配点，配准重建。

4. 三维重建

当一束激光照射到物体表面，反射激光里含有方位、距离等信息。若将激光束按所设定的轨迹扫描， 可收集到反射的激光点信息， 细密扫描，将得到大量的激光点，形成激光点云如图12所示。

图12 激光点云图

在逆向工程中常通过测量仪器得到的产品外观表面的点数据集合也称之为点云，通常使用三维坐标测量机所得到的点数量比较少，点与点的间距也比较大，叫稀疏点云。而使用三维激光扫描仪或照相式扫描仪得到的点云，点数量比较大并且比较密集，称为密集点云。点云是在和目标表面特性的海量点集合，为完善三维图像的处理，目前采用ICP算法完成重建。即分别在相匹配的目标点云P和源点云中，根据规定的约束条件，找出最邻近的点（pi,qi）,计算出相应的R、t参数值，使误差值最小，误差函数如公式（3）。

pi与对应点集qi的平均距离，如公式（4）所示。

图 13 配准前

图 14 配准后

如d小于给定的域值或大于设定的迭代次数，即完善重建。其中n为最邻近点的个数，pi为目标点云P中一点，qi为源点云Q中与pi相应最近的一点，R为旋转矩阵，t为平移向量，点云校准效果如图13～16所示。

图15 配准前

图16 配准后

图17 地形测绘

5、点云图的实际应用

完善的原始点云生成效果，已应用于地形测绘,如图17所示，电力巡查，如图18所示。应用于容量计量领域如图19所示，逆向设计领域如图20所示。

图18 电力巡查

图19 容量计量

图20 逆向设计领域

6、三维重建的相关示意图

图21所示示意图，能充分表达三维场景与二维图像，三维重建的相五关系。

图21 三维重建相五关系

三、多普勒3D扫描技术与视觉智能产品组合

3D扫描技术又称为实景复制技术，是在不接触物体的情况下，通过高速激光扫描测量的方法，大面积高分辨率地快速获取被测对象表面的三维坐标数据，是一种全新的快速建立物体三维影像模型的技术手段。当三维激光多普勒技术与视觉多点三维技术有效结合后，实现了跨尺度非接触测量，在实际测量中，当不同角度发出的三束激光同时聚焦于被测物体的同一个点。由于物体振动产生了激光的多普勒效应，三束反射光频率会发生相应变化，当被各自光学头所接收，传回系统内部后。将其转换成多普勒频移信号，系统信号处理器将三分量的多普勒频移信号转换为对应的三分量物体振动速度和位移信息，通过三维振动分析算法还原为被测点的高精度三维振动信息。在整机系统配备的视觉摄像系统，软件分析系统支持下，能有效实现人机互动，实现二维、三维动画显示及数据分析等功能，目前3D扫描技术与视觉智能产品组合在机械制造领域已有着广阔的应用前景。如在飞机船舶零部件逆向设计中，根据扫描数据，能有效开展进行二次开发，设计改良、降低产品成本。也逐步应用于机械、模具制造、航天航空、数字城市、轨道交通、容量计量、无人机、风电水电、汽车制造、建筑文物考古、影视、虚拟现实、家装、服务和工业品等众多领域。

四、SLAM及多普勒3D扫描技术与视觉智能产品组合发展的未来

从目前国内外智能化产品发展的趋势看，多源融合是SLAM及多普勒3D扫描技术与视觉智能产品组合发展的未来，多源融合技术基本分为二大层面。第一个层面是多传感器的融合，即与各类视觉化产品的功能化有效组合。第二个层面是多特征基元的融合，通过对特征点、线段及灰度信息等特征进行提取，得到多个特征基元。当融合视觉产品，同时使用激光扫描技术得到三维点云的线特征、面特征以及正态分布特征后，将得到有效的图像和点云信息。进一步将汇集的图像和点云信息直接输入到神经网络，就能够把几何和语义融合起来，这将是SLAM同步定位构图及多普勒3D扫描技术与视觉智能产品相结合最有前景的模式之一。