基于飞行时间法的3D相机研究综述

魏加立，曲慧东，王永宪，朱俊青，关英俊

（1.长春工业大学 机电工程学院，吉林 长春 130012；2.中国科学院长春光学精密机械与物理研究所，吉林 长春130033）

0 引言

飞行时间法，即TOF 技术。TOF 技术是一种用“光”测量距离的技术，所谓“光”测量距离是通过向被测物发射连续的光脉冲信号，随后传感器接收由物体反射回来的信号，通过计算光脉冲的飞行（往返）时间来得到目标物的距离信息[1]。基于TOF 技术的3D 相机是一种新型、结构小型化的立体成像设备。该类型相机可以同时捕获被测物体的强度信息与深度图像信息。因其制造成本低、数据处理简单、响应快、光照不敏感等特点，被广泛应用于游戏娱乐、虚拟现实、动作识别与跟踪、机器人自主导航、工业自动化装配[2-6]等领域。

首先提出用光来测量距离的是科学家伽利略，但是由于当时技术条件的限制，伽利略的实验未能取得成功。此后的1676年，丹麦天文学家罗默（Roemer）经过观测发现木星与其卫星相互掩食的速度与理论值相比存在一定的误差，大致估算出了光穿过地球轨道所需要的时间，这是人类历史上第一次推算出光的传播速度。200 多年后的1849年，法国物理学家Fizeau和Foucault 成功设计出了世界首台可测量光的飞行时间的实验装置，即在确定的距离上求光的飞行速度，这也正是TOF 技术的逆运用。

光是目前已知具有最快速度的物质，因而若想使用光的飞行时间来测量距离的话就需要精确度极高的测量设备。1903年德国工程师Hulsmeyer 将电磁波与TOF 技术相结合对舰船进行检测实验，但都是一些TOF 的基础实验，其结果也并不十分精确，直至1968年，美国科学家Walter Koechner 才首次完全设计出一台基于TOF 技术的并且具有实用价值的测距系统。但受制于当时信号接收设备技术的不成熟，只能获得少数几个点的距离信息。20世纪初，科学家们发现了光电效应这一重要特性，这一重大发现打开电子成像领域的大门。随即1939年第一只电子成像管成功面世。1969年美国贝尔实验室提出了一种CCD 技术，基于CCD 技术生产的固态图像传感器取代了之前传统的电子摄像管。在过去的十年间，随着微电子、微光学和微技术的不断发展，使TOF 相机的实用化发展成为可能[7]。20世纪90年代初，首次将基于TOF 的距离测量技术与特殊功能的传感器结合到一起，生产出了第一代的TOF 相机[6]。从此众多公司开始对TOF 相机进行更深层次的开发，其中微软、MESA 公司、PMD公司、Canesta 公司、Fotonic[8-10]等公司最具代表性。

本文首先介绍了TOF 相机的测量原理，随后针对TOF 相机测量误差来源进行分析，紧接着介绍了TOF相机与其他主流的三维成像相机的区别，最后将针对TOF 相机的最新发展趋势及其应用进行阐述。

1 TOF 相机的测量原理

TOF 相机广义的概念就是通过测量光脉冲在传感器与物体表面之间的飞行时间，其测得的时间与光速的乘积就是所需测量距离的两倍。其基本原理图如图1所示。

图1 TOF 相机的工作原理Fig.1 The operational principle of TOF camera

TOF 相机工作时是通过主动发射调制后的光信号到被测物体上，光信号经反射后被光电探测器接收，随后根据探测器上积聚到的电荷数来计算发射信号跟接收信号之间的相位差Δϕ，就可以得到被测物体与相机之间的距离D，其计算公式如下：

式中：D为目标物与TOF 之间的距离；c为光速（约为3×108m/s）；f为信号的调制频率。当调制频率f与光速c确定的情况下，此时相位差Δϕ的大小即代表距离的大小。然而当调制频率变高时，量程就会变小，鉴于光源的功率和光散射等问题，通常TOF 技术的最远测量距离要比光在半个周期内的飞行距离要小，因此，这也属于3D-TOF 技术应用的难题之一。

目前基于TOF 技术的测量设备根据测量传播时间方式的不同大致可以分为直接测量法与间接测量法[11]两大类。根据光源发射器调制光脉冲方法的不同，可以分为脉冲调制法和连续波调制法[12]。

1.1 根据测量时间的方式分类

1.1.1 直接测量法

直接测量法采用测量飞行时间的系统属于脉冲式飞行时间系统，一般采用的脉冲是方波脉冲，其测量方式是利用高精度计时器直接计算从脉冲发射到接收的时间差，从而求得距离[13]。由于是直接测量光脉冲的飞行时间，所以被称为直接测量法，进而得到时间数据。此种测量方法简单，响应速度快，但对物理器件的性能要求很高，并且对时间测量精度要求也会较高。

1.1.2 间接测量法

与直接测量法含义相对的则是间接测量法，又被称作相关法飞行时间成像，其测量原理是通过调制信号与解调信号相关函数计算得到的相位差，间接地得到调制光信号在传播过程中的飞行时间，进而计算出相机与被测物之间的距离[13]。其中普遍的调制信号有正弦波调制信号和线性频率调制信号，调制信号通过往返距离延迟后，到达光电传感器的相位或者频率就会发生变化，再利用一定的鉴相/鉴频技术来计算出相位或频率的变化值获得被测物的距离信息。对于间接测量方式还可以利用电容来对时间进行计算，其测量的方式是利用入射光的光电子给电容进行充电，对于计算光传播的时间，则是通过电容两端的电压随时间的变化关系，间接地计算得到。

1.2 根据光源发射信号的调制方式分类

依据TOF 相机在测距时光源发射器发射信号类别的不同，TOF 相机就会对光信号进行调制处理，根据调制方式的不同可分为脉冲调制与连续波调制。

脉冲调制法（一般采用方波脉冲调制）相对简单，是直接通过计时器计算出脉冲发射与接收的时间来测算距离。而连续波调制法则是指经光源发出的调制信号，是以连续调制波的形式（通常采用正弦波调制）发射与接收的，调制的方法一般采用频率调制和幅度调制两种，并且连续波调制法不需要特别短的上升和下降时间，所以光源的选择就具有可变性与广泛性。并且当连续波测量法采用幅度单频调制时可以降低系统对宽带的要求，同时采用幅度调频方式可以大大增加TOF 相机的测量范围。连续波调制法相较于脉冲调制法的区别就是不是直接计算出光信号飞行时间，因为其在知道调制频率的情况下，光信号的飞行时间与相位差是直接相关的。

当采用连续波测量法时就需要利用相位解调或者通过频率调制与幅度调制的方法相对准确地计算出光信号在空间中的飞行时间。相位解调就是光源发射器发射经过调制后的连续波信号，到达被测物体后经过反射回到探测器，探测器则是利用与调制光源信号相同的解调信号，完成解调进而读取光信号的相位变化，相位解调的方式目前可分为两种，一是相关函数法进行解调，第二种是离散傅里叶变换法进行解调，更加详细的解调计算过程详见文献[14]。离散傅里叶变换法相位解调的原理图如图2所示。

图2 间接测量法相位解调原理图Fig.2 Schematic diagram of phase demodulation for indirect measurement

2 TOF 相机误差分析

TOF 相机结构系统本身的硬件设备的复杂性及外界因素的多样性，在相机工作时，不可避免地会带来某些误差，从而影响到TOF 相机的测量精度。TOF相机在测量时的误差来源有很多，但其误差来源大致总体可以分为两大类：一是由系统本身引起的误差，称为系统误差；二是由外界环境及噪声等因素引起的误差，称为随机误差也被称为非系统误差[15]。

2.1 系统误差

系统误差是由TOF 相机本身的配件、成像的硬件设备、成像条件等一些系统本身所带来的误差，这一类误差统称为系统误差，此种误差是TOF 相机误差来源中比较常见的误差，在目前国内外已有的技术与硬件条件下，视这类误差为不可规避的。因而，在考虑造成测量结果出现偏差的影响因素时，系统误差则是我们首先应该考虑的。系统误差主要是由积分时间不同、波形不一致、测量元器件温度变化所引起。

2.1.1 积分时间不同

积分时间的长短对相同的场景，会产生不同的深度值，这是在系统设计方面所存在的误差，一般情况下是无法去除的[16]。但是TOF 相机的积分时间可以通过编程的方式来控制，通过积分时间的不同对测量误差的影响进行研究，从而得到一般性的规律，一般较长的积分时间对测量的标准差影响极大，并且较长的积分时间还可能增加相机的信噪比。

2.1.2 波形的不一致

当TOF 相机的测距系统对距离和幅度进行计算时所假定的参考信号与接收信号都是正弦波、余弦波或方波等标准波形。但实际上参考信号与接收信号的波形并不是标准波形，因此波形不一致会给准确的距离测量结果带来不可规避的误差[14]。

2.1.3 测量元器件的温度变化

由于半导体材料的特性会随温度的变化而发生改变，尤其是在半导体材料较多的传感器设备对TOF相机的温度变化特别敏感，因为温度升高会导致半导体材料中的热电子的比率增加，虽然这些热电子不包含有用的测量信息，但是却能减少或抑制有用的光学性能。因此当TOF 相机持续测量工作时，相机的内部温度会发生显著的变化，也会使每个像素所测量的深度值发生变化，从而导致测量误差出现。

2.2 随机误差

TOF 相机在测量时，不可避免地会受到外界因素的影响，此种影响具有不确定性，故属于随机误差，TOF 相机的随机误差主要是由物体与相机间的距离、物体与相机间互成角度以及被测物的反射率等因素所引起的。

2.2.1 物体与相机间的距离

在实际测量中信号的发射路径与接收路径不是完全一致的，由此所测量距离也就不完全等于被测对象与相机间的实际距离[17]。如果被测对象距离TOF相机太近，反射光会出现过于饱和的状态，此时所测量的深度信息基本上是无效的，相对应地，当被测对象距离TOF 相机较远时，误差就会较小。并且调制信号的幅度A与距离d之间的关系[18]为A∝1/d2，由此可知当d越大时，A就越低，相应的测量精度也就会降低。

2.2.2 物体与相机互成角度

在TOF 相机对静态场景进行拍摄时，一般来说相机与被测物之间互成角度，此时反射光线的分布形态将会是椭圆形[17]。并且当角度很大时，经被测物反射回传感器的光线就会急剧减少，此时噪声在传感器接收的信号中所占的比重就会迅速增加，与此同时，测量误差也会随之增大。

2.2.3 被测物的反射率

在实际测量中不同被测物自身材质与形态会有差异，此时被测物对光的反射率会不同，当被测物表面粗糙时，则易发生漫反射，导致发射回传感器的光会变少，使得所测量的深度图像中的对象变得模糊。当被测物表面过于光滑时，容易发生镜面反射，此时反射信号会出现两个极端的状态，要么光信号都发射回到相机接收器中导致光饱和，或者都没返回相机接收器中使得所接收到的信号产生接收误差。

针对以上所述的不同误差来源，国内外研究学者们也进行了不少的研究工作。Ruocco R[19]等人提出利用查表法来对系统积分时间所产生的误差进行修正。Jiyoung Jung[20]等人利用深度图像与彩色图像对TOF相机所测得的数据进行联合误差修正。Fuchs[21]等人则是设计出了一个误差校正模型，该模型是由若干条样条曲线组成，每个样条曲线的参数都是由初始位置进行估计的，并且通过采集到的距离与灰度数据来校正图像中所出现的误差。潘华东[22]等人采用B-样条拟合的方法来解决由实际信号波形与理论波形存在差异而产生的误差。针对不同误差没有统一的校正方法，需要对具体问题进行具体分析。

3 TOF 成像与其他主流三维成像技术的比较

目前主流的三维成像技术按其三维景深信息获取的方式可以分为双目视觉、结构光及飞行时间系统3 类[23]。其中双目视觉采用被动式光源对三维景深进行测量，而结构光与飞行时间系统则是采用主动式光源进行测量（如图3所示）。

3.1 双目视觉

双目视觉是基于视差原理来获取目标深度信息，一般由两台相机以一定的基线长度从不同角度对被测物进行成像，或者由一台相机分别从前后两个不同时间点并从不同角度对被测物进行成像。基于视差原理，通过测得的两幅二维图像即可恢复出被测物的三维信息，进而就能对场景进行三维重建并且确定被测物位置。双目视觉的测距示意图如图4所示。

图3 深度传感器分类Fig.3 Depth sensor classification

图4 双目视觉测距示意图Fig.4 Schematic diagram of binocular visual ranging

图中X为两台相机间的距离即基线的长度，基线长度决定测量系统的深度分辨率，基线长度越大，深度分辨率越高[23]，α、β为两台相机与被测物的视场角。根据这些即可求得被测物的实际距离，计算公式如下：

对于双目视觉而言，因其是采用被动光对物体进行测量，很容易受到外部光线的干扰，如果外部光线较暗时，或者光线过强时，就会影响到双目视觉的特征提取与匹配，进而使得立体视觉效果变差。另外，双目视觉系统为实现立体成像需要很高的计算资源，在进行复杂的计算时就会导致实时性变差，并且通过此种途径得到的深度信息通常是稀疏的[24]。TOF 相机恰恰与之相反，其采用的是主动式光源，因此所受外界光线的影响很小，并且TOF 相机可以同时得到被测物的稠密深度信息与强度信息，而且不需要很高的计算资源即可达到高实时性。

双目视觉的优点是它的施行成本很低，常见的摄像头就可以使用，并且因其是利用双目仿生的原理，所以双目视觉所得到的图像就能呈现出更加直观的效果。其次，双目视觉中的深度分辨误差是测量距离的二次函数，故在测量较远距离物体时依旧会保持较高的测量精度。

3.2 结构光

结构光技术是基于双目视觉而提出来的，目的是为了解决双目视觉中匹配算法复杂性与鲁棒性[25]的问题，该技术解决了双目视觉所存在的使用场景缺陷等问题。基于结构光技术的深度相机是由一台摄像机与一台投影仪组成，首先是通过投影仪发射具有特征的光信号（结构光）到被测物表面，由于被测物表面的凹凸情况会对具有特征的光信号产生特定的变形，即被调制，随后再通过摄像机对调制后的光信号进行再次采集。结构光的基本原理图如图5所示。

图5 结构光基本原理图Fig.5 Fundamental diagram of structured light

与TOF 相机相比，结构光采用的是主动三角测量法对被测物进行测量，而主动三角测量法所测量的结果缺少深度信息。在强光条件下会导致结构光的核心技术激光散斑被淹没，因此不太适合户外测量。在测量时被测物一定要在投影序列时间段内保持相对静止，否则会导致在获取图像时的帧率变低，实时性变差。经过最近几年对结构光的研究，发现利用散焦技术可以估算出深度信息，还可以通过发射沿相机光路的结构光的方式来提高帧率[26]。

结构光属主动投射编码光，非常适合在光照条件不足（甚至于无光）或缺乏纹理的场景使用，以上特点正好解决了双目视觉所存在的一些问题。结构光投射的图案一般是经过设计的，所以在一定范围内（一般探测距离在1.5m 以内）可以达到较高的测量精度。详细的3 种主流三维成像技术性能对比如表1所示。

4 TOF 相机的应用及发展趋势

4.1 TOF 相机的应用研究

随着TOF 相机的快速发展，因其具备诸多优势而被广泛应用，如在机器人、农业、医疗、工业自动化等领域都发挥了显著的作用。

表1 三种主流三维成像技术性能对比Table 1 Performance comparison of three mainstream 3D imaging technologies

4.1.1 机器人领域

Prusak A[27]等人提出了一种基于TOF相机与球面CCD 相机相结合的机器人导航避障、姿态估计和地图生成的联合方法。他们首先是通过机器人对周围环境进行扫描，进而通过TOF 相机生成三维的全景图，并且机器人在沿着预先定义的路径进行移动时，在移动的过程中利用TOF 相机的三维图像导航传感器进行避障，并结合结构-运动和模型跟踪方法进行自定位。此种方法充分利用了TOF 相机实时性好、精度高等特点。G.Alenyà[28]等人则利用TOF 相机与RGB-D（Red Green Blue-Depth Map）相机结合的方式，为机器人提供高分辨率的三维环境感知能力，其方式是利用RGBD 相机可以有效弥补TOF 相机分辨率低的特点，而TOF 相机也相应地弥补RGBD 相机在测量深度信息时误差大的特点。进而两种相机起到相辅相成的作用。此种方法提升了机器人对目标物的识别能力，并且可以迅速而且精确地完成机器人障碍物识别和对货物的抓取。

4.1.2 农业领域

司秀娟[29]等人提出将TOF 相机应用于精准农业，并针对三维图像在精准农业所需的定位、定量研究上的优势提出了使用TOF 相机获取农作物深度信息，并对农作物位置信息和表征参数进行检测和提取，该方式为TOF 相机在精准农业领域的研究提出了具体的方案，并且验证了TOF 相机在精准农业领域的可行性。Vázquez-Arellano[30]等人提出一种玉米作物图像的三维重建方法，使用高分辨率的三维图像，最新的软件技术将其映射到彩色图像中。通过基于迭代最近点算法的点云配准，对单个三维图像中植物点的近似数量进行计算得到阈值，再通过RANSAC（RANdom SAmple Consensus）算法完成植物/土壤的分割，经过定量比较表明TOF相机所获得的点数大约是使用两个光探测测距系统（激光雷达）所获得点数的23倍，进而验证了TOF相机在作物三维重建等方面应用的优越性。

4.1.3 医疗领域

Jochen Penne[31]等人提出了一个用于计算病人三维呼吸密度估计的系统。该系统利用TOF传感器以超过每秒15帧的速度来获取患者胸部和腹部的致密三维模型，再通过数据驱动算法将不同平面拟合到患者躯干的不同区域，从而对胸部和腹部进行三维建模。结果显示TOF相机进行建模的方法能够以0.1mm 的精度对病人的呼吸运动进行无标记、3D、实时的跟踪。SoutschekS[32]等人提出在医疗成像中应用TOF相机进行三维姿态成像，就是利用内窥镜上的TOF三维图像导航提供影像数据，它为医生展示出一个可视化页面，可以有效地避免物理交互设备对人体产生不必要的伤害。

4.1.4 工业自动化装配领域

雷禧生[33]等人应用TOF相机采集工件的三维点云数据以获得工件的轮廓数据。由于喷涂生产线轨迹规划和喷涂机器人技术上大都以工件的在线三维测量为基础，所以对实时三维在线轨迹规划要求高。TOF相机会实时提供被测工件的深度信息，精确地对工件进行喷涂作业。Ahmad R[34]等人应用三维TOF传感器规划出2.5D铣削/钻削机床的安全刀具的行走路径。以避免在多工具工作时可能造成的碰撞、避免意外的生产中止和机械设备的损坏。三维TOF 传感器提供的制造场景的深度信息，包含TOF相机的自动检测与避障等信息，方便生产期间实现安全的刀具路径。

除以上应用领域外，TOF 相机还被广泛地应用于多媒体/零售业、消费电子、安全/监控[35-37]、超分辨成像[38-39]、非视域成像[40]、自动驾驶[41]等领域。

4.2 TOF相机的发展趋势

TOF相机是近些年才兴起的，目前处于刚刚起步阶段，国内TOF相机在空间中的应用还尚未展开。随着技术的逐渐成熟，未来TOF相机势必会被应用于空间近距离探测[42]或空间非合作目标近距离测量[16]等空间任务中来。目前中国科学院等研究机构正在开展对空间TOF相机的研制工作，相信不久的将来TOF相机会成为宇航空间近距离测量中的一种有效的测量手段。

相信随着TOF相机成像分辨率的不断提高以及光源技术的快速发展，TOF三维成像技术将会在机器人视觉、农业测量与检测、医疗成像、工业检测等科学领域得到更加深入的应用。图6给出了我国目前市面上几款主流的商用TOF相机。

图6 国内外几款主流TOF相机Fig.6 Several mainstream TOFcamerasat home and abroad

5 结语

TOF相机作为新兴立体成像设备，具有结构简单、体积小巧、帧率高、实时性强、可以同时获得强度信息与深度信息[43]等特点。本文详细介绍了TOF相机的工作原理、误差来源，并与其他同类型相机进行对比研究，同时针对当前TOF相机的应用领域及发展趋势进行了论述，结合我国现阶段深度信息获取技术的发展现状，TOF相机的相关具体技术改进及其解决途径如下：

1）进一步提高相机分辨率，提高相机量程，使相机获取的图像更加清晰，获取的深度图像能够更加精准地还原被测物体的细节特征。具体可以通过“插值”算法、像素错位技术、“阵列外拼接成像原理”、微扫描复合自适应虚拟电子微扫描算法以及图像传感器升级等手段来提高相机的分辨率及量程。

2）降低相机的测量误差，从TOF相机的测距理论出发，进行更深入的研究，找出控制或消除误差的方法，将外界因素对TOF相机的测量精度的影响降到最低。目前主要是从软件和硬件的升级这两方面来降低误差对相机测量精度的影响。

3）对相机进行适应性改造，针对相机工作环境的复杂性及其特点（如力、高低温、真空、辐射等），对TOF相机进行适应性改进，进而确保相机在复杂环境下的光机结构系统稳定性，以适用于更多应用领域。目前主要是通过对复合材料（提高刚度、强度、热性能等）的探索与研究以及对结构系统进行自动化设计来提高相机光机结构系统的稳定性。

综上所述，虽然关于TOF相机的技术改进、软硬件升级、相机的适应性改造及应用拓展等研究方向已是国外科研机构研究的热点且发展迅速，但在最近几年，国内相关研究工作也已经逐步展开。就目前来看，TOF 相机规模化生产与应用还不够现实，但相信随着相机软硬件技术的不断升级和对算法研究的不断深入，TOF 相机一定会成为我国今后三维测量领域的新兴设备，引导我国步入全新的 3D 时代并助力Industry4.0。