张子安,张永强,丁明理
(哈尔滨工业大学仪器科学与工程学院,黑龙江哈尔滨 150001)
在人工智能、互联网、大数据等新兴技术的推动下,利用计算机代替人工进行自动化图像处理得到了广泛应用。基于深度学习的目标定位技术[1-2]应用于计算机分析图像信息的首要环节,其定位质量直接影响视觉系统的分析结果。在大多数情况下,基于深度学习能够获得较传统方法更为精确的定位结果,但有时也会输出一些误差较大甚至完全错误的定位结果。在诸如自动驾驶[3]、医学图像分析[4]等对定位结果要求较高的领域,这些不可靠的定位结果如果不能得到有效的发现和抑制,可能导致错误操作,造成难以挽回的严重后果。
在测量测试行业,完整且有意义的测量结果应该包含其不确定度。不确定度被用于表示测量结果的分散性,测量结果的可靠性在很大程度上取决于其不确定度的大小[5-6]。此外,统一的测量不确定度评定方法使得测量结果可以方便地被比较和选用。主流的不确定度评定方法包括测量不确定度表示指南(Guide to the expression of Uncertainty in Measurement,GUM)法[7]和蒙特卡洛法(Monte Carlo Method,MCM)[8],其评定流程属于被公认的行业标准。测量不确定度的评定结果能够反映测量结果的可靠性,使得数以万计的测量系统能够被合理地工程化应用。然而,因为缺少可靠的不确定度评定手段,所以基于深度学习的目标定位技术的应用存在诸多限制。虽然部分学者已经开展了有关深度学习不确定度的研究[9],但是仍缺少对实际工程场景的分析和对不确定度统一、规范的评定方法,因此与实现可靠的不确定度评定还有一定的差距。
本文从符合测量测试行业规范的测量不确定度评定的角度切入,分析深度学习中目标定位不确定度的研究现状,列举基于深度学习的目标定位方法的误差来源,讨论当前相关技术评价指标的价值与不足,并提出对规范化基于深度学习的目标定位技术不确定度评定的建议。
测量值指示被测量真值的估计值,测量过程中的随机效应和系统效应导致了测量结果的不确定性。不确定度用以衡量测量结果的可信程度,在JJF 1059.1—2012《测量不确定度评定与表示》中将测量不确定度定义为:根据所用到的信息,表征被测量值分散性的非负参数。具体来说,由于被测量真值以较大的概率分布在测得值与测量不确定度确定的区间之内,因此在给出测量结果时,只有附加不确定度说明的测量结果才是完整和有意义的。通过测量不确定度进行测量测试设备的质量把控,是推动计量产业合理化发展的基石。依据目前的JJF 1059 系列计量技术规范,通用的测量不确定度评定方法包括GUM法和MCM。
GUM法的流程由JJF 1059.1—2012《测量不确定度评定与表示》所表述,该方法通过不确定度传播率计算合成标准不确定度,从而得到被测量估计值的测量不确定度。为了合成标准不确定度,GUM法首先需分析不确定度来源并建立如下测量模型:
式中:Y为被测量;f 为测量函数;Xi为输入量;N 为输入量个数。通常每个输入量都存在不确定度,因此需要分别求取各输入量Xi对应的估计值xi的标准不确定度u(xi),评定各分量标准不确定度的方法分为A类评定方法和B类评定方法。
A类评定方法对输入量的估计值xi进行n 次独立重复观测,再计算得到一系列估计值xi的标准差s(xi)作为标准不确定度u(xi)。若使用重复观测的均值作为估计值,则标准不确定度为
B类评定方法根据先验信息,判断并获得估计值xi的标准不确定度u(xi)。在获得所有Xi的估计值的标准不确定度u(xi)后,便可通过不确定度传播原理计算被测量Y的估计值y的合成标准不确定度uc(y):
GUM法的适用条件为:①可以假设输入量的概率分布呈对称分布;②可以假设输出量的概率分布近似为正态分布或者t 分布;③测量模型为线性模型、可以转化为线性模型或可用线性模型近似的模型。当测量函数f为使用泰勒展开的近似线性函数时,同样存在误差干扰,此时需要将省略的高阶项作为不确定度分量进行评定。
MCM的流程由JJF 1059.2—2012《用蒙特卡洛法评定测量不确定度》所表述,该方法是在如下情况时对GUM 方法的补充:①测量模型明显呈非线性;②输入量的概率密度函数(Probability Density Function,PDF)明显非对称;③输出量的PDF 较大程度地偏离正态分布或t 分布,尤其分布明显非对称。MCM通过对输入量Xi的PDF 离散抽样,由测量模型传播输入量的分布,计算获得输出量Y的PDF的离散抽样值,进而进行不确定度评定。MCM 在确定输入量Xi的PDF后,需进行M 次采样并将输入量传播为Y,其中M的选择方法为
式中:p为包含概率,即在规定包含区间内包含真值的概率。获得M 组Y 的估计量集合y(M)={y1,y2,…,yM}后,可分别计算其均值y(M)和标准差s(y(M))作为Y的估计值y 及其标准不确定度u(y)。此时标准不确定度u(y)计算公式为
在使用MCM的情况下,Y 的PDF 不一定对称,因此采用最短包含区间作为包含区间。
不确定度是指示测量结果可信度时常用的评价指标,基于深度学习的预测模型在开发和应用过程中均存在不确定性,各类不确定度分量导致了最终测量结果的不确定度。针对基于深度学习的预测结果缺少可信度指标的问题,学界已开展了对深度学习不确定度分析的研究。其中,部分学者认为深度学习的不确定度包括数据不确定度(也称为“偶然不确定度”)和模型参数不确定度(也称为“认知不确定度”)两种分量,其中数据不确定度来自数据采集和人工标注过程的噪声,而模型参数不确定度来自训练数据的分布偏移、模型结构不合理、训练程度不充分造成的建模偏差[10]。两种不确定度的举例如图1 所示。
图1 深度学习的数据不确定度和模型参数不确定度举例
图1 中橙色实线为真值,红色虚线为预测结果,蓝色点为训练数据。图1 中(b)段实现了正确的数据拟合。数据不确定度如图1 中(c)段和图1 中(d)段所示,采样或标注误差导致的训练数据与真值出现偏移,若该误差呈对称分布(误差期望近似0),训练结果通常误差较小;若该误差有明显偏移,训练结果也将出现偏移。模型参数不确定度如图1 中(a)段和图1 中(e)段所示,在训练数据不充足或是没有训练数据的部分,建模误差将会很大。上述两种不确定度分量组成了深度学习模型建模的不确定度,由于神经网络的输入和预测结果的映射关系是确定且唯一的,因此估计其不确定度需要特别的方法。当前深度学习不确定度的主流估计方法如图2 所示,包括基于直接预测的方法、基于多模型的方法和基于多输入的方法,以下将从目标定位任务(即估计图像中目标关键点的像素坐标)的角度分别对这些方法进行叙述。
图2 主流的深度学习不确定度估计方法
基于直接预测的方法隐式地估计不确定度,并将其作为一项网络预测结果输出,如图2(a)所示[11]。该方法首先先验地建模预测结果的误差分布,然后用最大似然估计的方法进行训练阶段目标函数的设计。对于目标定位任务的像素坐标预测,若先验地设置预测误差呈高斯分布,则获得对测量结果分布的如下:
式中:σ*为预测误差分布的标准差,通过网络直接输出。
使用最大后验估计作为训练的目标函数,可表示为
使用目标函数L 训练网络,可预测每组测量结果的σ*作为不确定度,以表示预测结果的可信度。
神经网络的输入和预测结果的映射关系是确定且唯一的,为了统计预测结果的分布,可以使用多个模型进行预测,此时只须保证这些模型的参数符合独立同分布即可。基于多模型的方法如图2(b)所示,可分为基于贝叶斯神经网络的方法[12]和基于模型集成的方法[13]。
与基于最大似然估计的方法不同,贝叶斯神经网络[14]能够拟合模型参数的分布。当给定一组训练用的输入-标注对(x,y)时,先假设θ的先验分布P(θ),再利用如下贝叶斯理论建模θ的后验分布P(θ|x,y):
式中:常数项P(y|x)的定义为
估计出模型参数的后验分布后,对于一个输入x*,其预测输出的坐标y*可以用贝叶斯模型平均获得,方法如下:
这种基于贝叶斯神经网络的方法能够直接应用模型参数的分布来估计预测结果的分布,但在实际应用中通常需要针对离散且有限的模型参数,因此需要使用蒙特卡洛近似来获取预测的最佳估计值和标准差。具体地,可以从模型参数的后验分布P(θ|x,y)中采样N组样本{θ1,θ2,…,θN},之后再按如下方法计算多组测量结果的均值和方差作为被测量真值的最佳估计值和测量结果的不确定度:
式中:E为求期望函数;Var为求方差函数。
基于多模型的方法通过执行多组并行训练过程,获得多组网络模型参数,这些参数符合独立同分布假设。若执行了N 组训练,则获得N 组模型参数{θ1,θ2,…,θN},之后同样使用式(11)进行统计分析,可获得被测量真值的最佳估计值和测量结果的不确定度。
神经网络的输入和预测结果的映射关系是确定且唯一的,为了统计预测结果的分布,可以使用多个输入进行预测。该方法的原理是用数据增强的手段从单个输入样本生成多个样本,其思想是通过数据增强来扩大样本允许探索的视图,以此来捕捉不确定性[15]。常用的数据增强手段包括加噪、翻转、裁剪、拉伸等。需要注意的是,在使用此技术时应只对数据进行有效增强,而不应生成目标分布以外的数据[16]。具体的方法如图2(c)所示,输入数据x*经由N 种数据增强手段生成{},将这些增强后的数据分别输入网络模型f可得N组关键点坐标{},之后同样使用式(11)进行统计分析,可得被测量真值的最佳估计值和测量结果的不确定度。
深度学习的不确定度包括数据不确定度和模型参数不确定度两个分量,当前深度学习目标定位结果的不确定度估计方法包括基于直接预测的方法、基于多模型的方法和基于多输入的方法3 类。
基于直接预测的方法利用高斯等先验模型建模输出预测结果的误差分布,再使用最大后验估计作为目标函数。最大后验估计是针对模型参数的点估计方法,因此无法捕捉模型参数的不确定性,故利用直接预测的方法获得的是数据不确定度分量。尽管使用该方法可得到数据不确定度,但是该不确定度的计算是基于神经网络的预测方法,因此可信度较低。
使用基于多模型的方法和基于多输入的方法,分别可以获得数据不确定度和模型参数不确定度分量。该类方法与MCM 较为相似,都是先从输入分布采样计算多组输出,再利用统计方法分析输出的分布。相比直接预测不确定度的方法,该类统计重复实验结果后评价出的不确定度更具备说服力,且易规范化。
由于训练数据和模型参数互不相关,因此在利用统计分析分别得到数据x和模型参数θ造成结果y的标准不确定度ux(y)和uθ(y)后,可利用GUM 法按式(12)计算y的合成标准不确定度uc(y)。
尽管当前的研究可以获得模型和数据两个方面的不确定度分量并计算合成标准不确定度,但该指标仅针对数据集的拟合效果,并未被拓展到具体工程环境,因此还有诸多干扰未被考虑。此外,当前针对深度学习模型的不确定度评估的研究仍未形成规范的方法。上述原因使得工业界缺少可靠的深度学习目标定位不确定度评定标准。以下将从工程应用的角度讨论深度学习中目标定位任务的误差来源和主流指标,并为可靠的不确定度评定标准建设提出建议。
深度学习中的目标定位通常指从输入图像中估计目标物体的像素位置,常见的任务包括人体姿态估计中的关节点定位和物体检测中的物体边界框定位。人体姿态估计需要从人体图像中检测出能反映运动学特性的身体键节点,例如头、脖子、胸腔、肩膀、肘部、手腕、骨盆、臀部、膝盖、脚踝等[17]。身体关键点定位流程如图3(a)所示,得益于深度学习的发展,使用神经网络可直接回归出人体图像中身体节点的像素坐标,并且能够取得较高的准确率。物体检测需要从输入图像中检测出不同种类的物体,并分别进行定位和分类。其中的物体边界框定位的流程如图3(b)所示,定位结果为包含物体的最小边界框[18],可通过神经网络回归出各边界框的顶点坐标。
图3 人体姿态估计和物体检测中的目标定位流程
无论是身体关键点定位还是边界框定位,神经网络的开发和应用过程较为统一,主要包括数据获取及标注、模型选取与网络训练、推理测试和现场应用4 个阶段。各阶段简述如下。
(1)数据获取及标注。
深度学习技术的核心是数据驱动的模型拟合,因此需要准备大量的图像数据,并且人工标注每一幅图像中的身体关键点或者边界框的像素坐标以备训练。这些数据是从真实世界中的相关场景采样出来的离散点,为了使训练数据能够尽可能地拟合真实场景的分布,通常需要采集大量的图像。
(2)模型选取与网络训练。
神经网络的结构种类纷繁复杂,需要研究者根据具体任务选取恰当的网络模型。选取网络模型后,通过反向传播的训练手段拟合模型参数,使得神经网络的输出能够接近人工标注的结果。通常在平均误差达到最小值时,网络训练结束。
(3)推理测试。
完成网络参数拟合后,通常在与训练数据独立同分布的测试数据上进行模型泛化性测试。通过统计测量值和真值(标注值)的差距并进行分析,可以获得多种评价模型性能的指标。
(4)现场应用。
在获得足够性能的网络模型后,需要将其嵌入测量现场的系统进行应用。在该阶段,测量结果还将受到成像系统和计算机系统的误差干扰,因此检测精度较推理测试阶段更差。同时,应用时通常无法获得被测量值的真值,因此可以用不确定度指标反映测量结果的可信度。
基于深度神经网络的目标定位模型可表示为
式中:Y为被测量,即深度模型输出的目标像素坐标;f为神经网络模型,具体表现为神经网络的结构。分析测量模型可知误差来源应包括输入图像、模型参数和网络模型;X 为输入图像,即现场采集获取的图像数据;θ为模型参数。为细化误差来源,绘制网络模型的开发及应用过程如图4 所示。
图4 网络模型的开发及应用过程
图4 中蓝色模块表示开发和应用的各项处理过程,误差由这些过程引入,分析如下。
(1)相机采样误差。
相机采样误差由采样范围和噪声导致。由于真实场景是多元且高度非线性的连续分布,因此有限的离散采样通常难以表征所有情况(例如天气、对象的种类和人体生理特征),这将导致训练数据分布与真实场景分布的偏移,进而引入建模的误差。此外,图像采集系统会受到光学镜头畸变和成像噪声的干扰,使得图像与真实场景存在差异,引入误差。相机采样的误差最终被叠加在输入图像和模型参数上。
(2)人工标注误差。
针对人体姿态估计和物体检测任务,人工标注的身体节点和边界框位置都存在误差,这将影响训练过程和预测结果。人工标注误差最终被叠加在模型参数上。
(3)模型结构误差。
模型设计决定了神经网络的结构,网络结构和任务的不适配将造成过拟合或欠拟合,使得预测误差加大。通常认为神经网络能够拟合目标函数,因此分析时不考虑网络模型的误差。
(4)网络训练误差。
网络训练的目的是拟合出恰当的网络参数,该过程存在随机性。初始参数、训练批次、优化器、学习率、损失函数、正则项、中止判定条件等超参数的设置都会影响最终的训练结果,因此引入了误差。网络训练误差最终被叠加在模型参数上。
(5)计算机误差。
神经网络的推理过程通过计算机实现,因此计算机的舍入误差和故障性误差都会干扰测量结果。计算机误差最终被叠加在输入图像和模型参数上。
在测量测试行业,测量不确定度是一个成熟的测量质量评价指标,受到了从业人员广泛的认可和使用。而在深度学习领域,不确定度是一个较为新颖的评价指示,该领域占主导地位的仍是均方误差、准确率等指标。本节将从测量不确定度的角度讨论基于深度学习的目标定位技术的各项主流评价指标的意义。
当前深度学习中目标定位任务的主流评价指标都侧重于推理测试结果,即关注神经网络对训练数据所代表分布的拟合能力。身体节点和物体边界框定位模型的训练过程均属于非线性回归,给定数据集D ={(x1,y1),(x2,y2),…,(xm,ym)},其中xi为输入图像,yi为输入xi的真实标记(身体节点或边界框顶点的像素坐标),则参数拟合后的模型可表示为
式中:ε为预测误差,通常假定模型的预测结果f(xi,θ)是对真值yi的无偏估计,即E[]ε =0。由于深度神经网络是高度非线性的模型,并且其输入数据的分布较为复杂,因此其模型的指标评定多与MCM 的思想相近:从分布中采样大批量输入数据,并对这些数据对应的预测结果进行统计分析。
(1)均方误差。
均方误差(Mean Squared Error,MSE)是回归任务常用的性能度量,可用于评估关节点定位模型的性能。使用该指标时要把预测结果f(xi,θ)与真实标记yi进行比较:
更一般地,对于数据分布X 的概率密度函数P(x),均方误差可描述为
可见均方误差度量了整个量程(X 所描述的真实场景分布)内模型预测误差的期望和方差,该指标可作为对神经网络模型整体精确度的度量。此外,在用无偏的分布建模ε的先验条件下,均方误差可表示模型预测结果的不确定度。与测量不确定度不同,均方误差衡量的是模型在整个量程(分布X)下的不确定度,并不是对单个测量结果的估计。
(2)准确率。
准确率是常用的分类任务性能指标,指分类正确的样本数占样本总数的比例。虽然身体节点和物体边界框定位属于回归任务,但通过设置阈值可以将其转换为一个二分类任务。具体的,身体节点定位任务使用目标节点相似度(Object Keypoint Similarity,OKS)对测量误差f(xi,θ)-yi进行转化[19],即
此处不对OKS的计算过程做解释,只需了解di表示估计的身体节点像素坐标f(xi,θ)和真值yi之间的归一化距离,该参数与测量误差正相关。若设置阈值为U,则模型在数据集D中预测的准确率计算为
式中:I(·)为指示函数,当满足条件时输出为1,反之为0。同样的,物体检测中的定位结果可以用准确率进行评估。要评估物体检测模型的定位性能,需将边界框测量值与真值进行比较。基于深度学习的物体检测评价体系中,使用交并比IIoU,i∈R[0,1]计算测量值ti和真值Ti的距离(R 为实数域),其计算方法为:测量值ti与真值Ti的交集除以它们的并集,这里的交集和并集均以面积表示,其计算公式可以表示为
一个正确的物体边界框测量值ti与真值Ti的交并比IIoU,i必须大于某特定阈值H,既然IIoU,i可看作物体边界框测量值与真值的距离,就可用类似式(18)的方法计算物体定位的准确率,计算如下:
准确率计算和测量不确定度评定时的各项参数存在相似性,如图5 所示。在用MCM 评定测量不确定度时,通过重复测量得到一组测量值,并将其均值作为最佳估计值。在计算所有测量值的残差后,获得如图5(a)所示的分布图,可作为对残差分布的离散采样。在选定包含区间后,便可将包含区间内测量值占所有测量值的比例作为包含概率。在计算基于深度学习的目标定位模型的准确率时,首先遍历数据集D 的样本xi获得对应的测量结果,然后计算相对于真值的归一化距离(di或IIoU,i),归一化距离的离散分布如图5(b)所示(为便于展示,此处为测量值增加了相对于真值的方位)。在选定阈值U或H后,可按式(18)或式(20)计算目标定位的准确率。
图5 准确率计算和测量不确定度评定的相似性对比
通过上述对比可知,模型的预测准确率和不确定度评估给出的包含概率较为相似,差别在于准确率计算对象是模型拟合数据集D 的误差,而不确定度评估的对象是针对单个样本的测量误差。
综合上述分析可知,主流指标着重评价模型整体的拟合能力。相比较而言,测量不确定度更适用于评价实际应用中单个预测结果的好坏。
在基于深度学习的目标定位任务中,现有的主流评价指标反映了开发阶段模型在数据所表示的分布上的平均精度,并未针对实际使用中的单次测量结果进行可靠性分析。对基于深度学习的图像关键点定位结果进行不确定度评定,能够促进该技术的工业化应用。下面将结合标准的测量不确定度评定方法和深度学习中目标定位不确定度的现有研究成果,为设计规范化的、可靠的深度学习中目标定位不确定度评定方法提出建议。
由式(14)可知,基于深度学习的目标定位的不确定度分量包括输入数据不确定度和模型参数不确定度。输入数据不确定度的来源包括相机采样误差和计算机误差,而模型参数不确定度的来源包括相机采样误差、人工标注误差、网络训练误差和计算机误差。在模型的推理应用阶段,相机采样误差、计算机误差是计算机视觉和机器视觉模型所共有的随机或粗大误差,可通过多次重复实验的方法评估由其造成的不确定性。而在模型的训练阶段,相机采样误差、人工标注误差和网络训练误差直接造成了深度学习目标定位模型参数的不确定性,该类不确定性需要根据具体的目标定位模型进行分析。尽管根据第2 节所述的方法可获得神经网络预测的不确定度,但是在具体的工程应用中,该方法还存在如下问题:
①数据不确定度分量虽然评估了输入数据造成的不确定性,但是其针对的是训练数据的噪声或数据增强手段带来的不确定性。在实际工程应用中,成像系统噪声和计算机的干扰并不能被先验地分析,因此评定测量结果的不确定度时,还应对具体场景进行分析。
②相较于GUM法和MCM,深度学习中的目标定位不确定度缺乏统一、规范的评定方法,使得其评估结果不易被认可且缺乏通用性。因此设计符合技术规范的不确定度评定流程显得尤为必要。
上述问题使得工业界难以获得深度学习中目标定位结果不确定度的可靠估计,因此规范化的不确定度评定方法应该着手解决这些问题。
在具体工程应用中,存在无法被先验分析的成像噪声和计算机的干扰,这些误差来源同样会导致测量结果的不确定性。成像噪声导致了输入数据的随机误差,计算机的干扰来源于舍入误差导致的系统误差和故障性误差导致的随机及粗大误差。针对当前目标定位不确定度评定的需求,为了量化工程现场带来的不确定度,将测量模型修改为
式中:yr为工程现场对被测量的预测结果,即深度模型输出的目标像素坐标;f为测量函数,具体表现为神经网络的结构;xr为包括成像和计算机系统干扰的输入数据,即现场采集获取的图像数据;θr为受计算机系统干扰的神经网络模型参数;ε 为预测误差分布。由于深度神经网络是高度非线性函数,因此可利用MCM进行测量不确定度评定。下文将分析各参数的PDF,并提出适用于基于深度学习的目标定位任务的不确定度计算方法。
(1)输入数据xr的PDF。
使用MCM 首先需要获得xr的PDF。举例来说,对于某真实场景x*~δ(x*),其首先经过成像过程φi得到存在噪声的图像分布P(x*,φi),之后图像被进行数据增强φa得到分布P(x*,φi,φa),同时计算机干扰φp被处理过程引入得到的分布P(x*,φi,φa,φp)。由于真实场景、成像、数据增强和计算机干扰相互独立,因此的分布生成过程可表示为
(2)模型参数θr的PDF。
目标定位模型参数θr的不确定度来自训练过程中对θ进行点估计的误差,以及计算机舍入和故障导致的误差。对θ点估计的误差导致了模型拟合训练数据集的误差,因此可将训练过程的干扰作为系统误差引入测量现场的不确定度分析。对于训练得到的模型参数θ ~P(θ),计算机运算过程导致的干扰φp会将其转化为θr~P(θ,φp)。因为模型训练过程和现场测量过程不相关,所以P(θr)的生成过程可表示为
在确定了θr的PDF 的前提下,同样可以利用MCM评定θr的不确定度。如2.2 节所述,θ 的分布P(θ)可直接基于贝叶斯推断的方法获取,并在评定阶段通过在P(θ)内采样获得样本。此外,也可以对模型进行足够多次的独立训练,获得多组θ作为对P(θ)的采样。获得多组θ 后,基于这些参数的多次模型推理过程可作为对计算机干扰P(φp)的采样,至此完成了对θr的分布P(θ,φp)的采样。
(3)测量结果yr的不确定度。
为规范且合理地评价基于深度学习的目标定位结果,本文以测量不确定度为切入点,对目标定位技术的指标评定展开讨论。首先,对深度学习中目标定位不确定度分析的研究现状进行了讨论,指出当前的研究并未拓展到具体工程环境,仅仅是针对数据拟合过程的不确定度进行分析。然后,对基于深度学习的目标定位技术的误差来源进行了总结,并对比了该领域当前主流的评价指标与测量不确定度的异同,指出了主流指标缺少对实际应用时测量结果质量的评估。最后,结合测量不确定度评价方法、深度学习不确定度分析技术和深度学习中目标定位的误差来源,针对基于深度学习的目标定位技术设计规范的不确定度评定方法提出了建议。
本文对深度学习中目标定位技术的测量可靠性进行了系统的分析,可在一定程度上促使新兴的基于深度学习的测量技术向工程化、规范化和标准化的应用迈进。除定位技术外,完整的目标检测任务还应包括分类技术,未来针对分类技术继续进行不确定度分析是一个有价值的研究方向。