离焦图像法颗粒多参数在线测量技术

周骛，龚文超，徐日辛

（1 上海理工大学能源与动力工程学院，上海 200093；2 上海市动力工程多相流动与传热重点实验室，上海 200093）

自然界和日常生活生产中大量物质以离散的颗粒形态存在，包括气泡、液滴和固体颗粒等，这里统称为颗粒。两相流动中稀疏颗粒相的三维运动速度分布、颗粒粒度分布以及数目浓度分布都是非常重要的场测量参数，而光学成像法由于非侵入、系统简便、结果直观、可同步在线测量上述参数等优势获得了科研工作者的广泛青睐。随着光源、相机、镜头和图像处理技术的飞速发展，图像法近十年来在颗粒测量方面也获得了日益广泛的应用，是一种非常有潜力的非接触式颗粒在线测量方法。

目前阻碍图像法应用于颗粒在线测量的主要原因之一，是由于成像系统景深有限而易导致的离焦成像问题，继而引起颗粒粒径等参数测量的不准确性；尤其是在成像系统放大倍率较大或颗粒深度位置分布较宽时，离焦成像难以避免。然而，离焦图像也暗含了颗粒的深度位置等信息，可基于该方法获得准确的测量体空间大小、继而获得准确的颗粒数目浓度，这是激光多普勒法[1]、激光衍射法[2]等颗粒测量技术所不能或难以获得的。

同时，离焦法颗粒测量尤其是速度测量技术的发展，与单相流动速度场测量技术是密不可分的，因为后者往往通过加入跟随性和散光性良好的示踪粒子，以表征流体流动，因此本文将后者的发展过程也纳入介绍范围，以便读者对离焦测速技术的整体发展过程有较完整的了解。而在流体速度场测量时，一般认为示踪粒子的大小均一，不考虑粒径变化的影响或粒径测量的问题；后文中在提及流体速度场测量研究时用“粒子”，在提及两相流中颗粒相速度场测量时用“颗粒”。

需要指出的是，在离焦测距的图像处理方法方面，根据被测对象的种类，可以分为适用于连续对象和离散对象两种。本文主要针对颗粒相这类离散对象，而连续对象如生活中常见物体等场景，在处理时可以利用物体表面的连续特征进行处理分析，有大量专门的该方面算法的研究，不在本文综述的范围内。

本文首先简述常用的粒子群三维位置信息获取方法，以便读者了解离焦法在三维测量中的地位；然后回顾三种主要的离焦测距方法的发展历程、测量原理、最新进展及应用，包括基于单相机的特殊光阑法、基于单相机的像散法、基于双相机的异像距法。通过分析比较不同方法的优劣势，指出离焦图像法的发展方向和适用场合，以期为离焦图像法在流场和颗粒在线测量方面的应用提供指导。

1 粒子群三维位置信息获取方法概述

无论是单相流中添加的示踪粒子，还是两相流中本就存在的颗粒相，在速度场测量方面，应用较广泛的光学非接触式测量方法当属粒子图像测速（particle image velocimetry, PIV）和粒子追踪测速（particle tracking velocimetry, PTV），而后者也尤其适用于稀疏颗粒相的速度场测量。而无论何种技术，高空间分辨率三维空间三分量（three dimension and three components, 3D3C）速度信息获取方法的研究，仍是目前速度场测量研究的重点和难点。真正获取粒子三维空间（3D）位置的方法主要包括层析成像法、光场成像法、全息成像法和离焦成像法。不同方法的比较见表1。

表1 不同三维成像方法的比较

层析成像法[3]在2006年的首次出现，代表了实验流体力学的一个转折点。它在双目成像技术（2D3C）的基础上，采用多目多角度成像配合体光源照明，通过层析三维重构算法（如代数重构ART，倍增代数重构MART，乘法视线MLOS 等）获得粒子场散射光光强三维空间分布或粒子三维空间位置，再结合三维互相关或三维粒子追踪技术如抖盒子技术（STB）[4]获得粒子群（PIV）或粒子（PTV）的三分量速度，是目前商业化应用相对广泛的3D3C速度场测量技术。

光场成像法[5]通过相机阵列或相机扫描、微透镜阵列、掩膜等方式，同时控制或记录包含位置和传播方向在内的多维度光学参量，仅单相机单次曝光便可获得三维空间信息；特别是在光学空间受限、多相机难以布置的实验条件下，相比于其他成像方法具有更强的适用性。但从数据处理角度而言，本质上一般采用层析重构的处理方法，存在权重矩阵计算耗时且存储量庞大，重建粒子在深度方向上有拉伸效应等问题；如何权衡空间分辨率和角度分辨率之间的矛盾，是制约其广泛应用的一个难点。

全息成像法[6]基于菲涅耳衍射的成像原理，将物光波和参考光波形成的干涉条纹记录在图像传感器中，再使用原参考光通过全息图像，通过分层再现提取出物体的三维信息。数字全息通过建立数学模型求解来处理干涉图像以实现颗粒三维定位，尤其在粒子追踪测速方面颇具优势和潜力，已有研究将其与双目视觉技术相结合实现粒子测速[7]。提高计算速度和三维重构质量，是目前数字全息粒子测速的重要发展方向之一。

离焦成像法则通过分析离焦图像的模糊程度以获取测量物的深度位置信息，只需要一个视角就能获得三维空间的信息。就离焦测距或者离焦图像深度测量方法而言，主要分为两类：第一类仅需获取单张图像，如采用特殊的光阑[8-16]或带像差的镜头[17-23]进行成像，通过成像特征的不同获取深度信息；或其他以唯一确定粒子的深度位置；第二类需要获取两张图片，即拍摄两张不同成像参数或不同离焦程度的物体图像[24-27]，通过两张图片的比较分析获得物体深度。鉴于离焦测距原理是利用成像的离焦模糊信息，因此对小景深成像即易导致离焦模糊的场合尤其适用，例如微通道甚至纳通道的流场测量[28]。该方法将是本文重点介绍的三维信息获取方法。

就上述四种三维信息获取方法比较而言，层析成像法一般采用3～6台相机，而其他三种都属于单镜头或单视角拍摄技术；层析成像一般适用于视场或景深较大的场合，高倍率成像时易产生离焦模糊而影响重构精度；光场成像具有单相机成像的优势，但比其他方法的空间分辨率有所降低；全息成像光路布置和数据处理流程相对较复杂，但测量深度/宽度比较其他方法大；离焦尤其适用于微小空间或测量系统景深相对小、测量对象深度范围大从而离焦现象难以避免的场合。尽管部分离焦方法存在深度位置的二义性，但还是可以通过如聚焦在一侧壁面等方法来解决的。后文则主要分析不同的离焦成像颗粒位置、粒径和浓度测量方法。

2 单相机普通离焦法

普通非远心镜头的离焦特征是，随着粒子位置远离清晰对焦面，弥散圆直径逐渐增大，成像灰度逐渐与背景接近，但具有“近大远小”的问题；物方远心镜头则在此基础上能保证粒子在不同深度位置处的成像大小不变。但在已知粒子直径或直径均一的情况下，都可通过粒子图像的模糊度推知粒子的深度位置。而针对离焦二义性的问题，即不能唯一确定粒子位置在清晰对焦面哪一侧的问题，通过将测量区域限制在对焦面的某一侧来解决[29-31]，如图1所示。这一常用且最简单的办法，往往适用于微通道等带壁面边界且厚度较薄的对象的速度测量；结合不同的测速方法，有离焦粒子追踪测速[29-30]和离焦粒子轨迹测速[31]等技术。而该方法的关键，一是在于通过图像处理准确估计或测量粒子成像大小，二是实现可靠的系统标定，因为光源、粒子大小、光学成像系统参数等都会影响粒子成像的大小和灰度分布。

图1 单相机非远心镜头离焦成像及单侧离焦布置示意图

该方法若采用简单的图像处理算法识别模糊圆的大小，一般仅适用于粒子直径均一条件下的深度位置或速度测量，难以同时用于颗粒相粒度的表征。但Rao等[32]最新研究表明，当不考虑深度位置测量，仅为了测量粒径时，可以结合粒子图像的灰度分布和灰度梯度特征，基于高斯离焦模糊的原理和成像理论模型，形成用于粒径测量的无量纲参数理论关系曲线（图像特定灰度值处的灰度梯度值与模糊度关系、模糊度与颗粒半径关系），从而实现免标定的颗粒粒径及颗粒系粒度分布的测量。张小磊等[33]提出了一种基于深度学习和散焦图像的粒子场定位方法，用训练后的神经网络来估计粒子的深度位置，提高了粒子的定位速度，减少了数据采集的工作量。

3 特殊光阑离焦法

单相机离焦测量的方法中，有一种方法通过采用特殊形状的光阑实现粒子深度位置测量，主要包括三孔光阑和环形光阑。这两种也可视为特殊的编码光阑[9]，编码光阑的概念更加广泛，一般指具有更复杂的规则或不规则形状的光阑，且更适合于常见物体或生活场景的距离测量。本文对其不展开阐述。

3.1 三孔光阑法

基于三孔光阑法的单相机三维粒子场离焦图像测速最早由Willert 和Gharib[8]于1992年提出，在此后的二十年内获得了较为深入的研究和发展。该方法通过将镜头光阑由常规同轴单孔光阑替换为离轴的正三角形分布的三孔光阑，同一粒子则同时形成三个光斑图像并成正三角形分布；基于几何成像关系，根据三个光点图像之间的距离，可以获得粒子和清晰对焦面的距离；而在远近两种不同离焦情况下，光斑构成的三角形指向相反，以此来判断离焦二义性。如图2所示，点O处于对焦平面上，与镜头距离为u0，其在相机成像面上清晰成像，相机成像面与镜头主平面距离为v0；点A、B与镜头距离为u1、u2，对应聚焦点A'、B'与光阑的距离为v1、v2，而在成像平面上的成像图像为A″、B″。与立体视觉方法的立体视觉匹配不同，三孔光阑离焦测量系统需采用粒子图像模式匹配进行图像处理分析。在获得粒子三维位置后，可结合粒子追踪测速（PTV）技术，实现粒子三维速度场测量。

图2 三孔光阑离焦成像及离焦定位示意图

Pereira 和Gharib[10]将三孔光阑离焦成像与PIV图像处理方法相结合，首先通过离焦信息解码获得物空间中粒子三维位置，再采用三维空间互相关法进行位移估计，早于层析PIV提出以三维体素为基本单元的三维互相关概念。该文章分析了该方法的不确定度，认为离焦PTV 较其他三维PTV 技术，能提高粒子浓度至PIV常用的浓度水平，而其粒子浓度上限由三维查询区域大小和图像传感器像素分辨率决定。三孔光阑法得到了较为广泛的应用，如Yoon和Kim[11]、杜军等[12]、Winer等[13]分别将其应用在微流体器件的三维微流场可视化实验研究中。

Pereira 和Gharib[14]更进一步提出，在确定入射光光强后，可结合米散射理论建立颗粒散射光强度（体现为颗粒图像的灰度）与颗粒粒径大小的理论关系模型，并通过实验标定获得颗粒粒径-图像灰度对应关系数据；验证实验表明，平均粒径的测量误差可低至2%以内，从而将离焦法应用于同时测量颗粒相（如气泡）的速度和粒度。该方法能够基于单相机实现粒子或颗粒三维位置测量，但仍需要对孔径光阑进行特殊处理，尤其是图像处理时仍存在粒子图像匹配的问题，限制了可应用的粒子浓度范围，因此在近十年来研究热度有所下降。

3.2 环形光阑法

Lin 等[15]进一步提出环形光阑技术，如图3 所示，每个粒子仅成像为单个圆点或圆环图像，由圆环（如P″）尺寸大小即可获得离焦程度或深度信息，避免了三孔光阑法中粒子模式匹配的问题。但环形光阑不能解决离焦二义性，即不能确定粒子实际上位于参考平面前或后，需将待测区间限制在对焦面的某一侧或者结合其他方法如像散法等对前后离焦情况进行判断。Dreisbach等[16]在散焦颗粒跟踪测速中使用神经网络（NN）进行颗粒检测，与传统算法相比，对于重叠颗粒的检测更加准确可靠。

图3 环形光阑成像示意图

4 像差离焦成像法

像差法颗粒成像是另一种典型的基于单相机的测距方法，其中典型的是像散法[17-20]。像散法一般利用圆柱等像散元件，使不同入射平面内的光束经过柱面透镜后成像有所差异，从而使对焦面前后两侧离焦成像光斑呈不同方向的椭圆形，以解决离焦二义性的问题，通过标定即可获得颗粒瞬时三维位置。由于采用了柱透镜等像散透镜，将导致子午平面和弧矢平面内上光束的焦点位置不同，比如子午焦点比弧矢焦点离镜头更远时，如图4所示，点O在弧矢焦点处的成像为一条竖直线，而子午焦点处的成像为一条水平线；在弧矢焦点与镜头间的成像为长轴在竖直方向的椭圆，在子午焦点远离镜头方向则反之。像散法离焦测距具有操作简便和测量精度高等优点，主要的应用场合是对微小尺寸的精密测量。 Brockmann 等[20]考虑了颗粒的球形镜头效应，将像散法应用于背光成像下的透明球形颗粒测量，并结合粒子追踪测速提出了BLAPTV（ball lens astigmatism PTV）方法。

图4 像散离焦成像及深度定位原理示意图

Barnkob 等[21]提出了一种通用离焦粒子跟踪（GDPT）方法，即以一组预先拍摄的不同深度粒子图像为基准，通过寻找与测量图像互相关值最大者来判断粒子深度位置；方法可以用于不存在像散只存在球差、或者任何其他像差的场合，只要在深度方向上存在不同图像特征的颗粒三维定位。Barnkob等[22]进一步比较了基于模型函数（MF methods）、互相关（CC methods）和神经网络（NN methods）的离焦图像处理方法，结果表明MF方法在低浓度情况下效果较好，而CC 方法更稳定，在颗粒浓度较大且颗粒图像重叠更强的情况下提供更好的性能；与MF和CC方法相比，目前NN方法测量误差较大；但在未来硬件和计算能力发展下，NN 方法将具有巨大的发展潜力。徐日辛等[23]也根据显微成像的球差特征，利用深度学习技术，在微通道中实现了颗粒粒度和深度位置的同步测量。

5 双参数离焦成像法

离焦模糊程度除了和物体位置相关外，也受物体本身边缘形貌、光照等条件影响，为避免上述影响而探求物体深度位置，一般需拍摄不同成像参数下的两张图片。Surya 等[24]于1993 年提出了STAMP方法，通过改变光圈的大小来获取两张模糊的图像，从而利用散焦信息来获取颗粒的深度位置，但是该方法的误差较大，仅适用于在对焦平面附近的颗粒。Lebrun等[25]于1994年提出采用分束镜将成像光束均分进入两个相机，通过增减双相机连接的垫片可以同时获得某一时刻粒子模糊程度不同的两张图片。如图5 所示，点A位于对焦平面1 左侧，与镜头距离u1，对应聚焦点离镜头v1；点B位于对焦平面1、2 之间，与镜头距离u2，对应聚焦点离镜头v2；点C位于对焦平面2 右侧，与镜头距离u3，对应聚焦点离镜头v3。以远心镜头为例，模糊圆半径暗含了粒子与镜头之间的距离信息；单镜头双相机因为共用一个光轴，可以较好地避免双目视觉中空间点匹配问题，通过两张模糊程度不同的图片可以判断离焦二义性。在图像处理方面，可以采用空间域反卷积、傅里叶变换后的频率域处理[26-27]、深度学习处理[34]等方法识别颗粒图像的模糊程度，以对应深度位置。

图5 双相机物方远心镜头离焦系统示意图[21]

Zhou等[35]基于双相机离焦成像原理，针对球形喷雾颗粒，通过进一步构建离焦模糊理论模型，获得了包含阈值处理粒径、真实粒径和真实深度位置的量纲为1参数关系，基于实验标定获得相关曲线后，实现了粒子深度位置、粒度分布和数目浓度的喷雾液滴多参数同步测量方法，并对该方法的影响因素进行的深入分析[36]。该方法在图像处理方面仅需要进行简单阈值处理，结合PTV 技术则可以实现三维速度场的测量。张翔云等[34]基于双相机成像系统，搭建了基于卷积神经网络的颗粒粒径与位置同步预测模型，并于离焦测距理论模型相比，颗粒深度测量范围有所提高，直径测量误差有所降低。

双像距离焦成像法不用对镜头进行特殊处理，可以同时测量颗粒深度位置和粒径大小，适用于不具有像散特征的成像系统即普通成像系统，或需要对粒度进行表征的颗粒相测量。但在连接两个不同相机时，由于分光部件增大了像距，会使得镜头的工作距离或清晰对焦物面向镜头方向靠近，系统放大倍率也因此略有变化，需要在实验时予以注意。

6 不同离焦成像方法的比较分析

基于单相机的特殊光阑法和像差法，以及双参数法，都是从成像系统中镜头或光学系统成像位置的角度，形成具有一定离焦特征的图像以用于三维位置的识别。在三维测量时还有一类方法是从光源角度考虑，形成颜色沿深度方向发生变化的照明光源，结合图像色彩和离焦信息[37]可进一步扩大深度测量范围或提高深度测量精度，在此则不作赘述。

就上述五种不同的离焦成像方法比较而言，各有其优缺点，如表2所示。单相机普通成像法设备简单，单相机环形光阑法易于图像处理，但都不能解决前后离焦的二义性问题；单相机三孔光阑法可解决离焦二义性，但图像匹配较为复杂，受粒子浓度的影响较大。像差法尤其是其中的像散法测量精度较高，但由于是利用像差测距，成像存在较大畸变，不适用于需要获得清晰图像的场合或者需要进行畸变修正。双参数法因为是采用两幅图片的相对关系进行离焦特征识别和颗粒定位，在采用合适算法时，能够避免测量对象如形貌、大小、颗粒种类等变化带来的影响，具有较高的鲁棒性。

表2 不同离焦成像测量方法的比较

7 结语

（1）与其他三维空间信息获取手段比较而言，离焦图像法具有仅需一个视角即可获得三维信息的优势，且图像处理过程较为简单，尤其适合于微通道等难以进行多角度成像场合下的粒子速度测量。

（2）离焦图像法中能够解决离焦二义性的方法包括三孔光阑法、像差法和双参数法。在实验允许的情况下，在采用不能解决离焦二义性的测量方法时，将测量区域置于对焦面一侧，也是简单有效且常用的避免二义性的方法。

（3）与其他颗粒粒度测量方法相比，离焦图像法具有可准确定位和测量单个颗粒的优势，从而能够获得测量区的颗粒数目浓度及分布。其中像差法、双相距法分别由于精度高、鲁棒性强而成为研究的主要方向。

（4）随着深度学习等技术的飞速发展，相信离焦图像法颗粒测量技术即将迎来蓬勃发展的阶段，向着高空间分辨率、高时间分辨率、宽测速范围和高精度等方向迈进。