基于深度学习的微流体液滴特征检测方法*

张 敏，刘明侯

(中国科学技术大学 工程科学学院，安徽 合肥 230027)

微流体液滴在生物化学反应、混合和强化传热传质等领域具有广泛应用，但不同应用对液滴特征需求差异较大[1]。微流体液滴特征可分为物理性质和化学性质，其中物理性质有液滴大小、形状、速度、表面张力等；化学性质有分析物的组分和浓度[2]等。光学检测是传统的微流体液滴检测方法，通过对图像测量方法获得液滴几何参数[3]。也有研究者提出采用阻抗[4]、射频(RF)微带传输线[5]和光强等测量液滴组分浓度、速度、大小等参数。

Hadikhani等[6]提出采用神经网络由液滴的图像得到流体芯片中不同流体特性，如水/醇两个通道流动参数速度。Mahdi等[7]使用人工神经网络建立模型，用来预测油/水微流体系统中液滴的无量纲长度。该网络的输入量为影响微滴大小的多个参数，如流速、粘度、两相表面张力和微通道的直径等。此后，研究者还发展了基于机器学习的微流体流态预测[8]、层流控制和液滴尺寸控制[9]、稳定性识别技术[10]等。调研发现，上述技术并不适合同时识别液滴生成前即未分裂状态。因此，本文旨在发展一个适用微流体液滴测量的多语义分割网络，精确捕捉不同流态下液滴特征。

1 数据集建立

采用同一个微流控芯片中液滴产生试验图像构建数据集。在选取数据集时，为了模型具有较强的泛化性，考虑到数据集覆盖范围，分别选取不同试验条件下整个液滴生成阶段的试验图像，其中包含不同大小和形状液滴的图片。由于所选图片试验横跨时间较长，所以图片的光强、两相速度、试验背景杂物等也不同。整个数据集数量为200，选取部分液滴图片如图1所示。

图1 数据集中部分液滴图像

根据T形通道中液滴的生成过程，将图像中的分散相微流体定义为3种语义区域，分别为液滴区、挤压-滴状区和液体区，在分割后的图像中显示为红、绿、蓝3种颜色，可利用RGB 3个通道分别呈现。液滴区是分裂后形成的单个完整液滴，边界为连续相和分散相两相界面，在分割图像中以红色显示。挤压-滴状区是液滴生成过程中连续相和分散相及通道固体壁面三相作用生成的区域，在分割图像中显示为绿色。根据T形通道中不同的液滴生成机理，挤压-滴状区可分为挤压区、滴状区和挤压-滴状转变区，此区域对于研究液滴的生成机制有着重要意义。液体区是还未与连续相接触的分散相液体，通过此区域可以得到连续相与分散相两相受力的起始位置，在分割图像中颜色为蓝色。图2为数据集中一对原始图像和标注的分割图像示例图。其中，上图为原始图像，中图为标注的分割图像，下图为用方框标出了液滴区、挤压-滴状区和液体区3种语义区域的分割图像。

图2 数据集示例图

在训练模型之前，将整个数据集分为训练集、验证集和测试集。本试验中，按照14∶3∶3的比例将200对图像划分为训练集、验证集和测试集。为了最终模型的可靠性，在划分过程中，以不同液滴大小作为基准，将图片等比例随机分配至3个集合中。

2 网络结构

本文构建了一种加入跳跃连接结构的完整解码编码器网络，来实现小批量数据集下简单语义的分割任务(见图3)。此网络模型的输入为3层RGB原始图像，最后输出也为3层RGB分割后的图像，各分类属性分别展示为红、绿、蓝3种颜色。由于上述的语义分割任务不是特别复杂，为了避免网络的过度学习和学习时计算资源的浪费，网络将编码区的下采样次数和解码区的上采样次数都设为3。在卷积过程中，除最后一个1×1卷积后激活函数为sigmoid函数外，其余卷积后的激活函数均为ReLU函数。

图3 微流体语义分割网络结构

为了解决卷积后尺寸变小、图像边界信息丢失[11]等问题，在卷积前采用图像填充(padding)操作。根据归一化的原理，本文在处理时，对每个训练的最小批(mini-batch)进行归一化处理，即批归一化(BN, batch normalization)操作。使用批归一化后，可以使用更大的学习率进行训练学习，训练过程更加稳定，从而提高训练速度。批归一化可以代替dropout，在提高速度的同时不会增加过拟合。批归一化后，训练时对网络的权重初始化和权重尺寸不再敏感。分类损失函数(CE)、加权损失函数(WCE)还有Dice损失函数都在多分类问题上表现良好，在训练过程中，分别用上述3种损失函数进行学习，以便学习得到一个表现最优的网络。自适应学习率算法在深度神经网络中表现得相当鲁棒，所以在训练过程中，本文分别使用RMSprop算法和Adam算法作为优化器，进行网络的训练优化。

3 网络训练及测试

3.1 训练抽样

网络进行特征学习时首先进行多次迭代(epoch)。在每一个迭代内，都有训练和验证2个部分。本文每隔一定迭代次数，抽样显示并验证集中原始图像经过语义分割网络后输出的结果图，评估该权重时分割效果。图4所示展示了采用dice损失函数和Adam优化器验证集中同一张原始图像在训练过程中的分割结果变化。其中，a～f分别为10、45、95、200、400和835次迭代训练分割结果。从图4中可以发现，液滴区是最开始被学习到的部分。在第10次迭代时，网络学到信息比较少，挤压-滴状区和液体区还未学习完全。到第45次迭代，网络学习能力出现了反复，学习的挤压-滴状区和液体区出现了混淆，但此时液体区大部分已学习到。第95次和第200次迭代时，各区之间已无混淆状况，3种区域的大部分内容已学习好，但在挤压-滴状区和液体区相邻的区域，边界学习的还不够完全。到第400次和第835次迭代后，各区域的边界都已经比较清晰。在挤压-滴状区中，能看到T型通道的拐角位置，细节呈现较好。从上述结果可以看出，网络通过更多次迭代过程的不断学习获得了更优的特征，并最终呈现较好的分割效果。

图4 训练过程中的分割结果对比

3.2 网络测试结果及评估

网络在测试时，将测试集中的原始图像输入到最终训练完成的网络模型中，可以得到与测试集对应的预测语义分割结果图集合，预测的语义分割结果如图5所示。其中，a使用了CE和Adam；b使用了WCE和Adam；c使用了Dice和RMSprop；d使用了Dice和Adam。整体来看，原始图像中的3种语义均被良好分割。其中，液滴区在所有的模型中均分割良好，说明液滴区的分类学习对于网络来说是3类任务中最容易的一种。a中语义分割时液体区下方像素未完全学到，b中液体区和挤压-滴状区的亮相界面学习有波动。相比较来看，c和d没有出现此类小瑕疵。说明Dice损失对于微流体语义分割网络的结果提升效果比较明显。

模型评估时，将整个测试集中测试得到的结果图与对应的标注图像进行计算，可得到网络的评估指标。

表1显示了在使用Adam优化算法的情况下，选取不同损失函数时各网络的评估指标值。使用3种损失函数时，准确率都比较高，分别达到了0.891、0.912和0.926，但精度、召回率和F1值却没有准确率那么高，说明数据存在不均衡的问题。仔细分析可以看出，相比起单纯的多分类交叉熵损失，使用加权交叉熵损失有助于任务更好地学习，精确度、召回率和F1值都有一点提升的幅度。当使用损失Dice时，模型准确率和F1值分别达到0.926和0.606，且为最佳值。说明Dice损失比加权交叉熵损失函数更能改善数据不均衡的问题。

图5 测试的分割图像结果

表1 不同损失函数时网络评估指标

选取Dice损失作为损失函数时，对比使用RMSprop作为优化器，使用Adam后网络的准确率、精确率、召回率还有F1值都更高，分别提高了0.012、0.018、0.017和0.016。相比起优化器不变，加权交叉熵损失变为Dice损失后网络精确率的大幅提高，Adam优化器比RMSprop优化器对网络精度各项评价指标均提升在1.01%～3.05%之间，均衡但不明显。

4 多语义分割特征检测

用原始液滴图像作为输入，各微流体液滴特征作为输出的算法流程如图6所示。整体算法分为微流体液滴多语义分割、液滴区特征检测和挤压-滴状区特征检测3部分。

4.1 液滴区特征检测

原始液滴图像输入微流体液滴语义分割模型中，得到对应的语义分割图像。在分割后的图像中，通过对液滴区进行图像处理，可以检测到液滴的面积大小、中心位置、液滴的长度和高度、液滴边界以及可包围液滴的矩形框等特征。

在提取液滴区特征前，首先需要在图像中分别找到各个液滴，包括3个步骤：液滴区图像的提取、图像开操作去除噪声和连通域操作。液滴区的提取可以直接提取语义分割结果图中的R通道像素值，将其转存为一个新的灰度值图像，进行二值化处理。为了提高整个算法流程的鲁棒性，对图像进行开操作去除各液滴间有可能出现的细小连接。此后，选择8通道联21:59 2021-8-30通域方法处理液滴，各个连通域代表不同的液滴，通过对各个连通域求区域属性得到对应液滴的面积、中心坐标、液滴高度和宽度，即得到了液滴区的特征。

图6 微流体液滴特征检测总流程图

4.2 挤压-滴状区特征检测

挤压-滴状区特征检测时，同时利用语义分割图像中的挤压-滴状区和液体区。挤压-滴状区参数示意图如图7所示。对液体区图像二值化处理后求区域属性，得到的左上角起始点即为液滴开始形成曲面的位置，获得的区域高度为液滴开始形成曲面的起始高度。对挤压-滴状区图像二值化处理后求区域属性，可以得到区域左上角坐标为(xg，yg)，整个区域的高度为Hg，宽度为Wg，见图7。在图像中，通道交点为固定点，见图7，坐标为(xr，yr)。根据上述参数，可以求得挤压-滴状区的缝隙ε、液滴头部特征bw和bh。其中，bw=Wg+xa-xr，bh=yr-yg，ε=wc-bh=wc+yg-yr。

5 结果及分析

经过语义分割及图像处理，最终得到的液滴特征检测结果标记展示在原始图像中。图8所示为分别标记了液滴中心位置、液滴运动方向、液滴被包围的矩形框的原始图像。箭头起始点为液滴的中心位置，方向为运动方向。从左到右，可以得到各液滴的特征检测结果。其中，液滴中心像素点坐标分别为：(82，15)、(173，15)、(264，15)。液滴的高度分别为：18像素点、18像素点、17像素点，平均高度约为18像素点。液滴的宽度分别为39像素点、37像素点、38像素点，平均宽度约为38像素点。液滴面积分别为584像素点、582像素点、583像素点，液滴的平均大小为583像素点。此外，通过与前后多帧图像的对比，3个液滴的速度均为每毫米37像素。在所有图像中，1个像素点代表一个5 μm×5 μm的图像方块。将像素点换算为距离，可得图8的试验条件下产生的液滴平均高度和宽度约为90和190 μm，平均面积为14 575 μm2，液滴速度为185 μm/ms。由此可以看出，在此试验条件下，液滴生成的过程已经趋于稳定，分裂得到的滴液以相对平稳的状态进行运动。

图7 挤压-滴状区参数示意图

图8 液滴区检测结果示意图

图8中液滴开始形成液滴的起始高度为39像素点(195 μm)。由于还未形成液滴头部，计算得到的液滴头部参数均为负数。对同一试验条件下的图像进行处理，可分别得到不同时间液滴起始分裂高度。图8的后一毫秒图像中，液滴的起始分裂高度为28像素点，可以看出，在液滴生成过程中，随着分散相连续相两相曲面的形成并不断分裂成液滴，起始位置上下进行浮动变化。

6 结语

目前，机器学习方法对不同流态下挤压-滴状区和液滴等分散相区域的识别不具有通用性。本文通过加入跳跃结构、padding操作及批归一化操作，构建了一个输入输出均为3层、从图像到图像、3层小模块进行解码编码的微流体液滴语义分割网络。基于Adam优化器结果表明，Dice损失函数比CE、WCE等优化性能更高；比较Adam和RMSprop优化器结果发现，前者对网络精度各项评价指标均提升在1.01%～3.05%之间。本文使用深度学习方法进行语义分割后，能精确获得包括液滴中心位置、尺寸(包括面积、宽度和高度)、速度，及挤压-滴状区的连续相液膜厚度、液滴头部宽度和高度等液滴生成过程中的重要特征参数。