基于深度学习的甲烷高压射流湍流燃烧火焰图像处理方法研究

石 磊，雷 艳，梁晓杰，林 琛，王 磊，王晓艳，周定武

（1.潍柴动力股份有限公司内燃机可靠性国家重点实验室，潍坊 261061；2.北京工业大学 汽车工程系，北京 100124；3.湖南汽车工程职业学院，长沙 412001）

0 概述

低碳燃料天然气由于其具有热值高、储量丰富、经济性好、碳排放低等优点，成为实用的清洁替代能源［1–2］。天然气主要成分是甲烷，在内燃机中应用时有低压预混和高压直喷两种方式。低压喷射天然气发动机受爆震限制，热效率较低，且低负荷工况易出现工作不稳定甚至失火［3］。天然气缸内直喷是天然气发动机实现高效率、低排放的技术途径，成为发动机节能减排的重要方向之一［4］。缸内直喷方式下，天然气在上止点前高速射流进入燃烧室，由引燃火焰引燃天然气射流，最终形成射流湍流燃烧。作为天然气主要成分的甲烷，其分子结构中C—H 键的键能较大，超过一般有机物分子结构中的C—C 键的键能，天然气燃烧的火焰传播速度较慢［5］。天然气直喷发动机的射流燃烧特性对整机性能影响至关重要，开展天然气高压射流燃烧的基础研究十分必要。目前，研究人员多采用光学测试方法对射流燃烧特性进行研究，高速摄影、纹影技术成为研究射流燃烧的主要手段。文献［6］中用纹影获得了燃烧火焰图像并测量了层流燃烧火焰半径。文献［7］中采用高速摄影机、纹影技术研究了高压甲烷射流特性，而且开展定容弹内甲烷射流燃烧特性试验研究［8］。在通过光学测试获得燃烧火焰图像后，精确分析火焰传播速度等燃烧宏观特性十分必要，其中对火焰边缘定位、火焰轮廓的提炼是处理纹影图片的关键，国内外学者对火焰纹影图像处理进行了大量研究。

随着数字图像处理技术的发展，从纹影照片中获取目标的形态学参数已不完全依赖人工测量。使用计算机可进行批量图像处理，将输入的灰度图像转为二值黑白图像，再通过算法提取形态学信息，大大增加了数据获取的速度，同时避免了人为判断带来的误差［9］。目前通常采用经典的边缘检测算法用MATLAB 等软件进行图像处理。文献［10］中开展了定容弹甲烷射流燃烧的光学测试，并基于亮度对比法识别火焰边缘轮廓。文献［11］中通过纹影获得了甲烷空气预混层流燃烧图像并用MATLAB 编程处理了图像获得了火焰传播速度。文献［12］中利用MATLAB 软件编写了纹影图片批量处理程序，获得火焰传播各方向的半径值。文献［13］中利用纹影获得了定容弹天然气燃烧图像并完成了图像处理，获得了火焰传播特性。以上文献中图像处理中通过去除背景、调整对比度、使用边缘检测算子识别边缘、膨胀腐蚀、去除孤岛等步骤，可以较好完成对单个目标（火焰）的分割任务，但其具有对噪声敏感、需要手动设置阈值、自适应能力较差等问题。

文献［8］中对甲烷射流燃烧研究获得了甲烷高压射流并形成湍流燃烧的射流燃烧火焰图像，如图1所示。试验中，定容弹点火针点燃预混甲烷形成层流球形火焰，接着甲烷高压射流进入定容弹并冲入层流火焰球，最后甲烷射流被引燃形成湍流火焰。这个燃烧过程中，纹影拍摄到甲烷射流、层流燃烧火焰及湍流燃烧火焰。这种射流燃烧图像含有多个目标（气体射流、燃烧火焰），而且气体射流与燃烧火焰尤其是湍流燃烧火焰对比度差异太大，射流不易识别。对于存在多个目标且目标间对比度差异较大的图像，传统的边缘检测算子识别边缘方法会对整幅图片进行对比度调整，难以保证所有待分割目标都处在适合边缘检测算子识别的亮度，通常分割效果不理想，火焰边界识别效果较差。

图1 甲烷射流燃烧纹影图片

相较于计算机，人工对这类图像的识别测量准确性更高。近年来，随着神经网络训练算法的突破性改变，以深度学习为代表的人工智能理论研究取得了长足进步［14–16］，深度学习理论在图像处理方面得以应用［17］。20 世纪80年代就有研究中将BP 神经网络运用于图像处理，但受制于计算机性能，当神经网络规模较大时效果明显恶化。2012年AlexNet赢得了著名的ImageNet 图像识别大赛，其采用ReLU 激活函数从根本上解决了梯度消失问题，并采用图形处理器（graphics processing unit，GPU）极大提高了模型的运算速度［18］。深度学习算法吸引了学术界和工业界的极大关注并得到飞速发展。Facebook 基于深度学习的DeepFace 项目人脸识别准确率已达到97% 以上，与人类识别的准确率相当［19］，这也再一次证明了深度学习算法在图像识别方面的优越性。全卷积网络（fully convolutional network，FCN）的提出使神经网络实现了精确到单个像素的图像语义分割［20］，而后又在FCN 的基础上提出了SegNet、U-Net、V-Net、DenseU-Net、DeepLab、PSPNet、RefineNet 等一系列用于图像分割的神经网络结构，广泛应用于医学影像、自动驾驶遥感图像研究等领域。

本文中基于定容弹开展了高压天然气（甲烷）射流燃烧光学测试，结合神经网络理论，将深度学习技术运用到燃烧火焰图像处理中，采用神经网络结构进行图像分割，识别火焰边缘，进一步获得准确的射流燃烧火焰传播速度。本研究成功将深度学习方法应用于燃烧火焰图像处理，有助于提高多模式燃烧火焰图像处理质量，有利于多模式燃烧的基础研究，可为复杂火焰图像处理奠定基础。

1 光学测试研究

基于定容弹进行甲烷射流燃烧光学测试，光学测试系统主要包括定容弹、点火系统、加热系统、纹影光学系统、气体供给系统、采集系统等，相关测试设备及测试方法详见文献［7–8］。

试验中，甲烷先喷射进入定容弹，与空气预先混合形成可燃混合气，并由点火针点燃形成预燃火焰；然后甲烷高压喷射进入弹内，甲烷射流冲入预燃火焰被引燃形成湍流火焰。本试验采用高速摄影结合纹影系统对整个射流燃烧进行观测，捕获甲烷射流及火焰的发展历程。为了确保点火顺利，试验过程中对定容弹进行加热使其温度保持在300 ℃。但是由于定容弹内空气受热后热运动加强，导致背景扰动加剧，影响了图像质量。火焰图像虽然清晰展示了火焰发展过程，但是背景噪声过强对图像处理十分不利。为了降低背景空气的扰动，调整了纹影系统的灵敏度以去除背景噪声，获得了射流和火焰共存的图像。

图2 为甲烷射流燃烧的光学测试原始火焰图像。甲烷喷射压力为10 MPa，点火系统触发点火信号时刻为零时刻（0 ms），甲烷喷射时刻与点火间隔Δt为3 ms。光学测试结果显示，点火针点火形成球形层流火焰，当球形火焰发展到一定程度时，甲烷射流进入定容弹，此时喷射与点火间隔时间为3 ms。3.3 ms 时甲烷射流不断向前发展并冲入球形火焰中，随后甲烷射流被球形火焰引燃，产生大量火焰皱褶，形成湍流燃烧，球形火焰外形难以维持，湍流火焰迅速向前发展，迅速充满整个定容弹。图2 中的火焰发展过程较为清晰，球形火焰轮廓相对清晰，但气体射流及后发展的湍流火焰与纹影背景极为接近，不易分割，精确识别火焰边缘极为重要。

图2 甲烷射流燃烧光学测试火焰图像

2 射流燃烧火焰边缘检测算法

本文中针对高压甲烷射流燃烧的光学测试结果分别采用了经典边缘检测算法和深度学习方法进行图像处理。

2.1 经典边缘检测算法

2.1.1 边缘检测原理

边缘检测算法包括滤波、增强、检测和定位4 个步骤。

（1）滤波。边缘检测算法主要是基于图像强度的一阶和二阶导数，导数的计算对噪声很敏感，因此必须使用滤波器来改善与噪声有关的边缘检测器的性能。需要指出，大多数滤波器在降低噪声的同时也导致了边缘强度的损失，因此增强边缘和降低噪声之间需要折中。

（2）增强。增强边缘的基础是确定图像各点邻域强度的变化值，增强算法可以将邻域或局部强度值有显著变化的点突显出来，边缘增强一般是通过计算梯度幅值来完成的。

（3）检测。在图像中有许多点的梯度幅值比较大，而这些点在特定的应用领域中并不都是边缘，应用某种方法确定哪些点是边缘点，最简单的边缘检测判据是梯度幅值阈值判据。

（4）定位。如果某一应用场合要求确定边缘位置，则边缘的位置可在子像素分辨率上来估计，边缘的方位也可以被估计出来。

在边缘检测算法中，前3 个步骤应用得十分普遍。这是因为大多数场合下仅需要边缘检测器指出边缘出现在图像某一像素点的附近，而没有必要指出边缘的精确位置或方向。边缘检测误差通常是指边缘误分类误差，即把假边缘判别成边缘而保留，把真边缘判别成假边缘而去掉。边缘估计误差用概率统计模型来描述边缘的位置和方向误差。因为边缘检测误差和边缘估计误差的计算方法完全不同，其误差模型也完全不同，二者应区分开。

2.1.2 边缘检测算法算子

在图像中，边缘总是以强突变的形式出现，例如灰度的突然变化。目标区域边缘与背景之间的灰度值突变可以通过不同的边缘检测算子检测到，进而实现对边缘的提取。MATLAB 中常用的边缘检测算子主要有Roberts 算子、Sobel 算子、Prewitt 算子、Canny 算子、LOG 算子等。

边缘检测常用函数为edge，其调用形式为：BW=edge（I，‘operator’，thresh，direction）。其中，BW为返回图像；operator 为算子类型；thresh 为敏感度阈值，当thresh 为空则自动选择阈值；direction 为指定方向，默认为both。

Roberts 算子是最简单的算子，其采用对角线方向上相邻两像素点的灰度值的差近似作为梯度幅值来检测边缘。Roberts 算子如式（1）所示。

Sobel 算子是基于一阶导数的边缘检测算子，引入了类似局部平均的运算，具体是把图像中每个像素的上下左右4 个邻域的灰度值加权作差。Sobel算子的模板为两个3×3 的矩阵，如式（2）所示。

对于复杂的图像，采用复杂的3×3 算子检测边缘效果更好。Prewitt 算子与Sobel 算子大小相同，其基本原理与Sobel 算子类似。Prewitt 算子的两个模板分别代表图像的水平梯度和垂直梯度，其模板如式（3）所示。

Canny 算子是一个具有滤波、图像增强、边缘检测的多阶段优化算子，其通过高斯滤波器平滑灰度图像，利用一阶偏导有限差分来计算灰度梯度的幅值和方向，利用两个阈值来分别检测和连接边缘。

LOG 算子又称拉普拉斯算子，是一种不依赖边缘检测方向的二阶微分算子，其对孤立像素的响应强度远大于对目标边缘的响应强度，同时对噪声非常敏感，只适用于无噪声图像。采用LOG 算子进行边缘检测时，一般首先采用高斯函数对图像进行平滑。LOG 算子的模板中心系数为正，其余相邻系数为负，所有系数的和应该为0，如式（4）所示。

本文中分别运用这5 种算子进行了图像处理，通过调用edge 函数实现燃烧火焰图像的边缘检测。图3 展示了不同边缘检测算子的应用效果，可见在视觉效果上5 种不同算子的检测效果差异不大。

图3 不同边缘检测算子对比

从算子原理上来看，Roberts 算子是一种利用局部差分算子寻找边缘的算子，对于图像中火焰边缘定位准确但不够平滑，且无法抑制噪声的影响。Sobel算子是通过计算边缘处灰度梯度到极值从而检测边缘，对噪声具有很好的消除作用，但是检测的边缘较为模糊。Prewitt 算子与Sobel 算子原理相同，但与Sobel 算子相比，能够消除图像中的伪边缘。Canny算子通过两种不同的阈值分别检测强边缘和弱边缘，容易检测出真正的弱边缘，同时采用两种不同阈值检测能够很好地避免噪声的干扰。LOG 算子具有边界定位准确度高、抗干扰能力强、连续性好等优点，但是边缘定位精度和消除噪声级间存在着矛盾。综合来看，Canny 算子的优势更为明显，既能够准确地定位图像中的边缘，又能避免噪声对边缘检测的影响。同时Canny 算子是edge 函数中最有效的边缘检测算子，因此本文中选择Canny 算子作为边缘检测首选算子。

2.2 深度学习算法原理

2.2.1 神经网络结构

为了精确地识别射流燃烧中射流、层流火焰、湍流火焰边缘，采用深度学习领域的U-Net 网络结构搭建火焰图像分类模型。U-Net 网络是基于FCN网络改进得到的，因其结构形状类似于U 形，故名U-Net。其广泛应用于医学影像分割，可从对比度相近的影像中精准地分割病灶或组织等目标，分割准确率远远超越传统图像处理算法［20］。U-Net 网络结构对医学影像分割与本文中采用纹影法拍摄的火焰图像具有许多相似之处。U-Net 网络主要分为特征提取和上采样两部分，共4 层，两部分间相同层级用连接（contact），较浅的层分辨率更高，用来解决像素定位的问题，较深的层用来解决像素分类的问题。

2.2.2 卷积

图像卷积就是用卷积核与图像进行卷积运算。在传统图像处理时，通过不同的卷积核可以对图像进行滤波和边缘检测。在本文使用的神经网络中，卷积层使用16 个叠加的3×3 卷积核进行卷积运算，卷积核参数使用随机初始化方法进行初始化，然后在不断迭代的过程中更正权值以学习特征。神经网络在训练的过程中不断更新参数，因此除了输入层以外，训练参数更新将导致其后层输入数据分布的变化，这极易导致梯度弥散的发生，训练的速度也会降低，所以在卷积层之后加入归一化层作归一化处理，均值归一化为0，方差归一化为1，然后再将归一化后的数据输入网络的下一层。

本文引入Batch Normalization 可以避免梯度弥散的发生，使用更大的学习率提高训练速度，同时把训练数据彻底打乱防止某个样本经常被选用。

2.2.3 最大池化

对于图像而言，池化是将多个像素的信息融入一个像素中，减少了特征和参数，进而简化了卷积网络计算时的复杂度，能在保留图像信息的同时将图像的尺寸减小，在下一次卷积时增大图像感受野，提取到更大范围的图像特征。池化主要分为平均池化和最大池化，平均池化将邻域内的所有像素求平均转化为一个像素值，最大池化将取邻域内最大的像素值作为池化后的像素值。

本文中采用2×2 的最大池化，即将4 个像素中最大的像素值保留，每次池化图像尺寸缩小至四分之一，共进行4 次池化，图像像素变化依次为256×256、128×128、64×64、32×32、16×16。

2.2.4 反卷积

在计算机视觉的深度学习领域，输入图像通过卷积神经网络经过池化提取特征后输出的尺寸会变小，需要将图像恢复到原来的尺寸以便进行下一步的计算。这个采用扩大图像尺寸实现图像分辨率由小到大的映射的操作称作上采样。上采样有双线性插值（bilinear）、反卷积（transposed convolution）和反池化（unpooling）3 种常见的方法。

本文中采用反卷积方法，也叫转置卷积。它并不是正向卷积的完全逆过程，而是一种特殊的正向卷积，先按照一定的比例通过补0 来扩大输入图像的尺寸，接着旋转卷积核，再进行正向卷积。每次反卷积图像尺寸增大4 倍，共进行4 次反卷积，图像像素变化依次为16×16、32×32、64×64、128×128、256×256。

2.2.5 训练过程

采用深度学习方法对高压甲烷射流燃烧的15组光学测试图片进行图像处理，其中5 组图片用于训练，其余10 组图片用于测试。对用于训练的5 组共3 种不同工况的图片进行标注，共381 张图片作为数据集。对5 组图片进行标注及训练，使用训练好的模型进行预测。训练时，随机选择20% 的数据进行交叉验证，以监督当前训练模型是否过拟合，训练集中的304 张图片作为训练集，77 张作为验证集，用其余10 组共6 种不同工况的图片作为测试集。

为了使图片适合于神经网络的进一步处理，本文中首先对光学测试图像进行预处理，原图像素为1 024×672，但有部分区域不包含所需要提取的有效信息，图片尺寸过大会占用过多内存，无法使用更大的批处理量大小（batch size）。本研究中从原图中固定位置截取512×512 的区域，去除了无用信息区域，大大提高了有效信息所占的比例。此外，由于图像处理受制于显卡硬件性能，本研究中进一步将图片像素缩至256×256，最终批处理量大小（batch size）可以达到16。

2.2.6 评估指标

本文中采用二进制交叉熵损失函数（binary cross entropy loss，BCE Loss）。为实现对图像分割算法的客观评价，构建数学模型测试分割算法精度。对经过算法处理后得到的分割结果图、人工描边图分别进行二值化，使得图像中每个轮廓的内部像素为1，其余部分的像素为0，令分割结果的二值图为算法图，人工描边图的二值图为标准图。采用交并比（intersection of union，IOU）作为评估指标。IOU对于目标检测性能的评价具有重要的参考价值，其含义是模型对某一类别预测结果和真实值的交集与并集的比值，如式（5）所示。其中交并比对于目标检测而言是检测框和真实框之间的交并比，而对于图像分割而言是计算预测掩码和真实掩码之间的交并比。

式中，IOU为IOU；TP表示真正例（true positives），为算法图和标准图中像素值均为1 的像素点数量；FP表示假正例（false positives），为算法图像素值为1 且标准图像素值为0 的像素点数量；FN表示假负例（false negatives），为算法图像素值为0 且标准图像素值为1的像素点数量；TN表示真负例（true negatives），为算法图和标准图中像素值均为0 的像素点数量。

在图像处理过程中射流燃烧图片经过训练后，验证集IOU达到76%。

3 射流燃烧火焰图像处理结果分析

分别采用经典边缘检测算法、深度学习理论对射流燃烧火焰图像进行火焰轮廓识别分析，并基于MATLAB 编程完成图像批处理。图4 是一组光学测试的原始图像，点火系统触发点火信号时刻为零时刻（0 ms），甲烷喷射压力为10 MPa，喷射时刻与点火间隔为1 ms。由图可见，原图中射流进入球形火焰后迅速燃烧，火焰沿射流方向快速发展。原图中湍流火焰边缘肉眼难以准确识别，难以分析火焰前锋面的发展历程，无法准确获得火焰传播速度及火焰面积等参数。

图4 甲烷射流燃烧光学测试图像

图5 和图6 是针对图4 这组光学测试图像分别采用边缘检测算法、深度学习方法完成的图像处理结果。

图5 边缘检测算法处理结果

图6 深度学习法处理结果

由图5 可知，采用边缘检测算法处理结果显示，早期只有预燃火球时（0.1 ms）可以有效识别火焰，射流开始时（0.3 ms）无法识别射流；且气体射流接触预燃火焰时（0.6 ms）由于燃烧增强导致背景扰动增加，图像噪声增多，不能准确识别火焰边界，未能完整识别射流边界；当射流火焰进一步发展成湍流火焰（＞1.3 ms），射流边界及火焰轮廓均不能完整识别，存在背景噪声；随着火焰进一步发展（2.0 ms），背景扰动更剧烈，射流火焰边界不能完整识别，火焰与壁面出现重叠而无法区分，背景杂质多。可见，对于存在不同的目标图像（射流和火焰），由于两个目标差异过大，这种边缘检测算法无法区分识别。

由图6 可知，采用深度学习方法处理图像结果显示，初始时（0.3 ms）球形火焰及射流可对比识别；当射流遇到球形火焰时（0.6 ms），二者虽然重叠在一起，但沿射流方向的湍流火焰边缘可以识别，且背景清晰无背景杂质；当湍流火焰出现时（1.3 ms），火焰轮廓清晰且无背景杂质；随着湍流火焰进一步发展（2.0 ms），火焰轮廓清晰可辨别，且与背景壁面无任何重叠。可见，根据深度学习方法图像处理结果，可以获得沿射流方向的火焰前锋面的发展历程及传播速度。

因此，本研究中根据深度学习方法图像处理结果分析甲烷高压射流燃烧特性。为了分析火焰发展，根据定容弹甲烷射流燃烧测试光学图像定义坐标轴系，如图7 所示。定义点火针的点火点为坐标原点，水平布置的点火针方向为x轴，沿垂直方向定义为y轴。根据深度学习处理获得的火焰轮廓结果，可以获得火焰前锋面沿射流方向y轴的传播位移及传播速度。

图7 甲烷射流燃烧图像坐标系

定义火焰前锋面沿y方向最大位移为火焰最大传播位移ymax，达到最大火焰传播位移时的速度为火焰传播速度vy，此时火焰占据的投影面积为火焰面积。图8为图4 所示工况下（甲烷喷射时刻与点火间隔1 ms）的射流火焰沿射流方向y轴火焰前锋面传播位移、火焰传播速度和火焰面积。由图8 可见，从点火针点火到射流遭遇火焰前（＜1.3 ms），图像中出现球形火焰并沿y轴传播，火焰前锋面位移向前发展。火焰传播最大位移ymax呈线性缓慢增加，火焰面积相应增大，火焰传播速度vy稳定在一个较低的值，平均速度为2.6 m/s，最高为3.7 m/s，此阶段火焰具有典型的层流燃烧火焰特征。在射流接触火焰前锋之后（＞1.3 ms），火焰前锋面位移骤增，火焰传播速度达到300 m/s，同时火焰面积上升的斜率急剧增大；且从火焰图像上看，此时火焰前锋出现大量褶皱，结合火焰传播速度及火焰形态来看，此时火焰从层流转换为湍流燃烧。

图8 甲烷射流燃烧火焰传播特性

图9 给出了不同的喷射与点火间隔时间下的甲烷射流燃烧火焰发展特性。图9（a）是火焰前锋面位移的发展情况：对于不同的喷射与点火间隔，在射流遇到火焰前，火焰前锋面位移均呈线性上升趋势；而且，对于所有不同间隔，火焰前锋面位移线性发展段均呈线性且趋于重合，其线性拟合曲线斜率约为2.5，即射流冲击火焰前火焰传播速度约为2.5 m/s，为层流火焰速度。图9（b）显示的是火焰面积的发展特性：对于不同的喷射与点火间隔时间，火焰面积随时间发展均增加；当间隔时间增大时，其面积增加斜率下降。图9（c）为沿射流方向（y方向）火焰传播速度的变化。对于不同间隔时间，射流火焰均出现了从层流火焰发展成为湍流火焰的现象。在火焰遭遇射流前，其火焰速度值较低（平均为2.5 m/s），为层流火焰速度，一旦射流接触火焰，火焰速度从层流速度快速上升，最大火焰传播速度vymax高达300 m/s。图9（d）给出了最大火焰传播速度vymax的变化。随着间隔时间增加，最大火焰传播速度呈线性下降。这是因为随着间隔时间的增加，射流遭遇预燃火焰的时间相应推后，这意味着预燃火焰燃烧时间增加，预燃火焰释放的能量、火焰面积随时间增加而累积增强，射流对预燃火焰的影响相应减弱，因此最终形成的射流火焰传播速度相应下降。

图9 不同间隔时间的甲烷射流燃烧火焰传播特性

4 结论

（1）对于存在不同目标（射流和火焰）的图像，多目标间差异过大导致边缘检测算法无法较好识别射流和火焰，边缘检测算法适合于单一目标的火焰图像处理。

（2）深度学习方法可以识别射流湍流燃烧火焰轮廓，有效地获得射流湍流燃烧火焰前锋面发展位移及火焰传播速度，该方法适用于多个目标的火焰图像处理。

（3）当高压甲烷射流接触预燃火焰时，沿射流方向火焰传播速度由稳定的层流速度（＜3 m/s）快速上升，最大火焰传播速度高达300 m/s，形成湍流火焰，火焰快速向前发展，火焰面积增加。随着射流和点火时间间隔的增加，最大火焰传播速度线性下降。