基于卷积神经网络的非织造材料三维点云重建*

陈旭旭 王荣武

东华大学纺织学院，上海201620

非织造材料指定向或随机排列的纤维通过摩擦、抱合、黏结或这些方法的组合而形成的片状物、纤网或絮垫等。非织造材料因其独特的三维结构在过滤[1-4]、卫生[5-6]、医用防护材料[7-8]和土木工程[9]等领域广泛应用。诸多学者就非织造材料的三维结构展开了研究。

目前，用于重建非织造材料三维结构的方法主要有激光共聚焦显微镜法[10]和工业CT法2种。其中，激光共聚焦显微镜法能够直接获取物体的三维深度信息，并有效过滤背景噪声，但激光扫描存在易损坏样品[11]和价格昂贵[12]等问题。工业CT法是采用X射线束对一定厚度的物体进行层面扫描而获取其三维结构信息的技术。样品扫描在密闭环境中完成，对检测环境有较高的要求。因此，这两种方法的普及使用难度很大。部分学者借鉴工业CT法与激光共聚焦显微镜法中的“切片”原理，在光学显微镜下，通过拍摄不同聚焦位置下的样品得到多焦面序列图像，利用聚焦测距(DFF)技术推算图像中各点的深度信息，从而达到对微小物体进行三维结构重建的目的。

DFF技术是一种从多焦面序列图像中获取物体或场景深度信息的一项技术[13-15]，在PCB检测、机器人操作与控制[16]、三维模型重建[17]及工业[18]等领域应用较多。使用光学设备拍摄物体时，与焦平面平行的一个平面为真正合焦面。对于焦平面而言，由于人眼分辨力有限，能够清晰成像的焦平面往往是一个范围，称为景深(深度)，只有在景深内的物体才能清晰成像。DFF技术可获取使物体能够清晰成像的距离，进而捕获物体的三维深度信息，但是存在背景噪声的问题。为此，本文设计了一种可去除图像背景噪声，且重建效果明显优于DFF技术的新的卷积神经网络IPDNet(In-Focus Point Detection Network)。

1 DFF重建非织造材料三维点云模型的算法

使用DFF技术重建非织造材料三维点云模型的算法具体如下。

1)在光学显微镜下纵向移动载物台，等间距拍摄非织造材料的多焦面序列图像。

2)将方差函数[式(1)]作为图像清晰度的计算函数，计算每张图像中各点的清晰度值，得三维清晰度矩阵M(x,y,z)。

(1)

式中：Ω(x,y)——以点(i,j)为中心的5×5矩阵；

μ——Ω(x,y)中所有像素值的均值。

3)选取清晰度最大的点(x,y)所在的图层序号作为深度值z(图1)。

图1 DFF技术原理示意

4)重复3)，计算各点的深度值z，将每个二维点坐标变成三维点坐标(x,y,z)，最终获取非织造材料的三维点云模型数据。

2 卷积神经网络提取聚焦点

卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习DFF技术的代表算法之一，在图像分类、语义分割、目标检测等任务中能够有效提取图像特征。如，王飞[19]利用卷积神经网络构造了一种高精度分类器，能够有效识别非织造材料中的涤纶、羊毛、黏胶、木棉等纤维；Feng等[20]提出了一种不破坏试样即可分辨出各种纺织纤维成分的混合网络(CU-Net)。本文利用卷积神经网络可高效提取图像信息的特点，设计了一种新的卷积神经网络IPDNet，能够准确提取非织造材料多焦面序列图像中的聚焦点，解决使用DFF技术无法过滤图像背景噪声的缺点。

首先，提出一种检测图像聚焦点的网络。其次，制作用于网络训练的7 000张图像数据集，采用一种类别交叉熵损失函数解决网络训练中正负样本不均衡的问题。最后，通过试验证明本文所提出的IPDNet方法在重建非织造材料三维点云模型中的效果优于DFF技术。

2.1 网络结构设计

重建非织造材料的三维点云模型的目标是在多焦面图像中提取处于焦平面上的点。借鉴U-net[21]网络中的编码—解码结构，本文设计的可用于检测图像聚焦点的IPDNet网络结构如图2所示。

图2 IPDNet网络结构

IPDNet的图像特征编码以VGG[22]为主干网络，加载了ImageNet上的预训练参数进行迁移学习。IPDNet网络结构包含13个卷积层和4个最大池化层，每个卷积层后面都以ReLU为激活函数。在图像特征解码路径中包含了4个反卷积层，利用1×1的卷积层进行降维操作，将特征编码路径与解码路径中得到的特征图进行相加，提升特征图的分辨率。最后提出了一种循环全卷积神经网络(图3)，该网络对之前得到的特征图像与输入图像进行反复卷积，能更精确地提取非织造材料多焦面图像中的聚焦点。

图3 循环全卷积神经网络结构

2.2 数据集准备

目前，公开的聚焦区域检测数据集[23]已包含1 000多张自然风景图片，提供了人工标注的聚焦区域分割图像，但没有适用于光学显微镜下纤维聚焦点的检测数据。而对于非织造材料的聚焦点，只需要提取显微镜下微小物体的微细结构，如纤维的边缘轮廓等即可。为此，本文将非织造材料试样置于装有日本JAI公司BM-141GE工业相机的步进电机的全自动显微镜上，对试样进行图像采集。采集过程中，通过等距离上下移动载物台，调整物体与显微镜的焦距，得非织造材料的多焦面序列图像(像素为800 dpi×600 dpi)。同时，人工标注采集的多焦面图像的聚焦点(图4)，将该标注图用于卷积神经网络的训练。此外，由于人工标注的数据集数量较少，将采集图片与人工标注图随机裁剪为320 dpi×320 dpi(像素)的大小后旋转进行数据扩充，最后得到包含7 000多张图片的数据集，将其中的5 000张图片作为训练集，1 000张图片作为测试集，剩下的1 000张作为验证集，以便在网络训练过程中实时观察网络的准确率。

以吸光度为纵坐标(y)，以芦丁质量浓度为横坐标(x)，根据不同浓度芦丁标准品溶液的吸光度，拟合得到线性回归方程为y=12.685x+0.004 99(图1)，R2 =0.999 23，说明相关性较好。

图4 数据集采集示意图

2.3 网络训练

以Pytorch为IPDNet网络的训练框架，使用NVIDIA GTX-2080Ti显卡进行训练。除特征编码部分加载了VGG网络在ImageNet上的预训练参数外，其余卷积层及循环全卷积网络中的卷积层都采用Xavier算法[24]进行初始化。采用随机梯度下降法优化卷积神经网络的各层参数。其中，学习率设置为1×10-5，动量设置为0.9。训练过程中，因图像中的大多数点都不是纤维物体的聚焦点，所以，每张图片中负样本数较多，正样本数偏少。因此，本文采用了类别交叉熵损失函数[25]作为IPDNet的损失函数，计算式如下：

(2)

(3)

式中：N1——聚焦面上的正样本数；

N2——聚焦面上的负样本数；

l(X,W)——类别交叉熵损失函数；

W——网络中的所有参数；

Pr——IPDNet网络最后的输出值经过的Sigmoid函数；

Xi——像素i处的预测聚焦概率。

2.4 结果对比

将IPDNet计算得出的结果与目前在判断聚焦区域上效果较好的MGF[26]与LBP[27]两种算法，以及在光学显微镜下判别物体边缘具有较好效果的U-net网络进行了比较(图5)。结果显示，IPDNet的计算结果比另外3种算法更接近人工标注的图像，表明本文提出的新的卷积神经网络模型能够较好地提取图像聚焦面上的点。

图5 各算法测试结果比较

为客观地对比各算法图像中提取点的清晰度和准确度，本文计算了各算法的kF-Score值[式(3)]。kF-Score越大，说明代表模型预测的结果越准确。此外，本文还采用绝对均值误差MAE[式(4)]描述结果图像与数据集标注图像中像素的整体差异。kF-Score值越小代表算法提取得到的结果越精确。不同算法间的kF-Score值与绝对均值的误差如表1所示。

表1 各算法的kF-Score值与绝对均值误差

(4)

式中：k1——正样本预测数据(可能包含负样本)中, 正样本的真实比例；

k2——正样本真实数据(不包含任何负样本)中, 正确预测的比例。

(5)

式中：w和h——图像的宽度与高度；

x和y——像素点的坐标值；

G(x,y)——人工标注图像中点(x,y)的值；

M(x,y)——神经网络预测得到的图像点(x,y)的值。

结果表明，IPDNet的kF-Score值最大，kMAE值最小，效果为最优，与人工标注结果相吻合。

2.5 三维点云重建

IPDNet虽然能够去除非织造材料多焦面图像序列中的背景噪声点，但提取出来的点具有相同的二维坐标(图6，红色框标记区)。因此，需要确定各点在图层上的最佳深度值z0，以建立点云模型的三维点坐标(x0,y0,z0)。

图6 IPDNet多焦面图

传统DFF技术利用方差函数[式(1)]提取图像中点的清晰度，该清晰度函数在纤维边缘部分具有良好的单峰特性，能够准确且唯一地提取点(x0,y0)的最大清晰值所对应的图层序号。因此，本文利用式(1)判断具有相同坐标点的清晰度值，选取清晰度值最大的点所对应的图层序号z0作为点(x0,y0)的深度值，从而获取重建非织造材料结构时的三维点云坐标(x0,y0,z0)。

3 算法对比与验证

DFF技术重建非织造材料结构的三维点云模型渲染图(图7)中的颜色变化可较为直观地反映纤维在非织造材料中的纵向位置(偏蓝色的点靠近正面，偏红色的点靠近反面)。但由于拍摄非织造材料多焦面图像中，不同区域对应的清晰度变化曲线不同，三维点云模型具有较多的背景噪声。

图7 DFF技术重建非织造材料结构的三维点云模型渲染图

图8a)中，蓝色点代表纤维体，绿色点代表非织造材料多焦面图像的背景。利用式(1)计算出的蓝色点与绿色点所对应的清晰度值变化曲线[图8b)]可知，蓝色点所对应清晰度值变化曲线具有明显的单峰，可较为有效地推导出该区域的深度信息，而绿色点的清晰度值变化曲线没有明显的波峰，说明采用DFF技术无法准确地推导背景点的深度信息。

图8 清晰度对比图

为验证本文提出的IPDNet在重建非织造材料三维点云模型中的良好效果，选取面密度为25 g/m2的热风非织造材料，利用全自动显微镜控制载物台的上下移动，调整非织造材料与成像元件之间的焦距。采集非织造材料的多焦面图像序列后，利用本文中提到的基于IPDNet的非织造材料三维点云重建方法进行结构重建(图9)。由图9可知，与传统的DFF技术相比，本文提出的IPDNet算法建立的三维点云模型可减少背景噪声，保留纤维部分信息，效果良好。

图9 基于IPDNet的非织造材料三维点云重建结果

4 结论

基于DFF方法重建得到的非织造材料三维点云模型仅纤维部分具有明显的深度信息，无法有效过滤背景噪声，效果不佳。本文设计了一种可检测图像聚焦点的新的卷积神经网络IPDNet，该网络能够在有效提取图像的聚焦点、剔除图像中的背景噪声点后，重建非织造材料的三维点云模型。通过主客观试验对比发现，IPDNet的重建效果明显优于其他算法。然后，利用方差函数判断IPDNet提取的二维点的深度值z，得聚焦点的三维点云坐标。最后，验证了IPDNet三维点云重建算法的有效性。结果表明，本文提出的IPDNet三维点云算法比DFF技术有更好的三维结构重建效果。