韩巧玲,赵 玥,赵燕东,刘克雄,庞 曼
基于全卷积网络的土壤断层扫描图像中孔隙分割
韩巧玲1,2,3,赵 玥1,2,3※,赵燕东1,2,3,刘克雄1,庞 曼4
(1. 北京林业大学工学院,北京 100083;2. 城乡生态环境北京实验室,北京 100083; 3.林业装备与自动化国家林业局重点实验室,北京 100083;4. 定州市绿谷农业科技发展有限公司,定州 073006)
针对土壤断层扫描图像中存在部分容积效应及因孔隙成分复杂、结构不规则等引起的分割精度低的问题,该文提出一种全卷积网络(fully convolutional network,FCN)土壤孔隙分割方法,为土壤科学研究提供技术支持。该文以黑土土壤断层扫描图像为研究对象,通过卷积和池化运算输出不同尺度的孔隙特征图;将孔隙的深层特征和浅层特征相融合,采用上采样算子对融合特征进行插值操作,从而输出孔隙的二值图。与大津法、分水岭法、区域生长法和模糊C均值聚类法(Fuzzy C-means,FCM)4种常用孔隙分割方法的对比结果表明,FCN法在低,中,高3种孔隙密度的土壤图像中优于其他4种方法。FCN法的平均分割正确率为98.1%,比4种常用方法分别高25.6%,48.3%,55.7%和9.5%;FCN法的平均过分割率和欠分割率分别为2.2%和1.3%,仅为次优方法(FCM法)的33.8%和23.6%。通过融合土壤孔隙结构的多重特征,FCN法能够实现土壤孔隙整体和局部信息的精准判断,为土壤学的研究提供了一种更加智能化的技术手段。
土壤;图像分割;全卷积网络;土壤孔隙;深度学习
土壤孔隙是土壤固体颗粒和团聚体之间以及团聚体内部的间隙,其拓扑特征决定着土壤中空气、水分和养分迁移等生态过程,进而影响土壤的肥力和农作物的产量,是判断土壤物理性质的重要特征[1-5]。因此,对土壤孔隙拓扑结构的研究,可以真实还原土壤孔隙的几何形态和空间分布,为水土资源的相关研究提供技术支持。
计算机断层扫描技术为土壤孔隙结构的辨识研究提供了高效、无损的技术手段[6-8]。目前,基于土壤断层扫描图像的孔隙分割方法主要有大津法、分水岭法和区域生长法[9-11]。大津法[12-13]可根据图像的灰度特性自适应地选取阈值,从而将土壤图像分为目标和背景两部分。而分水岭法[14-15]基于形态学的拓扑理论,通过寻找灰度值分布的局部极小值确定分类阈值,以此完成图像的分割。区域生长法[16-17]则将具有相似灰度、强度、纹理等特征的相邻像素合并为一类,通过对各像素的遍历完成孔隙结构的判断。但是,由于部分容积效应引起的边界模糊性、土壤孔隙结构的复杂性和形态的不规则性,导致上述几类方法易错误判断孔隙结构。为解决这一问题,McBratney等[18-20]采用模糊聚类方法完成孔隙结构的辨识,该方法较大地提高了孔隙分割的精度,但其稳定性和运算速度易受初始条件(聚类数目、聚类中心等)的限制,仍无法准确描述复杂的孔隙结构。
卷积神经网络在目标检测和图像分类方向取得理想的效果[21-22]。Hariharan等[23]采用卷积神经网络对图像目标进行定位,通过区域判断提高了分割性能,但该方法受区域尺寸和输出特征的限制,导致操作复杂且浪费运行内存。为解决上述问题,Long等提出了一种全卷积网络(fully convolutional networks, FCN)图像分割算法[24]。该算法采用全卷积层代替全连接层,能保证将卷积特征恢复为原始尺寸的二维矩阵,实现图像端到端的输出,便于进行分割操作。同时,其充分利用图像的线条、形状、纹理等多层次特征,避免了噪声对图像的影响,确保了图像分割的准确性[25]。因此,该文采用基于FCN的土壤孔隙分割方法,以期解决因孔隙边界模糊和灰度值不均匀导致的分割精度低的问题。
以土壤断层扫描图像为应用对象,借助计算机断层扫描技术研究了黑土孔隙的拓扑结构,从而为土壤微观过程的模拟和孔隙尺度上的土壤结构分析提供科学依据。另外,以人工校准的孔隙真实位置标定图为标准,通过定性与定量试验分析了FCN法对于土壤孔隙的适用性和鲁棒性评估,以期为土壤科学的发展提供一种智能化的技术手段。
本试验所用土壤选自黑龙江省克山农场,土壤类型以黏化湿润均腐土为主。采用内径和高均为10 cm的有机玻璃管于0~40 cm层深的侵蚀沟壁进行原状土取样,共重复取样3次,得到3个圆柱状土壤样本[26-2]。将采集的土壤样本分别进行干燥、饱和水和冰冻处理,以得到3个不同状态的土壤样本,即为本试验的研究对象。
将采集的土壤样本置于Philips Brilliance64层128排螺旋CT机进行扫描处理,以得到土壤断层扫描图像。CT扫描仪的参数分别设定为:电压120 kV,电流196 mA,扫描间隔1.297 ms,扫描层厚0.9 mm,窗宽(用于显示CT图像的特定CT值范围)和窗位(窗宽上、下限CT值的平均数)分别为2000和800,对3个土柱样品进行螺旋扫描,每次扫描可得236幅断层扫描图像。单个样本分别经历0、1、3、5次冻融循环,故扫描单个样本可得1652幅土壤冻结和融化的图像。因此,本试验图像数据库共包含4956幅土壤断层扫描图像。
为了降低对计算机显存的需求,根据图像中土壤有效面积的位置,基于圆的内切正方形算法将原始土壤断层扫描图像剪裁为211像素×211像素的正方形图像,用于后续土壤CT图像的训练和测试。
训练FCN网络时,孔隙结构的标定对于孔隙特征的提取和训练具有决定性作用,是影响孔隙分割精度的重要步骤。受CT机器部分容积效应的影响,孔隙边界为邻域像素点的灰度平均值,在土壤图像中呈现一定的模糊性,难以通过观察直接确定(如图1a)。因此,需通过人工操作对土壤断层扫描图像中的孔隙结构进行标定。
由于孔隙结构间的距离影响孔隙边界的判断,针对单独孔隙和多孔结构分别制定了相应的标定原则(如图1b和1c所示),以期精确地完成孔隙真实结构的标定。
注:A环表示灰黑色区域边界(土壤固相),B环是孔隙结构的真实边界,C环表示黑色区域的边界(孔隙)。
如图1a蓝色区域所示,土壤中存在相邻的多孔结构。由于受部分容积效应(partial volume effect, PVE)的影响,相邻多孔结构间的像素会呈现黑灰色,从而使得黄色圆环位置远离孔隙真实边界,d数值增大。根据多次标定试验发现,加权系数1取0.3时,针对距离较近的多孔隙结构标定效果最为理想(图1c)。
基于上述孔隙标定原则,孔隙真实结构标定为如图2b所示的黑白二值图。其中,黑色表示土壤孔隙结构,白色表示土壤土颗粒、杂质等固相物质。由图2原始图与标定图的对比可知,无论是单孔结构还是多孔结构,孔隙标定结构均与原始结构具有最大相似性。
图2 原始图像与标定图的对比图
在比较文献中常用孔隙分割方法的基础上,发现模糊C均值聚类算法(Fuzzy C-means, FCM)的孔隙分割精度最高,因此,为提高标定精度和减少工作量,基于FCM法得到的孔隙二值图进行孔隙真实结构的标定。每幅孔隙真实结构标定图都由5个人按照孔隙标定原则进行重复标定,以消除主观性对标定精度的影响。
全卷积网络(fully convolutional networks, FCN)的本质是将卷积神经网络的全连接层替换为卷积层,从而保证在输入为任意尺寸的土壤断层扫描图像时,能够输出相同尺寸的孔隙二值图像。用于土壤孔隙分割的FCN网络具有卷积层、池化层和上采样层3种不同的隐藏层。
在卷积层运算后,为避免网络参数过多造成的过拟合现象,FCN方法引入了池化层[29]。该操作在保留特征的基础上将图像划分为×的固定矩形区域(和小于原始图像的尺寸),通过平均值池化或最大值池化,完成对卷积特征的采样。该文采用最大值池化法,减少网络参数,降低对图像旋转、缩放等操作的敏感度,快速完成网络的收敛。池化操作不改变输入图像的层数,其计算公式为:
式中,x表示在坐标(,)处池化层的输出值,表示滑动的步长,表示每正方形局部区域的边长。池化操作后,为保证输出与原始土壤断层扫描图像相同尺寸的孔隙结构二值图,FCN网络中加入了上采样层。
上采样层的目的是从不同层次的二维孔隙特征图中重构出原始尺寸的图像,并通过对像素级的分类,完成孔隙结构的分割。上采样层相当于池化操作的逆向运算,其可实现图像尺寸的扩充,其计算公式如下
基于TensorFlow框架结构,FCN网络以土壤断层扫描图像和人工标定的孔隙真实位置图作为输入,在原始图像基础上经过多次卷积运算、池化运算和上采样运算后,输出特点数量的特征预测图。以特征预测图与标定图之间的误差作为反馈,完成正向推理运算。然后,通过反向传播算法实现权值的更新,完成反向的学习运算。在20 000次的迭代学习后,网络的误差值趋于收敛,选取此时的参数为最优权值集,从而建立FCN土壤孔隙分割模型。基于该土壤孔隙分割模型,可完成孔隙结构的分割,输出土壤孔隙的二值图。
构建网络所用图像数据库共包含4956幅土壤断层扫描图像,按照7∶3的原则分为训练集和测试集,即分别包含3469幅和1487幅图像。为验证FCN法的普适性,根据土壤孔隙率,将测试集分为低(0~0.03)、中(0.03~0.1)和高(0.1~1)3种不同孔隙密集程度的图像[30]。因此,测试集中包含低、中和高密度图像分别为669幅、516幅和302幅。本试验依托谷歌开发的TensorFlow框架构建FCN网络结构,硬件环境如下:Intel core 64位操作系统,8核处理器,16 GB内存,GTX-1080,CPU i7-4790 3.60 GHz。
为量化5种方法的孔隙分割效果,引入分割正确率、过分割率和欠分割率3个指标。孔隙分割正确率表示孔隙被正确分割的比例,描述的是孔隙结构的整体情况。其定义表示如下
式中,P为算法的孔隙分割正确率,取值范围为(1,5),该数值分别表示大津法、分水岭法、区域生长法、FCM法和FCN法。N为算法错检的像素数,为图像中孔隙的总像素数。
过分割率描述土壤固相物质被识别为孔隙的比例,而欠分割率则是土壤孔隙被识别成非孔隙的比例,其值越小,表示孔隙分割性能越好。计算公式分别为:
式中,O表示不应该包含在分割结果、实际却在分割结果中的像素点个数;R表示孔隙真实结构标定图中孔隙像素点的个数;U表示本应该包含在分割结果中的像素点个数,实际却不在分割结果中的像素点个数。
如图3所示,为随机选取的5种方法基于低密度土壤断层扫描图像进行的孔隙分割结果。图3a为土壤图像对应的孔隙真实结构标定图,是评价不同方法孔隙分割效果的参考基准。
图3 不同方法的分割结果对比
由分割结果可知,各方法的孔隙分割效果存在较大差异。由图3中的方形框可知,分水岭法(图3c)和区域生长法(图3d)存在很大程度的过分割现象,主要体现在不属于孔隙结构的土壤固相物质被误分割成孔隙,无法准确判断出位置相近的孔隙结构的边界,对孔隙结构的区分性不理想。大津法(图3b)在一定程度上避免了过分割现象,但当土壤小孔隙与大孔隙的距离相近时,会将其判断为一个连通的大孔隙,无法单独分割出小孔隙。图3e所示的FCM法虽然整体分割效果较好,但在孔隙密集区域仍会出现孔隙结构相连的情况。相较于前4种方法,FCN法分割出的孔隙结构与标定图最为接近。由图3f可知,FCN法不仅能够准确地分离土壤固相物质与孔隙结构,也能够清楚地分割出细小孔隙结构,有利于孔隙细节信息的保存。
比较图3圆形框的孔隙结构可知,大津法无法识别出该孔隙结构,会丢失孔隙的细节信息,而分水岭法和区域生长法则过大估计了孔隙结构。这主要是因为孔隙的形态和灰度各不相同,同一分割方法对不同位置的孔隙的分割效果也不相同,因此,常用的分割方法获得的孔隙结构与孔隙真实位置标定图的存在一定差异。然而,FCN方法则能准确地提取不同类型的土壤孔隙的边界信息,并精确定位不规则孔隙的空间位置,从而保证有效分离固相杂质等无效信息。
通过定性比较分析可知,FCN法分割出的孔隙结构与孔隙真实位置标定图相一致,其效果优于其他4种方法,证明了FCN法在复杂背景下对土壤孔隙分割的有效性。这一优势主要归功于网络中的多个卷积层,较浅的卷积层能够学习到孔隙结构的局部特征(如灰度,形状等),而较深的卷积层可从图像整体获取孔隙的抽象特征(如纹理等),通过多层特征的结合,FCN法可准确分离孔隙结构和和固相物质。
为进一步比较5种方法的分割效果,将其在低、中和高3种不同孔隙密集程度的土壤断层扫描图像中进行了定量分析。表1所示为5种方法的分割正确率,所列数据以均值和标准差的形式呈现。
表1 不同方法的分割正确率
由表1结果可得,大津法的分割正确率在低、中、高3种孔隙密度的土壤断层扫描图像中都高于分水岭法和区域生长法,但均低于FCM法,这一结论与2.1节的试验结果一致。
由5种方法的平均正确率可知,FCM法的平均分割正确率为89.6%,对土壤孔隙的分割已经有相对较高的精度。但FCN法在3种土壤孔隙密度条件下的平均分割正确率达到了98.1%,比大津法、分水岭法、区域生长法和FCM法分别高25.6%,48.3%,55.7%和9.5%,说明其能更大程度上还原孔隙的总体信息,更加精确的刻画孔隙特性。
综上所示,FCN法能够自动提取并学习土壤孔隙的高级特征,从而使其具有较强的泛化能力和鲁棒性,能够显著提高孔隙的分割正确率。
表2所示为5种方法的过分割率,所列数据以均值和标准差的形式呈现。
表2 不同方法的过分割率
由表5过分割率可知,分水岭法和区域生长法的平均过分割率分别达到17.7%和22.5%,而大津法和FCM法具有相似的平均过分割率,均小于上述2种方法。FCM法的过分割率在低密度和高密度的土壤图像中均低于大津法,但在中密度土壤图像比大津法高4.3%,这一现象主要是因为初始参数(聚类数目、初始聚类中心、初始隶属度矩阵)选择的不合理。相较于常用的4种孔隙分割方法,FCN法在3种土壤孔隙密度条件下均具有最小的平均过分割率(2.2%)。相比以上4种方法,FCN法的平均过分割率为分水岭法和区域生长法的12.4%和9.8%,仅为次优方法(FCM法)的33.8%,证明了FCN法在土壤孔隙分割上的优越性。
综上所示,FCN法针对不同类型的土壤图像均具有最小的过分割率,能够准确判断出土壤的固相物质和孔隙结构,对于土壤内部不同物质具有较强的鲁棒性。
5种方法的欠分割率以均值和标准差的形式在表3中展示。由最后一列结果可知,大津法和分水岭法具有最高的平均欠分割率,区域生长法和FCM法其次,而FCN法的平均欠分割率为1.3%,比其他方法至少低4.1%。同样地,针对低密度、中密度、高密度3类土壤断层扫描图像,FCN法均具有最小的欠分割率,仅为次优方法(FCM法)的23.6%。
表3 不同方法的欠分割率
综上所述,FCN法可准确描述土壤孔隙的形状、大小和位置等信息,最大程度的还原孔隙结构,对土壤孔隙的研究具有重要的参考价值。
基于土壤孔隙的特性和深度学习理论,该文提出一种基于全卷积网络的土壤孔隙分割方法(FCN法)。该方法利用卷积算子提取土壤孔隙结构的多重特征,并通过加入池化算子来减少网络计算量和卷积核权重的数目;并采用上采样算子使网络输出与原始图像尺寸相同的孔隙二值图像。为了精确分析FCN方法对土壤断层扫描图像中孔隙分割的性能,基于孔隙分布密集程度的特点,将土壤断层扫描图像分为低密度,中密度,高密度3个类别,以进行5种分割方法的比较分析。同时,采用分割正确率、过分割率、欠分割率3个指标来量化5种方法的孔隙分割性能,得到主要结论如下:
1)FCN方法可弥补传统分割方法在进行土壤孔隙信息提取时仅用到灰度、边缘等低级特征的问题。通过融合土壤孔隙浅层和深层的多重特征,FCN方法可有效分割不规则的孔隙结构,特别是能够精确刻画孔隙的细节信息。通过自主学习孔隙结构的特征,FCN法具有较高的孔隙结构的分割精度,可为土壤学的研究提供一种智能化的技术手段。
2)FCN法针对复杂背景下的土壤孔隙分割具有良好的泛化能力和鲁棒性。试验结果表明,FCN法在3类孔隙密度土壤图像上的分割效果均优于其余4种方法。其中,FCN法的平均分割正确率为98.1%,分别比大津法、分水岭法、区域生长法和FCM法的分割正确率高25.6%,48.3%,55.7%和9.5%,在分割孔隙结构方面具有较大优势。FCN法的平均过分割率和欠分割率为2.2%和1.3%,仅为次优方法(FCM法)的33.8%和23.6%。
综上所示,FCN法具有良好的孔隙分割性能。通过融合土壤孔隙的多重特征,该方法能够准确提取孔隙信息、还原孔隙空间分布,可为孔隙尺度上的土壤结构分析提供科学依据和智能化的技术手段。
[1] Hill R L, Horton R, Cruse R M. Tillage effects on soil water retention and pore size distribution of two mollisols[J]. Soil Science Society of America Journal,1984, 49(5):1264-1270.
[2] Tokumoto I, Noborio K, Koga K. Coupled water and heat flow in a grass field with aggregated Andisol during soil-freezing periods[J]. Cold Regions Science and Technology, 2010, 62(2/3): 98-106.
[3] Yu X, Fu Y, Lu S. Characterization of the pore structure and cementing substances of soil aggregates by a combination of synchrotron radiation X-ray micro-computed tomography and scanning electron microscopy[J]. European Journal of Soil Science, 2017, 68(1): 66-79.
[4] Meira Cássaro F A, Posadas Durand A N, Gimenez D, et al. Pore-size distributions of soils derived using a geometrical approach and multiple resolution microct images[J]. Soil Science Society of America Journal, 2017, 81(3): 468-476.
[5] Taina I A, Heck R J, Elliot T R, et al. Micromorphological and X-ray µCT study of Orthic Humic Gleysols under different management conditions[J]. Geoderma, 2010, 158(3): 110-119.
[6] Cnudde V, Boone M N. High-resolution X-ray computed tomography in geosciences: A review of the current technology and applications[J]. Earth-Science Reviews, 2013, 123: 1-17.
[7] Munkholm L J, Richard H J, Deen B. Soil pore characteristics assessed from X-ray micro-CT derived images and correlations to soil friability[J]. Geoderma, 2012(181/182): 22-29.
[8] 姚志华,陈正汉,李加贵,等. 基于CT技术的原状黄土细观结构动态演化特征[J]. 农业工程学报,2017,33(13):134-142.
Yao Zhihua, Chen Zhenghan, Li Jiagui, et al. Meso-structure dynamic evolution characteristic of undisturbed loess based on CT technology [J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(13): 134-142. (in Chinese with English abstract)
[9] Nicholas J, Mats L, John K. Connectivity and percolation of structural pore networks in a cultivated silt loam soil quantified by X-ray tomography[J]. Geoderma, 2017, 287: 71-79.
[10] Sarah S, Erwan P, Lique L, et al. X-ray Micro-CT: How soil pore space description can be altered by image processing[J]. Vadose Zone Journal, 2018, 17(1). DOI: 10.2136/vzj2016.06. 0049.
[11] Yu X, Wu C, Fu Y. Three-dimensional pore structure and carbon distribution of macroaggregates in biochar-amended soil[J]. European Journal of Soil Science, 2016, 67(1): 109-120.
[12] Jarvis N, Larsbo M, Koestel J. Connectivity and percolation of structural pore networks in a cultivated silt loam soil quantified by X-ray tomography[J]. Geoderma, 2017, 287: 71-79.
[13] Otsu N. A threshold selection method from gray-Level histograms[J]. IEEE Transactions on Systems Man and Cybernetics, 1979, 9(1): 62-66.
[14] Vincent L, Soille P. Watersheds in digital spaces: An efficient algorithm based on immersion simulations[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1991, 13(6): 583-598.
[15] Zhou H, Mooney S J, Peng X H. Bimodal soil pore structure investigated by a combined soil water retention curve and X-ray Computed Tomography approach[J]. Soil Science Society of America Journal, 2017, 81(6): 1270-1278.
[16] Kamdi S, Krishna R K. Image segmentation and region growing algorithm[J]. International Journal of Computer Technology & Electronics Engineering, 2012, 1(2): 103-107.
[17] Schnaar G, Brusseau M L. Characterizing pore-scale configuration of organic immiscible liquid in multiphase systems with synchrotron X-ray microtomography[J]. Vadose Zone Journal, 2006, 5(2): 641-648.
[18] McBratney A B, Odeh I O A. Application of fuzzy sets in soil science: Fuzzy logic, fuzzy measurements and fuzzy decisions[J]. Geoderma, 1997, 77(2/3/4): 85-113.
[19] Sun X L, Zhao Y G, Wang H L, et al. Sensitivity of digital soil maps based on FCM to the fuzzy exponent and the number of clusters[J]. Geoderma, 2012(171/172): 24-34.
[20] 赵玥,韩巧玲,赵燕东. 基于CT扫描技术的土壤孔隙定量表达优化[J]. 农业机械学报,2017,48(10):252-259.
Zhao Yue, Han Qiaoling, Zhao Yandong. Optimization of soil pore quantitative expression based on computed tomography scanning technology[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(10): 252-259. (in Chinese with English abstract)
[21] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]// Neural Information Processing Systems, Nevada, 2012: 1097-1105.
[22] Noh H, Hong S, Han B. Learning deconvolution network for semantic segmentation[C]//IEEE International Conference on Computer Vision, Liverpool, 2015: 1520-1528.
[23] Hariharan B, Arbeláez P, Girshick R, et al. Simultaneous detection and segmentation[C]// European Conference on Computer Vision, Zürich, 2014: 297-312.
[24] Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[C]//IEEE Conference on Computer Vision and Pattern Recognition, Boston, 2015: 3431-3440.
[25] Dai J, He K, Sun J. Instance-aware semantic segmentation via multi-task network cascades[C]//IEEE Conference on Computer Vision and Pattern Recognition, Boston, 2015: 3150-3158.
[26] 王恩姮,卢倩倩,陈祥伟. 模拟冻融循环对黑土剖面大孔隙特征的影响[J]. 土壤学报,2014,51(3):490-496.
Wang Enheng,Lu Qianqian, Chen Xiangwei. Characterization of macro-pores in mollisol profile subjected to simulated freezing-thawing alternation[J]. Acta Pedologica Sinica, 2014, 51(3): 490-496. (in Chinese with English abstract)
[27] 赵玥,韩巧玲,赵燕东. 基于灰度-梯度特征的改进FCM土壤孔隙辨识方法[J]. 农业机械学报,2018,49(3):279-286.
Zhao Yue, Han Qiaoling, Zhao Yandong. Improved FCM method for pore identification based on grayscale- gradient features[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(3): 279-286. (in Chinese with English abstract)
[28] Shen X Y, Hertzmann A, Jia J Y, et al. Automatic portrait segmentation for image stylization[J]. Computer Graphics Forum, 2016, 35(2): 93-102.
[29] Ghiasi G, Fowlkes C C. Laplacian pyramid reconstruction and refinement for semantic segmentation[C]//European Conference on Computer Vision, 2016: 519-534.
[30] Hapca S M, Houston A N, Otten W, te al. New local thresholding method for soil images by minimizing grayscale intra-class variance[J]. Vadose Zone Journal, 2013, 12(3): 1-13.
Soil pore segmentation of computed tomography images based on fully convolutional network
Han Qiaoling1,2,3,Zhao Yue1,2,3※, Zhao Yandong1,2,3,Liu Kexiong1, Pang Man4
(1.,100083; 2.,100083,; 3.100083,; 4.073006,)
In this paper, a soil pore segmentation method based on fully convolutional network (FCN) is proposed to improve the accuracy of pore segmentation in soil image and provide technical support for the research of soil science. Taking the soil of typical black soil as the research object, the soil computed tomography image were obtained by scanning and cutting. Based on the FCN network, the soil image and the calibrated image of pore structure were input for convoluting, pooling and deconvoluting operations, and the error between the prediction image and the calibration image was used as feedback to complete the forward inference operation. Then, the weight value was updated by the back propagation algorithm to establish the soil pore segmentation model. Fully considering the pore geometry and spatial distribution characteristics, the pore model can accurately output the soil pore binary image. Meanwhile, the commonly used segmentation methods in the literature, such as Otsu method, watershed method, regional growth method and Fuzzy C-means method (FCM) were adopted for the comparative experiments on soil computed tomography images with low pore density (0-0.03), medium pore density (0.03-0.1) and high pore density (0.1-1) which were defined by porosity of soil. The experimental results showed that the watershed method and the regional growth method overestimate the pore structure of different geometries, including cracks between the pores, whereas the Otsu method and FCM method tended to overestimate the macropores and underestimate the micropores. Compared the five methods, the FCN method can accurately extract the pore structures with vary topologies from the complex soil computed tomography images with low, medium and high pore density. Moreover, the segmentation accuracy rate, over-segmentation rate, and under-segmentation rate were used to evaluate the soil pore segmentation performance of five methods. Based on 1487 soil computed tomography images, the average segmentation accuracy of FCN pore segmentation method was 98.1%, which was 25.6%, 48.3%, 55.7% and 9.5% higher than that of Otsu method, watershed method, regional growth method and FCM method. The average over-segmentation rate of the FCN pore segmentation method was 2.2%, which was only 33.8% of the suboptimal method (FCM method), respectively. And the average under-segmentation rate of the FCN pore segmentation method was 1.3%, which was only 23.6% of the suboptimal method (FCM method). In total, the FCN method can accurately extract the pore topology, restore the spatial distribution of pores and its application can make up for the shortcoming that the traditional segmentation method only uses the low-level features (gray and edge) when extracting the pore structure. Owing to the multiple convolution layers in the network, the FCN method can obtain the vary features of pore structure, so it has strong generalization ability and robustness of pore segmentation for different types of soil images. This paper will has a good reference for the microscopic process simulation , 3D reconstruction and soil structure analysis on the pore scale, and can provide a more intelligent technical method for soil science.
soils; image segmentation; full convolutional network; soil pore; deep learning
10.11975/j.issn.1002-6819.2019.02.017
S152
A
1002-6819(2019)-02-0128-06
2018-06-12
2019-01-08
国家重点研发计划项目(2017YFD0600901)、北京市共建项目专项、中央高校基本科研业务费专项资金项目(2015ZCQ-GX-04)、河北省创新能力提升计划工作类项目(18827408D)资助
韩巧玲,博士生,主要从事生态信息智能检测,图像处理与模式识别等研究。Email:hanqiaoling0@bjfu.edu.cn
赵 玥,副教授,博士,主要从事图像处理与模式识别、机器视觉与模式识别等研究。Email:zhaoyue0609@126.com
韩巧玲,赵 玥,赵燕东,刘克雄,庞 曼. 基于全卷积网络的土壤断层扫描图像中孔隙分割[J]. 农业工程学报,2019,35(2):128-133. doi:10.11975/j.issn.1002-6819.2019.02.017 http://www.tcsae.org
Han Qiaoling, Zhao Yue, Zhao Yandong, Liu Kexiong, Pang Man. Soil pore segmentation of computed tomography images based on fully convolutional network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(2): 128-133. (in Chinese with English abstract) doi:10.11975/j.issn.1002-6819.2019.02.017 http://www.tcsae.org