深度卷积神经网络对领导干部自然资源资产离任审计疑点提取的应用

张丽达,谢宸湘

(1.西安财经大学 商学院,陕西 西安 710100;2.陕西航天技术应用研究院有限公司,陕西 西安 710100)

一、引 言

随着党中央明确抓好生态文明建设,构建青山绿水的深入开展,要求党政一把手对自然环境的保护和治理与其政绩挂钩,因此针对领导干部自然资源资产的审计就成为了具有中国特色的国家审计新模式。十八大以来,中国明确将自然资源资产审计作为一项全新的、经常性的审计制度予以确认,对自然资源资产审计的理论与实践全面展开。由于领导干部自然资源资产审计这一新兴的具有多学科交融性审计领域的研究目前还处于探索阶段,尤其是在多项工作已经全面开展的现实情况下,迫切需要切实可行的技术与方法来支撑自然资源资产审计的内容。加上自然资源资产的复杂性与多样性,水资源、林业资源、土地资源、矿产资源、大气环境等空间分布、实物量及质量的变化是一个动态演变的过程且极易受到人为因素的影响。因此,如何客观地还原自然资源动态演变,深度发掘审计线索,一直是热点也是难点问题。

大数据技术的广泛运用,影响审计技术和方法的发展[1],也与目前审计工作全覆盖的基本思路不谋而合[2],电子数据审计已成为审计工作开展的焦点和亮点,已有学者进行了初步的尝试。以云审计为依托的各种电子数据处理更加贴合对自然资源资产审计对象的关注[3]。大数据技术可以帮助审计人员审查、核实领导干部任职期间自然资源资产实物量的变化情况和生态环境质量相关指标、自然资源资产开发利用和生态环境保护职责权限及相关资金管理使用情况,总体把握领导干部任职前后,所辖区域内主要自然资源资产开发利用和生态环境保护情况,揭示问题,分析原因,严肃查处重大失职、渎职和重大违法、违纪、违规问题。研究和实践表明,通过领导干部任期内覆盖所辖区域的多时段卫星影像比对分析辅以相关自然资源管理业务数据,可以很好地反映自然资源资产的动态变化情况,从而发掘审计线索和疑点。具体来说,审计人员通过对同一地区相关自然资源资产数量的变化,来判断该地区自然资源资产是否减少。当通过对比发现,该区域自然资源资产的现状与数据不符,就可以初步判断该地区的自然资源资产可能存在审计疑点,要引起审计人员的重点关注。目前使用的方法有两种,一种是基于人工的判读识别,优点在于数据处理步骤简单,精度高,缺点在于对人工解译经验要求高,工作量巨大,效率低;另一种是基于传统的卫星影像分类方法与人工判读相结合的方式。其优点在于一定程度上可以提高数据处理的效率,缺点在于数据处理的精度高度依赖卫星影像分类的精度。此外,传统的卫星影像分类方法需要不断地进行训练,分类模型的泛化能力差,且不能有效地解决“同物异谱”、“异物同谱”和“椒盐噪声”等问题。因此,如何高效地从卫星影像上提取目标数据,也是大数据技术运用中亟待解决的问题[4]。

本文采用DeepLab深度卷积神经网络算法提取卫星影像地物信息,并结合自然资源管理的规划图斑进行比对分析,通过反证法提取疑点线索,从而为领导干部自然资源资产离任审计工作的举证提供基础。卷积神经网络仿造生物的视知觉机制构建,可以进行监督学习和非监督学习,其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量,例如像素和音频等格点化特征进行学习,有稳定的效果且对数据没有额外的工程要求,因此卷积神经网络被大量应用于计算机视觉、自然语言处理等领域。本文利用深度卷积神经网络算法技术,基于构建的审计疑点提取模型,结合林地规划信息,对商洛市某区2016年的卫星影像进行提取分析,并经审计部门的核查取证工作得以验证评价,该模型可以高效地为领导干部自然资源资产离任审计工作的开展提供新的思路和方法。

二、自然资源资产审计内容的概述

党的十八届三中全会通过的《中共中央关于全面深化改革若干重大问题的决定》(以下简称《决定》)提出,要“探索编制自然资源资产负债表,对领导干部实行自然资源资产离任审计”。这是推进生态文明建设的重大制度创新,使审计工作拓展了一个新的领域。领导干部自然资源资产离任审计是新国情条件下的新型审计制度,它与以往的审计在审计方法、审计目标等方面具有融通性,但同时又具有独特的审计视角,也促使中国的审计理论体系逐步趋于完善,更重要的是为领导干部自然资源资产离任审计的实践工作提供了理论上的指导。进一步而言,开展领导干部自然资源资产离任审计也是加强对领导干部考核的一种新型审计模式,以自然资源资产的审计作为考核的一个主要内容,改变以往靠GDP政绩观评价考核领导干部这种片面化的理念,更加关注绩效的评价。因此,各省政府审计机关的自然资源自然资产审计已经全面展开,与领导干部的离任审计相结合,审计实践已经取得一些效果。

结合目前所开展的自然资源资产审计活动来看,自然资源资产审计是对一个地区的自然资源资产数量状况、价值体现、投资及收益分配等情况进行确认的一种审计模式。自然资源根据区域的不同包括有:土地资源、水资源、森林资源、矿产资源、草地资源、海洋资源、大气资源等。根据2018年中央办公厅、国务院办公厅印发的《领导干部自然资源资产离任审计(试行)》规定的要求,审计应充分考虑被审计领导干部所在地区的主体功能定位、自然资源资产禀赋特点等,针对不同类别自然资源资产和重要生态环境保护事项,选择重点的自然资源资产进行审计。由于自然资源实物测量的工作量较大,加上地区的差异性较强,从审计实践操作来看,审计机关一般就1～2个不同类别自然资源资产进行审计,利用大数据技术帮助自然资源资产审计工作的开展。大数据技术与自然资源资产审计的结合,主要着眼于“数据”,负责提供数据采集、挖掘、分析的技术和方法,这样不仅促进持续审计方式的发展、总体审计模式的应用、审计成果的综合应用力的提升,也很大程度上降低了审计师审计取证的成本,打破了分析取证的技术限制,使得审计证据更加充分适当,有助于减少审计风险。

目前,很多省份已经开始探索利用卫星遥感技术来检测自然资源资产的变化,从遥感影像上提取专题信息和变化监测,从自然资源资产的空间信息获取两个主要内容,一是获取自然资源的现状信息,例如林地、湿地和耕地等特定目标的范围、面积和分布等信息;二是获取自然资源的变化信息,例如在指定的时间段内,森林覆盖率、矿山生态环境等变化信息。通过遥感技术的运用,帮助审计人员获得基本的自然资源资产资料,也在一定程度上促进审计信息化的推进。在利用遥感获取图像对比的过程中,深度卷积审计网络技术的发展,扩展了图像获取的方式,也大大提升了图像语义识别的水平。

三、深度卷积神经网络原理

基于遥感技术获取自然资源资产的图像,并对自然资源情况的变化进行对比,实现自然资源演变历史的回溯,目前是审计部门自然资源资产审计工作的一个突破口。如何从遥感图像上提取各拍摄时刻的自然资源现状数据,是审计工作的关键也是技术难点所在。

2012年Alex Krizhevsky等人利用深度卷积神经网络AlexNet网络在ImageNet竞赛中取得冠军,卷积神经网络在诸多的研究中不断形成和发展[5],并以其独特的优势引领计算机视觉不断推向生产应用。

卷积神经网络是一个多层的神经网络,每层由多个二维平面组成,而每个平面由多个独立神经元组成。如图1所示,标准的卷积神经网络结构由输入图像通过和三个可训练的滤波器和可加偏置进行卷积,卷积后在C1层产生三个特征映射图,然后特征映射图中每组的四个像素再进行求和,加权值,加偏置,通过一个激活函数得到三个S2层的特征映射图。这些映射图再经过滤波得到C3层。这个层级结构再和S2一样产生S4。最终,这些像素被栅格化,并连接成一个向量输入到传统的神经网络,从而进行数据的输出[6]。一般地,C层为特征提取层,每个神经元的输入与前一层的局部感受相连,并提取该局部的特征,一旦该局部特征被提取后,它与其它特征空间的位置关系也随之确定下来;S层是特征映射层,网络的每个计算层由多个特征映射组成,每个特征映射为一个平面,平面上所有神经元的权值相等。特征映射结构采用影响函数核小的激活函数作为卷积网络的激活函数,使得特征映射具有位移不变性。

图1 卷积神经网络结构

此外,由于一个映射面上的神经元共享权值,因而减少了网络自由参数的个数,降低了网络参数选择的复杂度[7]。卷积神经网络中的每一个特征提取层(C层)都紧跟着一个用来求局部平均不二次提取的计算层(S层),这种特有的两次特征提取结构使网络在识别时对输入样本有较高的畸变容忍能力。正是深度卷积神经网络的优异特性使其可以从遥感图像上相对准确、客观地提取自然资源审计所需的审计数据。

(一)模型构建

领导干部自然资源资产离任审计疑点提取分析主要包括两部分内容。第一部分基于深度卷积神经网络对卫星影像信息提取的模型构建,旨在通过深度卷积神经网络语义分割模型实现基于卫星影像的语义分割,以获取审计所需要的自然资源分布现状的数据;二是信息提取数据与相关规划数据的比对运算,旨在通过深度卷积神经网络提取的现状数据与被审数做比对分析,最终得出审计疑点,为审计工作的进一步核实取证打下数据基础(如图2所示)。

图2 基于深度卷积神经网络对领导干部自然资源资产离任审计疑点提取分析模型结构

图像语义分割是构建自然资源疑点提取模型的核心,也是最为重要的环节。广泛来说,图像语义分割是一个计算机视觉学科领域,本质上是把影像上像素对应的实物对应并标记出来,图像语义分割有很多方法,诸如SVN、随机森林、神经网络等传统的图像分类方法。但这些方法在一定程度上都受精度、计算效率以及泛化能力的制约,在实际应用中也受到较大的限制。深度学习的出现,在图像语义分割领域表现出了优异的性能,使其大受追捧,深度卷积神经网络是目前应用于图像语义分割优选的方法,因此本文就从引入语义分割,到深度卷积神经网络,再到深度卷积神经网络本身的优化和改进问题,体现自然资源资产审计疑点提取模型设计的独特性。

从自然资源审计的角度,自然资源现势数据的获取需要从能反映审计节点的遥感图像上提取出相关自然资源的专题信息,用于信息比对继而得出审计疑点。从图像语义分割的内容来看,这项工作表现为它是根据图像内容对指定区域进行标记的计算机视觉任务,其目标在于标记图片中每一个像素,并将每一个像素与其表示的类别对应起来。随着深度学习算法的不断成熟使得图像分割在准确率和效率方面取得了巨大的突破。因此,包括图像语义分割在内的许多计算机视觉问题都开始使用深度架构来解决,而深度卷积神经网络(DCNNs)在准确率甚至效率上都远远超过了传统方法[8]。深度学习图像语义分割通常包括三个方面的主要内容:图像的上采样和下采样,以获取不同尺度的特征图;特征逐点相加或特征channel维度拼接,以实现多尺度特征融合;对每一个像素点进行判断类别,获取像素界别的分割图。常用的图像分割模型的方法遵循编码器/解码器结构,在这个结构中,我们对输入的空间分辨率下采样,产生分辨率更低的特征图,通过学习这些特征图可以更高效地分辨类别,还可以将这些特征表征上采样至完整分辨率的分割图[9]。

深度卷积神经网络(DCNNs)在全卷积情况下已经表现出很好的图像分割性能,但仍然面临两大挑战,即DCNNs的平移不变性,物体存在的多尺度问题[10]。本文采用的语义分割模型是由谷歌在deepLab1-3的基础上改进的DeepLab3+模型,该模型在一定程度上克服这两方面的影响,并取得了优异的成果。

在实验中发现DCNNs做语义分割时精准度不够的问题,根源在于重复的池化和下采样。针对信号下采样或池化处理会降低分辨率的问题,DeepLab模型采用带孔卷积(Atrous Convolution)算法扩展感受野,以获取更多的上下文信息。假设2维信号,针对每个位置i,对应的输出y,以及卷积核w,对于输入特征图像x进行带孔卷积计算,其原理如下:

y[i]=Σkx[i+r·k]w[k]

(1)

式(1)中,r表示对输入信号进行采样的步长,也就是说在两个权重之间插入r-1个零而产生的上采样滤波器进行卷积,有效的将感受野从k×k扩展到ke=k+(k-1)(r-1),而不增加参数和计算量。通过改变带孔卷积算法的r,来修改卷积核的感受[11]。

DeepLab模型使用扩张卷积(Atrous Convolution)能够在不牺牲特征空间分辨率的同时扩大特征接收野,采用空间金字塔池化(Spatial Pyramid Pooling)方法获取具有不同采样率和多种视野的卷积核,以能够多尺度捕捉对象。最终结合多尺度信息和扩张卷积的特点提出了带孔空间金字塔采样(Atrous Spatial Pyramid Pooling,ASPP)模块,将不同扩张率的扩张卷积特征结合到一起,通过在不同分辨率上以池化操作捕获丰富的上下文信息。

本文采用的ASPP结构如图3所示,主要包括两个部分:一个1×1卷积和三个3×3的采样率为rates={6,12,18}的扩张卷积,滤波器数量为256,包含BN层。针对output_stride=16的情况,如图3中Atrous Spatial Pyramid Pooling;图像级特征,即将特征做全局平均池化,经过卷积,再融合,如图3中Image Pooling。

图3 ASPP结构

Deeplab3+模型将空间金字塔池化模块和编码-解码结构(encode-decoder)用于语义分割的深度网络结构。ASPP利用对多种比例和多种有效接受野的不同分辨率特征处理,来挖掘多尺度的上下文内容信息。解编码结构逐步重构空间信息来更好地捕捉物体边界。其结构主要包括Encoder和Decoder两个部分,如图4所示:

图4 语义分割结构

编码(Encoder)模块主要通过扩张卷积替换下采样,基于ASPP模块使用多个平行的扩张卷积,配合图像级特征(即全局平均池化),作为encoder的输出。解码(Decoder)模块中,首先将编码特征采用因子4的双线性上采样,然后连接(Concatenation)从主干网络所输出的对应的具有相同空间分辨率的low-level特征。由于对应的low-level特征往往包含较多的channels(如256,512),可能会超过输出编码特征(这里输出256 channels)导致训练困难,故在连接(Concatenation)操作前,采用1×1卷积对low-level特征进行操作,以减少channels数。连接(Concatenation)处理后,采用3×3卷积和因子4的双线性上采样得到预测结果。

(二)模型的验证

自然资源审计疑点提取模型的精度主要受两个方面因素的影响:一是规划及行政批复的关于自然资源分布图斑的精度;另一个是自然资源现实数据提取的精度。比对分析产生的误差在实际运用中可忽略不记。前者属于基础数据的范畴,一般情况下都是管理部门认定的数据或者认定批复的数据,其本身数据的准确性就是发掘审计线索的重要工作之一,所以不是本文研究的重点。后者相当于是审计部门自己生产的数据,不同的数据获取方法可能导致不同的数据精度,因此本文有必要对图像语义分割的精度做分析,其也是评判模型好坏的重要依据。DeepLab算法模型在Pascal VOC、MSCOCO、Cityscapes等标准数据集的大量研究和实验,验证了其优越的性能,尤其是其算法的精确度表现出众。图像分割中通常使用许多标准来衡量算法的精度,但使用Mean Intersection Over Union(MIOU,均交并比)来评判图像分割算法的精确性是较为普遍且有效的方法。本文采用MIOU作为模型调整的评价标准,主要表现为:

在语义分割的问题中,参与均交并比的这两个集合为真实值和预测值。这个比例可以变形为正真数(交集)比上真正、假负、假正(并集)之和。假设如下:共有k+1个类(从L0到Lk,其中包含一个空类或背景),Pij表示本属于类i但被预测为类j的像素数量。即Pij表示真正的数量,而PijPji则分别被解释为假正和假负,则MIoU可以表示为:

(2)

这样的评价指标可以判断目标的捕获程度(使预测标签与标注尽可能重合),也可以判断模型的精确程度,即MIOU越大说明模型效果越好,MIOU是介于0到1之间,通常MIOU在0.8左右,模型就能被较为理想地接受。

四、方法应用

(一)数据来源

根据《领导干部自然资源资产离任审计规定(试行)》的要求,结合陕西省开展自然资源资产审计实践情况,选择森林资源作为评价商洛市领导干部自然资源资产审计的重点内容,选取商洛市作为主要的研究区域。通过本研究模型识别2014—2017年特定区域内林地减少状况,并比照2017年商洛市领导干部自然资源资产离任审计的已有成果,进而评价模型对于领导干部自然资源资产离任审计疑点提取分析的效果。采用遥感数据源为高分一号卫星影像,考虑到季相和物候信息对林木识别的影响,故选取植被特征明显的2017年4月至9月的卫星影像。样本数据来自2017年该区域的土地利用现状图斑。规划图斑来自2014年该区域的土地利用现状图斑。

(二)数据处理

卫星影像需要做辐射校正、几何校正和融合处理,最终得到分辨率为2米的影像。标签数据是通过已有的2017年土地利用现状图及对应的卫星影像采集。首先将2017年的土地利用现状图中林地提取出来并转换为栅格图,然后将林地和非林地分别赋类别值1和0。将处理过的林地类别图和对应的卫星影像,按照128×128窗口大小随机提取30 000个标签,将其中的80%作为训练集,20%作为验证集,对训练集做数据增强,具体包括平移、旋转、缩放。增强后的训练集达94 000个样本。

(三)模型训练

本文使用TensorFlow深度学习框架实现DeepLab,模型训练主要对学习率、批次大小、数据增强方式这几个超参进行学习调整,以期找到最优的模型参数。在模型训练的过程中为了缩短训练时间,降低计算资源的制约,采用了效果较为理想的Adam优化算法。Adam算法是一种自适应参数更新算法,通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率,使每一轮用于梯度下降的梯度是当前计算的真实梯度与上一轮用于梯度下降的梯度的加权和,从而令模型的收敛速度加快,需要计算的资源减少。

学习率对于深度学习是一个重要的超参数,它控制着基于损失梯度调整神经网络权值的速度,其本质上是在权重的更新规则中,运用梯度下降算法进行优化。如果学习速率太小,则会收敛过慢,如果学习速率太大,则会导致代价函数振荡。为了能够使得梯度下降有较好的性能,需要把学习率的值设定在合适的范围内。根据多次实验的经验,将学习率依次设置0.1,0.05,0.01,0.005,0.001,0.000 5,0.000 1,0.000 05,0.000 01。通过实验学习率在0.000 1附近,得到了较为理想的目标函数损失值曲线(如图5所示)。

图5 模型训练loss曲线

卫星影像的成像过程往往需要面临地物不同的视角,不同的大小,物体的形变问题,物体的遮挡问题,光照条件,背影复杂等多种形态的问题。实际运用中对于基于卫星影像的语义分割模型要求有较高的泛化能力,模型的训练通常是建立在有限的样本集数量之上。因此,通过数据增强算法在不改变样本类别的情况下,模拟不同场景下的地物特征,增加数据量,进而训练出更稳定,更具泛化能力的模型。本文就平移、旋转、缩放等不同数据增强方法组合情况下的模型预测效果做了系列实验,实验结果如表1所示。实验表明:平移、旋转、缩放数据增强组合方法对于提高模型精度有一定的效果,三者结合的效果最佳。

表1 不同数据增强算法下的模型训练比较

模型Batch_Size(批尺寸)是深度学习中一个重要参数,它是每一次训练神经网络送入模型的样本数。本文将bath_size取值为16,32,64,128,learning_rate取值0.000 1,迭代次数取值100,取得的实验结果如表2所示。实验表明Batch_Size越大,精度会有一定的提高并趋于稳定。

表2 不同Batch_Size下模型训练比较

(四)模型应用

基于实验训练的最终权重文件,利用本研究深度卷积模型对2017年研究区的卫星影像进行林地语义分割提取林地图斑。

图6 模型应用成果

将该林斑与该区域2014年、2017年土地利用现状林地图斑分别做联合分析,最终得到2014—2017年变化的林地图斑和2017年在土地利用现状图上未体现变化的图斑。共提取面积在1 000平方米以上的差异图斑3块。即通过本研究的模型成功提取了林地资源发生不合规变化的疑点,这些疑点将作为领导干部自然资源资产审计中林地资源审计的重点线索,并做进一步的审计举证。

通过与2017年陕西省审计厅对该区域自然资源资产审计试点存档资料的比对分析,得到相同区域林地变化疑点分析3块,疑点位置基本一致,差异主要体现在细化的边界范围及面积上。从审计的实际工作出发,重点在于审计线索的提取和深入,因此在确认审计疑点的基础上,取证和核查环节会具体测算精确度更高的统计量。因此面积的差异不会影响本模型在自然资源资产审计中的应用。这也进一步说明了利用该技术判断的审计疑点得到了认可,对于后续开展审计疑点确认工作起到了关键的作用。这也将成为大数据技术运用在审计程序中的新的突破。

图7 模型结果与实际审计结果对比

五、结 论

通过深度卷积神经网络模型的构建和实际运用,表明该模型能够替代审计工作中利用人工提取疑点的低效率,是审计技术层面的一种重大的创新。通过案例进行分析,也是审计利用大数据技术工作的一次有意义的尝试,能够真正解决领导干部自然资源资产离任审计工作中疑点提取的核心问题。作为一项贯穿多个领域的新型审计模式,新技术的引进,在精准审计、高效审计的技术基础上,降低了专业门槛及审计人员自身主观意识对审计结果的影响,也将是对传统审计模式的重大创新与改革。本文探索了利用深度卷积神经网络基于遥感影像来实现自然资源的疑点的提取分析,在小范围运用上取得了较好的效果。进一步,深度卷积神经网络可以基于大样本量的训练,通过卷积运算构建的卷积层,从而从像素水平上理解、识别图片的内容,并根据语义信息进行分割,实现较为理想的分割效果,在样本较为充足的情况下其具备优异的泛化能力,可以支撑大范围的自然资源资产审计。

本文还存在着一定的不足,由于自然资源资产的特殊性,目前选择了陕西商洛林地资产进行了实验,实验结果虽良好,也符合推广的条件,但是由于现实条件所限,没有大范围的实现,从而达到普适性。由于各省开展自然资源资产审计项目的进度不同,采用的技术和方法不尽相同,而自然资源资产项目种类复杂,这种方法是否适用于其他自然资源资产项目,还需要时间来验证。目前陕西省已经大面积开展了自然资源资产审计技术的投入,也希望本文的方法能够真正运用到实践中,从而达到更好的效果。