基于高光谱技术的一种TPC-TELM模型应用于土壤重金属含量反演研究

徐厚生，王继春

（沈阳建筑大学理学部，沈阳 110168）

随着经济的不断发展，土壤环境退化逐渐严重，土壤肥力逐渐下降，土壤重金属污染问题十分严重。土壤中的重金属污染对于环境保护、土壤复垦和人类安全都会产生巨大影响[1]。砷是一种毒性很强的重金属元素，对生态系统和人类健康都有重要的潜在威胁，因此，对重金属元素砷进行反演研究，这对于生态恢复和环境保护都有着重要意义。传统的土壤重金属含量的检测研究是通过现场采样，然后通过实验室复杂的化学处理获得，十分繁琐，且花费高昂。因此，找到快速、准确地对土壤重金属含量进行估计的方法十分重要。近些年，很多学者利用可见光-近红外光谱，结合机器学习建模方法进行土壤属性（如重金属、盐分、有机碳等）的浓度估计[2-4]。由于土壤光谱数据的复杂性高，包含大量冗余信息。为更好的提取，一些学者对其进行多种不同的预处理方法。整数阶微分处理、小波变换和连续投影法等都是常用的预处理方法[5-6]。这些方法多是在单个波段上进行信息处理，忽略了波段间的相互作用。三波段光谱指数在三维层面上处理数据，考虑了3个波段间的相互作用[7]。相对于全谱数据，通过构建三波段光谱指数可以更好地提取有效的光谱特征，提升模型的建模精度[8]。

在过去的这些年里，已经开发了许多分类回归方法，如贝叶斯决策理论、支持向量机（SVM）、人工神经网络（ANN）和模糊方法及其变体等。在这些方法中，前馈神经网络（FNN）自从引入著名的反向传播（BP）算法以来得到了很好的研究和广泛使用。传统的BP算法本质上是参数优化的一阶梯度方法，存在收敛慢和局部最小问题。研究人员提出了各种方法来提高训练FNN 的效率或最优性，如二阶优化方法、子集选择方法或全局优化方法。尽管与BP 算法相比，训练速度更快或泛化性能更好，但大多数这些方法仍然容易陷入局部最优解中。极限学习机（extreme learning machine，ELM）被提出用于训练单隐藏层前馈神经网络（SLFN）。在极限学习机中，隐藏节点是通过随机策略获得的，无需迭代调优，输出权重可以通过摩尔-彭罗斯广义逆分析获得。实际上，极限学习机中的隐含层节点也不需要迭代学习。唯一需要学习的自由参数是隐藏层和输出层之间的连接权重和阈值。与传统的前馈神经网络学习方法相比，极限学习机具有很好的泛化性能，并且倾向于达到全局最佳状态。理论研究表明，即使使用随机生成的隐含层权值和阈值，极限学习机也能保持单隐藏层前馈神经网络的通用逼近能力。使用常用的激活函数，极限学习机可以实现传统前馈神经网络的几乎最优的泛化边界。与传统的前馈神经网络算法相比，ELM 在效率和泛化性能方面的优势已经在不同领域的广泛问题上得到了证明。多种经典的回归方法已经被应用于土壤属性检测，并获得了优越的预测能力，如随机森林、反馈传播网络、极限学习机和最小二乘回归等方法[9-10]。其中极限学习机模型，由于其很快的运行速度和良好的预测性能，自提出以来得到广泛发展[11-14]。一些学者利用可见光-近红外光与改进极限学习机模型相结合获得了高精度的土壤盐分含量检测模型[15]。利用极限学习机模型与一阶微分相结合进行数据挖掘，可用于检测土壤中重金属元素含量[16]。

粒子群优化算法（PSO）是一种智能优化算法。该优化算法具有很强的全局搜索能力，被应用于多个领域[17]。粒子群优化算法基于代理或粒子的数量，并试图在问题空间的最佳探索中模拟其社会行为。粒子群优化算法源自对鸟类捕食行为的研究。与遗传算法类似，PSO 也是一种基于迭代的优化工具。它首先初始化系统中的一组随机解，将每个个体作为n维空间中没有重量或体积的粒子，然后通过迭代搜索最优值，使解空间中的粒子跟随最优粒子进行搜索。其中，每个粒子都有一个目标函数来评估其适应度值以及确定其在飞行中的方向和位移的速度。在每次迭代中，每个粒子都会通过跟踪两个最优值来更新其适应度值和速度。一个最优值是粒子本身发现的历史最优值，称为单个最优；另一个最优值是整个群体发现的最优值，称为全局最优。这个过程重复到最后一代，然后将最优粒子解码为优化问题的近似解。粒子群优化算法具有搜索速度快、收敛性好和易于实现等优点，在多个领域得到了广泛的应用。一些学者将PSO 与ELM 模型相结合构建混合模型，并结合近红外光谱进行研究，表现出了巨大潜力[18-19]。但粒子群优化算法也有其一定的缺点，特别是在解决复杂问题时，如后期分集性能差、演化速度降低、优化精度不理想等。尽管粒子群优化算法几乎没有需要调整的参数，但参数设置不当可能会使算法陷入早熟和局部最优等问题。本研究在其模型基础上，针对其局部搜索能力弱、容易陷入局部最优解的缺点，引入了一种交叉策略。一些群智能算法容易陷入局部最优的一个重要原因是种群中的几个维度停滞不前。通过合适的交叉策略可以实现个体不同维度之间的高质量信息的交换，增强模型的探索能力，提出了基于三波段光谱指数和交叉粒子群算法的双隐含层极限学习机混合模型（TPC-TELM）。

1 材料与方法

1.1 数据获取

本研究区域位于中国吉林省的盐碱地。这里的盐碱地因盐分重、碱化度高，使农作物难以正常生长。该地属于温带大陆性季风气候，四季分明。域内半数以上耕地为盐碱地。该地区具有土壤退化程度高、面积大和治理困难等特点。

在研究区域内，通过均匀分布的原则选择采样点，获取土壤样芯。在每个采样点采取五点采样法进行样本采集。将采集后的样本放入贴有样本标签的密封塑料袋中。使用便携式GPS获得每个采样点地理坐标。采样结束后进行实验室处理。首先将样本烘干，去除石块、植物残留物等杂质后，研磨为粉状，为保证颗粒均匀，减少试验数据误差，过100 目筛。然后对获得的土壤数据进行实验室处理。实验室处理过程分为光谱处理和化学处理两个过程。通过光谱处理得到土壤的光谱数据，作为模型输入。化学处理得到土壤样品的重金属砷含量，作为模型的输出。光谱试验所采用的光谱仪是美国的SVC HR-1024便携式地物光谱仪。光谱试验获得的光谱范围为350～2 500 nm。并得到该波段范围的可见光-近红外光数据。内置存储器为500 scans（扫），通道数为1 024。由于两个边缘波段噪声量大，将其去除，最后选择400～2 400 nm范围波段进行研究。

1.2 三波段光谱指数

三波段光谱指数（TSI）将研究从一维层面扩展到了三维层面，能更好地提取敏感光谱特征，减小冗余信息[20]。本研究共使用了4种三波段光谱指数[21]，式(1)～式(4)。Ri为光谱反射率。然后利用相关系数法，计算每个三波段光谱指数与砷含量之间的相关系数（r）。挑选出相关系数绝对值最大的波段组合参数。

1.3 双隐含层极限学习机

与传统理论需要调整前馈神经网络的所有参数以最小化函数不同，极限学习机理论中隐含层节点学习参数可以随机分配，并且可以通过使用最小二乘法求解系统来解析确定网络输出权重。无需耗时的学习迭代即可高效完成训练，并且实现良好的泛化性能。基本上，极限学习机在两个主要阶段训练：随机特征映射阶段和参数求解阶段。在第一阶段，极限学习机随机初始化隐藏层，将输入数据映射到特征空间（称为极限学习机特征空间）。通过一些非线性映射函数。随机特征映射阶段与许多现有的学习算法不同，如SVM。它使用内核函数进行特征映射或者深度神经网络，使用受限玻尔兹曼机（RBM）或自动编码器/自动解码器进行特征学习。极限学习机中的非线性映射函数可以是任何非线性分段连续函数。在极限学习机中，隐含层节点参数根据连续概率分布随机生成，而不是多次迭代训练。与传统的反馈传播神经网络模型相比，效率显著提升。ELM 具有的3 个突出的性能特点为：（1）泛化性能。大多数前馈神经网络提出的算法在首次提出时不会考虑泛化性能。极限学习机旨在通过达到最小的训练误差和最小的输出权重范数来达到更好的泛化性能。(2)通用近似能力。ELM 学习算法满足通用近似功能。(3)没有隐含层节点的“迭代调优”学习。ELM 理论认为隐含层节点对学习很重要，但是隐藏节点不需要调优。无需迭代调整隐藏节点即可完成学习。从学习能力（如通用逼近能力、分类能力）角度来看，极限学习机理论适用于实际应用中使用的几乎所有类型的隐含层神经元。SLFN的隐含层神经元可以根据任何连续采样概率分布随机生成，并且这种隐藏神经元可以独立于训练样本及其学习环境。ELM学习框架还考虑了学习稳定性和泛化性能。在传统的单隐含层极限学习机的基础上，XIAO等[22]增加一个新的隐含层，并提出双隐含层极限学习机（two hidden layer extreme learning machine,TELM）。双隐含层极限学习机主要是求解第二隐含层的权值和阈值参数。双隐含层极限学习机网络还保留了单层极限学习机泛化能力强、运算速度快等优点。图1为TELM结构图，模型输入为X，实际输出矩阵为T。

图1 TELM结构图Figure 1 Structure of TELM

首先将双隐含层极限学习机的两个隐含层看作为一层,隐含层的连接权重W1和阈值B1通过随机策略在[0,1]范围内获取，g(x)为激活函数。

隐含层输出为：

输出权重矩阵β为:

然后，在网络中再加入一个新的隐含层，得到两个隐含层的结构，第二隐含层的预测输出为：

1.4 粒子群优化算法

1995年，EBERHART 和KENNEDY 开发了粒子群优化（PSO）算法[20]，这是一个基于随机优化策略的元启发式算法，其灵感来自一群鸟类、一群鱼类、一群蜜蜂的社会行为，甚至有时是人类的社会行为。粒子群优化算法模拟以下场景：一群鸟正在只包含一块食物的区域寻找食物。没有鸟知道食物在哪里，它们只知道与食物的距离。因此，找到食物的最佳方法是搜索离食物最近的区域。在粒子群优化算法中，上述场景中的每只鸟都是一个粒子，代表优化问题的潜在解决方案。它具有由目标函数计算的适应度值来测量其质量，并通过一个速度来确定飞行的方向和位移。尽管PSO在随机解的群体初始化和连续几代中寻找全局最优方面与遗传算法（GA）相似，但粒子群优化算法不会经历突变等过程，粒子会跟随当前最优粒子在问题空间中移动。其基本概念是对于每个时刻，每个粒子（也称为潜在解）的速度在其人员最佳和全局最佳位置之间变化。在数学上，粒子群在搜索空间上随机初始化并移动。

粒子群优化算法实现过程如下：一个种群中，由多个粒子组成，并扩展到N维空间，粒子i在N维空间的坐标为：Xi=(Xi1,Xi2,…,XiN)，其飞行速度为：Vi=(Vi1,Vi2,…,ViN)，存在一个目标函数决定每个粒子的适应度值，其中i={1,2,…,m}。

在每一次的迭代过程中，每个粒子都需要用到其本身经历的最好的位置Pbesti=(Pbesti1,Pbesti2,…,Pbestiv)以及整个群体所经过的最好的位置Gbesti=()Gbesti1,Gbesti2,…,Gbestiv，并通过式（12）和式（13）改变每个粒子的速度和位置。

式中：k为当前迭代次数；c1和c2分别为学习因子；ω为惯性权重。

由于双隐含层极限学习机的第一隐含层参数是通过随机策略获得的，导致模型的不稳定性。通过粒子群算法的搜索功能，将TELM 模型的第一隐含层参数作为粒子群优化算法中的粒子，对双隐含层极限学习机的第一隐含层参数进行寻优，构建了基于粒子群优化的双隐含层极限学习机混合模型（PSO-TELM），可以获得泛化能力更强、稳定性更高的模型。其中，适应度函数选择双隐含层极限学习机的均方根误差。

1.5 TPC-TELM

约束优化是工程和工业中很多问题的重要组成部分。大多数现实世界的优化问题都有不同类型的约束，这些约束会改变搜索空间的形状。在过去的几十年中，已经设计并应用了各种各样的元启发式算法来解决约束优化问题。粒子群优化算法是一种典型的用于解决约束优化问题的元启发式算法。由于存在各种类型的约束及其目标函数之间的相互关系，这些类型的问题通常具有混合的、连续的或离散的非线性目标函数和非线性约束。作为传统数学方法的替代方案，元启发式优化技术已被用于获得全局或近全局最优解。由于它们能够在准确的时间探索和检测搜索空间中的有希望的区域，因此这些方法非常适合全局搜索。此外，这些方法减轻了对用于数学优化方法的函数和变量的需求。虽然这些是近似方法，即它们的解是好的，但不一定是最优的，采用概率转移规则而不是确定性规则。因此，研究人员专注于在合理时间内寻求良好建设性解决方案的启发式技术。在PSO-TELM 中，由于其易于陷入局部最优点的缺点，在此基础上引入了新的交叉策略，增强其搜索能力，帮助其摆脱局部最优。通过三波段光谱指数处理原始数据，并在PSO-TELM 中引入新的交叉策略，提出了基于三波段光谱指数和交叉粒子群算法的双隐含层极限学习机混合模型（TPC-TELM）。

研究表明，一些进化算法容易陷入局部最优的一个重要原因是种群中的几个维度停滞不前导致的。通过在不同维度之间的信息交换帮助停滞的维度逃离局部最小值，来搜索到更多新的位置。通过调节父种群的几个整体维度来搜索到更多新的位置。在粒子群的个体两个不同维度之间进行交叉操作。dm和dn是第i个个体的两个维度，r1为（0,1）范围内的随机数。则其垂直交叉的后代为：

2 结果与分析

将本研究提出的TPC-TELM 模型与ELM、TELM 和PSO-TELM 模型进行比较，同时引入均方根误差（RMSE）和皮尔逊相关系数（r）作为重要的性能指标，来衡量模型的性能。均方根误差值越小，说明模型预测精度越高，相关系数取值范围为[0,1],越趋近于1，预测输出与期望输出（通过实验室化学处理得到的土壤砷元素含量）相关性越强。首先将本研究提出的TPC-TELM 模型与传统的TELM 模型进行对比，将数据集按照3∶1进行随机划分为训练集和测试集，绘制了如图2的TELM，TPC-TELM 与期望输出对比图。由图2 可知，蓝色的星形点为期望输出点，圆形点为两个模型的预测输出点。当星形点和预测值点重合时，说明在该点，模型的拟合程度达到了百分之百。由图2可知，预测输出点与期望输出点非常接近。TPC-TELM 的预测输出整体与期望输出更接近。TELM 的波动大，TPC-TELM 的预测的稳定性更高。

图2 TELM，TPC-TELM与期望输出对比Figure 2 Comparison of the fit of TELM and TPC-TELM

将本研究提出的TPC-TELM 与ELM、TELM、PSOTELM 相对比，得到表1。由表1 可知，ELM 模型的RMSE最大，r值最小。PSO-TELM 模型通过对引入PSO对第一隐含层进行寻优，预测性能相对于TELM 获得了一定提升。本研究提出的TPC-TELM 模型获得最优的性能指标。

表1 4种模型性能Table 1 Performance of four models

为更全面地比较模型性能，绘制图3的箱式图。由图3 可知，横坐标为4 种模型，纵坐标为预测误差。图3中最上面和最下面的线为误差的最大值和最小值，箱式图的上方和下方线段分别为第3、第4 分位和第1、第4 分位值。箱子中间的红线为中位数，通过箱式图可看出误差的分布情况和分散程度。ELM 和TELM 的预测误差跨度大，离散程度高。PSO-TELM 与TPC-TELM模型的误差整体较小，且集中，其中TPC-TELM 模型的误差最集中，并且误差中位数（红色线）最低。综合以上分析，说明本研究提出的TPC-TELM 模型具有最优的性能。

3 讨论与结论

土壤重金属含量反演研究的难点之一就是对光谱采取合适的预处理方法处理原始光谱。由于土壤重金属的光谱响应较弱，所以需要采取合适的特征提取方法。目前，常用的一些预处理方法包括一阶导数和SG平滑处理等。HONG 等[21]利用三波段光谱指数对土壤有机质进行反演研究，解释了多波段组合方式对于光谱特征提取的巨大潜力。过去的研究多是利用单个波段的数学变换提取光谱特征，研究发现通过多个波段之间的不同排列组合方式，可以很有效地提取优质的光谱特征。本研究利用三波段光谱指数用于土壤重金属含量的反演研究。试验表明，通过合适的光谱组合，结合相关系数法可以有效地提取最优的光谱参数，增强光谱特征。机器学习算法已经和高光谱技术结合广泛应用于多领域属性的检测研究，并逐渐取代传统方式。XIAO 等[22]利用ELM 模型应用于煤炭含量研究。本研究针对极限学习机模型第一隐含层参数随机导致的模型不稳定进行改进，引入PSO算法进行参数优化，并引入新的交叉策略，获得TPC-TELM 模型，将改进模型与ELM 和TELM 等模型进行对比，改进模型的多项性能指标都达到最优。

本研究利用可见光-近红外数据与机器学习相结合，用于土壤重金属元素As 含量的反演研究。对于原始光谱数据，利用三波段光谱指数分析多个波段之间的相互联系，提取优质光谱特征。将粒子群优化算法引入到双层极限学习机模型中，用于获取最优隐含层参数，并针对该模型易于陷入局部最优的特点，引入新的交叉策略，增强模型的探索能力。通过大量试验对比，发现TPC-TELM 模型的RMSE 最小，为0.680 9，r值最大，为0.865 6，说明本研究提出的改进模型获得最优的性能指标。将提出的TPC-TELM 模型与单隐含层极限学习机、双隐含层极限学习机等经典模型进行对比分析，通过大量对比试验说明TPC-TELM 具有最优的性能指标。本研究提出了一种快速准确反演砷含量的估计方法，对环境保护和生态恢复有重要意义。