应用DS算法消除室内几何测试条件对土壤高光谱数据波动性的影响

洪永胜， 于 雷*， 耿 雷， 张 薇， 聂 艳， 周 勇

(1.华中师范大学 地理过程分析与模拟湖北省重点实验室， 武汉 430079；2.华中师范大学 城市与环境科学学院， 武汉 430079)



应用DS算法消除室内几何测试条件对土壤高光谱数据波动性的影响

洪永胜1，2， 于 雷1，2*， 耿 雷1，2， 张 薇1，2， 聂 艳1，2， 周 勇1，2

(1.华中师范大学 地理过程分析与模拟湖北省重点实验室， 武汉 430079；2.华中师范大学 城市与环境科学学院， 武汉 430079)

土壤高光谱遥感是土壤近地传感器(Proximal Soil Sensing)研究的重要方向，具有方便快捷、无破坏、成本低等优点，可以高效地分析和估算土壤属性参数.土壤高光谱数据的采集在室内较野外容易控制环境因素(如土壤水分、土壤表面属性等)，获取数据更加稳定且具有可重复性，因而，基于室内高光谱数据反演土壤属性参数在国内外已形成较为成熟的理论.但是，室内土壤光谱数据的采集方法缺乏统一的标准体系，限制了光谱数据的共享，关键的几何测试条件不同而引起的光谱差异也未能消除，导致不同几何测试条件观测的光谱数据所建模型的传递效果较差.该研究以江汉平原公安县的36个土壤样本为研究载体，通过在室内环境下设置光源入射角度(A)、光源到土壤表面距离(L)、探头到土壤表面距离(H)3个几何测试参数的不同梯度组合，采用ASD FS3地物光谱仪获取27个组合的光谱数据，利用偏最小二乘回归(Partial Least Squares Regression，PLSR)建立27个参数组合的土壤有机质含量 (soil organic matter content，SOMC)的反演模型，分析不同参数组合对土壤高光谱数据离散性的影响，确定1组理想的几何测试参数组合用于其他26组参数的模型传递研究，探讨直接标准化(Direct Standardization，DS)算法在消除其他26组参数组合光谱差异方面的可行性.研究表明，A30L50H15是室内较为理想的土壤高光谱的几何测试参数组合；L对土壤光谱反射率的影响没有明显的规律，而土壤光谱反射率随A增大而增大、随H增大而降低；经过DS算法校正后的其他26个参数模型的验证RPD值均增加到5.54，基本无光谱信息的丢失，模型稳定，有效的解决了不同几何测试参数之间光谱数据的差异性问题.

土壤有机质； 高光谱； 室内几何测试参数； 模型传递； DS算法； 光谱校正

土壤作为农业生产的主要对象之一，具有为农作物提供并协调营养条件的能力，而快速精确掌握其理化特性参数是农情信息的关键，对推进精准农业发展、土壤数字化制图具有重要意义[1].高光谱遥感技术具有方便快捷、无破坏、无污染、信息量大等优点，已被逐渐应用于土壤关键参数(如土壤含水量、有机质、重金属等)含量的定量估算[2-3].目前，土壤光谱的获取手段主要涉及3种方式：室内光谱测量、田间近地采集、航空航天遥感获取[4].室内土壤光谱测试环境(水分、粒径等因素)较室外环境影响条件容易控制、观测结果稳定且具有良好的可重复性，被国内外广大学者所采用[5].但是，室内土壤光谱数据获取的几何测试参数(光源距离、光谱入射角度、探头距离等)也没有统一的标准体系，增加了光谱数据的测试中的不确定性，关键的几何测试参数对光谱数据的影响也未能消除，限制了光谱数据之间的共享性、可比性[6].

模型传递方法，用于解决相同光谱仪器不同几何测试参数的光谱反演模型的共性问题[7].光谱标准转换法是模型传递的一种常用算法[8]，主要的转换法有直接标准化法(Direct standardization，DS)、分段直接标准化法(Piecewise direct standardization，PDS)等.陈奕云等在室内环境下通过对95个土壤样本进行人工加湿风干处理，测得不同湿度等级土壤高光谱数据，运用DS算法消除湿度差异对土壤高光谱估算有机质的影响，校正后建立模型的RPD值提高到7.01[9].Ji等采用PDS算法将在野外环境下测量土壤光谱数据转换成室内环境下的光谱数据，建立野外光谱与室内光谱的模型传递相关关系，实现了野外环境影响因素的去除，土壤有机碳的预测精度R2较野外提高0.68[10].模型传递的思想已应用于消除不同的测试环境、湿度等级等因素对原有光谱数据建模精度的影响，有效提升了模型的预测精度.

1 实验部分

1.1 土样采集与制备

实验土样采集于湖北省中南部边缘的公安县，江汉平原腹地，地势平坦.选用十字法取样，土壤采集时剔出表层侵入体及其他杂物，充分混匀后用四分法收集样品，采样耕层深度为0～20cm.样品放置于室内，风干后磨碎、过2 mm孔筛，将每份土样分为两份，分别用于高光谱数据采集和土壤农化分析测试.土壤有机质含量采用重铬酸钾容量法-外加热法测定，表1为36个土壤样本的描述性统计特征.

表1 土壤有机质含量统计特征

1.2 光谱测试与实验设计

土壤光谱反射率的测定采用美国ASD(Analytical Spectral Devices)公司开发生产的 ASD FieldSpec3地物光谱仪.波谱范围为350～2 500 nm，采样间隔为1.4 nm(350～1 000 nm)和2 nm(1 000～2 500 nm)，重采样间隔为1 nm.

已有研究表明，影响土壤高光谱数据离散性的室内几何测试参数主要包括：光源到土壤表面的距离、光源入射角度、传感器(探头)到土壤表面的距离、培养皿的直径和高度等[5].本研究的实验设计在保证光源能为土壤表面提供平行光照(无阴影)的50W的卤素灯、探头垂直于供试土壤表面、培养皿的直径范围(10 cm)大于探头的视场角、培养皿的深度(2 cm)大于1.5cm、土样表面用直尺刮平、光谱测量在暗室环境下等可控影响因素不变的情况下(图1)，主要研究光源入射角度(A)、光源到土壤表面距离(L)、探头到土壤表面距离(H)3个参数对土壤光谱反射率的影响，并设置不同的梯度水平(表2)，将参数1代表A15L30H15；参数2代表A15L30H30；参数3 代表A15L30H45；参数4 代表A15L50H15；……；参数26代表A45L70H30；参数27 代表A45L70H45.

每个土样测量4个方向(转动3次，每次90°)，每个方向上保存5条光谱曲线，共20条，作算术平均后得到土样实际的反射光谱数据.选用Savitzky-Golay 9点滤波平滑法(多项式阶数为2)对原始土壤光谱反射率进行平滑去噪[11].每份土样的光谱曲线去除噪声较大的边缘波段350～399 nm和2 401～2 500 nm.

图1 ASD FieldSpec3地物光谱仪的几何测试参数设置Fig.1 Geometric parameters of ASD Field Spec3 instrument set-up[3]

表2 几何测试参数正交实验的因素和水平梯度

注：参数1代表A15L30H15；参数2代表A15L30H30；参数3 代表A15L30H45；参数4 代表A15L50H15；……；参数26代表A45L70H30；参数27 代表A45L70H45；下同.

1.3 DS算法

DS算法是近红外光谱分析最常用的模型传递方法之一，利用全光谱的光谱数据逐一校正每个波长点[12].设主光谱矩阵为S1(m×p)，从光谱矩阵为S2(m×p)，m为土壤样本个数，p为光谱波段个数.DS算法的主要思想是通过S1(m×p)和S2(m×p)求取两者之间的转换矩阵，建立校正模型.具体算法流程如下：

(1)

其中，B(p×p)为转换矩阵，ds(p×1)为背景校正矩阵，λ为所有元素为1的(m×1)列向量.

为计算未知矩阵B，引入中心化矩阵Cm(m×m)：

Cm=Im-(1/m)λλT，

(2)

(3)

则得到

(4)

式中，“+”代表广义逆矩阵.将转换矩阵B代入方程(1)中，则得到：

(5)

式中，S1m、S2m分别为S1矩阵和S2矩阵每列元素的平均值组成的行向量.

1.4 模型建立与验证

PLSR是一种多变量统计分析的方法，可以实现回归建模、数据结构简化和两组变量间的相关性分析，同时还考虑了分解自变量光谱矩阵和目标因变量矩阵的影响，将压缩与回归相结合，使建立的模型具有更好的稳健性，该方法已成为土壤高光谱线性建模统计分析的主流方法[13].建模过程采用Leave-one-out交叉验证法，用以确定最佳主成分因子个数，防止过拟合的发生.

Savitzky-Golay光谱数据平滑预处理、PLSR建模分析、DS算法的模型转换、图表分析绘制均在MatlabR2012a(TheMathworksInc.，USA)环境下完成.

2 结果与讨论

2.1 采用PLSR分析确定室内土壤高光谱理想的几何测试参数

图2 基于不同几何测试参数的土壤有机质含量PLSR估算研究的比较)Fig.2 Comparison of and RMSEcv for SOMC estimation using PLSR with different geometric parameters

2.2 室内几何测试参数对土壤高光谱数据的影响

为深入研究光源入射角度(A)、光源到土壤表面距离(L)、探头到土壤表面距离(H)3个参数对土壤高光谱反射率的影响，实验采用变化1个参数、固定另外2个参数的对比方法，分析单因素对土壤光谱反射率的变化影响(图3)，并将参数13应用于各参数之间的比较分析.由图可知，各参数的土壤光谱反射率具有以下共性特征：曲线均呈现上凸递增趋势；在可见光波段范围内曲线呈现明显的上升趋势，而在近红外波段范围内曲线变化趋于平缓；在1 400、1 900 以及2 200nm附近存在水分吸收谷，但每条曲线的吸收深度和吸收面积都存在差异性.

图3(a)为光源入射角度(A)对光谱反射率的影响因素图，土壤的光谱反射率随光源入射角度(A)增大而增大，这是由于土壤表面不是朗伯面，具有二向反射特性，导致进入传感器探头的能量通量不同，进而影响土壤高光谱曲线的离散性.图3(b)为光源到土壤表面距离(L)对光谱反射率的影响因素图，光源到土壤表面距离(L)对土壤高光谱反射率有影响，但没有呈现单调递增(或减)变化的规律，L为50cm时光谱反射率最高.图3(c)为探头到土壤表面距离(H)对光谱反射率的影响因素图，土壤的光谱反射率随探头到土壤表面距离(H)增大而降低.因此，土壤的高光谱反射率因几何测试参数的组合不同而呈现一定的差异性.

图3 不同几何测试参数的土壤光谱反射率平均值比较Fig.3 Comparison of average spectral reflectance with different geometric parameters

2.3 运用DS算法进行光谱校正

以参数13的光谱为主光谱，其他26个参数的光谱分别为从光谱.采用DS算法求取主、从光谱矩阵之间的模型转换矩阵B(p×p)，对从光谱进行校正，使不同几何测试参数的光谱反射率均匹配于参数13的光谱；利用转换后的从光谱矩阵对参数13的光谱矩阵模型进行验证，检验参数13模型在不同几何测试参数光谱之间的传递效果，以达到提高该模型光谱数据的共享性、适应性的目的.

选取PLSR建模精度最差的参数组合27(即A45L70H45，以下简称“参数27”)用来检验DS算法的模型转换效果，并分别对参数27校正前、后两组光谱数据进行三维主成分分析，图4为参数13和参数27两个样本的前3个主成分的得分图.图4(a)显示，两个参数样本的三维主成分得分点相对分散，参数27的光谱主成分分布图独立于参数13范围之外，表明不同几何测试参数的样本光谱之间具有明显的差异性；图4(b)为参数27经DS转换后得到的主成分得分图，发现校正后参数27的光谱主成分得分散点分布图与参数13的分布图基本吻合，两者光谱的相似性程度较高，说明采用DS算法可以成功消除不同几何测试参数造成的光谱数据离散性差异.

图4 DS算法校正前(a)、后(b)参数13和参数27的光谱反射率主成分得分分析Fig.4 Principal component analysis for spectral reflectance of parameter 13 and parameter 27 with (a) and without (b) DS algorithm

图5为DS算法校正前、后其他26组参数的土壤样本光谱数据用于验证参数13的PLSR模型RPD图.DS校正前不同几何测试参数的高光谱数据用于验证参数13的RPD值均小于2，无法或只能粗略进行土壤有机质含量的估算；而DS校正后各参数模型的验证RPD值由小于2均增加到5.54，基本无光谱信息的丢失，模型稳定，光谱经模型传递后达到了极好的预测效果.建立的模型能够不受室内几何测试参数的波动性干扰可以更精确地估测土壤有机质含量，实现了不同几何测试参数之间的土壤高光谱模型传递，增强了校正模型的适应性.

图5 DS算法校正前、后的其他26个参数用于参数13的土壤有机质含量PLSR估算的验证RPD值Fig.5 Validation RPD for parameter 13 in the estimation of SOMC using other 26 parameters by PLSR method with or without DS algorithm

3 结论

本文通过在室内环境下设置不同梯度的几何测试参数，分析研究了不同参数组合对土壤高光谱数据离散性的影响，重点探讨采用DS算法消除各参数之间的光谱数据差异.研究结果表明，室内几何测试参数对土壤高光谱数据的离散性具有较大影响，采用DS算法可以成功消除室内不同几何测试参数的土壤高光谱数据差异性，能提高校正模型的稳健性，实现了不同参数组合间的模型传递，方法简单可行.希冀本文可为完善国家、地区土壤光谱数据库的数据共享理论和方法体系提供支持.此外，今后也可将DS算法的光谱校正思想延伸于消除野外光谱采集过程中的水分参数、温度参数、表面粗糙度(粒径参数)等外界因素对光谱数据的影响，扩展土壤高光谱的应用范围，为野外光谱数据的预处理提供参考.

[1]CONFORTIM，CASTRIGNANOA，ROBUSTELLIG，etal.Laboratory-basedVis-NIRspectroscopyandpartialleastsquareregressionwithspatiallycorrelatederrorsforpredictingspatialvariationofsoilorganicmattercontent[J].Catena， 2015， 124: 60-67．

[2]VISCARRAROSSELRA，WEBSTERR.PredictingsoilpropertiesfromtheAustraliansoilvisible-nearinfraredspectroscopicdatabase[J].EuropeanJournalofSoilScience， 2012， 63(6): 848-860．

[3]SHITZ，CHENYY，LIUYL，etal.Visibleandnear-infraredreflectancespectroscopy-Analternativeformonitoringsoilcontaminationbyheavymetals[J].JournalofHazardousMaterials， 2014， 265: 166-176．

[4]STEVENSA，VANWESEMAELB，BARTHOLOMEUSH，etal.Laboratory,fieldandairbornespectroscopyformonitoringorganiccarboncontentinagriculturalsoils[J].Geoderma， 2008， 144(1-2): 395-404．

[5]TERRAFS，DEMATTEJAM，VISCARRAROSSELRA.SpectrallibrariesforquantitativeanalysesoftropicalBraziliansoils:Comparingvis-NIRandmid-IRreflectancedata[J].Geoderma， 2015， 255: 81-93．

[6] 周 清， 周 斌， 王人潮， 等. 室内几何测试条件对土壤高光谱数据离散性的影响[J]. 华南农业大学学报， 2005， 26(1): 31-35．

[7] 柳培忠， 张丽萍， 李卫军， 等. 基于DS算法的玉米近红外定性分析光谱校正方法研究[J]. 光谱学与光谱分析， 2014， 34(6)：1533-1537．

[8]JIW，VISCARRARRA，SHIZ.Accountingfortheeffectsofwaterandtheenvironmentonproximallysensedvis-NIRsoilspectraandtheircalibrations[J].EuropeanJournalofSoilScience， 2015， 66(3): 555-565．

[9] 陈奕云， 漆 锟， 刘耀林， 等. 顾及土壤湿度的土壤有机质高光谱预测模型传递研究[J]. 光谱学与光谱分析， 2015， 35(6): 1705-1708．

[10]JIW，VISCARRAROSSELRA，SHIZ.Improvedestimatesoforganiccarbonusingproximallysensedvis-NIRspectracorrectedbypiecewisedirectstandardization[J].EuropeanJournalofSoilScience， 2015， 66(4): 670-678．

[11]SAVITZKYA，GOLAYMJE.Smoothinganddifferentiationofdatabysimplifiedleastsquaresprocedures[J].AnalyticalChemistry， 1964， 36(8): 1627-1639．

[12] 李庆波， 张广军， 徐可欣， 等.DS算法在近红外光谱多元校正模型传递中的应用[J]. 光谱学与光谱分析， 2007， 27(5): 873-876．

[13] 于 雷， 洪永胜， 耿 雷， 等. 基于偏最小二乘回归的土壤有机质含量高光谱估算[J]. 农业工程学报， 2015， 31(14)：103-109．

Using Direct Standardization algorithm to eliminate the effect of laboratory geometric parameters on soil hyperspectral data fluctuate characteristic

HONG Yongsheng1，2， YU Lei1，2， GENG Lei1，2， ZHANG Wei1，2， NIE Yan1，2， ZHOU Yong1，2

(1.Hubei Provincial Key Laboratory for the Analysis and Simulation of Geographical Process，Central China Normal University， Wuhan 430079；2.College of Urban and Environmental Science，Central China Normal University， Wuhan 430079)

Soil hyperspectral remote sensing has become an important research area of proximal soil sensing， which is considered to be a fast， non-destructive and low-cost method for effectively analyzing the soil key parameters. Several studies have proposed that the environmental factors， such as soil moisture and surface attributes， are more stable to be controlled in the laboratory than that in the field， data collected in the laboratory environment are more stable and repeatable， making it widely approved by researchers. However， the data sharing based on laboratory environment was limited due to lacking of uniform geometric parameters standards on data acquisition and the transfer effect was not satisfied between models established by different geometric parameters because of disparity induced by distinct key parameters. In this paper， 36 soil samples at 0～20 cm depth were collected as experimental material from Gong’an County in Jianghan Plain. The beam angle (A)， lamp distance (L)， sensor distance (H) were combined at different levels in the laboratory conditions. Then 27 sets of soil spectral data were measured by an ASD FieldSpec3 instrument， and 27 sets of quantitative inversion models for soil organic matter content (SOMC) were built using Partial Least Squares Regression (PLSR) method. Meanwhile， the fluctuations of soil hyperspectral data caused by different geometric parameters were analyzed. An optimal dataset was chosen for research on data transfer between the other 26 models. The feasibility was discussed upon the generalization capacity of Direct Standardization (DS) algorithm between the optimal geometric parameter and other 26 ones. Results showed that the optimal geometric parameter of beam angle， lamp distance and sensor distance is 30°， 50 cm and 15 cm， respectively. Lamp distance (L) has a great impact on soil spectral reflectance without a regular pattern. In contrast， the soil spectral reflectance increases as beam angle (A) enlarging， while decreases as sensor distance (H) elongating. The validation PRD for the other 26 models are improved to 5.54 after calibration by DS algorithm. Basically， no loss of spectrum information are detected， indicating the stability of the model which effectively solve the problem of disparities resulted from parameter variety.

soil organic matter； hyperspectral； laboratory geometric parameters； model transfer； Direct Standardization algorithm； spectral calibrations

2015-09-11.

国家自然科学基金项目(41401232;41271537);中央高校基本科研业务费专项资金项目(CCNU15A05006;CCNU15ZD001).

1000-1190(2016)02-0303-06

S127； TP79

A

*通讯联系人. E-mail: yulei@mail.ccnu.edu.cn.