镀膜型光谱成像数据提取与作物叶绿素分布探测研究

龙耀威，孙 红，高德华，张智勇，李民赞，杨 玮

中国农业大学现代精细农业系统集成研究教育部重点实验室，北京 100083

引 言

应用多光谱成像技术快速无损分析作物冠层或叶片叶绿素、氮素等营养含量的信息，已经成为检测农田作物长势的重要手段[1]。当前光谱成像技术不断升级，应用不同成像原理的光学传感器快速获取田间作物对象信息时，对实时检测与数据处理的方法需求也不尽相同，因而结合光学成像传感器的具体原理、工艺和特性，开展作物叶绿素含量诊断方法研究有现实意义和实用价值。

通常获取作物反射光谱的成像传感器，根据单色器系统中色散元件的不同可以分为棱镜、光栅和镀膜型三种主要方式[2]。应用这些传感器系统，针对作物叶绿素、水分、氮素等营养含量检测，国内外学者已经开展了系统标定、数据预处、变量筛选、诊断模型等相关的理论和应用研究[3-7]。

基于棱镜分光技术，以丹麦JAI公司2CCD(Charge-coupled Device)成像传感器为例，通过棱镜将白光分为可见光与NIR(near infrared)两通道后获取图像。应用该类传感器可分别提取R(red)，G(green)，B(blue)和NIR波段光谱图像，可对玉米作物冠层叶绿素指标和覆盖度等参数进行诊断。该类型传感器光学透射率高，价格相对便宜，但是仅有4个波段，数目较少且每个波段带宽约为100 nm, 因而其光谱分辨率不高，导致对营养含量分辨能力与诊断精度有限。

应用光栅分光技术，以芬兰SPECIM公司的Imspector高光谱成像传感器为例，通过与探测目标相对运动完成空间与光谱的扫描, 成像范围为400～1 000 nm内256个波长光谱数据，结构精密且光谱分辨率高，波段数目多。在小麦、玉米、马铃薯和黄瓜等作物叶片叶绿素含量的检测方面，在实验室条件下对采样样本获取数据，建模模型的决定系数均达到了0.75以上[8-9]。此类传感器是基于传感器的推扫式运动成像，采集速度比基于棱镜分光的相机慢。由于样品和成像平台之间的相对运动可能产生信号干扰，通常是通过暗电流校准和标准白板校准来处理。在大田应用推广方面，由于成像质量与物体空间运动速度、状态控制等因素紧密相关，使其在便携性与适应性方面还有待提高[10]。

镀膜型光谱成像传感器是应用半导体薄膜工艺原理，通过在探测器像元上镀膜实现光信号的窄带选择透过，进而实现多光谱成像。近年来镀膜工艺不断提高，如美国XIMEA公司的IMEC马赛克式镀膜传感器以5×5为一个成像单元，探测器各光谱带宽约为10 nm，灰度分辨率最高为10位，可以采集673～951 nm范围内的25个波长的光谱图像[11]。其波段数较棱镜分光传感器多，面阵成像较光栅线扫快速而稳定，具有面阵直接成像速度快、波段数量多、体积小、成本低等优点，在农作物田间现场检测中有较好的应用前景。

尽管镀膜型光谱成像传感器技术已经相对成熟，但是如何应用镀膜型光谱成像传感器开展作物叶绿素检测，在马赛克分布阵列光学数据的提取、光谱与图像成像的标定与校准、作物光谱图像的处理与叶绿素指标诊断能力等方面还没有系统和深入的研究报道。本研究针对镀膜型光谱成像传感器的特点，开展光谱成像数据提取和田间作物叶绿素分布探测研究。以期研究镀膜型光谱成像数据中光强值的提取与反射率校准方法，通过对玉米植株多光谱图像的分割，基于谱图融合分析，建立叶片光谱反射率与叶绿素含量指标诊断模型，绘制作物冠层叶绿素含量分布图，为田间玉米植株叶绿素分布检测提供技术和应用支持。

1 实验部分

1.1 镀膜型传感器光谱成像原理

镀膜型传感器光谱成像通过在CMOS传感器像素阵列上修改滤波器的设计实现。针对不同数量的频带，频带宽度和光谱范围来设计光谱滤波器，其原理如图1所示，其中图1(a)为标准RGB CMOS感光片原理图，图1(b)为CMOS镀膜型多光谱传感器感光片原理图。与标准的RGB CMOS感光片分布类似，镀膜型多光谱传感器将成像单元中的RGB分布式感知替换为规则排列的窄带镀膜滤光单元，与滤光片的作用相似。近似为面阵CMOS上采用光谱滤光片集成马赛克图案的技术，实现不同波段像素光强值的获取。由原理可知，如果需要获取各个波段的光谱图像，需要进行原始光谱图像的拆分和重组。

图1 镀膜型传感器光谱成像原理图(a): 标准红、绿、蓝三色； (b): 镀膜型光谱传感器Fig.1 Schematic of CMOS sensor(a): Red, Greed and Blue; (b): Coating sensor

各个成像单元中的窄带滤光片排列一致，单个成像单元中每个窄带滤光片的QE(quantum efficiency)响应分布图如图2所示，图中“active range”表示相机镜头前带通滤光片的有效通过波段范围。分析认为25个波段频谱响应带宽、QE强度幅值差异明显。因而对非均一性光学响应特征对原始光谱图像的校准至关重要。

1.2 玉米植株光谱图像采集与叶绿素指标测定

试验于2018年11月21日在北京市农林科学院温室大棚内进行。采用自然光照，设置相机的采集高度为2 000 mm。玉米品种为实验品种GET-B104，物候期为苗期，植株高度为30～70 cm。一共采集47株玉米植株。光谱图像数据采集通过基于镀膜原理的XIMEA公司的IMEC多光谱相机及配套的采集系统来完成。多光谱相机CMOS中的成像单元为5×5排列，波段数为25，波段范围是673～951 nm，视场角为50度[11]。相机与搭载Linux操作系统的Jetson TX2开发板相连接，实现图像的采集控制与处理。采集系统示意图如图3所示。

为避免破坏采样后成分改变导致的测量误差。试验中利用SPAD-520叶绿素仪同步测量每株玉米冠层叶片上2～3个采样点，每点测量3次取平均SPAD值作为叶绿素含量指标，共计251个样本数据。同时采用ASD Handheld2 型光谱仪采集相应位置区域的反射率曲线，以分析利用镀膜型光谱

图2 镀膜型传感器滤光QE分布图[11]Fig.2 Filter QE distribution map of CMOS sensor

图3 采集系统示意图Fig.3 Schematic diagram of imaging acquisition system

成像传感器提取玉米植株冠层叶片反射率曲线的特性，其波段范围为325～1 025 nm，分辨率为3 nm。

1.3 镀膜型光谱图像的提取方法和反射率校准方法

镀膜型光谱图像的提取包括对原始采集图像的拆分和重组。拆分是提取成像单元中相同波段的像素灰度值，重组是利用相同波段的像素灰度值重构单波段光谱图像。具体步骤为：

(1) 原始光谱图像按照像素位置建立数据存储表。

(2) 按照成像单元中各波段排列规则建立25个独立数据存储表。

(3) 依次从数据存储表中读取成像单元中相对位置相同的单波段数据。

(4) 将读取的单波段数据存入相应的独立数据存储表。

(5) 将各独立数据存储表灰度值重构为单波段的光谱图像。

以上处理得到25个波段光谱图像，图中每一像素的灰度值表示该位置的原始反射光强值，研究通过反射率校准计算相对反射率值。

反射率校准中，由于各窄带滤光片QE响应分布差异明显，为了避免利用唯一标准白板标定引起的缩小响应范围的影响，采用多灰度级标准板进行校正。本研究采用美国Labsphere公司的Spectralon标准板，由四个灰度级并排排列，各级标准板尺寸均为6 cm×25 cm。灰度板为标准的朗伯面，对于理想朗伯面, 反射光强与入射光强比值(反射率值)仅与波长相关。利用传感器采集该灰度板的光谱图像，建立图像灰度值和灰度板标准反射率之间的线性反演公式。采用最小二乘法进行灰度值与反射率之间的线性拟合。由于反射率和灰度值是线性描述标准灰度板的光照强度的参数，对于某一波段反射率与灰度值为线性换算公式可以表示为

Ri=kigi+bi

(1)

其中Ri表示第i波段的反射率，gi表示第i波段的灰度值，ki和bi都是线性关系系数。

1.4 光谱图像处理方法

玉米植株冠层是本研究的目标对象，为了剔除图像中土壤和培养盆的背景的影响，设计如图4所示流程，利用Open CV工具开发程序进行玉米植株冠层的分割。具体过程包括：

图4 多光谱图像数据处理流程图Fig.4 Multi-spectral image data processing flow chart

(1) 采用OTSU分割算法进行图像的初次分割，剔除土壤背景。

(2) 针对培养盆圆形特征，研究采用霍夫圆变换识别花盆形状并进行二次分割剔除。其中，霍夫圆变换的原理是计算圆心所在圆周所有法线的交点，检测圆半径的方法是到圆心距离(即半径)满足阈值的点为圆周。

(3) 针对两次图像分割过程中因灰度分割、花盆圆形与叶片交叉因素导致的叶片上存在的点状或细缝孔洞，采用形态学闭运算处理，实现区域填充和还原。

(4) 以形态学处理后的图像为模板，对25个独立光谱图像依次进行掩模处理，处理后的光谱图像中仅包含有玉米植株冠层图像信息。

1.5 叶绿素含量诊断建模与分布成图方法

基于玉米叶片采样点SPAD值和光谱反射率建立叶绿素含量指标诊断模型。数据处理过程包括： 异常样本剔除、样本集划分、偏最小二乘回归法(partial least squares regression, PLSR)回归建模和绘制叶绿素含量分布图[12-13]。

首先利用马氏距离算法剔除与样本平均数据偏差的绝对值超过3倍标准差的异常样本数据。其次，利用SPXY算法将样本按照7∶3划分为建模集和验证集。然后建立叶绿素含量指标光谱学诊断PLSR模型，通过逐步纷解输入变量矩阵和输出变量矩阵，利用主成分分析方法提取出的前若干个主成分携带了原输入变量矩阵的主要信息，消除相互重叠部分的信息，综合考虑提取的主成分对输入变量矩阵和输出变量矩阵的解释能力。最后将光谱图像中每个像素点上的光谱数据代入到建立叶绿素含量诊断模型中计算出相应像素点的SPAD值，得到SPAD值分布图像； 再利用Matlab对SPAD值分布图像进行伪彩色图像处理，将不同的SPAD值用不同的颜色表示，绘制出单株玉米冠层的叶绿素可视化分布图。

2 结果与讨论

2.1 镀膜型光谱图像的提取结果

利用镀膜型光谱成像传感器进行温室玉米植株的光谱数据采集，试验采集原始多光谱图像如图5所示，原始光谱图像为2 045×1 085像素，拆分重组后的25波段多光谱图像如图6所示，由于对空间像素进行了抽取，拆分后各个波段图像为409×217像素。

图5 原始光谱图像Fig.5 Original multi-spectral image

图6 拆分重组后的25波段多光谱图像Fig.6 Single-band images after multi-spectral split and reorganization

2.2 镀膜型光谱图像反射率校准

基于4灰度级标准板建立归一化灰度值的反射率线性反演公式。灰度值与反射率之间的最小二乘法线性拟合结果决定系数如表1所示，拟合模型决定系数均达0.99以上。

表1 光谱反射率校准模型结果Table 1 Results of spectral bands calibration

利用拟合公式对25波段光谱反射率进行校准。分别提取采样点校准前、校准后和相应区域ASD反射率曲线的样例如图7中所示。其中曲线A是原始光谱曲线，曲线B是校准后的光谱曲线，曲线C是ASD光谱仪检测的采样点对应波段的光谱反射率曲线。比较可知，673～951 nm是植物光谱由红到近红外的区间，主要反映了碳(C)、氢(H)、氧(O)、氮(N)等作物发育必备元素构建分子化学键的倍频吸收特征，划分四个光谱区间，①680～720 nm由红外进入近红外区域急剧上升和820～870 nm近红外区域内，校准后反射率与ASD光谱反射率基本一致。②720～760 nm内，校准后反射率高于校正前和ASD测定曲线，但是校准后曲线与ASD反射曲线反映的O—H和C—H健的倍频吸收导致的峰谷波动较为一致。③760～820 nm内，校准前后反射率明显低于ASD测定反射率，其中校准后的光谱曲线低于校准前； 尽管如此，校准前后与ASD反射率曲线中存在的760，775和790 nm附近由于作物O—H，C—H和N—H健振动吸收导致的峰谷波动趋势较为一致。

分析760～820 nm内镀膜型传感器提取反射率与ASD光谱测定反射率曲线的差异，其原因是ASD光谱仪采用光栅进行单色光的处理，而镀膜型光谱成像传感器是利用窄带滤光片进行单色光的处理，由图2 QE分布图中760～820 nm中包含有767，780，791和804 nm 4个窄带其带宽均在10 nm，远大于ASD光谱仪的3 nm分辨率，光谱分辨率与参与拟合点的数量可能导致不同传感器之间玉米冠层光谱反射率存在差异； 其次，由图6中767 nm相邻成像673 nm为例，由于镀膜型成像的马赛克分布不是依照波长顺序排列方式，邻近光学通道可能会产生交互影响，但并不影响其对特定分子光谱吸收导致的峰谷波动特征的体现。

综上所述，镀膜型成像传感器获取玉米冠层反射光谱总体与ASD采集反射率体现的光谱特征一致，且校正后数据比校正前与ASD光谱反射率的一致性得到了提升。

图7 采样点反射率曲线A： 原始光谱曲线； B： 校准后的光谱曲线；C： ASD光谱仪光谱反射率曲线Fig.7 Reflectance spectra curves of sampling pointsA： Original spectrum； B： Calibrated spectrum；C： ASD measured spectrum

2.3 光谱图像处理结果

为了准确提取玉米植株相关信息，研究开展了消除土壤影响的初步图像分割和培养盆背景剔除的二次分割处理。多光谱图像经过OTSU初次分割后的结果如图8(a)所示，图中有效的剔除了土壤背景噪声，但是除玉米植株外，存在培养盆背景噪声。因而基于霍夫圆变换开展图像二次分割，将检索圆形像素设置为灰度级255(白色)，其他像素保留原始灰度后的效果结果如图8(b)所示。结果显示，培养盆被准确识别，但是由于培养盆与植株叶片有重叠的影响可能存在分割细缝。开展形态学闭运算处理结果如图8(c)所示，玉米植株对象信息被完整的保留，为后续叶绿素检测奠定基础。

图8 多光谱图像处理结果图(a): OTSU变换结果； (b): 霍夫变换结果； (c): 形态学运算结果Fig.8 Results of multi-spectral image processing(a): Results of OTSU; (b): Result of Hough transform; (c): Result of morphology

2.4 叶绿素含量指标诊断建模结果

将多光谱图像中采样点对应的光谱反射率数据作为X变量，将采样点的SPAD值作为Y变量，建立玉米植株叶片叶绿素含量指标诊断PLSR模型。

图9 建模集主成分回归结果Fig.9 Result of PCA for modeling set

将建立的模型带入到多光谱图像中，可以得到玉米植株冠层SPAD值的二维分布图，对图像进行伪彩色图像处理后的结果如图11所示，在冠层坐标平面上，各像素点的叶绿素含量值用从蓝到黄的不同颜色表示，越接近蓝色说明该点叶绿素含量越低，越接近黄色则相反。

图10 SPAD值的PSLR建模结果Fig.10 Result of PLSR model for SPAD value detection

图11 玉米冠层SPAD值分布图Fig.11 SPAD value visualization distributionmap of maize canopy

依据伪彩色变换图像，分析玉米植株叶绿素含量分布特征。如图11所示样本为例，单个叶片的叶绿素含量分布呈现阶梯形式的分布，距离植株中心越远的位置叶绿素指标值越大，且上层叶片高于下部叶片。分析其原因有： ①玉米作物在生长期需要通过光合作用进行营养积累，叶绿素是光吸收的物质，叶片上叶尖位置叶绿素的累积是叶片生长干物质生长和光合作用活跃的体现； ②由于作物植株体上叶片分布的差异，作物植株叶片上层叶片光吸收水平较高，而下部叶片因为受到上层叶片遮荫、叶龄老化等因素的影响，其叶绿素指标较低。说明了基于镀膜型成像光谱数据建立玉米植株叶绿素含量指标检测模型，并利用叶绿素分布图分析玉米生长参数的可行性。

尽管如此，由于本试验数据处于玉米苗期，SPAD值集中于25～38之间，样本数据的显著聚集性导致目前所建立的叶绿素含量指标诊断模型精度还不高，未来还将进一步对不同生长期连续测量，获取大量数据对本模型进行优化与校正，提高模型的精度与生长期应用的适应性。并进一步提高镀膜型光谱成像传感器在农田玉米作物生长监测研究中的实用性。

3 结 论

针对镀膜型光谱成像传感器的特点，开展了光谱成像数据提取和作物叶绿素分布探测研究。主要结论如下：

(1) 基于镀膜型多光谱传感器，通过对25波段多光谱图像提取和反射率线性校准算法，校准结果的决定系数全部在0.99以上。对比校准前、后与ASD光谱仪采集反射率曲线的显示，镀膜型成像传感器获取玉米冠层反射光谱总体与ASD采集反射率体现的光谱特征一致，且校正后数据比校正前与ASD光谱反射率的一致性得到了提升。

(2) 利用图像分布特性，开展玉米植株冠层的分割研究。建立初次OTSU分割算法和基于霍夫圆变换识别的二次分割算法，可以分别剔除光谱图像中的土壤和培养盆背景的干扰。

(3) 基于镀膜型成像传感器提取的光谱反射率，建立了叶绿素含量指标SPAD值的光谱学PLSR诊断模型，建模集决定系数为0.545 1，验证集决定系数为0.472 6，并通过绘制并分析玉米作物冠层叶绿素分布可视化伪彩色图。

本研究围绕镀膜型光谱成像传感器在作物叶绿素含量检测中的应用进行探索。未来可通过玉米植株生长期的连续测量，进一步提高诊断模型精度，以为田间玉米植株生长动态快速检测提供技术和应用支持。