基于冠层颜色特征的大豆缺素症状识别研究

关海鸥，李佳朋，马晓丹，，杜松怀，焦 峰

(1 黑龙江八一农垦大学 a 信息技术学院，b 农学院，黑龙江 大庆 163319；2 中国农业大学 信息与电气工程学院，北京 100083)



基于冠层颜色特征的大豆缺素症状识别研究

关海鸥1a，李佳朋1a，马晓丹1a，2，杜松怀2，焦 峰1b

(1 黑龙江八一农垦大学 a 信息技术学院，b 农学院，黑龙江 大庆 163319；2 中国农业大学 信息与电气工程学院，北京 100083)

【目的】 针对寒地大豆发生缺素症状时冠层颜色变化复杂性，建立基于冠层图像颜色特征的大豆缺素症状识别新方法。【方法】 采用无土盆栽试验，以垦农18为供试大豆品种，设计缺氮、缺磷、缺钾3种营养状况，采集大豆缺素症状的冠层图像样本，利用图像灰度直方图结合主成分分析方法,提取大豆冠层图像的红光值R、绿光值G、蓝光值B，计算最佳颜色特征蓝光标准化值B/(R+G+B)和绿光标准化值G/(R+G+B)，将其作为正则化模糊神经网络输入向量，并利用实数编码的遗传算法改进传统梯度下降学习算法，将其作为模糊神经网络的学习方法，同时应用传统梯度下降算法和改进梯度下降算法训练神经网络参数并比较。【结果】 应用遗传计算改进的梯度下降学习算法计算时，迭代次数为277次，其各项计算指标均明显优于传统梯度下降算法，大豆缺素症状识别准确率达100%；而采用传统的多元线性回归方程和BP神经网络算法计算时，识别准确率分别为52.50%，68.33%。【结论】 以大豆冠层图像颜色特征为基础，利用改进学习算法的神经网络模型，能够快速有效地挖掘出大豆缺素症状与颜色特征向量之间的模糊逻辑映射关系，为大豆缺素症状识别提供了一种快速且准确的方法。

冠层图像；颜色特征；大豆缺素症状；识别方法

农作物在生长过程中，由于自然条件和人为操作等诸多因素常常影响其营养情况，进而影响农产品的产量、质量以及高效益农业的可持续发展[1-2]。农作物营养状况的变化可较大程度地从植株冠层的颜色变化表现出来[3]，国内外学者利用数字图像技术结合模式识别在农业信息处理研究中取得了诸多成果[2-7]。黄山等[4]研究了大豆不同生育时期叶绿素密度及其冠层光谱特征，用比值植被指数构建了叶绿素密度二次估测模型。尚艳等[8]通过分析不同生育期及整个生育期小麦叶片氮含量与冠层光谱反射特征的关系，建立了小麦叶片氮含量的最佳模型，实现了对田间小麦活体氮素营养状况的监测。袁道军等[9]通过数码相机采集自然光照下的油菜图像，利用图像分析及逐步回归方法，建立了冠层颜色值反演叶绿素、全氮含量及碳氮比的模型。Adamsen等[10]利用数码相机获取了冬小麦的冠层图像并通过对图像处理分析，确定了冠层图像绿光与红光的比值(G/R)与叶绿素仪读数及叶面积指数极显著相关。朱虹等[11]和陈佳悦等[12]通过小麦冠层图像的颜色特征，构建了基于数字图像处理技术的冬小麦氮营养水平评价方法。Gautam等[13]通过航拍图像提取图像特征，输入径向基人工神经网络，实现了玉米叶片氮含量的测定。关海鸥等[14]利用正则模糊神经网络及多颜色空间的多维特征参数，解决了农作物植株的单叶及冠层图像与缺素症状之间的模糊映射关系。以上研究均采用不同技术将机器视觉获取的数字图像特征与作物生长时营养状况联系起来进行分析，但关于在自然条件下应用冠层颜色特征，自动快速判别寒地大豆缺素症状的研究尚鲜见报道。本研究针对寒地大豆发生缺素症状时冠层颜色特征空间的复杂性，利用机器视觉技术和智能信息处理技术选取最优颜色特征向量，避免不同颜色空间转换和特征计算时复杂耗时的缺陷，利用改进的正则模糊神经网络挖掘大豆缺素症状与叶片颜色特征之间简捷有效的映射关系，为科学合理地补充或调整大豆的营养元素提供依据。

1 寒地大豆缺素症状冠层图像样本的获取

由实际栽培试验结果可知，大豆发生缺素症状时在冠层颜色上有所反映，其叶片的颜色特征会产生较明显的变化[15]，因此冠层颜色特征对于大豆缺素症状初期的识别起着很重要的作用。本研究以无土栽培条件(江砂培养)下不同营养水平产生缺素症状的大豆植株为对象，大豆品种为垦农18，设计缺氮、缺磷以及缺钾3种营养状况进行栽培，整个大豆生育期全程置于玻璃防雨棚内进行，以防止雨水淋入。在自然光照下采用固定模式采集研究对象，即采用DSLR-α350数码相机，在光强及物距不变的情况下，垂直拍摄大豆缺素症状的冠层图像，确保图像真实、清晰、受干扰噪声小。最终获取具有缺氮、缺磷以及缺钾3种缺素症状图像(图1)，共计300幅大豆缺素症状的冠层图像样本。

A.缺磷；B.缺氮；C.缺钾

图 1 缺素大豆冠层图像

Fig.1 Images of soybean canopy with nutrient deficiency

2 大豆冠层图像色彩特征参数提取

大豆冠层图像颜色信息可以反映其生长发育的营养状况，提取和筛选大豆主要生育时期冠层的颜色特征，对于深入判别和监测其健康状况有着重要作用。利用文献[16]提供的遗传模糊神经网络植物图像分割模型，自动获取采集的大豆冠层图像样本的去背景和干扰的目标图像，并计算其数字图像的灰度直方图，结果如图2所示。

图 2 缺素大豆冠层目标图像灰度直方图

图2中大豆冠层目标图像的灰度直方图亮度偏高，3种缺素症状图像中每一种灰度值出现频率统计值不同。由于大豆冠层图像去掉了背景和干扰，构成直方图的颜色空间信息可反映大豆的营养状况信息。同时考虑目前农作物冠层图像的采集装置和处理设备通常采用RGB色彩系统，为了可以更好发挥机器视觉色彩空间在大豆缺素症状识别中的优势，以应用图像处理方法获取的红光值R、绿光值G以及蓝光值B为基础。通过颜色系统中三原色参数的组合运算，同时参考此类研究所选择的色彩参数，研究中选取红光值R、绿光值G、蓝光值B、绿光与红光比值G/R、绿光与蓝光比值G/B、红光与蓝光比值R/B、红光标准化值R/(R+G+B)、绿光标准化值G/(R+G+B)、蓝光标准化值B/(R+G+B)等9种色彩参数对其与大豆缺素症状的相关性进行分析。依据文献[7]中的结合数值图像处理方法，计算具有缺氮、缺磷以及缺钾3种症状的大豆植株冠层的9种色彩参数值，结果如表1所示。

表 1 大豆缺素症状冠层图像色彩参数值

表1中大豆缺素症状的植株冠层图像的色彩特征参数，能够作为其生长发育的营养状况指标。由于选取的色彩空间中颜色特征参数较多，对于大豆营养健康状况判定的影响权重各不相同。为获取大豆缺素症状诊断的最佳特征参数，可应用文献[17]的主成分分析方法确定参数指标的权重。研究中选取图1所示具有缺氮、缺磷以及缺钾症状的大豆冠层图像共300幅，计算其颜色特征参数并进行主成分分析，以大豆缺素症状冠层图像色彩参数值为数据基础，计算各个主成分贡献率，结果如图3所示。

图 3 大豆缺素症状冠层色彩参数的主成分分析

图3中各主成分的贡献率为0～56.11%，其中第1和第2主成分的累计贡献率高达90.12%，并且二者特征根分别为5.050 21和3.060 85，均大于1，因此确定选取前2个主成分计算缺氮、缺磷以及缺钾3种症状的大豆冠层的9种色彩参数值，再选取2个主成分载荷矩阵(3个缺素处理的平均值，表2)，计算9个色彩参数的贡献值。

表 2 大豆缺素症状冠层色彩参数的前2个主成分荷载矩阵

计算可知，大豆冠层缺素症状9种色彩特征参数值R、G、B、G/R、G/B、R/B、R/(R+G+B)、G/(R+G+B)、B/(R+G+B)对应2个主成分的贡献值依次为0.957 89，0.799 93，0.731 26，0.875 07，0.995 48，0.974 99，0.844 26，0.948 71和0.983 62；其中，第1主成分与B/(R+G+B)呈最大正相关，与R/B呈最大负相关；第2主成分与G/(R+G+B)呈最大正相关，与B呈最大负相关(表2)。由于与2个主成分正相关的2个颜色特征都与绿光值G及蓝光值B的标准化值关系显著，具有负相关的2个颜色特征也涉及红光值R及蓝光值B。因此综合考虑选取涵盖色彩较多且与2个主成分呈正相关的色彩参数，即蓝光标准化值B/(R+G+B)和绿光标准化值G/(R+G+B)，作为大豆缺氮、缺磷及缺钾症状的植株冠层图像的2个颜色特征。

3 大豆缺素症状的识别方法

3.1 大豆缺素症状识别的模糊神经网络结构

大豆缺素症状识别与其冠层颜色特征之间存在着复杂且模糊的关系，不能应用定量精确的数学表达式进行描述。依据文献[14]，采用模糊逻辑来完善智能系统分析和设计过程中自上向下的推理机制，同时利用神经元网络自下向上地来改进和完善智能系统的学习过程，利用提取2维颜色特征简化网络结构输入向量，从而建立一种基于冠层图像颜色特征的正则模糊神经网络，作为大豆缺素症状识别决策模型。该网络包括输入层、模糊化层、正则化层、规则层以及输出层，其中输入层为大豆冠层图像颜色特征，即蓝光标准化值B/(R+G+B)和绿光标准化值G/(R+G+B)，该层具有2个节点；模糊化层是利用隶属度函数将输入层的2个颜色特征模糊化为3个等级，可得该层为6个节点；正则化层是利用正则化表达式对模糊层的输出进行正则计算，与模糊化层节点数相同，均为6个节点；规则层是将该网络正规化节点和规则层节点连接起来，连接规则的运算节点满足输入节点正则化集合的笛卡儿积形式的元素项，计算可知该层为9个节点；输出层为大豆缺素症状数字化编码，即缺氮、缺磷、缺钾分别表示为-1，0及1，该层为1个节点，因此可以确定了大豆缺素症状识别的正则模糊神经网络结构为2-6-6-9-1型。该网络前向输出时通过高斯隶属度函数对输入层进行模糊化处理，利用乘积推理规则计算规则权重，并采用中心平均反模糊化方法计算网络输出，网络输出的计算公式如下：

(1)

式中：y为网络计算输出;bk为输出层连接权值;μij为高斯隶属度函数的模糊集合;cij为模糊化中心;σij为宽度方差;xi为输入颜色特征;i=1,2;j=1,2,3;k=1,2,…,9。

3.2 大豆缺素症状识别的模糊神经网络学习算法

大豆缺素症状识别的模糊神经网络的学习参数是模糊化中心、宽度方差及输出层的连接权值[18]，应用传统梯度下降学习算法[19]调整网络的结构参数。误差函数E定义为：

(2)

式中：P为样本数量，d为期望输出值。

则模糊神经网络参数cij、σij及bk在第t次调整时，其修正值Δcij(t)、Δσij(t)及Δbk(t)的调整规则为：

(3)

式中：η为学习速度，α为惯性系数，E为误差函数，t为调整次数。

为避免传统梯度下降算法易使神经网络学习过程陷入局部极小的缺陷，利用实数编码的遗传算法具有全局搜索的优势，改进了模糊神经网络的学习算法。将大豆缺素症状识别的神经网络的可调整参数，作为遗传算法的染色体编码。由神经网络结构可知模糊层隶属度函数为6个，每个函数有2个参数，规则层到输出层权值9个，所以染色体长度应为21个基因。将网络输出目标与适应度函数相结合，可定义第i个体的评价函数为：

(4)

式中：p(i)为评价函数，f(i)为个体适应度函数，E(i)为神经网络输出误差。

在实际栽培试验获取的300幅图像中，选择180幅大豆缺素症状的冠层图像，计算蓝光标准化值B/(R+G+B)和绿光标准化值G/(R+G+B)，作为神经网络的学习样本。同时设定网络学习参数为：遗传算法的染色体编码长度21个基因，给定种群规模50个染色体，遗传代数100代，学习精度0.001，学习速度0.8，惯性系数0.5，最大学习次数40 000。不同学习算法精度误差的收敛曲线如图4所示。

图 4 不同学习算法精度误差收敛曲线的比较

从图4学习误差收敛曲线效果可知，传统梯度下降学习算法的迭代次数为8 907次，满足精度误差为0.000 999 46；利用改进梯度下降学习算法的迭代次数为277次，满足精度误差为0.000 996 91，而且在神经网络学习过程中，误差收敛曲线都很稳定，并且符合误差限制要求。其中改进梯度下降学习算法的误差收敛曲线，其下降陡度变化较小且平滑，因此可以确定获得了一种快速有效的学习方法。

4 仿真结果与分析

在实际栽培试验获取的300幅图像中，选取其余120幅大豆冠层图像，计算对应蓝光标准化值B/(R+G+B)和绿光标准化值G/(R+G+B)，作为神经网络的仿真验证样本数据。利用训练好且具有确定参数的大豆缺素症状的模糊神经网络模型，对大豆缺氮、缺磷及缺钾3种不同营养状况的冠层图像进行诊断，大豆缺素症状的诊断结果如表3所示。 从表3中的诊断效果可知，基于大豆冠层图像得到了蓝光标准化值B/(R+G+B)和绿光标准化值G/(R+G+B)颜色特征，将其作为正则化模糊神经网络输入向量，实现大豆缺素症状识别准确率达到100%，并且网络模型误差较小。在研究过程中采用180幅大豆缺素症状的冠层图像样本，以其蓝光标准化值B/(R+G+B)和绿光标准化值G/(R+G+B)颜色特征作为基础，分别利用传统的多元线性回归方程和传统BP神经网络，建立相对应大豆缺素症状的识别模型。通过120幅大豆缺素症状的冠层图像，计算相应的颜色特征进行诊断验证，其中用传统的多元线性回归方程对大豆缺素症状诊断时识别出现了57处错误结果，准确率为52.50%；用传统BP神经网络时出现了38处错误结果，准确率为68.33%，因此，基于大豆冠层图像颜色特征的正则模糊神经网络是一种较为理想的大豆缺素症状识别模型。

表 3 基于改进模糊神经网络的大豆缺素症状的诊断结果

5 结 论

本研究利用大豆生长缺素症状和冠层叶面图像颜色特征的主导因素，采用机器视觉技术和智能信息处理技术相结合，通过去掉大豆冠层背景及干扰的目标图像，利用图像灰度直方图结合主成分分析方法，提取大豆冠层数字图像的最佳颜色特征，即蓝光标准化值B/(R+G+B)和绿光标准化值G/(R+G+B)，这两个色彩特征可以对大豆营养水平进行识别，简化了网络结构，减小了识别过程的计算量，提高了计算效率；提出了应用实数编码的遗传算法改进模糊神经网络学习算法，能够快速有效地通过专家先验知识和实验数据样本集，自动获取了大豆缺素症状识别中两种色彩特征的全规则模糊逻辑推理规律，并能够通过文中提供的计算方法自动获得网络各层节点数，实现了简单、自动、实时、准确、高效的自适应的大豆营养诊断。

[1]Lukina E,Stone M,Raun W.Estimating vegetation coverage in wheat using digital images [J].Plant Nutri,1999,22(2):341-350.

[2]刘红玉,毛罕平,朱文静,等.基于高光谱的番茄氮磷钾营养水平快速诊断 [J].农业工程学报，2015，31(S1)：212-220.

Liu H Y,Mao H P,Zhu W J,et al.Rapid diagnosis of tomato N-P-K nutrition level based on hyper spectral technology [J].Transactions of the Chinese Society of Agricultural Engineering,2015,31(S1):212-220.

[3]张 伟,毛罕平,李萍萍,等.基于计算机图像处理技术的作物缺素判别的研究 [J].计算机应用与软件,2004,21(2):50-51,119.

Zhang W,Mao H P,Li P P,et al.Research on diagnosing plant nutrient deficiency based on computer image processing technology [J].Computer Application and Software,2004,21(2):50-51,119.

[4]黄 山,杨 峰,张 勇,等.净套作下大豆叶绿素密度动态及光谱估测研究 [J].西北农林科技大学学报(自然科学版),2016,44(5):29-37.

Huang S,Yang F,Zhang Y,et al.Estimating chlorophyll density of soybean under monoculture and relay intercropping by hyper spectral remote sending [J].Journal of Northwest A&F University(Nat Sci Ed),2016,44(5):29-37.

[5]张 冬,刘俊焱,薛联凤,等.基于NCSPSO-AFSA优化SVM的林木冠层图像分割 [J].西北农林科技大学学报(自然科学版),2016,44(3):118-124.

Zhang D,Liu J Y,Xue L F,et al.Segmentation of forest canopy image based on NCSPSO-AFSA optimized SVM [J].Journal of Northwest A&F University (Nat Sci Ed),2016,44(3):118-124.

[6]张星龙,冯 全,杨 梅,等. 基于光源不变图和聚类算法的叶片阴影中病斑的分割 [J].西北农林科技大学学报(自然科学版),2015,43(1):189-194,203.

Zhang X L,Feng Q,Yang M,et al.Segmentation of shaded plant lesions using illuminant invariant image and clustering algorithm [J].Journal of Northwest A&F University(Nat Sci Ed),2015,43(1):189-194，203.

[7]何 勇,彭继宇,刘 飞,等.基于光谱和成像技术的作物养分生理信息快速检测研究进展 [J].农业工程学报,2015,31(3):174-189.

He Y,Peng J Y,Liu F,et al.Critical review of fast detection of crop nutrient and physiological information with spectraland imaging technology [J].Transactions of the Chinese Society of Agricultural Engineering,2015,31(3):174-189.

[8]尚 艳,常庆瑞,刘秀英,等.关中地区小麦冠层光谱与氮素的定量关系 [J].西北农林科技大学学报(自然科学版),2016,44(5):38-44,54.

Shang Y,Chang Q R,Liu X Y,et al.Quantitative relationship between wheat canopy spectrum and mitrogen in Guanzhong area [J].Journal of Northwest A&F University(Nat Sci Ed),2016,44(5):38-44，54.

[9]袁道军,刘安国,原保忠,等.基于计算机视觉技术的油菜冠层营养信息监测 [J].农业工程学报,2009,25(12):174-179.

Yuan D J,Liu A G,Yuan B Z,et al.Nutrition information extraction of rape canopy based on computer-vision technology [J].Transaction of the CSAE,2009,25(12):174-179.

[10]Adamsen F J,Paul J P,Barnes J E M,et al.Measuring wheat senescence with a digital camera [J].Crop Science,1999,39(3):719-724.

[11]朱 虹,郑丽敏,尹健玲,等.基于冠层图像颜色特征提取的小麦氮营养水平评价 [J].农业工程学报,2010,26(S2):16-20.

Zhu H,Zheng L M,Yin J L,et al.Nitrogen evaluation of winter wheat based on color features of canopy images [J].Transactions of the CSAE,2010,26(S2):16-20.

[12]陈佳悦,姚 霞,黄 芬,等.基于图像处理的冬小麦氮素监测模型 [J].农业工程学报,2016,32(4):163-170.

Chen J Y,Yao X,Huang F,et al.N status monitoring model in winter wheatbased on image processing [J].Transactions of the CSAE,2016,32(4):163-170.

[13]Gautam R K,Panigrahi S.Leaf nitrogen determination of corn plant using aerial images and artificial neural networks [J].Canadian Biosystems Enginering,2007,49(7):1-9.

[14]关海鸥,衣淑娟,焦 峰,等.农作物缺素症状诊断的正则化模糊神经网络模型 [J].农业机械学报,2012,43(5):162-167,156.

Guan H O,Yi S J,Jiao F,et al.Diagnosis model of crop nutrient deficiency symptoms based on regularized adaptive fuzzy neural network [J].Transactions of the Chinese Society for Agricultural Machinery,2012,43(5):162-167,156.

[15]曾秀成,王文明,罗敏娜,等.缺素培养对大豆营养生长和根系形态的影响 [J].植物营养与肥料学报2010,16(4):1032-1036.

Zeng X C,Wang W M,Luo M N,et al.Effects of different element deficiencies on soybean growth and root morphology [J].Plant Nutrition and Fertilizer Science,2010,16(4):1032-1036.

[16]关海鸥,许少华,谭 峰.基于T-S模型的模糊神经网络在植物病害图像分割中的应用 [J].中国农业大学学报,2011,16(3):145-149.

Guan H O,Xu S H,Tan F.Fuzzy neural network based on T-S model and its application on image segmentation of plant diseases [J].Journal of China Agricultural University,2011,16(3):145-149.

[17]韩小孩,张耀辉,孙福军,等.基于主成分分析的指标权重确定方法 [J].四川兵工学报,2012,33(10):124-126.

Han X H,Zhang Y H,Zhang F J,et al.Method of determining index weight based on principal component analysis [J].Journal of Sichuan Ordnance,2012,33(10):124-126.

[18]舒桂清,李 力,肖 平.基于多准则的多层模糊神经网络学习算法 [J].安徽大学学报(自然科学版),2007,31(1):39-42.

Shu G Q,Li L,Xiao P.A multi-criteria learning method formulti-layer fuzzy neural networks [J].Journal of Anhui University(Natural Science Edition),2007,31(1):39-42.

[19]刘彩红.BP神经网络学习算法的研究 [D].重庆:重庆师范大学,2008.

Liu C H.The study of algorithm of BP neural network [J].Chongqing:Chongqing Normal University,2008.

Recognition of soybean nutrient deficiency based on color characteristics of canopy

GUAN Haiou1a，LI Jiapeng1a，MA Xiaodan1a,2，DU Songhuai2，JIAO Feng1b

(1 a College of Information Technology，b College of Agriculture,Heilongjiang Bayi Agricultural University，Daqing，Heilongjiang163319，China;2CollegeofInformationandElectricalEngineering,ChinaAgriculturalUniversity,Beijing100083,China)

【Objective】 Aiming at the complexity of color spatial characteristics of soybean canopy with nutrient deficiency in cold area,a new method based on canopy color characteristics was established to recognize the soybean nutrient deficiency.【Method】 Based on soilless potting,three nutrient conditions of nitrogen deficiency,phosphorus deficiency,and potassium deficiency were applied to soybean variety Kennong 18.Image histogram combined with principal component analysis method was used to extract standardization values of blueB/(R+G+B) and greenG/(R+G+B),which were used as vector bases of automatic reasoning for regularized fuzzy neural network.Then,gradient descent algorithm improved by genetic algorithm was adopted as neural network learning method,which was compared to traditional gradient descent algorithm in parameters of neural network.【Result】 The learning number of the established method was 277,other indexes are all better than that of tradition gradient descent algorithm the recognition accuracy rate was close to 100%,while the accuracy rate of traditional multiple linear regression equation and BP neural network are 52.50% and 68.33% respectirely.【Conclusion】 The relationship between nutrient deficiency of soybean and corresponding color characteristic vector can be extracted by the established method in this paper.It provides a new calculation method to recognize soybean nutrient deficiency fast and accurately.

canopy image;color characteristic;soybean nutrient deficiency;recognition method

时间:2016-10-20 16:36

10.13207/j.cnki.jnwafu.2016.12.019

2015-06-19

黑龙江省自然科学基金项目(QC2016031)；黑龙江省大学生创新创业训练计划项目(1022320169433)；黑龙江省教育厅科学技术研究项目(12521375)

关海鸥(1980-)，男，黑龙江五常人，副教授，博士，主要从事农业电气化与自动化研究。E-mail：gho123@163.com

焦 峰(1980-)，男，黑龙江兰西人，副研究员，博士，主要从事土壤学和作物营养生理研究。 E-mail:jiaofeng1980@163.com

TP391.41

A

1671-9387(2016)12-0136-07

网络出版地址:http://www.cnki.net/kcms/detail/61.1390.S.20161020.1636.038.html