智能手机RGB图像检测植物叶片叶绿素含量的通用方法

李修华，卢显杰，奚金阳，张云皓，张木清

•农业信息与电气技术•

智能手机RGB图像检测植物叶片叶绿素含量的通用方法

李修华1,2，卢显杰1，奚金阳1，张云皓1，张木清2

（1. 广西大学电气工程学院，南宁 530004；2. 广西甘蔗生物学重点实验室，南宁 530004）

为提高RGB（Red, Green, Blue）图像方法在检测植物叶片叶绿素含量的预测精度、普适性和实用性，该研究提出了一种智能手机结合辅助拍照装置获取植物叶片RGB图像并即时检测叶绿素含量的低成本方法。设计了一种内置主动光源的低成本便携式拍照装置，用以降低环境光及拍照角度等因素对成像质量的影响；并采用了基于24色Macbeth标准色卡的二阶多项式回归法构建色差校正矩阵以减小不同手机所获取图像的色差；最后开发了基于微信小程序的远程诊断系统以实现植物叶片叶绿素含量的原地、实时及无损检测。以甘蔗叶片为例，采用了3款不同品牌的手机进行了试验，首先分析了叶片39种颜色特征与其叶绿素含量的相关性及色差校正方法对其的影响。结果表明，该方法获取的叶片颜色特征与叶绿素含量大多具有较强的相关性（相关系数>0.8），同时，色差校正可明显提升多手机混合数据集的颜色特征与叶绿素含量的相关系数，其中RGB色彩空间下三个颜色通道亮度值、、的代数运算特征(--)/(+)的提升最明显，达到了0.842 4，比校正前提高了89%。进一步结合主成分分析构建了色差校正前与色差校正后的叶绿素含量多元线性回归（Multivariate Linear Regression，MLR）和支持向量机回归（Support Vector Regression，SVR）预测模型。多手机混合数据集通用预测模型中，色差校正后的SVR通用预测模型精度和稳定性最高，相比校正前的SVR通用预测模型，五折交叉验证的2均值达到了0.721 4，提高了14.6%，RMSE均值为0.328 8 mg/g，降低了13.3%；同时，该模型五折交叉验证的2标准差仅为0.004 2，具有更高的稳定性。该研究为不同手机准确预测植物叶片叶绿素含量提供了一种通用方法。

图像识别；叶绿素；主动光源；智能手机；RGB图像；色差校正

0 引 言

叶绿素是绿色植物进行光合作用所必需的物质，有效获取作物的叶绿素含量能为植物健康及作物管理提供有价值的信息[1]。目前主流叶绿素含量检测方法有分光光度计法、专用无损速测仪、基于光谱仪或光谱成像仪的检测法以及基于机器视觉的RGB（Red，Green，Blue）图像识别方法。分光光度计法[2]是被认为是测量植物叶片叶绿素含量的标准方法，但需要在实验室环境下通过专用仪器进行测量，且需要对叶片进行破坏性采样，试验过程繁琐。无损式叶绿素速测仪最典型的是SPAD-502[3]，其能够快速检测出植物叶片的叶绿素含量，但传感器实际测量面积小（SPAD-502的测量区域仅2 mm×3 mm），需多次测量取平均，测量结果易受叶片厚度影响，且价格昂贵（约1.5万/台），不利于大规模推广。基于光谱仪或光谱成像仪的叶绿素检测法主要通过获取作物叶片或冠层的近红外光谱[4]、叶绿素荧光光谱[5]或相应的多光谱[6]、高光谱图像[7-8]，并提取特征光谱指数（如NDVI，Normalized Difference Vegetation Index，归一化植被指数）对叶绿素含量进行预测。但常用的光谱仪价格昂贵，多用于研究领域。以上3种方法都需要专用且昂贵的仪器设备，测量成本高，难以大范围普及。

植物叶片叶绿素含量与其颜色特征具有显著的相关性[9]。早在1988年，Spomer等[10]利用绿萝黑白图像提取颜色特征，并分析了其与叶绿素含量的相关性。之后，学术界对使用RGB图像预测植物叶片叶绿素含量的方法进行了广泛的研究[11]。2009年，Pagola等[12]使用主成分分析方法分析了大麦叶片颜色特征与SPAD的相关关系，结果达到了0.9。2010年，Yadav等[13]采用HP Scan Jet 3670扫描仪在恒定光源下获取马铃薯叶片图像并建立叶绿素预测模型，结果显示，基于颜色特征/（为RGB色彩空间下三个颜色通道亮度值、、的代数运算结果，=/(++)，为亮度）建立的模型的2达到了0.77。2015年，Vesali等[14]通过智能手机摄像头紧贴玉米叶片捕捉其透光的RGB图像，并通过逐步回归提取图像颜色特征，建立针对叶片SPAD值的神经网络预测模型，得到2为0.82，但局限于单一手机。2017年，程立真等[15]基于苹果叶片RGB图像的9个敏感颜色特征建立了单变量回归模型和多变量支持向量机回归（Support Vector Regression，SVR）模型，结果表明SVR模型的预测精度更高，2达到0.827 5，但同样也局限于单一图像传感器。类似地，在棉花[16]、微藻[17]、柑橘[18]]等植物上也进行了类似研究。结果表明，基于RGB图像的叶绿素含量预测方法在测量成本及便利性上显著优于基于光谱的预测方法，但在测量精度上面临着巨大的挑战，且大都针对单一图像传感器，通用性不足。首先，不同环境光会对RGB图像产生显著的影响[19-20]；其次，不同拍照设备的硬件参数及内置图像处理算法也各不相同，对成像质量也造成不小的差异；另外，拍照角度、拍照距离等因素对图像的一致性也造成一定的影响。

针对上述问题，本文以智能手机为图像采集设备，对RGB图像检测叶绿素含量的方法做了如下改进：1）设计并开发了一个低成本、便携的主动光源装置（以下简称为“拍照球”）用以降低环境光及拍照角度、距离对手机拍照成像的影响；2）用24色Macbeth标准色卡对不同型号手机对于拍照球环境下的成像环境进行一次性的色差校正，以降低不同手机间的颜色差异，提高模型的普适性。3）以甘蔗作物为例，选择了3款手机采集叶片图像，并进行了建模与验证。分别采用多元线性回归（Multivariate Linear Regression，MLR）、SVR方法对校正前后的图像进行单手机建模及多手机混合建模，通过测试集的均方根误差（Root Mean Square Error，RMSE）、平均绝对百分比误差（Mean Absolute Percentage Error，MAPE）、决定系数（Coefficient of determination，2）这3个指标对模型进行评估。最后开发了1款基于微信小程序的软件系统以实现叶绿素的实时检测。

1 材料与方法

1.1 叶片图像采集辅助装置

为尽可能地消除不可控的环境光对图像产生的影响，设计了一个具有稳定光源、能形成封闭空间的便携式辅助装置作为图像采集的场所，以下简称“拍照球”（如图1所示）。拍照球为半球体形状，最大直径为8.5 cm，底部为一直径6 cm的圆形平面底座；顶端有一边长为2.5 cm的方形拍摄孔，其距离底座的高度为8.5 cm。拍照球的内壁围绕拍摄孔均匀排列有8个贴片式LED白光光源；内壁为白色漫反射涂层，底座为黑色漫反射尼龙材料，其内部放置了可充电锂电池及稳压模块。拍照球可通过底部一侧的铰链进行开合。拍摄时，打开拍照球，将色卡或叶片放置在黑色底座上，合上拍照球，将手机摄像头紧贴顶部的拍摄孔进行拍摄。

1.2 叶片图像采集

试验于2020—2021年在广西亚热带农科新城甘蔗试验田进行，随机选取140株不同生长时期、不同长势的甘蔗植株，各采集1片无明显病虫害、颜色均匀的叶片，共得到140个样本。用于色差校正的色卡为型号X-RITE Colorchecker Classic Nano 的24色Macbeth标准色卡[21]，包含自然色、彩色、原色和灰度色块，尺寸为25 mm× 40 mm× 1 mm。色卡的颜色真值依据国际照明委员会CIE（International Commission on Illumination）的规定在2°标准观察者和标准光源C下进行比色测量，并根据孟塞尔色系进行描述所得。

试验选取了3款不同品牌、不同价位的智能手机作为图像采集设备，分别是iPhone 8P、iQOO Neo 855（下文简称iQOO）、Mi 8（各手机具体参数见表1）。首先采用3款手机分别通过拍照球对色卡进行图像采集，以计算各手机专属的色差校正矩阵，实现后续的色差校正。然后依次将各叶片样本放置在拍照球中，分别通过各手机对叶片进行拍摄。各手机的拍摄角度、拍摄参数保持一致，均采用原相机模式、放大倍数1、自动对焦、关闭闪光灯，图像分辨率4 032×3 024。各手机分别采集得到1幅色卡图像、140幅叶片样本图像。拍摄所得色卡及叶片图像的示例如图2所示，可见结合拍照球采集的图像具有较好的色彩一致性，无明显反光，可以很好地控制拍摄对象的远近、角度等参数一致。

表1 试验所用智能手机的主要参数

1.3 叶绿素含量测定

各叶片的叶绿素含量真值采用分光光度法[22]测定。叶片样本的图像采集完成后，将处于拍摄区域的叶片去除叶脉、剪碎，并称取0.4 g放入25 mL按2:1混合的丙酮乙醇萃取液中萃取24 h；然后采用岛津公司的分光光度计UV-2600对萃取液进行吸光度的测量，最后通过式（1）计算叶绿素含量。

式中663、645分别表示663与645 nm波长下的吸光度，Chl表示单位质量下的叶绿素含量，mg/g。

1.4 色差校正矩阵计算与校正效果评价

本研究选取适用于稳定光源且使用较为广泛的二阶多项式回归矩阵法[23]构建色差校正矩阵，用以降低智能手机差异带来的图像色差。

色差校正矩阵构建方式如下：首先读取24色色卡图像，接着提取各色块主体区域的平均值，构建[1,,,,,,,2,2,2]多项式，并得到10×24的多项式回归矩阵。同时，用24色色块的标准值构建另一个3×24的色卡标准矩阵。根据式（2）即可计算得到3×10的色差校正矩阵。不同手机得到的色差校正矩阵各异，均将作为用户信息被存储到后端服务器中，并用于对各手机拍摄的图像进行色差校正。

式中T表示矩阵的转置。

色差校正的效果通过色彩空间理论中评价RGB空间颜色差异的标准方法Euclidean距离[24]来量化评估，Euclidean距离的计算方法如式（3）所示。

式中1、1、1和2、2、2分别为手机1和手机2对某样本所摄图像的、、均值。

1.5 叶片颜色特征自动提取

本文设计了一种可实现自动色差校正及自动提取叶片颜色特征的图像处理方法，采用Python语言实现。该方法主要包括降低分辨率、自动提取叶片主体区域即感兴趣区域（Region of Interest，ROI）、色差校正、提取颜色特征这4个步骤，如图3所示。

叶片ROI自动提取的流程为：1）计算图像的EGI（Excess Green Index）颜色特征；2）采用Ostu大津算法进行阈值分割，去除背景；3）腐蚀膨胀以消除噪声；4）最大内接矩形提取叶片主体。

为提高计算速度，在提取颜色特征时仅针对ROI中的所有像素点进行遍历及校正，并先计算ROI的、、均值，再通过色彩空间变换及代数运算计算其他颜色特征，共计39种，用于后续分析与建模，具体特征参数如表2所示。

1.6 叶绿素预测模型的构建

首先分析各颜色特征与叶绿素含量的Pearson相关性，然后采用主成分分析对输入变量进行降维，最后采用MLR和SVR方法分别对校正前后的各手机样本集进行了单手机建模及多手机混合建模，并对模型性能进行比较。

表2 选取的颜色特征

注：,,分别表示归一化的,,；,,分别表示HSV色彩空间下的色调、饱和度、明度；,,分别表示YCrCb色彩空间下的亮度信号及两个色度信号；,,分别表示Lab色彩空间下的亮度及两个颜色对立维度；LUV,LUV,LUV分别表示LUV色彩空间下的亮度及两个色度；表示灰度色彩空间下灰度值；DGCI表示深绿颜色指数。

Note:,,represent normalized,,respectively;,,represent the hue, saturation and brightness of HSV color space respectively;,,represent the luma signal and two chroma signals of Lab color space respectively;,,represent brightness and two opposites in Lab color space respectively; LUV, LUV, LUVrepresent brightness and two chroma in LUV color space respectively;represents gray value in Gray color space; DGCI represents the dark green color index.

建模时采用了分层抽样及五折交叉验证[25]，即将数据按叶绿素含量从小到大顺序排列，每5个样本划为1层，每次建模依次从各层中选取4个样本作为训练集，剩下的1个作为测试集，重复5次数据集划分与建模。以5次模型测试集RMSE、MAPE和2的均值Mean及标准差Standard deviation（Std）评估模型精度及稳定性。

2 结果与分析

2.1 色差校正效果评价

图4为3款手机采集的同一叶片的原图及色差校正后的图像。从3张原图可以看出，不同手机采集的图像的色调、饱和度等差异明显，而色差校正后的图像颜色差异明显缩小。

提取各叶片校正前后的、G、均值，并计算任意两手机的RGB空间下的Euclidean距离，结果如表3所示。可以看出，色差校正后各手机所获图像之间的Euclidean距离平均缩小了一半以上。

表3 不同手机所摄叶片的Euclidean距离统计结果

注：P1、P2、P3分别表示iPhone 8P、iQOO、Mi 8；P-P(=1,2;=2,3;≠)表示手机P与P针对同一叶片样本所获图像的RGB空间的Euclidean距离。

Note: P1, P2 and P3 represented iPhone 8P, iQOO and Mi 8 respectively, P-P(=1,2;=2,3;≠) represents the Euclidean distance in RGB space between the images acquired by Pand Pfor same leaf sample.

2.2 颜色特征与叶绿素含量的相关性分析

对各颜色特征与叶绿素含量进行了相关性分析，部分常用颜色特征的相关性如表4所示。单一手机校正前后的大部分颜色特征与叶绿素含量均体现出较强的相关性，相关系数0.8以上，校正后的部分相关系数反而出现略微降低的现象。这说明色差校正对单一手机的积极影响并不明显。主要原因是手机硬件及ISP（Image Signal Processor，图像信号处理器）以及自带相机软件的图像处理算法使得成像具有其稳定性，色差校正会对这一稳定性造成干扰，降低相关性。而混合集（Hybrid）的颜色特征与叶绿素含量相关性较单一手机普遍更低，校正前的相关系数在0.6以下，校正后的相关系数有明显提升，颜色特征(--)/(+)的提升最明显，达到了0.84，比校正前提高89%。表明色差校正能够有效减少不同手机或不同成像传感器间的颜色特征差异。

另外，色差校正前后各手机间的差异也不同，校正前不同手机的部分颜色特征与叶绿素含量的相关系数存在明显的差异，如、-、的相关系数在不同手机之间的差值高于0.3；校正后，绝大多数颜色特征与叶绿素含量的相关系数在不同手机间的差异明显减小，强相关颜色特征如-、-、、(--)/(+)等的相关系数差值基本在0.05以内。

表4 色差校正前后各手机的颜色特征与叶绿素含量的相关系数

2.3 主成分分析

由于选取的39个颜色特征均由、、这3个基本特征经色彩空间变换及代数运算得到，不少特征之间存在较强的相关性，不利于模型的构建，需进行降维。采用主成分分析分别对色差校正前后的Hybrid数据集的颜色特征进行降维，得到各主成分的方差贡献率如表5所示。

表5 主成分分析的方差贡献率

可以看出，针对校正前后的数据，前5个主成分的累积方差贡献度达到了99.9%，前17或前15个主成分的累积方差贡献度达到了100%。故而本研究选取前5个主成分构建MLR模型，选取前15个主成分构建SVR模型。

2.4 叶绿素含量预测模型

2.4.1 MLR预测模型

由表4的相关性分析结果可知，各颜色特征与叶绿素含量具有较强的相关性，故通过颜色特征构建MLR模型预测叶绿素含量是可行的。为有效利用各颜色特征信息，同时避免过多输入变量导致的模型复杂度高、鲁棒性低等问题，依据表5的主成分分析结果，选取前5个主成分作为模型的输入变量，建立了MLR模型，其五折交叉验证结果见表6中MLR模型部分。

结果表明，单手机图像校正前后的2均值及标准差变化不大（<0.01），说明色差校正对单手机预测模型没有意义。Hybrid数据集经色差校正后的精度及稳定性都明显提升，2均值提高了15.5%，标准差降低了38.6%。

单手机预测模型中，不同型号的手机表现出较大的精度差异，色差校正前后精度均表现为iPhone 8P >iQOO >Mi 8，iPhone 8P的2均值比iQOO高0.07以上，说明单手机模型的精度受手机型号的影响。

校正后的多手机混合预测模型的2均值为0.707 6、标准差为0.034 4， RMSE的均值为0.336 3 mg/g，标准差为0.020 4 mg/g。将校正前后的Hybrid数据集按2∶1分为训练集与测试集，建立了一个基于主成分的MLR模型如式（4）所示，测试集的预测结果散点图见图5。

式中p（= 1, 2, …, 17）表示第个主成分。

2.4.2 SVR预测模型

进一步采用SVR方法针对前15个主成分建立预测模型。基于数据本身展现出的良好线性关系，SVR模型核函数选择linear，惩罚因子取1。其五折交叉验证结果见表6中SVR模型部分。

表6 色差校正前后MLR与SVR模型建模结果

对比表6中的MLR模型，SVR模型在整体精度上有了一定的提升。单手机校正前后的2均值均提升了0.02以上，最高的iPhone 8P校正前后的精度均提高了约0.04，达到了0.79；而Hybrid数据集校正前后的精度也分别提高了约0.02。SVR模型在稳定性上也体现了明显的优势，其多次建模的2标准差在0.004～0.028之间，明显低于多元线性模型的2标准差（0.034 4～0.060 4），校正后的Hybrid模型的标准差最低，为0.004 2，稳定性最高。

与MLR模型相似，各手机校正前后2均值及标准差变化不大，变化幅值均在0.02以内，而Hybrid数据集经色差校正后精度明显提升，2均值从0.629 6提高到0.721 4，提高了14.6%，2标准差降低了34.4%，RMSE均值为0.328 8 mg/g，降低了13.3%。进一步反映了色差校正对提高多手机混合模型精度的重要性。

同样，将校正前后的Hybrid数据集按2:1分为训练集与预测集，建立了基于主成分的SVR叶绿素含量预测模型，其预测结果散点图见图5。

2.5 智能手机微信小程序的开发

为进一步提高检测系统的便利性，本研究开发了1套在线检测系统，包括手机端的微信小程序和后台的图像分析软件，可在现场对作物叶片叶绿素含量进行实时检测。后台分析软件包括通信、图像处理、色差校正、叶绿素预测等主要功能，微信小程序可免去用户安装专用app的繁琐与不便，方便用户使用。用户可携带辅助拍照球与智能手机在田间针对作物叶片进行实地拍摄，并通过微信小程序与远程服务器进行交互，即时获取预测结果，实现作物叶绿素含量的原地、实时及无损的测量。微信小程序的用户界面如图6所示。

3 结 论

该研究立足于绿色植物叶片的叶绿素含量与其部分颜色特征之间具有高相关性的特性，尝试建立1种以不同手机为测量工具的叶绿素含量低成本检测方法。为克服环境光及手机成像传感器之间的差异，设计出一可封闭的拍照球用以确保光源、拍照距离与拍照角度的一致性，同时引入标准色卡对不同成像传感器进行一次性色差校正以降低色差。

1）通过对色差校正前后的各颜色特征与叶绿素含量的Pearson相关性分析反映出，本方法可明显提升不同手机所得的颜色特征与叶绿素含量的相关系数，其中(--)/(+)的提升最明显，达到了0.84，比校正前的相关性提高了89%。

2）针对自动提取的39种颜色特征进行了主成分分析，并分别采用了MLR及SVR方法构建了叶绿素含量的预测模型，采用了分层抽样和五折交叉验证所得的统计结果进行评价。两种建模方法下，色差校正后的多手机混合建模2均值相比色差校正前都提高了约15%，精度上SVR的结果更高，五折交叉建模2均值达到了0.721 4，RMSE均值为0.328 8 mg/g，且稳定性更高。

该方法可进一步针对其他绿色植物进行建模及应用。但是该研究仅选择了3款不同的手机作为采集工具，针对其他手机的通用性有待进一步验证。下一步可选取更多手机、更多叶片样本进行更广泛的验证，还可以尝试引入深度学习等前沿方法构建预测模型；另外，寻找更适合植物叶片特性的色差校正算法也是下一步值得考虑的研究内容。

[1] Yadav S P, Ibaraki Y, Gupta S D, et al. Estimation of the chlorophyll content of micropropagated potato plants using RGB based image analysis[J]. Plant Cell Tissue & Organ Culture, 2010, 100(2): 183-88.

[2] Arnon D I. Copper enzymes in isolated chloroplasts. polyphenol oxidase in beta vulgaris[J]. Plant Physiol, 1949, 24(1): 1-15.

[3] Ling Q, Huang W, Jarvis P, et al. Use of a SPAD-502 meter to measure leaf chlorophyll concentration in Arabidopsis thaliana[J]. Photosynthesis Research, 2011, 107(2): 209-214.

[4] 王璐，李伟凯，关海鸥，等. 基于多维度光谱特征波长提取大豆冠层SPAD值估算模型[J]. 江苏大学学报：自然科学版，2020，41(3)：334-338，372.

Wang Lu, Li Weikai, Guan Hai’ou, et al. Estimation model of Soybean canopy SPAD based on multi-dimensional spectral characteristic wavelength extraction[J]. Journal of Jiangsu University: Natural Science edition, 2020, 41(3): 334-338, 372. (in Chinese with English abstract)

[5] Wang H, Zhu R, Zhang J, et al. A novel and convenient method for early warning of algal cell density by chlorophyll fluorescence parameters and its application in a highland lake[J]. Frontiers in Plant Science, 2018, 9: 869-881.

[6] Chen P, Haboudane D, Tremblay N, et al. New spectral indicator assessing the efficiency of crop nitrogen treatment in corn and wheat[J]. Remote Sensing of Environment, 2010, 114(9): 1987-1997.

[7] Li F, Mistele B, Hu Y, et al. Reflectance estimation of canopy nitrogen content in winter wheat using optimized hyperspectral spectral indices and partial least squares regression[J]. European Journal of Agronomy, 2014, 52: 198-209.

[8] Reyniers M, Walvoort D, Baardemaaker J D, et al. A linear model to predict with a multi-spectral radiometer the amount of nitrogen in winter wheat[J]. International Journal of Remote Sensing, 2006, 27(19): 4159-4179.

[9] Gupta S D, Ibaraki Y, Pattanayak A K, et al. Development of a digital image analysis method for real-time estimation of chlorophyll content in micropropagated potato plants[J], Plant Biotechnol, 2013, 7(1): 91–97.

[10] Spomer L A, Smith M, Sawwan J S, et al. nondestructive measurement of chlorophyll content in leaves with nonuniform chlorophyll distribution[J]. Photosynthesis Research, 1988, 16(3): 277-284.

[11] Rorie R L, Purcell L C, Mozaffari M, et al. Association of “greenness” in corn with yield and leaf nitrogen concentration[J]. Agronomy Journal, 2011, 103(2): 529-535.

[12] Pagola M, Ortiz R, Irigoyen I, et al. New method to assess barley nitrogen nutrition status based on image colour analysis comparison with SPAD-502[J]. Computers and Electronics in Agriculture, 2009, 65(2): 213-218.

[13] Yadav S P, Ibaraki Y, Gupta S D, et al. Estimation of the chlorophyll content of micropropagated potato plants using RGB based image analysis[J]. Plant Cell, Tissue and Organ Culture (PCTOC), 2010, 100(2): 183-188.

[14] Vesali F, Omid M, Kaleita A, et al. Development of an android app to estimate chlorophyll content of corn leaves based on contact imaging[J]. Computers and Electronics in Agriculture, 2015, 116(3): 211-220.

[15] 程立真，朱西存，高璐璐，等. 基于RGB模型的苹果叶片叶绿素含量估测[J]. 园艺学报，2017，44(2)：381-390.

Cheng Lizhen, Zhu Xicun, Gao Lulu, et al. Estimation of chlorophyll content in apple leaves based on RGB model[J]. Acta Horticulturae Sinica, 2017, 44(2): 381-390. (in Chinese with English abstract)

[16] Suo X, Jiang Y, Yang M. Artificial neural network to predict leaf population chlorophyll content from cotton plant images[J]. Agricultural Sciences in China, 2010, 9(1): 38-45.

[17] Su C H, Fu C C, Chang Y C, et al. Simultaneous estimation of chlorophyll a and lipid contents in microalgae by three-color analysis[J]. Biotechnology and Bioengineering, 2010, 99(4): 1034-1039.

[18] Gong A, Yu J, He Y, et al. Citrus yield estimation based on images processed by an Android mobile phone[J]. Biosystems Engineering, 2013, 115(2): 162-170.

[19] You M, Liu J, Zhang J. et al. A novel chicken meat quality evaluation method based on color card localization and color correction[J]. IEEE Access, 2020, 8: 170093-170100.

[20] Özreçberoğlu, Nurdan İ, Kahramanoğlu, et al. Mathematical models for the estimation of leaf chlorophyll content based on RGB colors of contact imaging with smartphones: A pomegranate example[J]. Folia Horticulturae, 2020, 32: 57-67.

[21] Pascale D. RGB coordinates of the Macbeth ColorChecker[DB/ OL]. [2021-08-20] https://www.babelcolor.com/tutorials. htm, 2006

[22] Sudhakar P, Latha P, Reddy P V. Phenotyping Crop Plants for Physiological and Biochemical Traits[M]. London: Academic Press, 2016, 121-122

[23] Finlayson G D, Mackiewicz M, Hurlbert A, et al. Color correction using root-polynomial regression[J]. IEEE Trans Image Process, 2015, 24(5): 1460-1470.

[24] Per-Erik D, Euclidean distance mapping[J], Computer Graphics and Image Processing, 1980, 12(3): 227-248.

[25] Prabir B, A comparative study of ordinary cross-validation, v-fold cross-validation and the repeated learning-testing method[J]. Biometrika, 1989, 73: 503-514.

Univeisal method to detect the chlorophyll content in plant leaves with RGB images captured by smart phones

Li Xiuhua1,2, Lu Xianjie1, Xi Jinyang1, Zhang Yunhao1, Zhang Muqing2

(1.,,530004,; 2.,,530004,)

This study aims to propose a universal method to detect the chlorophyll content of green plant leaves using different smart phones, thereby improving the prediction accuracy and practicability of RGB（Red, Green, Blue） images. A low-cost and portable auxiliary shoot device was also designed with a built-in active light source to reduce the influence of environment light and camera angle on the imaging quality. A color correction was used to reduce the color difference of the collected images. Three smart phones with different brands and prices were selected to carry out the experiments on sugarcane leaves. After that, some prediction models were established for the leaf chlorophyll content. A remote diagnose system under the WeChat applet was then developed to realize in situ, real-time and nondestructive detection of chlorophyll content in plant leaves. An auxiliary shoot device was designed in a shape of semi-sphere, with an inside coating of white diffuse reflective material, particularly for the even white light during image acquisition. A small shooting window was opened on the top, where eight white LEDs were distributed inside. The plant leaf was placed flat at the bottom base to capture a well-controlled leaf image in the enclosed chamber. A color checker with the 24 standard colors (X-Rite Colorchecker Classic Nano) was needed in the chamber in advance to calculate the color correction matrix using polynomial regression for each smart phone. An automatic image processing procedure was conducted to extract the RGB values of the color blocks and the leaves. Subsequently, a total of 39 color features were extracted from the leaves. A Pearson correlation analysis was implemented between the leaf color features and chlorophyll content. The results showed that most of the color features presented a strong correlation greater than 0.8 for the individual smart phone in the original and color-corrected images, indicating a relatively fewer improvement. But, the color correction of hybrid images with the chlorophyll content better improved than that of the original. The color feature (--)/(+) was a correlation of 0.84, indicating the highest improvement of 89% before correction. A Principal Component Analysis (PCA) was then adopted to reduce the dimension of the color features. The first five and fifteen principal components were used to build the Multivariate Linear Regression (MLR) and the Support Vector Regression (SVR) models for the individual and all smart phones. The color correction showed that there were only a few contributions to predict the chlorophyll content with the individual smart phone. More importantly, no color correction was needed if only one sensor was used to capture the RGB images. The iPhone 8P behaved the highest of2to reach about 0.76 and 0.79 for MLR and SVR models, respectively. But, an outstanding improvement was made for the hybrid image set with all smart phones. The SVR model performed better prediction accuracy and stability. The SVR model reached a mean2of 0.721 4 under the five-fold cross-validation, with an increase of 14.6%, while the mean RMSE was 0.328 8 mg/g, with a decrease of 13.3% before the color correction. Meanwhile, the lowest standard deviation of2was only 0.0042 in the general SVR model, compared with the rest, indicating the highest stability. The prediction was integrated with a remote server, where a WeChat applet was developed to provide a convenient way of leaf chlorophyll content prediction for the users with their own smart phones. This model can be further extended to various green plants.

image recognition; chlorophyll; active light source; smart phones; RGB image; color correction

李修华，卢显杰，奚金阳，等. 智能手机RGB图像检测植物叶片叶绿素含量的通用方法[J]. 农业工程学报，2021，37(22)：145-151.doi：10.11975/j.issn.1002-6819.2021.22.016 http://www.tcsae.org

Li Xiuhua, Lu Xianjie, Xi Jinyang, et al.Univeisal method to detect the chlorophyll content in plant leaves with RGB images captured by smart phones[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(22): 145-151. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.22.016 http://www.tcsae.org

2021-08-20

修订时间：2021-11-10

国家自然科学基金项目（31760342）；广西科技重大专项（桂科2018-266-Z01、桂科AA18118037）

李修华，博士，副教授，研究方向为作物长势及检测。Email：lixh@gxu.edu.cn

10.11975/j.issn.1002-6819.2021.22.016

S566.1；TP391.4

A

1002-6819(2021)-22-0145-07