基于颜色指数与阈值法的稻田图像分割

孙滨峰 叶 春,2 李艳大* 舒时富 曹中盛 吴罗发 朱 艳 何 勇

(1.江西省农业科学院 农业工程研究所，南昌 330200； 2.南昌大学 机电工程学院，南昌 330031； 3.南京农业大学 国家信息农业工程技术中心，南京 210095； 4.浙江大学 生物系统工程与食品科学学院，杭州 310029)

图像分割是指将图像中具有特殊意义的不同区域分开来，并使这些区域相互不相交，且每个区域应满足特定区域的一致性条件。图像分割是图像分析和模式识别的基础，决定了图像分析的质量，是开展基于图像的作物或杂草识别、生理状态估计、水果分级和采摘、作物病害检测和作物生长监测研究的前提。稻田图像分割是指图像的像素分为水稻和背景(土壤、水体和杂草等)两类的过程。稻田图像分割质量受到水稻品种、长势特征、光照的角度、成像设备、作物颜色随光照条件的变化以及水稻生长发育阶段等因素影响，稻田图像分割是农业图像分析的热点与难点。

作物冠层图像分割的常用方法包括基于阈值的方法、基于颜色指数的方法和基于机器学习的方法。基于阈值的方法简单，包括动态策略、Otsu阈值、固定阈值和直方图熵等；颜色指数也称色彩指数、颜色因子或颜色特征，可分为相对单色指数、多色对比指数和组合指数；基于机器学习的方法采用监督、非监督方法分割图像前景和背景。结合颜色指数和阈值的方法具有操作性强、易推广性、结果准确等优点。已有对基于颜色指数和阈值的大田图像分割的广泛的研究：Guijarro等采用5种颜色指数对在不同光照条件下的大麦和玉米大田图像开展了分割研究，结果表明组合指数COM1具有最佳分割精度；王远等利用绿色植被在可见光波段的光谱特性，通过设定数字图像绿色通道和红色通道差值的阈值实现对稻田图像的分割；Castillo-Martínez等提出了2种改进的颜色指数，并根据环境条件，分别采用固定阈值和动态阈值法实现作物图像的分割；Suh等评估了8种颜色指数和5种阈值技术的40种组合针对不同光照强度、阴影和植物的图像分割效果。然而，受大田环境和背景元素的影响与制约，颜色指数在不同环境下的分割精度不同。目前，系统、全面的分析不同颜色指数对大田图像研究尚少，特别是南方稻田图像分割的适应性缺乏研究，往往导致研究结果存在争议。

分蘖期和拔节期是水稻生育过程中的需水临界期和营养临界期，是监测水稻长势，明确穗肥追氮量的重要阶段。因此，本研究拟通过开展田间试验，选取36种常用颜色指数，针对分蘖期、拔节期稻田数字图像开展基于颜色指数和阈值的分割研究，通过分析不同颜色指数的分割结果及其对图像分割干扰因素的解释能力，筛选出最适宜稻田图像分割的颜色指数，以期为促进数字图像技术在稻田精确管理应用提供技术支持。

1 材料与方法

1.1 试验设计

于2020年3—7月在江西省高安市江西省农业科学院高安基地(28°25′27″ N，115°12′15″ E)开展不同品种和施氮水平组合的小区试验。共计2个供试品种和4个施氮水平，株行距14 cm×24 cm。供试早稻品种为‘中嘉早17’和‘长两优173’，4个施氮水平分别为纯氮0、75、150和225 kg/hm。各小区的钾肥和磷肥施用量一致，分别采用氯化钾和钙镁磷肥，分别用量150 kg/hm(KO)和75 kg/hm(PO)；氮肥采用尿素。氮肥和钾肥均按基肥50%、分蘖肥30%和穗肥20%施用，磷肥作基肥一次施用。

1.2 图像采集

选取晴朗无云的天气，分别于水稻分蘖期和拔节期，太阳高度角相对稳定的12:00—13:00时，利用数码相机(CanonEOS100D，分辨率18 megapixel)获取水稻冠层图像。拍摄时，固定相机镜头距离水稻冠层约1.0 m，并与冠层呈60°夹角，同时将相机调至Auto模式下，以自动曝光控制色彩平衡，图片以JPEG格式存储，分辨率5 184×3 456。

1.3 颜色指数选择

根据已有的研究成果，选择36种颜色指数开展大田水稻图像的分割研究。所采用颜色指数的计算方法和来源见表1。采用IDLE(Python3.7)处理图像噪声和计算颜色指数。

1.4 分割方法

选取阈值分割法进行图像分割。其中，ExGR采用固定阈值0分割，其他颜色指数采用多重Otsu方法自动提取阈值。

表1 颜色指数及其代数式
Table 1 Color indices and mathematical expressions

颜色指数Color index代数式Formula文献Reference颜色指数Color index代数式Formula文献ReferenceR—[16]COM1ExG+CIVE+ExGR+VEG[12]G—[16]COM20.36ExG+0.47CIVE+0.17VEG[26]B—[16]RGBVIG2-R×BG2+R×B[27]GMRG-R[14]MGRVIG2-R2G2+R2[27]NRIRR+G+B[17]MExG1.262G-0.884R-0.311B[28]NGIGR+G+B[17]NGBDIg-bg+b[24]INTR+G+B3[17]GLI2g-r-b2g+r+b[29]NBIBR+G+B[17]VARIg-rg+r-b[30]H—[18]L*—[31]NDI128G-RG+R [19]a*—[31]MHcos-12R-G-B2R2+G2+G2-RG-GB-RB[20]b*—[31]ExG2g-b-r[20]LIL*-b*[31]WoebbeckIndex (WI)g-b|r-g|[20]AIb*-a*[31]ExR1.4R-G[21]ALa*/L*[31]ExGRExG-ExR[22]ABa*/b*[31]CIVE0.441R-0.811G+0.385B+18.787 45[23]NDLBI(L*-b*)/(L*+b*)[31]NGRDIG-RG+R[24]NDALI(a*-L*)/(a*+L*)[31]VEGGRaB(1-a)[25]NDABI(a*-b*)/(a*+b*)[31]

将颜色指数图像拉伸至0～255，灰度值为

i

的像素数设为

n

，图像总像素为像素灰度值

i

出现的概率为设存在阈值

k

，将图像划分为C:{0，1，2，…，

k

}和C:{

k

+1，

k

+2，…，255}两类，使得类间方差

σ

(

k

)达到最大。

p

(

k

)、

p

(

k

)分别为C和C出现的概率，

u

(

k

)、

u

(

k

)分别为C和C的均值，则有：

(1)

(2)

(3)

(4)

类间方差

σ

(

k

)计算公式如下：

(5)

当类间方差达到最大时，

k

为最优阈值，即Otsu阈值：

(6)

1.5 分割精度评价

选取大田环境的稻田图片开展分割研究。采用AdobePhotoshop 7.0对稻田图片进行手工分割，得到稻田图像的标准分割作为对照(图1)。为了能够更加合理评价分类的优劣，本研究借鉴参考文献[33]，定义以下3个分类指标：

1)正确分类率。

正确分类率(CCR)是指所有分类正确的样点与总样点个数的比值，其计算公式如下：

(7)

式中：GT为第

j

类的标准分割；Seg为第

j

类的实际分割结果；CCR表示的是实际分割结果与标准分割的接近程度，CCR越高表示分割结果越接近标准分割。

2)水稻漏分率。

水稻漏分率是指实际为水稻像素被错误地分到背景的概率，计算公式如下：

水稻漏分率

(8)

3)背景错分率。

背景错分率是指分类后被划为水稻实际上为背景像素的概率，计算公式如下：

背景错分率

(9)

图1 数码相机拍摄的水稻冠层图像和对应的标准分割图示例Fig.1 Digital camera images of rice canopy and corresponding manually segmented images by Photoshop

2 结果与分析

2.1 分蘖期稻田图像分割结果

图2为分蘖期水稻和背景颜色指数的箱型图。箱型图中，深绿色和深蓝色的箱体分别标记的是36个颜色指数在水稻和背景上的分布特征。箱型图中，盒子的上下两条线分别表示样本的上下四分位数，盒子中间的水平线为样本的中位数。可以看出，水稻和背景在

L

、

G

、

B

等单色指数上重叠度高、变化幅度大，导致区分度低，在NGI、ExG等多色对比指数上的重叠度次之，而在复合指数COM2、AB、CIVE等颜色指数上重叠度最低。

图2 分蘖期水稻和背景颜色指数箱型图Fig.2 Boxplot of color indices of rice and background from image at tillering stage

为了衡量36种颜色指数在稻田图像分割中的应用效果，采用基于多重Otsu方法的阈值法，计算分割结果的正确分类率、水稻漏分率和背景错分率，分蘖期稻田图像分割结果见图3。

水平、垂直的虚线构成了4个象限，分别由1、2、3、4表示。虚线环为等值环，其上数值为其代表的精度值。 The horizontal and vertical dashed lines split rose map into 4 quadrants represented by 1, 2, 3 and 4. The dotted ring is the equivalent ring, and the value above it is the value it represents.图3 分蘖期水稻和背景分割结果Fig.3 Segmentation results of rice and background at tillering stage

由图3可见：分割精度最低的是基于

L

、LI、NDLBI、

B

、

G

等色彩指数的分割结果，其分割正确分类率低于80%，基于AB、COM2、CIVE、MExG和GMR等5种色彩指数分割的正确分类率最高，约95%～97%；位于象限1中的色彩指数具有较高的水稻漏分率和背景错分率，象限2、3中的色彩指数具有较高的水稻漏分率和较低的背景错分率，象限4中的色彩指数具有较低的水稻漏分率和背景错分率。

通过比较基于色彩指数的分割结果和标准分割结果，背景中水稻倒影和浮萍增加了图像中水稻和背景的类内方差(图4)，导致水稻漏分与背景错分。由图4可知，AB、COM2、MxEG、CIVE和GMR等颜色指数对背景要素敏感，能较好的区分水稻与背景元素。

图4 分蘖期图像中水稻与背景要素的颜色指数关系Fig.4 Relationship between the color indices of rice and background elements in the image of tillering stage

2.2 拔节期稻田图像分割结果

图5为拔节期水稻和背景颜色指数的箱型图。可知:与分蘖期图像相似，拔节期稻田图像中，水稻和背景在

R

、

B

、

L

等单色指数上重叠度较高，在NRI、NDI等多色对比指数上的重叠度次之，而在复合指数COM2、MExG等颜色指数上的重叠度最低。拔节期图像中，水稻和背景在各个颜色指数上变化较之分蘖期更大。

图5 拔节期水稻和背景颜色指数箱型图Fig.5 Boxplot of color indices of rice and background from image at jointing stage

图6为拔节期水稻和背景分割结果。分蘖期分割精度最低的是NDLBI、

R

、

B

等20种色彩指数，分割精度低于80%，基于COM2、MxEG、CIVE、GMR和VARI等5种色彩指数的分割精度较高，约88%～90%。位于象限1中的色彩指数具有较高的水稻漏分率和背景错分率，象限4中的颜色指数具有较低的水稻漏分率和背景错分率。通过比较基于颜色指数的分割结果和标准分割结果，拔节期稻田图像分割的误差主要来自稻叶镜面反射形成的亮绿色区域、浮萍和土壤阴影间的错分。亮绿色区域在

G

颜色指数上主要分布在高值区域，与背景具有明显重叠，特别是与背景中的浮萍完全重叠。亮绿色区域分布在

L

颜色指数上具有较低亮度值的区域，这些区域与背景区域具有明显的重叠(图7)。叶片镜面反射、土壤阴影和浮萍增加了图像中水稻和背景的内类方差，导致水稻漏分与背景错分；COM2、MxEG、CIVE、GMR和VARI等颜色指数能较好的区分水稻与背景元素。

图6 拔节期水稻和背景分割结果Fig.6 Segmentation results of rice and background at jointing stage

图7 拔节期图像中水稻与背景要素的颜色指数关系Fig.7 Relationship between the color indices of rice and background elements in the image of jointing stage

3 讨 论

分蘖期和拔节期是水稻长势监测的重要阶段。水稻分蘖期往往采用浅水灌溉，获取的图像存在水、水稻植株倒影和浮萍等背景元素的影响。分蘖期的水稻植株较小，占图像的36.20%，图像中背景信息相对凸出。由于水稻分蘖末期和拔节期晒田管理，拔节期图像不存在水的影响。拔节期水稻已封行，水稻占图像的比例接近70%，稻田冠层结构较之分蘖期复杂，存在明显的阴影和叶片镜面反射。叶片镜面反射、阴影和浮萍是水稻漏分和背景错分的关键因素。本研究表明，组合指数COM2、MxEG、CIVE和GMR 4种颜色指数在分蘖期图像和拔节期图像均具有较好的分割精度，较其他32种颜色指数具有较低的水稻漏分率和背景错分率，这与已有研究一致。说明这4种颜色指数对水稻和背景干扰因素具有较强的区分能力。因此，颜色指数COM2、MxEG、CIVE和GMR更适宜于稻田RGB图像的分割应用。

自然光照对图像分割精度具有决定性作用。因此，研究者常选择晴天、多云和阴天条件下分别获取图像并开展图像分割研究。在晴天强光折射下，密集的阳光会在叶片或土壤中产生镜面反射和阴影，导致晴天条件下图像分割精度低于阴天和多云条件下图像分割精度。已有的颜色指数在多云和阴天条件下具有更好的分割性能，且农作物长势监测往往选取晴天条件下采集作物长势信息。因此，为了检验颜色指数的稻田图像分割效果，本研究选取晴朗无云的天气，获取水稻冠层图像。

阈值法是获得图像精确细节的简单有效的方法。常用的阈值化技术包括Otsu、Kapur和最小误差法等。部分研究认为多重Otsu具有较好的图像分割结果，也有研究表明Kapur的表现优于 Otsu和最小交叉熵等阈值方法。Otsu目标函数通过最大化类别方差来估计最佳阈值，该方法具有计算量小，易于实现等优点，是一种常用的最佳阈值算法。Otsu对类间方差为单峰的图像有较好的分割效果，因此本研究采用多重Otsu方法提取阈值。

由于颜色指数和阈值技术的组合对植物类型和光照强度是敏感的，本研究仅以晴朗天气条件下的稻田图像计算颜色指数，并采用Otsu算法提取阈值，可能会对结果准确性造成一定影响。由图7可知，设置单一的阈值易造成植物像素与背景像素合并，导致稻田图像的欠分割或过分割。因此，在今后的研究中拟采用动态阈值法进一步探索稻田图像的分割应用。

4 结 论

本研究选择36种常的颜色指数，以分蘖期和拔节期稻田图像为研究对象，开展基于颜色指数和阈值的分割研究，主要结论有：水稻倒影和浮萍是分蘖期稻田图像分割的主要干扰因素，叶片镜面反射、浮萍和土壤阴影是拔节期稻田图像分割的主要干扰因素；组合指数COM2、MxEG、CIVE和GMR在分蘖期图像和拔节期图像均具有较好的分割精度。因此，基于COM2、MxEG、CIVE和GMR颜色指数和Otsu阈值的稻田图像分割方法对稻田图像分割的干扰要素具有较强的区分能力，分割精度高，更适宜于南方稻田图像处理应用。