玉米籽粒内部组分低对比度透射图像精确分割研究

王金星 李玉风 江 浩 张宏建 张春庆 刘双喜,4

(1.山东农业大学机械与电子工程学院， 泰安 271018； 2.山东省农业装备智能化工程实验室， 泰安 271018；3.山东农业大学农学院， 泰安 271018； 4.山东省园艺机械与装备重点实验室， 泰安 271018)

0 引言

玉米是世界上种植范围最广、总产量最高的经济作物，在我国农业生产和国民经济中占有重要地位[1]。玉米籽粒由种皮、胚部和胚乳组成，胚乳部分又分为角质胚乳和粉质胚乳[2-3]。玉米籽粒各组分的成分不同，导致籽粒内部密度差异以及受热表现不同，从而影响玉米干燥裂纹的形成[4-5]。玉米籽粒图像分割可以获得角质胚乳、粉质胚乳及胚部的分布，为玉米籽粒内部组分立体结构分布和干燥裂纹形成机理的研究提供理论基础，对干燥玉米品质控制及干燥参数选择具有指导意义。

玉米图像的分割主要集中于植株、粘连籽粒和病害等方面[6-8]，对单粒玉米籽粒图像内部组分的分割方法研究较少。胚乳的粉质部分与胚部色彩相近，对比度低，难以精确地进行分割提取。程洪等[9]采用自动屏蔽0值像素的大津法和形态学运算对玉米籽粒图像进行分割，得到胚部区域。张俊雄等[10]基于BP神经网络对遗传标记后的玉米单倍体种子图像进行分割。刘双喜等[11]利用多段阈值分割方法对纵剖染色的玉米籽粒分割，得到玉米角质区和粉质区图像。国内外专家对于边缘模糊和低对比度图像的分割方法也进行了诸多研究[12-14]，SARABPREET等[15]通过多尺度顶帽滤波器和h-最大值组合改善图像对比度，提出了一种曲线初始化水平集方法，提取接触细胞的细胞核和细胞边界。MOHAMMAD等[16]改进了直方图分割技术，对图像进行归一化处理，避免图像增强过程中熵的损失。张铭钧等[17]提出一种基于灰度化权值调整的水下彩色图像分割方法，通过改变各通道比例，增强灰度化后图像中目标与背景的对比度。陈本智等[18]提出了一种新的无监督学习的焊缝区域检测算法，完成了焊缝区域的准确分割。

综合国内外研究发现，现有分割方法大多为单颜色空间下基于灰度变换和机器学习的改进算法，存在分割精度不高、需要大量训练等问题。为解决上述问题，本文提出一种基于色彩通道非线性变换的多通道重叠区域图像分割法，分割单粒玉米籽粒低对比度透射图像，以精确提取不同玉米品种籽粒各组分。

1 材料选择与图像采集

1.1 材料选择

选择山东农业大学黄淮海区域玉米技术创新中心提供的2018年黄淮海地区广泛种植的夏玉米——先玉335、郑单958、登海605、联创808、秋乐368和万盛68[19-21]作为试验材料，从每个玉米品种中选取200粒(共计1 200粒)玉米籽粒作为研究样本。为获取玉米籽粒各组分，采集其透射图像进行研究。

1.2 图像采集装置

玉米籽粒透射图像采集装置主要由LED面光源、MV-DC-500型工业CCD相机、M3Z1228C-MP型成像镜头、相机支架以及装有图像采集软件的计算机构成，如图1所示。LED面光源的色温为6 500 K，使用时放置于玉米籽粒下方作为背景光源，以穿透籽粒观察其内部组分。工业CCD相机搭配成像镜头，技术参数如表1所示，通过计算机的图像采集软件实现对不同品种玉米籽粒透射图像的采集，透射图像如图2所示。

图1 玉米籽粒透射图像采集装置Fig.1 Maize grain transmission image acquisition device1.工业CCD相机 2.成像镜头 3.相机支架 4.LED面光源 5.图像采集软件 6.计算机

表1 技术参数Tab.1 Technical parameters

图2 玉米籽粒透射图像Fig.2 Maize grain transmission image

1.3 玉米籽粒单粒提取

试验中一次性采集多粒玉米籽粒，为便于统计运算，分析玉米籽粒的分割效果，需要对每个品种的玉米籽粒透射图像进行单粒提取。首先，对玉米籽粒透射图像进行灰度化处理，并通过单阈值(T0=245)分割的方式将单粒玉米籽粒与背景精确分开，得到二值图像。其次，使用目标轮廓查找函数，设定轮廓的面积范围，得到彼此独立的所有籽粒轮廓，并对其编号。最后，根据籽粒轮廓的最小外接矩形进行感兴趣区域提取，得到对应编号的单粒玉米籽粒透射图像，提取过程如图3所示。

图3 单粒玉米籽粒图像提取过程Fig.3 Extraction process of single maize grain image

2 单粒玉米籽粒图像分割

阈值分割法作为一种基于区域的传统图像分割技术，是按照灰度级把像素点划分成不同区域[22]。但从图3可以看出，单粒玉米籽粒透射图像对比度较低，在一些像素变化不明显的区域，仅靠改变阈值不能精确完成分割。因此，提出一种基于色彩通道非线性变换的多通道重叠区域法，以精确分割玉米籽粒透射图像。

2.1 多通道重叠区域法

多通道重叠区域法是将求解两图像重叠区域的问题等效为求解两个图像集合的交集。图4中图像A、B为像素值仅含0和255的二值图像，A和B所有具有相同信息的像素点(坐标(x，y)及像素值都相同)构成的集合即为两个图像集合的交集，即上述提及的重叠区域。图中×表示两图像像素信息不同的像素点，构成的图像集合为非重叠区域。多通道重叠区域法要求两图像满足：两图像为尺寸相等的二值图像；两图像包含重叠区域；两图像的重叠区域或非重叠区域至少一个为目标图像。

图4 重叠区域法原理图Fig.4 Principle diagrams of overlapping region method

通过对低对比度彩色图像进行多通道的阈值分割，可以获得包含重叠区域的二值图像A、B，同时逐行扫描二值图像A、B，比较两图像对应像素点的信息。若二者相应坐标(x，y)上的像素值相等，则提取重叠区域的信息(包括坐标及像素值)，存入存储目标区域Ⅰ；若二者相应坐标点(x，y)上的像素值不相等，则提取非重叠区域的信息，存入存储目标区域Ⅱ；以此类推，直至图像扫描完毕，所有像素点构成的重叠区域、非重叠区域即目标区域Ⅰ、Ⅱ被完全找到并成功提取，流程图如图5所示。

图5 多通道重叠区域法流程图Fig.5 Flow chart of multi-channel overlapping region method

2.2 角质胚乳分割

角质胚乳部分为黄色半透明状，在背景面光源的照射下呈现亮度较高的黄色，与粉质胚乳和胚部的颜色差别较为明显。根据上述多通道重叠区域法，提取玉米籽粒角质胚乳部分的图像。首先，对单粒玉米籽粒图像进行灰度化、二值化处理，获得图6a所示的籽粒整体二值图像；然后，将RGB图像进行通道分离，选择图6b角质胚乳亮度远高于粉质胚乳和胚部的R通道图像，根据双峰法[23]进行单阈值分割获得图6c所示的粉质胚乳+胚部二值图像；最后，同时逐行扫描两二值图像，比较整体和粉质胚乳+胚部的二值图像像素信息，提取两者像素信息不同的非重叠区域存储为图6d所示的角质胚乳二值图像。根据图6c、6d二值图像中黑色区域的像素点坐标，提取单粒玉米籽粒彩色图像对应的像素点信息，得到图6e所示粉质胚乳+胚部、图6f所示角质胚乳的彩色图像。

2.3 粉质胚乳和胚部分割

从图6e可以看出，粉质胚乳+胚部图像的粉质胚乳与胚部颜色接近，灰度化得到图7所示的玉米籽粒粉质胚乳+胚部灰度图像，并提取其灰度分布直方图。

图7 粉质胚乳+胚部灰度图像及其灰度分布Fig.7 Gray image of farinaceous endosperm+embryo and its gray-scale distribution

由图7可见，粉质胚乳+胚部灰度图像的各灰度对应像素数无明显差异，即双峰谷底与峰顶距离太近，不存在明显双峰特性，甚至存在粉质胚乳与胚部灰度十分接近的单峰现象。若在灰度图像下分割，不可避免有部分目标提取不全甚至根本无法分割的情况。RGB空间中3个分量存在强相关性，胚部及粉质胚乳在RGB颜色空间下不易分割，因此需要找到能明显区分玉米籽粒粉质胚乳与胚部的颜色分量，且灰度差别越大越有利于玉米籽粒粉质胚乳+胚部图像的分割。

Lab颜色空间是由亮度L和色彩a、b3个要素组成，Lab颜色空间不仅可以消除颜色分量之间的强相关性，而且能够有效地将玉米籽粒图像的灰度信息与颜色信息分离开[24]，利于胚部及粉质胚乳的分割。自然采集环境下玉米籽粒透射图像的粉质胚乳部分为橙黄色，且恰好位于b分量的黄色到蓝色区间，b通道下的粉质胚乳亮度较高，因此可以选择b通道来提取粉质胚乳区域。

要在Lab颜色空间的b通道下分割，就需要先进行色彩通道非线性变换，将RGB颜色空间转换为Lab颜色空间。为增加b通道下红色占比，提高粉质胚乳亮度，通过大量试验调整其转换矩阵参数，改变Y分量中R、G的比例，取Y=0.712 671R+0.215 160G+0.072 169B，以提高b通道图像的对比度。将RGB颜色空间转为XYZ空间，以及将XYZ空间转换为Lab颜色空间的转换公式为

(1)

式中R、G、B——RGB颜色空间分量

X、Y、Z——图像坐标值

L=2.55(116f(Y/Yn)-16)

(2)

a=500(f(X/Xn)-f(Y/Yn))+128

(3)

b=200(f(Y/Yn)-f(Z/Zn))+128

(4)

其中

(5)

Xn=0.950 46Yn=1.0Zn=1.088 75

式中Xn、Yn、Zn——RGB颜色空间到XYZ坐标空间转换矩阵系数

t——空间坐标值与空间坐标转换矩阵系数的比值

L、a、b——Lab颜色空间分量

由此，得到图8所示的在Lab颜色空间下的玉米籽粒粉质胚乳+胚部b通道图像，此时Lab颜色空间的b分量取值范围为0～255，并提取其灰度分布直方图，图中T为阈值。

图8 粉质胚乳+胚部b通道图像及其灰度分布Fig.8 b channel image of farinaceous endosperm+embryo and its gray-scale distribution

由图8可知，粉质胚乳+胚部b通道图像胚部与粉质胚乳呈现明显的双峰，图像对比度较高，胚部与粉质胚乳的区别更为明显。说明在b通道下能有效区分胚部目标和粉质胚乳目标。根据双峰法以两峰之间对应像素数最少处的谷底灰度作为阈值T，对粉质胚乳+胚部b通道图像进行阈值分割，得到图9a所示的粉质胚乳二值图像。然后，同时逐行扫描粉质胚乳+胚部和粉质胚乳的二值图像，比较二值图像像素信息，提取两者像素信息不同的非重叠区域存储为图9b所示的胚部二值图像。根据图9a、9b中黑色区域的像素点坐标，提取粉质胚乳+胚部彩色图像对应的像素点信息，得到粉质胚乳(图9c)、胚部(图9d)彩色图像。

图9 粉质胚乳和胚部分割过程Fig.9 Segmentation process of farinaceous endosperm and embryo

2.4 玉米籽粒分割结果

首先在R通道下分割提取粉质胚乳+胚部图像，通过多通道重叠区域法得到角质胚乳图像；再将粉质胚乳+胚部图像从RGB颜色空间转换到Lab颜色空间，在目标明显的b通道下分割提取粉质胚乳图像，并采用多通道重叠区域法得到胚部图像。为直观展现分割效果，依次提取角质胚乳、粉质胚乳以及胚部图像的非白色区域存储到新建的RGB图像数据集中，将3部分的分割结果融合为一幅彩色图像，如图10所示。其中，蓝色、红色及绿色区域分别为玉米籽粒的角质胚乳、粉质胚乳和胚部。

图10 3部分融合图像Fig.10 Three-part fusion images

3 试验结果与分析

3.1 试验设计

为测试本文方法的精确性和适用性，以手动分割作为参考标准，对不同玉米品种籽粒图像进行不同分割方法对比试验[25]。采集6个品种玉米籽粒低对比度透射图像，基于本文方法对不同玉米品种籽粒图像进行分割试验，开展固定阈值法、分水岭法、区域生长法和多阈值法等传统分割方法对不同玉米品种籽粒低对比度图像的分割试验，以对比分析本文方法在玉米籽粒图像分割中的性能优势。采集黄玉米、白玉米、白糯玉米、红糯玉米和黑糯玉米籽粒透射图像，基于本文方法对不同颜色玉米籽粒图像进行分割试验，测试本文方法的适用性。

3.2 试验分析

3.2.1不同品种玉米籽粒组分分割

利用本文方法对6个品种(各200粒)玉米籽粒图像进行分割，不同玉米品种分割结果如图11所示。图11中从左到右依次为原图、角质胚乳图像、粉质胚乳图像、胚部图像、三色融合图像、彩色融合图像。

图11 基于多通道重叠区域法的不同品种玉米籽粒图像分割结果Fig.11 Image segmentation results of different maize varieties by multi-channel overlapping region method

(6)

(7)

(8)

(9)

其中

ri——第i个区域的查全率

pi——第i个区域的查准率

wi——加权系数

F1为r、p的综合评价指标[27]，计算公式为

F1=2rp/(r+p)

(10)

式中F1——综合评价指标

以手动分割结果作为参考分割图，分别统计不同玉米品种200粒籽粒的角质胚乳、粉质胚乳与胚部区域各自查全率与查准率平均值以及籽粒全局查全率、全局查准率平均值，结果如图12所示。

图12 基于多通道重叠区域法的各玉米品种籽粒图像分割结果量化评价结果Fig.12 Quantitative evaluation results of image segmentation results by multi-channel overlapping region method

从图12中可以看出，不同品种玉米籽粒的角质胚乳、粉质胚乳及胚部的查全率均不小于96.22%，查准率均不小于97.51%。籽粒全局查全率与全局查准率约为98%，分割结果准确。分割方法适用范围广，百粒玉米籽粒的分割效果稳定。本文方法对图2中200粒玉米籽粒透射图像的分割结果，如图13所示。

图13 玉米籽粒透射图像分割结果Fig.13 Segmentation effect of maize grain transmission image

3.2.2不同分割方法对玉米籽粒组分的分割效果

为进一步验证本文方法在玉米籽粒图像分割中的优势，以手动分割结果为参照，分别利用固定阈值法、分水岭法、区域生长法、多阈值法和重叠区域法等不同分割方法对玉米籽粒粉质胚乳+胚部低对比度图像进行分割，结果如图14所示。图14中从左到右依次为原图以及固定阈值法、分水岭法、区域生长法、多阈值法、本文方法、手动分割法处理结果。

图14 不同品种玉米籽粒粉质胚乳+胚部图像经不同分割方法处理后的分割结果Fig.14 Segmentation results of farinaceous endosperm+embryo images of different maize varieties processed by different methods

从图14可以看出，粉质胚乳与胚部RGB色彩相近，固定阈值法分割彩色图像时，无论选用的阈值多大，粉质胚乳与胚部均有所粘连，无法实现对图像粉质胚乳和胚部的分割；分水岭法将粉质胚乳与胚部看作一体，能够与白色背景分开，但无法区分玉米籽粒的粉质胚乳和胚部；基于区域生长的分割方法分割效果与固定阈值法基本一致，粉质胚乳与胚部边缘无法区分，各玉米品种分割效果略有差异；多阈值法分割粉质胚乳+胚部图像时，虽然提取了部分胚部图像，但错误地识别了部分与胚部颜色相近的粉质胚乳区域，不能精确分割目标图像；本文方法分割得到的胚部图像与手动分割的结果相似度极高，能够精确分割玉米籽粒粉质胚乳+胚部低对比度图像，不同品种玉米籽粒的分割效果均比传统分割方法准确。

为了对不同分割方法处理后的各玉米品种籽粒粉质胚乳+胚部图像分割结果进行定量评价，分别统计了基于不同分割方法的胚部区域的查全率与查准率及其综合评价指标F1，其平均值如表2所示。

表2 基于不同分割方法的玉米籽粒粉质胚乳+胚部图像分割结果量化评价Tab.2 Quantitative evaluation of segmentation results of farinaceous endosperm+embryo images processed by different methods %

由表2可知，分水岭分割法查全率虽然最高，但分割结果包含非目标区域，且查准率较低；固定阈值法与区域生长法的F1值均在77%左右，分割效果相似；多阈值法在查准率与查全率上均有所提升，综合指标F1值达到88.45%，分割效果优于分水岭法、区域生长法及固定阈值法；本文方法的查全率、查准率与F1值均达到98%以上，分割效果最优。传统分割方法不能避免光照对图像分割质量的影响，对于低对比度的粉质胚乳与胚部不能精确区分，分割精度由低到高依次为分水岭法、区域生长法、固定阈值法、多阈值法、本文方法。

3.2.3不同颜色玉米籽粒组分分割

为讨论本文方法对于不同颜色玉米籽粒透射图像分割的适应性，在相同光照强度、同样采集环境下，使用图1所示的透射图像采集装置采集黄玉米、白玉米、白糯玉米、红糯玉米和黑糯玉米籽粒透射图像，并利用本文方法对不同颜色玉米籽粒透射图像进行分割，结果如图15所示。

图15 不同颜色玉米籽粒透射图像分割结果Fig.15 Segmentation results of different color maize grains transmission image

从图15可以看出，本文方法对于黄玉米与白玉米籽粒透射图像内部组分的分割较精确，而对于白糯玉米、红糯玉米和黑糯玉米籽粒透射图像的分割效果较差。由于黄玉米与白玉米籽粒的角质透明，透光效果好，透射图像内部组分清楚，分割结果精确；而白糯玉米、红糯玉米和黑糯玉米为糯玉米(即蜡质玉米)，籽粒胚乳呈角质不透明无光泽的蜡质状，透光效果差，导致籽粒分割难度变大，白糯玉米籽粒出现胚部分割不全、精度不高的问题，且红糯玉米和黑糯玉米自身颜色较深，影响透射图像采集效果，不能成功区分籽粒内部结构，分割效果最差；因此，透射图像分割方法适用于透光性良好的透明角质玉米籽粒组分分割，对于具有不透明蜡质的糯玉米并不适用。

3.3 试验分析

本文方法对不同品种玉米籽粒图像分割试验表明，本文方法能够实现低对比度玉米籽粒图像的精确分割，能避免光照强度对图像分割质量的影响。且不同分割方法对不同品种的玉米籽粒粉质胚乳+胚部低对比度图像的分割效果表明，本文方法可以消除颜色分量之间的强相关性，分割效果优于传统分割方法，分割精度更高。不同颜色玉米籽粒图像分割试验表明，本文方法适用于透光性良好的透明角质玉米籽粒组分分割。

4 结论

(1)为实现对玉米籽粒低对比度透射图像的精确分割，提出了一种基于色彩通道非线性变换的多通道重叠区域分割方法。该方法将玉米籽粒图像从RGB颜色空间转换到Lab颜色空间，实现多颜色空间多通道混用，降低对比度低对图像分割造成的影响，并利用多通道重叠区域法分割玉米籽粒透射图像，精确提取内部组分。

(2)采用本文方法和传统分割方法对玉米籽粒低对比度透射图像的分割效果进行比较，结果表明，本文方法分割结果的查全率、查准率与综合指标均达到98%以上，最接近手动分割结果，效果最优；虽然分水岭法、区域生长法、固定阈值法和多阈值法等传统分割方法的分割精度依次提升，但都不能精确区分玉米籽粒的粉质胚乳与胚部。

(3)本文方法能够避免光照对图像分割质量的影响，能够精确分割玉米籽粒组分，对不同品种透明角质玉米籽粒具有很强的适用性，有助于对玉米籽粒内部组分结构分布进行研究，为玉米的干燥处理提供指导。