基于变分水平集主动轮廓的叶片表皮细胞厚度测量方法研究

2022-04-19 00:55孙小添王海超郭根胜裴志永
森林工程 2022年2期

孙小添 王海超 郭根胜 裴志永

摘 要:針对传统叶片横切面宽度测量效率低、重现性差、劳动强度大,以及已有图像处理算法精度不高等问题,本研究提出一种基于变分水平集主动轮廓算法来提高叶片图像分割效果,从而更准确地测量细胞厚度。以狭叶锦鸡儿(Caragana Stenophylla Pojark)叶切片表皮细胞为研究对象,依据图像特点,首先采用基于几何均值和三维块匹配算法,实现图像盲去噪;然后采用变分水平集主动轮廓算法,分割预处理后图像提取表皮细胞;最后采用最小距离求交法确定出骨架曲线上局部拟合中心线的垂线与表皮细胞轮廓2交点,通过计算2交点间的距离,并除以对应比例关系,得出表皮细胞实际厚度。结果表明,①图像经去噪后,有效去除图像噪声,图像质量明显提高,相较传统Lazy Snapping算法和Graph Cut算法,本文提出算法虽耗时较长,但分割效果很明显,平均分割误差(R)、过分割误差(OR)和欠分割误差(UR)分别为5.670%、0.589%和5.900%,所用时间为30.228 s;② 通过与交互测量值的比较得出,本文算法测量值与交互测量值间相对误差为3.27%,均方根误差为0.983,相对较小,结果较准确;③通过对同一幅图像30次重复测量后发现,相较ToupTek(高分辨率智能显微镜成像CCD相机)Toupview软件交互测量方法,本文算法用时更短,稳定性较高,误差为0.007。

关键词:厚度测量;变分水平集;主动轮廓;表皮细胞;狭叶锦鸡儿

中图分类号:TP391.41;S77    文献标识码:A   文章编号:1006-8023(2022)02-0001-07

Extraction and Thickness Measurement of Leaf Epidermal Cells Based

on Active Contour of Variational Level Set Method

SUN Xiaotian, WANG Haichao, GUO Gensheng, PEI Zhiyong*

(College of Energy and Transportation Engineering, Inner Mongolia Agricultural University, Hohhot 010018, China)

Abstract:Aiming at the problems of low efficiency, high labor intensity, poor reproducibility and low accuracy of the existing image processing algorithms, in this study, an active contour algorithm based on variational level set was proposed to improve the segmentation effect of leaf image, so as to measure cell thickness more accurately. The epidermal cells of Caragana Stenophylla Pojark leaf slice were taken as the research object. Based on the image characteristics, the geometric mean and 3D block matching algorithm were firstly adopted to realize image blind denoising. Then the active contour algorithm based on variational level set was used to segment the pre-processed epidermal cell images and realize the extraction of epidermal cells. Finally, the fast marching skeleton extraction algorithm was used to determine the intersection of the vertical line of the local fitting center line on the skeleton curve and the epidermal cell contour. The actual thickness of epidermal cells was obtained by calculating the distance between the two intersections and dividing it by the corresponding proportional relationship. The results showed that: ① After denoising, the image noise was effectively removed and the image quality was significantly improved. Compared with traditional Lazy Snapping algorithm and Graph Cut algorithm, the algorithm proposed in this paper took a long time, but the segmentation effect was obvious. Mean segmentation error (R), over-segmentation error (OR) and under-segmentation error (UR) value were 5.670%, 0.589% and 5.900%, respectively, the average time was of 30.228 s. ② Through the comparison with the interactive measured values, the relative error between the measured values and the interactive measured values of the algorithm in this paper was 3.27%, and the root mean square error was 0.983, which was relatively small and the results were relatively accurate. ③ After repeated measurement of the same image for 30 times, it was found that, compared with the interactive measurement method of ToupTek Toupview software, the algorithm in this paper had shorter time, higher stability with an error of 0.007.

Keywords:Thickness; variational level set method; active contour; epidermal cells; Caragana Stenophylla

0 引言

狭叶锦鸡儿(Caragana stenophylla Pojark)是我国北方荒漠草原优势物种,属强旱生小灌木,具有良好的防风固沙性能。经过对其研究发现,干旱程度与表皮细胞直径呈正相关,叶片通过增大表皮细胞直径抑制水分蒸腾,在一定程度上提高水分利用率。表皮细胞尺寸的准确测量,对植物生理生态学研究十分重要。表皮细胞厚度为表皮细胞直径与角质层厚度之和,该指标的准确测定对揭示植被对环境变化的响应机制具有重要意义,由于叶切片显微图像具有结构复杂、边界模糊、存在噪声和色差等特点,制约了传统尺寸测量算法在叶切片表皮细胞厚度测量中的应用。

传统指标尺寸测量常采用交互测量方式,该方式存在较大的人为主观因素干扰,不但效率低,劳动强度大,而且误差和重现性较差。目前,由于图像处理技术蓬勃发展,图像处理技术被广泛应用于特征指标尺寸测量。纪平等选择Canny算子对番茄边缘进行提取,通过对番茄面积、圆心和半径等参数的统计分析,进行圆拟合,实现了各几何尺寸测量;包能胜等提出一种新的算法实现了辊式涂布涂层厚度测量,其基于启发式蚁群算法与传统机理建模法相比,最大误差为5.74%,平均误差为4.04%;路文超等通过拟合麦穗主部中心线方式和统计曲线穿过麦穗区域方式计算麦穗长度和麦穗数量,测量结果绝对误差为0.47 cm,相对误差为3.95%。曾德斌等通过对羊只图像预处理、分割和轮廓提取等算法,实现了羊只个体体长和提高了测量精度,测量平均相对误差小于1%,相关系数达到了0.999 7。Sunoj等针对向日葵花大小人工测量尺寸存在主观和费时的缺点,开发了一种ImageJ用户编码插件,该插件采用字段图像采集方式,用于测量单个向日葵尺寸,与直接法相比,采用包裹多边形法十分有效,等效直径和拟合椭圆短轴有较高相关性,相关系数为0.88;Jin等提出一种基于双投影的孔尺寸测量方法,使用CCD相机分别采集在零件表面上2个方向投影的光栅图像,采用相移位法计算2个方向上的光栅图像的相位,将构建的2个方向上的三维图像合并起来测量孔的尺寸,其厚度测量精度0.04 mm,孔尺寸精度0.1 mm,该方法解決了机械零件表面孔测量不精确问题;Singh等结合图像处理和机器学习算法,提出一种利用递归方法从稻米粒图像中识别各米粒大小,并根据每粒稻米粒所占像素来估计籽粒大小,进而预测稻米质量,测量小粒稻谷、中粒稻谷、大粒稻谷长度的平均误差分别为3.6%、2.5%和2.4%。

植物叶片图像的合理分割,对植物结构的准确分析十分重要。狭叶锦鸡儿叶片解剖结构表皮细胞与栅栏组织交界十分模糊,且表皮细胞形态不规则,采用传统分割算法很难达到分割效果。变分水平集主动轮廓图像分割算法是近年来图像分割领域研究的热点,针对传统叶片横切面宽度测量效率低、重现性差、劳动强度大,以及已有图像处理算法精度不高等问题,本研究提出一种基于变分水平集主动轮廓算法来提高叶片图像分割效果。首先采用基于几何均值和三维块匹配算法,实现图像盲去噪;通过变分水平集的主动轮廓算法,分割去噪后的图像;最后通过采用最小距离求交法确定出骨架曲线上局部拟合中心线的垂线与表皮细胞轮廓2交点,通过计算2交点间的距离,并除以对应比例关系,实现表皮细胞厚度测量。

1 材料与方法

1.1 图像获取

采用石蜡切片法获取狭叶锦鸡儿叶片表皮细胞图像,详见文献。本文使用YYS-80E型光学生物显微镜和配套CM1400摄像机进行拍照及存储,根据视野范围需求,选择×40目镜,图像分辨率为1 792×1 374,由于人工制片不仅受相机曝光增益的影响,还受温度和染液浓度等因素的影响,图像不可避免存在噪声和色差,如图1所示。

1.2 图像分割

1.2.1 图像去噪

表皮细胞图像具有较多的纹理和边缘信息,较大的噪声不但影响图像品质,而且会影响后续图像分割精度,进而影响厚度测量的准确性。本文针对狭叶锦鸡儿叶片表皮细胞图像特点,采用基于几何均值和三维块匹配算法,实现图像盲去噪,具体详见文献。

1.2.2 图像分割

狭叶锦鸡儿叶片表皮细胞内侧表现为栅栏组织,采用传统图像分割算法很难准确分割栅栏组织这种边缘不明显、表皮细胞形状不规则的叶片。因此,针对传统交互式图像分割算法不精确问题,提出将变分水平集算法与主动轮廓算法相融合,即变分水平集主动轮廓算法。将C-V(Chan-Vese)模型、测地线主动轮廓模型和边缘检测算子相融合,使用变分原理对能量泛函进行极小化偏微分求解,并依托水平集方式实现函数表达。该算法能够克服主动轮廓曲线演进收敛过程中取参过量的问题,同时还能弥补其演进过程中无法自由拓扑的不足,一定程度上解决了算法运行速度慢和普适性的问题。其基本原理如下。

设有一幅图像为I,在目标区域任意画一条闭合曲线C,C内部定义为ΩC,即目标区,外部定义为Ω\ΩC,即分离区。当C离目标图像的边缘原来越远时,C的灰度阶级梯度将逐渐减小,反之增大。c1和c2分别为ΩC和Ω\ΩC的灰度均值,当能量函数E(C,c1,c2)值最小时,其图像分割更为准确,其表达式为

E(C,c1,c2)=αEGAC(C)-βEAR(C)+γEMV(C,c1,c2)=α∮Cg(C(s))ds-β∮C〈SymbolQC@I,N→〉ds+γλ1ΩC(I-c1)2dxdy+λ2Ω\ΩC(I-c2)2dxdy 。(1)

〈N→,SymbolQC@I(C)〉=SymbolQC@I(C)cosθ。

式中:EGAC(C)为变分测地线主动轮廓能量函数;EAR(C)为梯度能量函数;EMV(C,c1,c2)为C-V模型能量函数;g(·)ds为加权弧长微元;g(·)为递减边缘检测函数;s为弧长参数;θ为曲线法向量与梯度间夹角,(°);SymbolQC@为梯度算子;N→为单位内向法线;α、β、γ为权重;λ1和λ2是大于零的权重系数,用来控制曲线内部和外部能量的比重,通常λ1=λ2=1。

对其进行一阶变分为

δEδC=δε(φ)αdivgSymbolQC@φSymbolQC@φ-β·sign〈SymbolQC@I,N→〉ΔI+γ·-λ1I-c12+λ2(I-c2)2N→。(2)

c1=1ΩCΩCI(x,y)dxdy;c2=1Ω\ΩCΩ\ΩCI(x,y)dxdy。

式中:ΩC为内部区域ΩC面积;|Ω\ΩC|为外部区域Ω\ΩC面积。

采用EAR(C)计算演化曲线法向量与梯度内积,驱动演化曲线对边缘进行检测;EGAC(C)为变分水平集主动轮廓模型的正则项,在奇异点处进行划分;C-V模型EMV(C,c1,c2)函数为了使图像最优划分,将模型进行极小变分处理。α、β、γ都是正实数,分别代表模型中的权重,取值越小,比重越低,反之越大。通过求ct=δE(C)δc的稳定解,则模型函数可取得极小值。

1.2.3 分割质量评价

分割质量定量评价的评价指标分别为分割误差(R)、过分割误差(OR)和欠分割误差(UR),分割指标值越小,则表明图像分割质量越好,目标分割越精确,详见文献。拟采用Photoshop软件进行手动分割,擦拭出表皮细胞真实区域,将其作为上述3个指标的基准,其表达式如(3)—(5)所示。

R=A-A/A×100%。(3)

OR=A-(A∩A)/A-×100%。(4)

UR=A-(A∩A)/A×100%。(5)

式中:A为真实面积;A为目标面积;A-为A补集。

1.3 表皮细胞厚度测量

本文在充分分析表皮细胞图像特点基础上,采用Sobel算子进行快速行进骨架提取,首先利用快速行进骨架提取算法提取细胞骨架,Sobel确定细胞边缘,利用高斯曲线拟合骨架,然后采用公式y=k1x+b做局部拟合中心线曲线的垂线,其中斜率k1与局部拟合中心线斜率k2满足:k1=-1/k2,k2=-2a1(x-b1)c21e-(x-b1c1)2-2a2(x-b2)c22e-(x-b2c2)2-···-2an(x-bn)c2ne-(x-bncn)2,通过计算垂线与表皮细胞上下边缘2交点间距离,多次结果均值即为表皮细胞平均厚度。2交点Mi、Ni确定原理为:骨架垂线上点为Mi,其坐标为(xm,ym),边缘线上点为Ni,其坐标为(in,jn),当Mi、Ni两点间距离D=(xm-in)2+(ym-jn)2=0或接近于0时,即2点重合,此时的坐标点即为骨架垂线与边缘交点。

2 试验与结果分析

2.1 试验

(1)为验证本文算法分割精度,从已拍摄的表皮细胞图像中选择×40图像30幅,分别采用Lazy Snapping算法、GrabCut算法和变分水平集主动轮廓算法分割预处理后的图像,比较分割效果及精度。

(2)为验证本文算法测量精度,采用本文算法提取分割后的表皮细胞厚度平均值,将得到的图上尺寸值除以对应比例11.51 px/um,转换成实际尺寸。提取结果与ToupTek Toupview软件交互测量均值进行对比,分析本文算法有效性。

(3)为验证算法稳定性,从30幅与处理后的图像中任选1幅,分别采用本文提出算法与交互测量法对表皮细胞厚度进行重复测量,重复次数为30。

2.2 结果与分析

(1)图像分割如图2所示,由2图可知,表皮细胞图像经基于几何均值和三维块匹配算法去噪后,一定程度抑制了噪声,图像质量得到显著提高,3种算法分割效果如图3所示,评价结果见表1。由图3(a)和图3(b)可知,采用Lazy Snapping算法、GrabCut算法对表皮细胞图像分割效果较差,出现了较严重的漏分割现象,同时GrabCut算法出现了过分割,能量出现了外泄现象。由图3(c)可知,采用基于变分水平集主动轮廓算法分割效果较好,目标分割较准确。

从表1可以發现,Lazy Snapping算法分割误差(R)、过分割误差(OR)和欠分割误差(UR)分别为22.538%、6.368%和11.815%,所用平均时间为14.134 s。结果表明,Lazy Snapping算法运行速度最快,但分割效果最不理想。该算法引入了分水岭算法对待处理图像进行预分割,在一定程度上提高了分割效率。但利用分水岭把图像分成了若干个小块,这些小块颜色相似度很大,很难区分开来,很容易视为同一标记。然而采用Graph Cut算法进行分割,相较Lazy Snapping算法,运行速度要快很多,主要是因为该算法引入了“迭代估计”和“不完全标号”,从而减少交互操作量,一定程度上对分割效率有所提高。但参与颜色分类的只有主观所标识的,并且不做进一步的细致划分,对于真实图像中的纹理、边缘和相似的颜色等信息都被忽略了,诸多原因导致分割的结果稳定性和精细度差。从结果比较可看出,GrabCut算法比Lazy Snapping算法更准确,但所用时间要长一些。主要是因为GrabCut算法轮廓能量项相比其他2个算法定义更为准确,通过“迭代估计”和“不完全标号”,在一定程度上不需要十分精准的用户交互工作。但该算法对图像重叠像素和模糊边界进行处理时,采用Border Matting算法造成了运行速度较慢,耗时较长。再来看一下变分水平集主动轮廓算法,相对于前面2个算法分割效果有着明显提高,但所用时间较长。主要是因为该算法将边缘检测算子、测地线主动轮廓模型和C-V模型进行集成,采用基于水平集变分原理能量函数曲线进行演化,所以分割效果会有明显的提高,但同时计算过程复杂性造成用时较长。

(2)基于快速行进骨架提取如图4(a)所示,采用Sobel算子提取的边缘如图4(b)所示,将骨架和边缘附于分割后的叶片表皮细胞图像,如图4(c)所示。由4图可以看出,提取的骨架和边缘精度较高,与表皮细胞基本吻合。采用高斯曲线拟合法拟合的骨架曲线如图5(a)所示。

经分析,幂级数n=4时,拟合效果最佳,平均均方根误差(RMSE)为0.775 5,随着n值越大,拟合精度随之提高,计算量也会有所增加。采用最小距离求交法确定出骨架曲线上局部拟合中心线的垂线与表皮细胞轮廓交点Mi和Ni,结果如图5(b)所示,骨架垂线上点为Mi坐标为(xm,ym),边缘线上点为Ni坐标为(in,jn),通过计算Mi和Ni间距离D=(xm-in)2+(ym-jn)2,得出表皮细胞平均厚度,将本文算法提取的表皮细胞厚度值与交互测量值进行对比,结果见表2。由表2知,本文算法提取值与交互测量值间相对误差为3.27%,均方根误差为0.983,相对较小,结果较准确。

(3)对同一幅预处理后的狭叶锦鸡儿表皮细胞图像测量结果如图6所示,方差见表3。由图6和表3可知,采用本文算法稳定性较高,误差为0.007,采用ToupTek Toupview软件交互测量方法受主观干扰较大,数据出现了较大的波动,误差为1.268。

3 结论

本文以狭叶锦鸡儿叶切片表皮细胞图像为研究对象,针对交互表皮细胞厚度测量主观干扰大、稳定性差和效率不高等问题,通过采用基于几何均值和三维块匹配算法去除图像噪声,提出采用基于变分水平集主动轮廓算法对去噪后表皮细胞图像进行分割,通过计算表皮细胞骨架曲线局部拟合中心线的垂线与表皮细胞上下边缘2交点间距离,实现了表皮细胞厚度的测量,通过试验得出以下结论。

(1)采用基于几何均值和三维块匹配算法可有效去除图像噪声,图像质量得到明显改善。本文提出的基于变分水平集主动轮廓算法对去噪后表皮细胞图像可实现较准确分割,相较传统Lazy Snapping算法和Grab Cut算法,虽然本文分割算法耗时最大,但分割效果最好,R、OR和UR平均值分别为5.670%、0.589%和5.900%,平均耗时为30.228 s。

(2)采用基于快速行进骨架提取算法提取和Sobel边缘提取算法提取的骨架和边缘精度较高,采用幂级数n=4时的高斯曲线拟合法骨架效果最佳,平均均方根误差(RMSE)为0.775 5,随着n值越大,拟合精度随之提高,计算量也会有所增加。通过采用最小距离求交法确定出骨架曲线上局部拟合中心线的垂线与表皮细胞轮廓交点Mi和Ni,通过不断计算Mi和Ni间的距离得出表皮细胞厚度,通过与交互测量值的比较得出,本文算法提取值与交互测量值间相对误差为3.27%,均方根误差为0.983,相比之下其误差相对较小,结果较为准确。

(3)通过对同一幅图像30次重复测量后发现,相较ToupTek Toupview软件交互测量方法,本文算法稳定性较高,误差为0.007。

【参 考 文 献】

王海超,王春光,贺晓,等.狭叶锦鸡儿叶片解剖结构对干旱胁迫下荒漠草原退化梯度的响应.生态环境学报,2016,25(5):744-751.

WANG H C, WANG C G, HE X, et al. The response of Caragana stenophylla Pojark leaf anatomical structure to desert grassland deterioration gradient under the drought stress. Ecology and Environmental Sciences, 2016, 25(5): 744-751.

王勛陵,王静.植物形态结构与环境.兰州:兰州大学出版社,1989.

WANG S L, WANG J. Plant morphological structure and environment. Lanzhou: Lanzhou University Press, 1989.

许振柱,周广胜.陆生植物对全球变化的适应性研究进展.自然科学进展,2003,13(2):113-120.

XU Z Z, ZHOU G S. Research progress on adaptability of terrestrial plants to global change. Progress in Natural Science, 2003, 13(2): 113-120.

杨红云,孙爱珍,何火娇.水稻叶片几何参数图像视觉测量方法研究.湖北农业科学,2015,54(17):4317-4320.

YANG H Y, SUN A Z, HE H J. Study on the geometry parameter of rice leaf measuring method using image vision technology. Hubei Agricultural Sciences, 2015, 54(17): 4317-4320.

王浩云,肖海鸿,马仕航,等.基于MRE-PointNet+AE的绿萝叶片外形参数估测算法.农业机械学报,2021,52(1):146-153.

WANG H Y, XIAO H H, MA S H, et al. Estimation algorithm of leaf shape parameters of Scirpus sibiricum based on MRE-PointNet and autoencoder model. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(1): 146-153.

纪平,王俊,陈鹤碧.基于图像的番茄识别与几何尺寸测量.安徽农业科学,2012,40(33):16426-16428,16434.

JI P, WANG J, CHEN H B. The tomato identification and geometric size measurement based on image. Journal of Anhui Agricultural Sciences, 2012, 40(33): 16426-16428, 16434.

包能勝,方海涛.基于蚁群算法的辊式涂布涂层厚度图像检测.应用光学,2020,41(3):516-522.

BAO N S, FANG H T. Roll coating thickness image detection based on ant colony algorithm. Journal of Applied Optics, 2020, 41(3): 516-522.

路文超,罗斌,潘大宇,等.基于图像处理的小麦穗长和小穗数同步测量.中国农机化学报,2016,37(6):210-215.

LU W C, LUO B, PAN D Y, et al. Synchronous measurement of wheat ear length and spikelets number based on image processing. Journal of Chinese Agricultural Mechanization, 2016, 37(6): 210-215.

曾德斌,许江淳,陆万荣,等.基于机器视觉的无应激羊只体尺测量及体质量预估.中国农机化学报,2018,39(9):56-60.

ZENG D B, XU J C, LU W R, et al. Body size measurement and body mass estimation of non-stressed sheep based on machine vision. Journal of Chinese Agricultural Mechanization, 2018, 39(9): 56-60.

SUNOJ S, SUBHASHREE S N, DHARANI S, et al. Sunflower floral dimension measurements using digital image processing. Computers and Electronics in Agriculture, 2018, 151: 403-415.

JIN Y, CHANG Y M, WANG J Y, et al. The measurement method for the size of the hole on the part surface based on grating image processing. IEEE Access, 2020, 8: 29159-29168.

SINGH S K, VIDYARTHI S K, TIWARI R. Machine learnt image processing to predict weight and size of rice kernels. Journal of Food Engineering, 2020, 274: 109828.

王琢,汪雅婷,宋文龙,等.基于深度学习的叶片图像分割算法.森林工程,2019,35(1):42-46.

WANG Z, WANG Y T, SONG W L, et al. The leaf image segmentation algorithm based on deep learning. Forest Engineering, 2019, 35(1):42-46.

王海超,王春光,宗哲英,等.基于噪声类型及强度估计的狭叶锦鸡儿叶切片图像盲去噪.农业工程学报,2017,33(10):229-238.

WANG H C, WANG C G, ZONG Z Y, et al. Blind image denoising of microscopic slices image of Caragana stenophylla Pojark based on noise type and intensity estimation. Transactions of the Chinese Society of Agricultural Engineering, 2017, 33(10): 229-238.

王海超,宗哲英,张文霞,等.采用K均值聚类和环形结构的狭叶锦鸡儿木质部提取算法.农业工程学报,2020,36(1):193-199.

WANG H C, ZONG Z Y, ZHANG W X, et al. An extraction xylem images of Caragana stenophylla Pojark based on K-means clustering and circle structure extraction algorithm. Transactions of the Chinese Society of Agricultural Engineering, 2020, 36(1): 193-199.

VAN UITERT R, BITTER I. Subvoxel precise skeletons of volumetric data based on fast marching methods. Medical Physics, 2007, 34(2): 627-638.

LI Y, SUN J, TANG C K, et al. Lazy snapping. ACM Transactions on Graphics, 2004, 23(3): 303-308.

KOLMOGOROV V, ZABIH R. What energy functions can be minimized via graph cuts?. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(2): 147-159.

ROTHER C, KOLMOGOROV V, BLAKE A. GrabCut: interactive foreground extraction using iterated graph cuts. ACM Transactions on Graphics, 2004, 23(3):309-314.