基于DCP算法增强暗纹东方鲀胚胎图像

2021-01-29 10:44冯国富,刘亚蕊,陈明,翁正,王耀辉
江苏农业学报 2021年6期
关键词:图像增强

冯国富,刘亚蕊,陈明,翁正,王耀辉

摘要:为了能够精准地识别出暗纹东方鲀胚胎发育的各个时期,提高人工繁殖和杂交育种的成活率,采用暗通道先验(DCP)算法和它的2个反演以及推导,对胚胎图像进行增强。推导出4种透射率,再结合像素值的缩小和放大最终生成8种增强效果。其中图像增亮与图像增暗结合的A+X组合算法效果最佳,增强后的图像细节信息更加丰富,各个时期的特征更加清晰。选用多目标检测算法YOLOv5网络对图像中的胚胎进行提取和分类。结果表明,增强后图像分类结果的准确率比原始图像提高4.5%,损失函数降低0.16%。

关键词:暗纹东方鲀;胚胎检测;暗通道先验;图像增强;YOLOv5网络

中图分类号:S961.2文献标识码:A文章编号:1000-4440(2021)06-1493-08

Image enhancement of Takifugu obscurus embryos based on DCP algorithm

FENG Guo-fu1,2,LIU Ya-rui1,2,CHEN Ming1,2,WENG Zheng1,2,WANG Yao-hui3

(1. School of Information, Shanghai Ocean University, Shanghai 201306, China;2.Shanghai Ocean University, Key Laboratory of Fishery Information, Ministry of Agriculture and Rural Affairs, Shanghai 201306, China;3.Nantong Longyang Aquatic Products Co., Ltd., Nantong 226634, China)

Abstract:In order to accurately identify each stage of embryonic development of Takifugu obscurus and improve the survival rate of artificial reproduction and cross breeding, dark channel prior (DCP) algorithm and its two inversions and derivation were used to enhance embryo image. Among them, four kinds of transmittances were derived in this study, and eight kinds of enhancement effects were finally generated by combining the reduction and amplification of pixel values. Through comparative analysis, A+X combination algorithm combining image brightening and image darkening had the best effect. The enhanced image details were more abundant, and the features of each period were clearer. The YOLOv5 network, a multi-target detection algorithm, was selected to extract and classify embryos in the images. The results showed that the classification accuracy of enhanced image was 4.5% higher than that of original image, and the loss function was 0.16% lower.

Key words:Takifugu obscurus;embryos detection;dark channel prior;image enhancement;YOLOv5 network

暗紋东方鲀与鲥鱼、刀鱼并称“长江三鲜”,享誉古今中外。近几年,暗纹东方鲀仅依靠自然繁殖已不能满足市场的需求,对它进行人工繁殖逐渐成为研究热点[1]。在人工繁殖和杂交育种过程中对胚胎发育的各个时期进行检测与分类显得非常重要[2-3]。通过观察胚胎的形态特征识别发育时期,选择适宜的温度、盐度等环境培育胚胎,来提高胚胎的孵化率[4-5]。然而,人工肉眼识别胚胎发育的各个时期效率较低且准确性不高。因此,我们使用基于图像处理的人工智能技术来解决这一难题,当前,国内外将人工智能技术应用在胚胎检测、分类方面的研究几乎是空白。

胚胎图像通过数字显微镜获取,由于胚胎带有水珠等原因,导致图像存在光照不均、细节不清晰、色彩对比度不明显等问题,因此需要对获取的胚胎图像进行特征增强。常见的图像增强算法有基于Retinex理论的带色彩恢复的多尺度视网膜增强算法(MSRCR)[6]和基于直方图均衡化改进的自适应局部区域伸展直方图均衡化(LRS-CLAHE)[7],此类方法是在提高图像对比度的基础上突出细节信息,忽略图像的质量因素。而图像去雾处理方法能很好地解决这个问题, 它是从散射介质成像退化模型出发,根据图像估计模型中的相关参数,反演获得无雾条件下的清晰图像。传统的大气散射物理模型为[8-9]:

I(x)=J(x)t(x)+A[1-t(x)](1)

其中,x是图像的像素点位置,I是真实观察的图像,J是曝光良好的自然图像,t是介质透射率,A是光照度。上述模型中包含了RGB 3个通道。本式是已知I求解J,则是一个无穷解的问题,需要先验信息或附加约束求解。He等[10]统计了5 000多幅图像的特征,证明了暗通道先验理论(Dark channel prior,DCP)的普遍性。即图像场景中大部分像素的RGB 3个通道中存在一个暗通道,其亮度值趋于0,据此由公式(1)估计出透射率图,从而恢复出无雾场景图像。由于DCP算法导致图像细节丢失,因此,He等[11]又提出引导滤波(Guided filter)[12]来细化透射率,恢复细节并提高了算法效率。该算法简单有效且适应性较强,因而得到广泛应用。

为了恢复图像的真实色彩,解决图像曝光、光晕伪影和边缘等细节信息丢失的问题,本研究基于DCP算法和它的2种反演以及推导对图像增亮和暗化,使光照达到平衡。并对比MSRCR、LRS-CLAHE、DCP算法,通过信息熵、平均梯度评价指标进行对比分析。再利用多目标检测算法YOLOv5对胚胎图像进行分类检测和识别,通过精确度、召回率和损失函数等参数对图像增强效果进行分析讨论。

1DCP算法与反演

1.1DCP算法

DCP算法[13-14]通过对RGB图像进行先验假设来解决公式(1)的去雾任务。公式为:

Jdark(x)=minc∈(r,g,b)miny∈Ω(x)Jc(y)(2)

式中, Jc是图像J的一个颜色通道,Ω(x)是以x为中心的一个局部区域。使用暗通道的概念观察结果表明,如果J是室外清晰的无雾图像,除了天空区域,J的暗通道强度很低并且趋向于 0,即:

Jdark→0(3)

已知光照度A为:

A=(r,g,b)(4)

這一观察即被称为暗通道先验。对公式(1)两边进行2次最小值运算,得:

mincminy∈ΩI(x)Ic(y)Ac=t(x)mincminy∈ΩI(x)Jc(y)Ac+1-t(x)(5)

所以根据暗通道先验理论,J的暗通道强度接近于0,可以估计出透射率为:

t(x)=1-minc∈(r,g,b)miny∈ΩI(x)Ic(y)Ac(6)

引入引导滤波来细化透射率[11],为:

t(x)=guidedFilter[I,t(x)] (7)

在大气环境下会含有一些颗粒,彻底去雾图像则会失真。因此,需要保留一些雾增加图像的真实感,引入了因子∈。t(x)过小也会引起失真,再结合公式(1)和公式(7)得出去雾清晰图像J为:

J(x)=I(x)-Amax [t(x),∈]+AJ=fDCP(I,A)(8)

式中,I(x)-A控制清晰图像J效果的方向和幅度。透射率本身是一个灰度图像矩阵,但它可以是一个常数或三通道彩色图像。t(x)取值范围为[0,1],规定信号中不失真的比例。当t(x)=1时,不存在失真;当t(x)趋于0时,则失真增大。

1.2DCP的2种反演

DCP算法支持不同的反演,本研究介绍2种反演曝光校正的亮通道先验(Bright channel prior,BCP)[15]和光照校正的反暗通道先验(Inverted dark channel prior,IDCP)[16]。BCP反演是将DCP算法中的2次最小值换成2次最大值运算,其余与DCP算法保持不变。即:

t(x)=1-maxc∈(r,g,b)maxy∈ΩI(x)Ic(y)Ac(9)

同理得出去雾清晰图像J为:

J=fBCP(I,A)(10)

而IDCP反演则是将DCP算法中输入图像I进行反转,中心思想是对I进行反转应用于公式(8),再对最后结果进行反演,最后去雾清晰图像J为:

J=1-fDCP(1-I,A)(11)

式中,由于图像是白平衡的,所以假设光照度A为1,即:

A=(1,1,1)(12)

基于DCP算法以及它的2种先验,本研究方法是将图像的明暗扩展为像素的颜色放大,使DCP算法适用于更广泛的图像增强。

2研究方法

2.1DCP算法的推论

通过DCP算法以及它的2个反演,推导出一个新的先验即DCP算法推论(Corollaries of dark channel prior,CDCP) [17],它对公式(1)左右两边进行2次最大值运算,再反转输入图像I,对最终结果进行反演得到不失真增强图像J为:

J=1-fBCP(1-I,A)(13)

同理,假设A恒等于1。

由恒等式(14)和(15)得出表1中的4种透射率。

solveMin_t(I,A)=1-mincminy∈ΩI(x)Ic(y)Ac≡maxcmaxy∈ΩI(x)1-Ic(y)Ac(14)

solveMax_t(I,A)=1-maxcmaxy∈ΩI(x)Ic(y)Ac≡mincminy∈ΩI(x)1-Ic(y)Ac(15)

结合公式(6)、(9),得出DCP算法的透射率t的表示方式为solveMin_t(I,A),BCP算法的表示方式为solveMax_t(I,A),IDCP算法的表示方式为solveMin_t(1-I,A)。由此,反演出一个新颖的CDCP算法为solveMax_t(1-I,A)。

表1中总结了DCP算法与它的2个反演以及推导之间的关系,也证明了IDCP先验和BCP先验是反向等价的,并都利用了通道间的最大像素值运算;同样,DCP和CDCP也是反向等价的,并且都利用了通道间的最小像素值运算。总之,这4种透射率区分了弱放大和强放大,以及亮像素和暗像素的放大。其中,2次最小值运算是透射率的弱放大, 2次最大值运算是透射率的强放大,使增强的图像在色彩上达到平衡,细节边缘信息更加突出。

2.2像素值缩放方法

像素值缩放方法是对图像进行像素上的亮化和暗化,增强图像的细节,克服伪影现象。由公式(8)推导出:

J=I-At+A=1-(1-I)-(1-A)t+(1-A)(16)

则得出恢复图像J的2种等效公式如下,表明光照度(A)在反演下是对称的。

J=solve_J(I,t,A)≡1-solve_J(1-I,t,1-A)(17)

根据公式(11)与公式(12),IDCP算法求解J为:

J=1-(1-I-At+A)=I-0t+0(18)

因此,由于白平衡即使假设了光照度(A)=1,IDCP算法在实际上是A=0。这些都证明了4种先验的可逆性。接下来,对表1中4种先验算法分别进行增亮和增暗。

对于整幅图像的增亮和增暗是对像素放大方向的选择问题,光照度(A)的选择将导致图像中所有像素的增亮和增暗。由公式(8)求透射率(t)为:

t=I-AJ-A∈[0,1](19)

因此,得到2个等式关系J≤I≤A和J≥I≥A。当A=1时,恢复后的图像J比失真图像I暗;当A=0时,恢复后的图像J比失真图像I亮。进一步,当1≥Ac≥maxxIc(x)时,图像J增暗;当0≤Ac≤minxIc(x)时,图像J增亮。根据表1中4种先验算法的透射率来增亮(A=0)或增暗(A=1),从而产生8种可视化效果,如图1所示。

由公式(18)求解透射率(t)时,光照度A=1。但是,实际值为A=0 或A=1,对应增亮或增暗。对于图1(左)是整个图像增亮即恢复图像J=I-0t-0;对于图1(右)是整个图像增暗即恢复图像J=I-1t-1。进一步,对8种方法[A:t=solve_t(1-T, A=1);B: t=solve_t(T, A=1);C: t=1-solve_t(I, A=1);D: t=1-solve_t(I-1, A=1);W:t=solve_t(1-T, A=1);X:t=solve_t(T, A=1);Y:t=1-solve_t(I, A=1);Z:t=1-solve_t(I-1, A=1)]进行不同的叠加组合得到不同的可视化效果。

3结果与分析

试验设备中处理器CPU为i5-10400F,主频为2.90 GHz,设备内存为16 GB,显卡为GeForce RTX 2060。胚胎图像数据集采样于江苏中洋集团股份有限公司现代化大型特种水产养殖基地,使用数字显微镜采集暗纹东方鲀的胚胎图像,利用翻转变换的方法将图像数据集扩充至3 030份。

针对暗纹东方鲀胚胎发育的不同时期,选择发育特征明显的死亡期、原肠中期、神经胚期和肌节出现期4个时期进行胚胎识别和分类[18-20]。如图2所示,对于死亡期,囊胚层、胚芽和肌节等全部消失,胚胎死亡且卵成混乱状;对于原肠中期,隆起的囊胚层向四周扩张而逐渐变低,胚层开始向卵黄部分扩展,边缘细胞开始下包,囊胚腔清晰可见;对于神经胚期,原肠下包和内卷继续进行,胚环明显缩小,背侧神经物质增厚,凹陷形成神经沟;对于肌节出现期,胚体前端稍膨大和隆起,胚体头部两侧隐约可见眼泡[21-22]。

3.1暗纹东方鲀胚胎图像增强结果对比与分析

利用上文提到的8种方法组合出较经典的4种增亮增暗混合方法,即A+B+X+Z、A+B+C+X、A+B+C+W+X和A+X。通过这4种方法对胚胎的死亡期、原肠中期、神经胚期和肌节出现期进行图像增强,对亮区域像素增亮和对暗区域像素增暗提高图像效果,使每个时期的特征信息都非常清晰,如图3所示。

A+B+X+Z、A+B+C+X、A+B+C+W+X、A+X见图1。

将4个时期增強后的图像与图2中原始胚胎图像进行对比分析,图像增强后的特征更加明显,胚胎特征的细节信息更加清晰。从图3可以看出,这4种混合方法中A+X组合的效果更佳,此方法对4个时期的图像增强后均能很好地呈现出各个时期的特征。因此,本研究采用A+X组合方法作为暗纹东方鲀胚胎图像的增强算法。

为了研究本文算法的有效性,分别利用MSRCR算法、LRS-CLAHE算法、文献[11]中的DCP算法和本算法对4个时期的暗纹东方鲀胚胎图像进行增强。从图4可以看出,MSRCR算法对高亮度区域过增强,造成胚胎图像偏色严重;LRS-CLAHE算法虽然能很好地增强低亮度区域,但增加了噪声,导致图像中的特征信息模糊;DCP算法具有良好的色调保持性,能较好地保持图像的自然性,但是对于细节特征的增强效果并不明显;相比而言,本算法不仅提升了低亮度区域的亮度,还有效抑制了高亮度区域的过增强,从而很好地呈现出胚胎图像中的细节信息。可以看出,死亡期的混乱效果明显,原肠中期的囊胚层与卵黄分界清晰,神经胚期的神经沟与肌节出现期的肌节和眼泡的细节信息突出,可以为后续胚胎分类提供有力支撑。

本研究使用2种性能指标来评估图像,即信息熵和平均梯度[23-24],每个性能指标取图4中每个时期2个图像的平均值。由图5可见,本算法的信息熵和平均梯度均最大,它们的均值分别比原图提高了10.01%和1.36倍。信息熵越大,图像的特征细节越丰富;平均梯度越大,图像的纹理特征越清晰。综上所述,本算法对胚胎图像的增强效果更具有优越性。

3.2暗纹东方鲀胚胎图像检测与分类

本研究运用YOLOv5网络[25]对暗纹东方鲀胚胎原始图像和增强后的图像进行分别检测和分类,网络中迭代训练1 000次,基于准确率、损失函数、召回率和均值平均准确率(mAP)4个参数来比较图像增强的效果。结果如图6所示,增强后图像的准确率比原始图像提高4.5%,损失函数降低0.16%,召回率和mAP没有改变。从图5中可知,增强后图像的分类准确率在迭代800次左右达到最大值95.2%,且后续趋于平缓;原始图像准确率最大值达到90.7%,且抖动较大。增强后图像损失函数比原始图像更接近于0。

选择迭代820次的网络权重作为YOLOv5网络检测的模型参数,对暗纹东方鲀胚胎进行检测,分类效果如图7所示。在训练中,对胚胎的4个时期进行检测,把死亡期、原肠中期、神经胚期和肌节出现期标签为00、01、02和03。每个时期随机选择3个效果图进行对比分析。通过YOLOv5网络对暗纹东方鲀胚胎原图与增强后图像进行检测对比,可以得出结论,图7中(a)、(b)、(c)、(d)4个时期增强后的图像检测分类识别准确性均高于原图。

4结论

本研究将图像处理技术应用于暗纹东方鲀胚胎发育各个时期的检测与分类,采用多目标检测YOLOv5算法进行分类与识别。采用DCP算法以及它的先验推导出的一系列图像增强算法,对暗纹东方鲀胚胎图像进行增强,增强后图像的信息熵均值提高了10.01%,平均梯度均值提高了1.36倍,增强后的胚胎图像细节信息更丰富且特征更加明显清晰。在YOLOv5网络上进行训练,增强后的图像比原图准确率提高4.5%,效果更佳。因此,本研究把DCP等一系列图像增强算法运用于暗纹东方鲀胚胎图像上,且取得了一定的效果。对暗纹东方鲀胚胎进行准确检测与分类,不仅给人工繁殖、杂交育种带来了方便,也对在不同环境下胚胎生长速度的研究提供了必要的参考材料。

参考文献:

[1]吴剑峰,华元渝. 家化暗纹东方鲀全人工繁殖技术[J].水产养殖,2002(5):7-9.

[2]李子奇,成美玲,吴玉萍,等. 鞍带石斑鱼(♀)×云纹石斑鱼(♂)杂交后代早期发育及正反交后代生长特性[J]. 水产学报, 2020, 44(3): 436-446.

[3]崔文耀,周丽青,杨继辉, 等. 四带小鲃胚胎发育及系统进化分析[J]. 水产学报, 2020, 44(8): 1286-1295.

[4]谢刚,陈焜慈,胡隐昌,等. 倒刺鲃胚胎发育与水温和盐度的关系[J].大连水产学院学报, 2003,18(2):95-98.

[5]杨州,华洁,陈晰. 暗纹东方鲀胚胎发育历期与温度的关系[J].淡水渔业,2004(2):6-8.

[6]JOBSON D J, RAHMAN Z, WOODELL G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes[J]. IEEE Transactions on Image Processing, 2002, 6(7):965-976.

[7]SRINIVASAN S, BALRAM N. Adaptive contrast enhancement using local region stretching[C]//SATYENDRA K, IIT K. Proceedings of the 9th Asian symposium on information display. New Delhi, India:ASID, 2006: 152-155.

[8]赵馨宇,黄福珍. 基于双通道先验和光照图引导滤波的图像增强[J].激光与光电子学进展,2021,58(8):53-62.

[9]徐浩,谭一博,刘博文,等. 基于超像素和暗通道先验的图像去雾复原方法[J].中国海洋大学学报(自然科学版),2020,50(10):118-124.

[10]HE K, SUN J, TANG X. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 33(12): 2341-2353.

[11]HE K, SUN J,TANG X. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013,35(6): 1397-1409.

[12]廖娟,陈民慧,汪鹞,等. 基于双重Gamma校正的秧苗图像增强算法[J].江苏农业学报,2020,36(6):1411-1418.

[13]LEE S, YUN S, NAM J H, et al. A review on dark channel prior based image dehazing algorithms[J]. Eurasip Journal on Image & Video Processing, 2016, 2016(1): 1-23.

[14]刘玲. 基于暗通道先验的图像去雾改进算法研究[D].重慶:重庆大学,2019.

[15]GALDRAN A, ALVAREZ-GILA A, BRIA A, et al. On the duality between retinex and image dehazing[C]//IEEE. 2018 IEEE/CVF conference on computer vision and pattern recognition (CVPR). Salt Lake City, UT, USA:IEEE, 2018:8212-8221.

[16]SAVELLI B, BRIA A, GALDRAN A, et al. Illumination Correction by Dehazing for Retinal Vessel Segmentation[C]//IEEE.  2017 IEEE 30th international symposium on computer-based medical systems (CBMS). Greece:IEEE, 2017: 219-224.

[17]GAUDIO A, SMAILAGIC A, AURLIO C. Enhancement of retinal fundus images via pixel color amplification[J]. Lecture Notes in Computer Science, 2020,12132:299-312.

[18]胡亚丽,华元渝. 暗纹东方鲀胚胎发育的观察[J].南京师范大学学报(自然科学版), 1995,18(4):139-144.

[19]刘俊果,宋炜,蒋科技,等. 棘头梅童鱼胚胎发育和仔鱼形态观察[J].海洋渔业,2018,40(6):691-702.

[20]易祖盛,陈湘粦,王春,等. 倒刺鲃胚胎发育的研究[J].中国水产科学,2004(1):65-69.

[21]侯雪宁. 暗纹东方鲀胚胎发育相关miRNA表达差异研究[D].青岛:中国海洋大学,2015.

[22]周立斌,叶卫. 长臀鮠胚胎发育的研究[J].水产科学,2007(1):31-34.

[23]周治,黄若兰,刘文慧,等. 基于暗通道和色彩校正的水下图像增强方法[J].大众标准化,2020(23):168-169.

[24]王红茹,张玲,王佳,等. 基于改进的同态滤波和Retinex的水下图像增强的算法研究[J].电光与控制,2021,28(5):32-35.

[25]KUZNETSOVA A, MALEVA T, SOLOVIEV V. Detecting apples in orchards using YOLOv3 and YOLOv5 in general and close-up images[C]//HAN M, QIN S T, ZHANG N A. International symposium on neural networks. Cham: Springer, 2020: 233-243.

(责任编辑:张震林)

收稿日期:2021-03-13

基金项目:江苏省现代农业产业关键技术创新项目[CX(20)2028]

作者简介:冯国富(1971-),男,河南新乡人,博士,副教授,研究方向为嵌入式技术研究。

通讯作者:陈明,(E-mail)mchen@shou.edu.cn

猜你喜欢
图像增强
基于非下采样剪切波变换与引导滤波结合的遥感图像增强
基于双树四元数小波变换的图像降噪增强
图像增强技术研究
红外图像增强在公安系统中的应用
数字图像处理中Matlab的应用实例
雾天图像增强中Retinex算法的细节信息优化
基于Retinex的视频自适应增强算法
环形稀疏孔径结构的研究
多方向双边滤波单尺度Retinex图像增强研究
自然光图像反射分量分离