景深差分提取绿色植物的真彩色夜视图像颜色校正

赵振芬，陈远金,2，张猛蛟,2，陈东启，王岭雪，蔡 毅,3

景深差分提取绿色植物的真彩色夜视图像颜色校正

赵振芬1，陈远金1,2，张猛蛟1,2，陈东启1，王岭雪1，蔡 毅1,3

（1. 北京理工大学 光电学院 纳米光子学与超精密光电系统北京市重点实验室，北京 100081；2. 华东光电集成器件研究所，江苏 苏州 215163；3. 中国兵器科学研究院，北京 100089）

近红外辐射是夜天光的重要成分，充分利用近红外辐射是提高真彩色夜视成像系统信噪比的有效手段。然而，对近红外辐射反射率高的绿色植物在真彩色夜视图像中存在偏色严重的问题。本文分析了红、绿、蓝通道中绿色植物图像的灰度值分布后发现：①绿色植物区域的景深大；②全通通道和红色通道的差值为不含近红外辐射的绿、蓝分量之和，且绿色植物区域在差分图像中的绿、蓝分量很小。本文基于这两个特点提出一种景深差分提取绿色植物的方法，之后根据色彩平衡原理利用所提取的绿色植物区域去调整红色通道和蓝色通道的值。结果表明：该方法能够有效校正近红外辐射对图像色彩的影响，还原绿色植物图像的色彩。

颜色校正；景深差分；提取绿色植物；色彩平衡；真彩色夜视；近红外

0 引言

传统真彩色成像系统为获得丰富的色彩，通常采用截止近红外的彩色滤光片。然而，夜天光包含大量的近红外辐射，充分利用近红外辐射是提高真彩色夜视成像系统信噪比的有效手段。国内外研究者在真彩色夜视成像系统中均广泛引入近红外辐射，2009年，Dirk Hertel[1]将Bayer彩色滤光阵列的一个绿色通道改为允许近红外透过的全通通道，将该滤光阵列与大动态范围的CMOS结合；2010年，Hao X.[2]等人在低光照条件的监视摄像机中引入了近红外波段；2015年，Park C.[3]等人将具有R，G，B和近红外的光谱滤波阵列（multi-spectral filter array，MSFA）的成像系统应用于低照度条件，并且提出了一种基于MSFA的成像系统颜色恢复方法；2017年，我们也研究了基于近红外波段全透的红色、绿色、蓝色滤光片的（electron-multiplying CCD，EMCCD）真彩色成像方法[4]，结果表明，绿色植物对近红外辐射的高反射率，会导致真彩色夜视图像中绿色植物偏色严重的问题。

目前大多的颜色校正算法是针对近红外截止的传统真彩色图像，对引入近红外辐射的真彩色夜视图像并没有通用的算法，传统的颜色校正方法主要有灰度世界法[5]、白点检测法[6]、BP神经网络法[7]等。灰度世界法、白点检测法等白平衡算法只适用于可见光图像或受近红外影响较小的部分图像；BP神经网络算法要求学习次数达到一定程度才能判断图像的偏色情况，处理速度较慢。2009年，Dirk Hertel[1]通过计算的方法获得了不含近红外辐射的R、G、B三通道的数据，得到较好的彩色夜视效果，但该计算方法尚未公开；2011年，Su Wang[8]等人通过直方图拉伸的方法对偏色图像进行校正，但该方法不适用于R、G、B颜色直方图已经拉伸到整个色调范围的图像；2014年，林李金[9]提出了一种基于RGB颜色空间的校正方法，对偏色图像进行分区域校正，该方法对某些颜色正常的像素点也进行处理，导致局部区域的校正结果异常。

本文在我们研究的真彩色夜视成像方法[4]基础上，提出一种提取绿色植物区域的景深差分方法，据此校正近红外辐射对图像颜色的影响，并使用色度相似度评价校正后的真彩色夜视图像。

1 提取绿色植物区域的方法

不同种类的绿色植物因生长环境（土壤、气候、灌溉、施肥、气候、地形等）不同而产生形貌上的差异，但其反射光谱却具有相似的特征[10]。植物的光谱特性取决于其内在组成和结构[11]，绿色植物中的叶绿素分子、植物组织和细胞结构造成了绿色植物对近红外波段的高反射率。另外，当植物叶片重叠时，其对可见光波段的反射率几乎不变，而对近红外波段的反射率增加，这表明绿色植物对近红外光具有较高的反射率，图1为绿叶、新鲜绿草、混凝土、干草、黄色玫瑰的光谱反射率曲线，绿叶、新鲜绿草、黄色玫瑰的光谱反射率由Lambda 19分光光度计（美国Perkin Elmer公司的）测量得到，干草和混凝土的光谱反射率来自ASTER光谱库（加利福尼亚技术研究所），可以看出，绿叶和新鲜绿草对近红外波段均具有较高的反射率。因此，真彩色夜视成像引入近红外辐射后，绿色植物由于对近红外辐射反射率高而存在严重的偏色现象，如图2所示。其中场景一中有草坪和树木，草坪面积相对较大；场景二中的树林较多，且为近景拍摄；场景三中的绿色植物较少；场景四中绿色树木较多，并包含白色建筑物，且为远景拍摄。

图1 绿色植物光谱反射率曲线图

我们校正真彩色夜视图像绿色植物偏色的方法是首先将绿色植物区域提取出来。为方便数学表达，我们用'、'、'、'代表近红外全透的红、绿、蓝、全通通道，数学表达式写为：

式中：、、分别表示不含近红外的红、绿、蓝分量，NIR表示近红外分量。

通过分析近红外全透的真彩色夜视绿色植物图像，我们发现其绿色植物区域灰度值较高，景深较大。此外，由图1和式(1)可知，'通道图像和'通道图像的差分图像（称为'－'图像）的颜色分量为不含近红外辐射的、分量之和，且绿色植物区域在'－'图像中的、分量远小于景深图像中的NIR分量。

我们首先计算真彩色夜视图像的景深图像，计算方法采用2009年He提出的暗通道理论[12]，将景深图像表达式[13]写为：

式中：()表示暗通道图像；()表示以像素为中心的窗口；J()表示的任意一个颜色通道。

由式(2)计算得到的景深图像中，对近红外反射率越高的绿色植物图像区域，其景深值越大；反之，对近红外反射率低的非绿色植物图像区域，景深值越小。

由公式(1)可知，'和'的差值'－'是不含近红外辐射的、分量之和，同时，绿色植物区域在'－'图像中的灰度值较小，而非绿色植物区域的灰度值较大。所以，我们用绿色植物区域灰度值较大的景深图像减去非绿色植物区域灰度值较大的'－'图像，就可将绿色植物区域提取出来，该步骤我们称为景深差分处理，数学表达式写为：

式中：为景深差分处理后的图像，即提取出绿色植物区域的图像，在该图像中，绿色植物区域的灰度值较大，而非绿色植物区域的灰度值近似为零。

图3～图6给出了图2中4个场景图像提取绿色植物区域的过程及结果：景深图像、'－'图像和最终提取的绿色植物区域图像。为避免差分后某些像素点的值出现负数，我们将差分后像素点值为负数的像素点的设置为零。

图2 近红外全透的真彩色夜视绿色植物图像

图3 场景一的绿色植物区域提取

图4 场景二的绿色植物区域提取

图5 场景三的绿色植物区域提取

图6 场景四的绿色植物区域提取

2 绿色植物区域偏色的校正算法

本文提出的景深差分提取绿色植物的真彩色夜视图像颜色校正算法，主要包括：求解真彩色夜视图像的景深图像，'、'通道的差值图像（'－'），景深差分法提取绿色植物区域以及色彩平衡，算法流程如图7所示。

图7 基于暗通道差分提取绿色植物区域的颜色校正流程

由色彩平衡的原理可知[14]，适当比例的蓝光和红光混合后，可产生与单色品红色光相同的彩色视觉效果。因此根据偏色的真彩色夜视图像中的绿色植物偏品红色的特点，可以采用减少红色和蓝色的方法来校正，校正公式为：

式中：'、'、'分别表示近红外全透的红、绿、蓝通道图像；为景深差分处理后的图像；、为红、蓝通道的校正参数，可通过大量实验来选取，本文算法中校正参数＝0.6，＝0.6；Cor、Cor、Cor分别为色彩平衡处理后红、绿、蓝通道的图像。将处理后的红、绿、蓝通道图像融合，得到校正后的真彩色夜视图像，然后对该图像进行白平衡处理。

3 校正结果评价

3.1 主观评价

为验证本文算法的有效性，我们使用本文算法、灰度世界法、动态阈值法[15]分别对偏色的真彩色夜视绿色植物图像进行处理，并对校正结果进行对比，图8～图11为校正效果。

图8 场景一的校正效果

图9 场景二的校正效果

图10 场景三的校正效果

图11 场景四的校正效果

可以看出，传统的颜色校正方法对真彩色夜视图像绿色植物区域的校正效果不明显，校正后图像的绿色植物区域仍偏红，不符合人眼的视觉感知。本文提出的颜色校正方法校正效果较好，能够有效校正近红外辐射对真彩色夜视图像色彩的影响，还原绿色植物图像色彩。

3.2 客观评价

为客观评价本文算法的有效性，使用色度相似度评价校正后的真彩色夜视图像。分别计算偏色的真彩色夜视图像以及使用灰度世界法、动态阈值法、本文算法校正后的真彩色夜视图像与可见光图像之间的欧氏距离，若校正后的真彩色夜视图像与可见光图像的欧式距离与校正前相比明显缩小，则本文算法有效。利用两个图像对应通道的像素灰度平均值来计算图像间的欧氏距离[16]：

表1为使用灰度世界法、动态阈值法和本文算法校正图像与可见光图像的色度相似度对比，粗体显示数据为每组数据的最优值。可以看出，本文算法明显缩小了校正后图像与可见光图像的欧氏距离，且色度相似度分别提高73.5%、68.3%、81.6%、57.5%，说明本文提出的景深差分提取绿色植物的颜色校正算法可以有效解决真彩色夜视图像绿色植物图像在近红外辐射影响下偏色严重的问题，基本还原绿色植物的图像色彩。

4 结论

本文通过对绿色植物对近红外波段的反射率以及红、绿、蓝通道中绿色植物图像灰度值分布的分析，基于灰度值高的绿色植物其景深都较高以及全通通道和红色通道的差值为不含近红外成分的绿、蓝分量之和，且绿色植物区域在差分图像中的绿、蓝分量很小这两个特点，提出一种景深差分提取绿色植物的方法。该算法可以将引入近红外辐射后，夜视图像中偏色严重的绿色植物区域提取出来。然后，根据色彩平衡原理，利用提取出来的绿色植物区域调整红色通道和蓝色通道的值，从而校正近红外辐射对真彩色夜视图像颜色的影响。实验结果表明，该方法可以将大部分绿色植物区域提取出来，能够有效校正近红外辐射对真彩色夜视图像色彩的影响，基本还原可见光图像色彩，获得符合人类视觉感知的校正效果。该颜色校正算法为真彩色夜视成像技术的研究奠定了基础，具有一定的研究价值。

表1 色彩校正方法处理结果对比

[1] Hertel D, Marechal H, Tefera D, et al. A low-cost VIS-NIR true color night vision video system based on a wide dynamic range CMOS imager[C]//2009, 2009: 273-278.

[2] HAO X, CHEN H, YAO C, et al. A near-infrared imaging method for capturing the interior of a vehicle through windshield[C]//2010,2010: 109-112.

[3] Park C H, Oh H M, Kang M G. Color restoration for infrared cutoff filter removed RGB multispectral filter array image sensor[C]//2015(VISAPP 2015), 2015: 30-37.

[4] 白玉, 陈远金, 张猛蛟, 等. EMCCD真彩色成像方法与验证[J]. 红外技术, 2017, 39(4): 329-340.

BAI Y, CHEN Y J, ZHANG M J, et al. Method and demonstration of true-color imaging by EMCCD[J]., 2017, 39(4): 329-340.

[5] Navalpakkam V, Itti L. Modeling the influence of task on attention[J]., 2005, 45(2): 205-231.

[6] Finlayson G D, Drew M S. White-point preserving color correction [C]//5Color Imaging Conference on Color,,, 1997: 258-261.

[7] 黄丽. BP神经网络算法改进及应用研究[D]. 重庆: 重庆师范大学, 2008.

HUANG L. BP Neural Algorithm Improvement and Application Research[D]. Chongqing: Chongqing Normal University, 2008.

[8] WANG S, ZHANG Y, DENG P, et al. Fast automatic white balancing method by color histogram stretching[C]//4 International Congress on Image and Signal Processing, 2011: 979-983.

[9] 林李金, 蔡坚勇, 蔡荣太, 等. 基于RGB色彩空间的四带树木图像颜色校正方法[J]. 计算机系统应用, 2014, 23(4): 154-158.

LIN L J, CAI J Y, CAIR T, et al. Color correction algorithm for four-band tree image based on RGB color space[J]., 2014, 23(4): 154-158.

[10] 许浩, 刘珩. 绿色植物光谱特征拟合技术研究进展[J]. 兵器装备工程学报, 2018, 39(2): 157-162.

XU H, LI H. Advance in spectral fitting of green plants[J]., 2018, 39(2):157-162.

[11] 刘志明, 胡碧茹, 吴文健, 等. 高光谱探测绿色涂料伪装的光谱成像研究[J]. 光子学报, 2009, 38(4): 885-890.

LIU Z H, HU B R, WU W J, et al. Spectral imaging study of hyperspectral detection of green paint camouflage[J]., 2009, 38(4): 885-890.

[12] HE K M, SUN J, Tang X O. Single image haze removal using dark channel prior[C]//, 2009: 1956-1963．

[13] 宋得成, 徐国庆, 鲁建勇. 暗原色先验图像去雾改进算法[J]. 武汉工程大学学报, 2014, 36(12): 68-71.

SONG D C, XU G Q, LU J Y. Improved image defogging based on priori dark color[J]., 2014, 36(12): 68-71.

[14] Rafael C Gonzalez, Richard E Woods.[M]. Beijing: Electronics Industry Press, 2011.

[15] WENG C C, CHEN H, Fuh C S. A novel automatic white balance method for digital still cameras[C]//, 2005.

[16] 郭永刚, 葛庆平, 郭楠. 利用白平衡进行偏色图像的颜色校正[J]. 计算机工程与应用, 2005, 41(20): 56-59.

GUO Y G,GE Q P, GUO N. Color correction based on white balance[J]., 2005, 41(20): 56-59.

Color Correction of True-color Night Vision Image by Extracting Green Plants with Differential Depth of Field

ZHAO Zhenfen1，CHEN Yuanjin1,2，ZHANG Mengjiao1,2，CHEN Dongqi1，WANG Lingxue1，CAI Yi1,3

Near-infrared radiation is an important component of night sky light. Making optimal use of near-infrared radiation is an effective method to improve the signal-to-noise ratio of true-color night vision imaging systems. However, green plants with high reflectance of near-infrared radiation introduce a strong color cast problem in true-color night vision images. In this study, we analyze the gray value distribution of green plant images in red, green, and blue channels and find that the depth of field of the green plant area is large. The difference between the all-pass channel and the red channel is the sum of the green and blue components, without the near-infrared radiation. In addition, the green and blue components of the green plant region are few in the difference image. Based on these two characteristics, in this study, we propose a color correction method for true-color night vision images. The method extracts green plants with differential depth of field, then uses the extracted green plant area to adjust the values of the red and blue channels, according to the color balance principle. The results show that the proposed method can effectively correct the influence of near-infrared radiation on image color and restore the image color of green plants in night vision images.

color correction, differential depth of field, extracting green plants, color balance, true-color night vision, near-infrared

TN223

A

1001-8891(2020)09-0886-07

2019-01-20；

2020-08-11.

赵振芬（1991-），女，河北张家口人，硕士研究生，主要从事彩色夜视成像和图像处理的研究。E-mail：18811753086@163.com。

王岭雪（1973-），女，云南石屏人，副教授，博士，主要从事红外成像、图像处理和红外光谱等方面的研究。E-mail：neobull@bit.edu.cn。