激光水下成像系统辐射标定算法

肖易寒, 庞永杰, 赵蓝飞

(1. 哈尔滨工程大学 信息与通信工程学院, 黑龙江 哈尔滨 150001; 2. 哈尔滨工程大学 水下机器人技术重点实验室, 黑龙江哈尔滨 150001)

激光水下成像系统辐射标定算法

肖易寒1, 庞永杰2, 赵蓝飞1

(1. 哈尔滨工程大学 信息与通信工程学院, 黑龙江 哈尔滨 150001; 2. 哈尔滨工程大学 水下机器人技术重点实验室, 黑龙江哈尔滨 150001)

摘要：由于像增强器的非线性响应破坏了散斑噪声的统计规律，因此直接对激光水下图像进行散斑噪声抑制得到的图像复原结果受到非线性响应的约束。为了恢复散斑噪声的固有特性，本文提出一种对光晕具有鲁棒性的辐射标定算法。这种辐射标定算法通过灰阶映射函数以及积分时间增量，将非线性响应曲线的非线性部分转化为线性部分，再通过线性插值标定出像增强器对于激光信号的非线性响应关系，从而达到恢复散斑噪声的分布规律，提高噪声抑制效果的目的。通过实验对比了辐射标定前、后激光水下图像的噪声抑制效果，验证了本文算法能够有效地提高散斑噪声的抑制效果。

关键词：辐射标定；像增强器；激光水下图像；散斑噪声；相机响应函数；光晕

网络出版地址：http://www.cnki.net/kcms/detail/23.1390.U.20160411.0845.020.html

随着人类日益增多的海洋活动，水下成像技术已经成为人类了解海洋的一种重要手段。水下成像技术面临的主要挑战是如何克服水体对于光线的吸收、散射等作用产生的独特的噪声对于图像质量的影响。常用的水下成像技术包括普通光源成像，水下激光成像。由于水中介质对自然光的衰减作用较强，普通光源成像的距离较短，形成的水下图像的质量较差。采用具有较好的通透性的激光光源能够在一定程度上抑制介质对于光线的衰减以及后向散射的作用，水下图像的传输距离、成像精度、噪声抑制能力均优于普通光源成像。

虽然激光水下成像系统能够在一定程度上降低了水下介质对于散射作用，但是图像仍然受到由于后向散射所引起的散斑噪声的影响[1]。又由于像增强器的非线性特征在一定程度上改变了散斑噪声的统计特性，因此激光水下图像的噪声效果受到了像增强器非线性响应的限制。本文研究了像增强器的非线性响应函数(camera response function, CRF)以及逆响应函数(inverse camera response function, ICRF)[2]对于去噪算法的影响；在此基础上提出了一种对于光晕具有鲁棒性的辐射标定算法用于提高水下激光图像的噪声抑制效果。

1研究背景

1.1像增强器的非线性特性

像增强器是光路接收器的核心器件，主要由光阴极、微通道板(microchannel plate, MCP)、荧光屏、光纤、CCD组成。理想的像增强器是线性器件，然而在实际环境中，MCP、光纤都会对输入信号产生一定程度的非线性影响，从而导致像增强器的ICRF具有非线性特性。实际情况和理想状态下，像增强器的响应如图1所示。

图1　线性ICRF以及非线性ICRFFig.1　Linear ICRF and nonlinear ICRF

1.2非线性响应对于抑制散斑噪声的影响

(1)

对式(1)两边同时取期望，由于散斑噪声与有用信号统计独立，则xi的局部均值为

(2)

对式(1)两边同时乘方再取期望，根据xi的局部均值表达式得到xi的局部方差：

(3)

(4)

通过式(4)可知，如果直接对输出的灰度图像进行Kalman滤波，则图像复原结果与理论值存在一定的理论误差。

1.3辐射度标定

传统的辐射标定方法通过查表以及不断改变入射光源辐射度，标定出入射光子以及系统响应之间的对应关系[4-5]。由于制造工艺以及水下物质的衰减作用导致真实的辐照度与查表得到的理论值存在误差。另一种常用的辐射度标定方法是基于多曝光图像的辐射标定方法。这类方法的前提条件是相机位置需要保持绝对静止，如果相机出现微小的移位则会出现光晕现象。

2标定算法原理

2.1灰阶映射

设函数f是g的反函数，辐射标定的目标是求解g(0),g(1),...,g(255)。令li是灰阶i的辐射度，tj是积分时间，yi.j是灰阶i在j次积分的灰阶值：

(5)

这里将li在积分时间tj、tj+1对应的灰阶yi,j、yi,j+1定义为灰阶映射。根据式(5)可知yi,j、yi.j+1满足以下约束关系：

(6)

设函数H(·)表示概率分布函数，C(·)表示累积概率分布函数，则存在以下引理和定理。

证明因为h具有严格的单调性，则li与f(li)存在一一映射的关系。因此li与对应的f(li)出现的概率相等。证毕。

定理1 同一光照辐射度在相邻两个曝光图像中对应灰阶的累积概率分布相等，即C(yi,j)=C(yi,j+1)。

证明在灰度序列中对yi,j进行累积分布运算得到以下表达式：

(7)

根据累积分布函数的定义，式(7)可以变换为以下形式：

(8)

由于f是严格单调增加的函数，根据引理1，式(8)可以变换为以下形式：

(9)

设h(k)=t·k，显然h是一个严格单调增加的函数，根据引理1，式(9)可以转化为

(10)

(11)

同理可得yi,j+1的累积分布如式(12)所示：

(12)

根据约束条件(6)可知式(11)与(12)的累加范围相等，因此C(yi,j)=C(yi,j+1)。证毕。

根据定理1可知，只要在j+1幅图像中找到对应的yi,j+1，使yi,j+1的累积分布与yi,j相等，则yi,j+1是yi,j的灰阶映射。

2.2递推表达式

假设积分时间的初始条件是yi.1=i，根据灰阶映射满足等式(6)的约束关系，则初次积分与二次积分的灰阶映射如式(13)所示：

(13)

同理g(yi,2)如式(14)所示：

(14)

将fCRF函数作用于式(14)的等号两侧

(15)

将式(15)代入式(13)得到经过三次曝光之后灰阶i对应的辐射度如式(16)所示：

(16)

以此类推可以得到N次曝光后灰阶i对应的灰阶映射的通项公式：

(17)

根据式(17)可知只要g(yi,N)的表达式已知，则能够得到g(i)的标定结果。

2.3积分时间增量

将多曝光图像按照积分时间从大到小的顺序进行排列，当积分时间足够大时存在以下关系yi,1>yi,2>…>yi,j≈0。根据图1可知当灰阶yi,j足够小时，可以将ICRF近似为线性函数，所以这里将ICRF分解为非线性曲线和线性曲线两部分，利用递推的思想将响应强度较高的非线性部分转化为响应强度较低的线性部分。

(18)

将等式(18)在(tj+△ti,j)·li=tj·li进行一阶泰勒级数展开：

(19)

同理j+1时刻的表达式：

(20)

联立式(19)、(20)得到△ti,j的表达式：

(21)

通过式(21)可以得到灰阶i对应的积分时间增量序列，即△ti,1,△ti,2,...,△ti,N。根据式(17)得到引入时间增量后ICRF表达式：

(22)

2.4线性部分标定

因为ICRF曲线端点的灰阶值分别是0和1，所以采用0和255作为参考点，通过线性插值对ICRF的线性部分进行估计。设灰阶i与0距离最近的灰度映射是yi,mi，mi是yi,mi的曝光次数，则ICRF为

(23)

(24)

(25)

将式(25)代入式(23)中，将ICRF的递推关系重新写为以下形式：

(26)

3实验结果与数据分析

实验部分通过脉宽为50 ns的激光器和最小门宽为15 ns的增强型CCD构成距离选通激光水下成像系统。

3.1辐射标定噪声抑制效果的影响

实验部分首先对图像Lena进行散斑噪声进行污染；通过如图1所示的ICRF进行非线性变换；通过对比辐射标定前、后，恢复图像的主观效果以及峰值信噪比(peak signal noise ratio, PSNR)、结构相似度(structural similarity index measurement, SSIM)[6]，验证了本文算法的有效性。图2～4分别是通过Sarode算法[3]、Kaur算法[7]、Hoque算法[8]获得的图像恢复结果。

图2　Sarode算法复原结果Fig.2　Sarode algorithm restoration results

图3　Kaur算法复原结果Fig.3　Kaur algorithm restoration results

图4　Hoque算法复原结果Fig.4　Hoque algorithm restoration results

算法名称SSIM标定前标定后PSNR标定前标定后Sarode0.8240.87536.245.7Kaur0.7980.85733.441.8Hoque0.7740.84432.140.8

从图2～4可以看出同种噪声抑制算法对于辐射标定后的散斑噪声抑制效果好于未加入辐射标定的对应的恢复图像。相比于未加入辐射标定的图像复原结果，辐射标定后对应的恢复图像局部的颗粒效果以及灰度的起伏得到明显的抑制，图像整体的噪声抑制能力得到显著的提高。表1是图2～4对应的SSIM以及PSNR，从表1可知经过辐射标定后，SSIM以及PSNR均高于标定前，说明辐射标定有助于改善散斑噪声的抑制效果，加入辐射标定后图像的复原结果与原始图像的相似度较高。

3.2辐射标定对于噪声抑制算法的影响

由于多曝光图像对应同一场景，因此线性图像亮度分布规律需要尽可能的保持一致。本文采用线性多曝光图像的亮度方差来测量辐射标定方法对于光晕的抑制程度，线性多曝光图像的方差为

(27)

式中：φ是线性多曝光图像的均值；γ描述了图像的亮度分布与亮度均值的偏移程度，如果γ的值越小，说明辐射标定后图像的亮度分布距离亮度均值较近，标定函数抑制光晕的效果越好，反之亦然。图5是通过调整像增强器的积分时间得到的多曝光图像。

图5　立方体对应的多曝光图像Fig.5　Multi exposure image of a cube

图6　立方体的噪声图像复原结果Fig.6　Noise image restoration results of a cube

图7　椭圆形的噪声图像复原结果Fig.7　Noise image restoration results of a ellipse

图8　不同算法的辐射标定结果Fig.8　Radiation calibration results of different algorithms

图6、7分别是通过Sarode[3]算法得到的立方体、椭圆形的恢复图像。图8是通过线性方法、Debevec算法[9]、Granados算法[10]、本文算法标定的ICRF。

表2是4种ICRF标定方法对应的γ值，可以看出经过辐射标定后，本文算法对应的亮度的方差小于其他辐射标定法，说明辐射标定后图像序列能够最大程度地保证同一场景的亮度分布规律，因此本文算法对于光晕具有较高的鲁棒性。

表2　不同算法对应的γ值

4结束语

本文研究了像增强器的非线性响应对于散斑噪声抑制算法的影响，提出一种对于光晕具有鲁棒性的辐射标定算法。通过实验，验证了在噪声抑制算法之前先对增强器进行辐射标定有助于提高激光水下图像的散斑噪声抑制效果。

参考文献：

[1]SAVAGE L. Underwater imaging gets clearer[J]. Optics and photonics news, 2013, 24(7): 30-37.

[2]KIM S, TAI Y W, KIM S J, et al. Nonlinear camera response functions and image deblurring[C]//Proceedings of computer vision and pattern recognition, IEEE, 2012: 25-32.

[3]SARODE M V, DESHMUKH P R. Reduction of speckle noise and image enhancement of images using filtering technique[J]. International journal of advancements in technology, 2011, 2(1): 30-38.

[4]ZHAO Y, ZHANG L, YAN F, et al. Linearity measurement for image-intensified CCD[C]//Proceeding of international symposium on advanced optical manufacturing and testing technologies, 2010: 765637-765637-5.

[6]WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE transactions on image processing, 2004, 13(4): 600-612.

[7]KAUR A, SINGH K. Speckle noise reduction by using wavelets[C]//Proceeding of national conference on computational instrumentation,Chandigarh,India, 2010: 198-203.

[8]HOQUE M R, RASHED-AL-MAHFUZ M. A new approach in spatial filtering to reduce speckle noise[J]. International journal of soft computing and engineering, 2011,6(1): 2231-2307.

[9]DEBEVEC P E, MALIK J. Recovering high dynamic range radiance maps from photographs[C]//Proceeding of ACM SIGGRAPH 2008 classes. New York: ACM Press, 2008: 31.

[10]GRANADOS M, AJDIN B. WAND M, et al. Optimal HDR reconstruction with linear digital cameras[C]//Proceeding of IEEE conference on computer vision and pattern recognition. San Francisco: IEEE, 2010: 215-222.

本文引用格式：

肖易寒, 庞永杰, 赵蓝飞. 激光水下成像系统辐射标定算法[J]. 哈尔滨工程大学学报， 2016, 37(5): 738-742.

XIAO Yihan, PANG Yongjie, ZHAO Lanfei. A radiometric calibration algorithm for an underwater laser-imaging system[J]. Journal of Harbin Engineering University, 2016, 37(5): 738-742.

A radiometric calibration algorithm for an underwater laser-imaging system

XIAO Yihan1, PANG Yongjie2, ZHAO Lanfei1

(1. College of Information and Communication Engineering, Harbin Engineering University, Harbin 150001, China; 2. Science and Technology on Underwater Vehicle Laboratory, Harbin Engineering University, Harbin 150001, China)

Abstract：Because the nonlinear response of an image intensifier influences the distribution of inherent noise, the effect of speckle noise reduction is limited through the laser's underwater low light level images. In order to recover the distribution of the inherent noise, this paper proposes a radiometric calibration algorithm that is robust to halos; the algorithm is used to calibrate the nonlinear response function of the image intensifier. This algorithm employs a gray-scale mapping function and an integral time increment to transform the nonlinear response into a linear response. Subsequently, the linear interpolation is employed to calibrate the nonlinear response of the image intensifier with regard to laser radiance. The distribution of inherent noise is thereby restored, which contributes to improving the effect of speckle noise reduction. In the experimental section, we compare the restoration with a radiometric calibration and with a conventional speckle-reduction algorithm. The comparison illustrates that this algorithm effectively improves the performance of speckle noise reduction.

Keywords：radiometric calibration; image intensifier; laser underwater low light level image; speckle noise; camera response function; halo

收稿日期：2014-11-01.

基金项目：国家自然科学基金资助项目(51179035/51279221)；中央高校基本科研业务费专项资金资助(HEUCF160802).

作者简介：肖易寒(1980-), 女, 讲师,博士; 通信作者：肖易寒, E-mail：yihan9999@sohu.com.

DOI:10.11990/jheu.201411061

中图分类号：TP391.41

文献标志码：A

文章编号：1006-7043(2016)05-0738-05

网络出版时间：2016-04-11.

庞永杰(1955-), 男, 教授,博士生导师.