李 敏,解鸿文,徐中外,邢宇航
(火箭军工程大学908室,陕西 西安 710025)
高光现象指的是图像中的高亮度光照在物体表面形成的高亮度反射现象,对图形的进一步处理和研究有非常大的影响。因此很多学者投身于对高光现象的研究中。红外图像的高光反射现象同样对图像的真实感有着非常大的影响,是不可回避的问题,尤其是运动中的物体局部热量集中,引发的高光现象,比如运动中的坦克履带和水面红外图像仿真模拟中存在的高光现象。
可见光的高光反射技术研究开展比较早,已经比较成熟,目前有许多高光去除方法,传统上一般使用补色的方法[1]进行去除,近年来引入双边滤波器[2-3],效果得到了有效的提升。
与可见光领域的高光现象不同的是:一般可见光中对于高光的研究大多集中在高光现象的去除上[4-5]。在可见光高光现象绘制方面,主要是仿真海面或水面的高光现象[6]。但在红外成像仿真领域,情况有所不同,需要尽可能的生成与实际图像相近的仿真图像,以便给人以更真实的感受。
在国内,王章野等提出了基于量子光学的红外成像辐照模型,该模型基于可见光Phong光照模型,速度较快,但高光部分的模拟不够真实[7];李宏宁等[8-9]在计算机图形学中最常用的光照模型基础上引入了自发辐射和探测器噪声的处理。胡海鹤等提出一种基于几何特征的反射区域辐射能量计算方法,来模拟高光现象[10],但是不同入射角度下的反射率是不同的,简单地利用反射率来计算反射辐射,导致图像的真实感还有一定的提升空间。
本文在文献[10]研究工作的基础上,根据红外辐射传输过程,重点考虑高光现象的成因,即红外辐射在物体表面反射的情况,引入双向反射分布函数,将其与光线跟踪算法结合起来,利用光线跟踪的方法确定对高光现象有贡献的辐射分量,并减少计算量;在计算反射辐射时,用仿真模拟的双向反射分布函数代替简单的反射率,更加准确真实地计算各种辐射源与物体表面间辐射能量的传递关系,使物体表面的光照效果符合相应规律,并以此来计算物体的辐照强度,实现了更细致的高光现象仿真。实验表明,本文的方法,在没有对运算速度造成大的损失的前提下,提高了仿真图像真实感,取得了一定的效果。
本文首先根据光源及红外成像设备的位置,根据光线跟踪算法确定对高光现象有贡献的光线及所经过的反射点,利用双向反射分布函数模型,计算BRDF的值,最后计算经过反射的红外辐射总量,从而绘制形成红外图像。具体过程如图1所示。
图1 本文算法示意图
在大多数高光现象发生的时候,物体的表面材质不同、入射角不同,导致得到的BRDF数据差别较大[11]。加之从微观上看,大多数的反射平面都凹凸不平,不能将其看作反射率、反射角恒定的平面,这就造成红外高光现象的模拟较为困难,也是红外场景仿真研究的一个重要方面[12]。
双向反射分布函数[13]可以用来描述光如何在物体表面进行反射,电磁波是一种特殊的“光”,故可将其扩展用于热辐射的传播过程中,描述红外辐射在不同材质表面的反射过程。如图2所示,其定义为:当一束光均匀投射到足够大的均匀且各向同性的材质表面上时,材质表面的反射幅亮度与入射幅亮度的比值:
(1)
其中,dLr(θr,φr,λ)为(θr,φr)方向的反射幅亮度;dEi(θi,φi,λ)为(θi,φi)方向的入射幅亮度[14]。它是关于入射角、反射角和波长的函数,量纲为sr-1。在实际应用过程中,有各种不同的模型,适用于不同场景和不同精度[15]。
图2 双向反射分布函数示意图
本文利用光线跟踪算法确定对高光现象有贡献的光线和反射点,尽量减少计算量,提高仿真速度。再通过反射点的双向反射分布函数更为精确地计算每一条光线经过反射后的红外辐射量。在双向反射分布函数的简化和应用方面,具体做法是:以材质反射率为基础,利用拟合的思想,根据材质的双向发射分布函数的二维等值线图,考虑平面不平整造成的反射角度不同,以及大小不同,用如下公式作为拟合公式模拟双向反射分布函数[16]:
f(θi,φi;θr,φr)=a1+a2cosφ+a3sinθ+a4cos2φ+a5sinθcosφ+a6sin2θ+…
光线跟踪是一种真实表现物体的方法,它源于几何光学的一项通用技术:跟踪观察者眼睛出发的光线而不是光源发出的光线,以逆向的方法确定场景中物体的颜色等特征[17]。目前,光线跟踪方法是一种有效的模拟方法,在可见光领域取得了巨大的成功[18],被引入红外场景仿真领域后,同样得到了很好的效果[19],Bordival M等[20]利用光线跟踪算法来模拟半透明热塑性塑料的温度分布,仿真误差率小于5%,取得了较好的效果。
本文在实际应用时的具体做法是跟踪红外辐射,假设红外成像设备采样平面上的每一个点可以发出射线,跟踪每一条射线,当某射线经过多次反射或折射后与场景中的高辐射强度光源有交点时,就保存此反射点或折射点的信息,并继续跟踪此光线的反射光线和折射光线,直到所有光线与高辐射强度光源都不相交或者达到最大跟踪深度[21]。
光线跟踪算法如下:
(1)利用普朗克公式计算光源红外辐射量;
(3)
(2)根据红外成像设备的镜头和光源的位置,计算红外成像设备成像平面每一个感光点“发出”的光线经过反射平面得到的反射光线,只有当反射光线或者多次反射后的光线能够经过光源的时候,将这样的光线及经过的反射点进行标记,在以后的计算中,只计算标记过的光线的红外反射辐射量;
(3)计算每一个反射点的双向反射函数值;
(4)计算每一条反射光线(或经过多次反射的反射光线)的红外辐射量;
(5)计算所有感光点的红外辐射总量,进行灰度映射,并绘制和显示整个红外图像。
为了验证所提出的仿真方法,构建了简单实验场景。在铁皮材质表面放置装满热水的纸杯,热水的温度约为70 ℃。实验在室内进行,无其他明显热源,室温约为20 ℃,铁皮材质的表面温度也约为20 ℃。所采用的红外成像设备为德国Fluke公司生产的TiX640红外热像仪,分辨率为640×480。光谱响应范围为8~12 μm。在拍摄过程中,热纸杯置于表面的时间较短,可认为并没有影响材质表面温度,其仍然分布均匀,且与室温相同。
实验结果如图3所示。图3(a)为利用本文提出的算法得到的实验结果,图3(b)为利用红外成像设备实际测量得到的结果,图3(c)为不使用本文提出的光线跟踪和双向反射函数模拟的方法生成的结果图。图3(d)、(e)、(f)分别上述图中最具有代表性的一列像素(竖线标示部分)灰度值变化图。矩形框内为本文的主要研究对象,即红外高光现象。
图3 实验结果对比图
从中可以看出,在主观上,图中仿真图像与实测图像非常相似,尤其是高光反射现象灰度值的下降趋势相似。实测灰度值突降,是由于杯口温度值较低,仿真图像中并没有这一情况发生。与改进前的算法结果相比,本文算法生成的结果,过度自然,与实际更相符。改进前的算法高光现象表现的十分生硬。在像素值曲线图中,曲线陡降之后的曲线是红外高光现象的仿真情况。差别主要体现在纸杯杯口杯底边沿的模拟上,实拍图像灰度值在杯口和底边有一个明显的下降。而由于仿真图像是理论计算得到的,因此并不能完全仿真温度稍低的边沿的效果。
从算法消耗的时间上看,采用本文提出的算法,完成上述实验中的图片渲染,需要的时间为15 s,而不采用光线跟踪算法,由于需要计算全局光线,所需时间较长,达到了83 s。
为提高红外图像中高光现象的真实性,解决仿真中存在的将光源看作点光源以及使用恒定反射率造成的真实感不强的问题,本文用模拟的双向反射分布函数代替反射率,将光线跟踪与双向反射分布函数相结合,改进了红外高光反射仿真方法。与用红外成像设备实拍的真实红外图像对比表明,该仿真结果能够较为真实的反映红外高光现象,是一种行之有效的方法。
[1] Tan P, Lin S,Quan L,et al.Highlight removal by illumination-constrained inpainting[C]//IEEE International Conference on Computer Vision,IEEE,2003:164-169.
[2] Yang Q, Wang S,Ahuja N.Real-time specular highlight removal using bilateral filtering[C]//European Conference on Computer Vision,Springer-Verlag,2010:87-100.
[3] Jung C, Jiao L,Qi H.Specular Highlight Removal Using Reflection Component Separation and Joint Bilateral Filtering[J].Chemical Physics,2011,292(2-3):295-309.
[4] WANG Chengjie.Multi-view Based Specular Removal Technique and Its Application[D].Shanghai:Shanghai JiaoTong University,2014.(in Chinese)
汪铖杰.基于多视角的去高光技术及应用[D].上海:上海交通大学,2014.
[5] Wang H, Xu C,Wang X,et al.Light field imaging based accurate image specular highlight removal[J].Plos One,2016,11(6):e0156173.
[6] ZHAO Pengyu. Research on rendering specular highlight on the water surfaces[D].Changsha:Hunan University,2011.(in Chinese)
赵鹏玉.水面镜面反射高光效果绘制方法研究[D].长沙:湖南大学,2011.
[7] WANG Zhangye,JIANG Zhaoyi,BAO Hujun,et al.A quantity optics based illumination model for infrared image synthesis[J].Chinese Journal of Computers,2002,25(9):897-903.(in Chinese)
王章野,江照意,鲍虎军,等.基于量子光学的红外成像光照模型[J].计算机学报,2002,25(9):897-903.
[8] LI Hongning, BAI Tingzhu,MA Shuai,et al.Infrared imaging simulation system by ray tracing method[J].Journal of System Simulation,2011,23(7):1387-1391.(in Chinese)
李宏宁,白廷柱,马帅,等.光线跟踪方法实现红外视景成像仿真系统[J].系统仿真学报,2011,23(7):1387-1391.
[9] LI Hongning, BAI Tingzhu,CAO Fengmei,et al.Infrared imaging model for scene simulation and its validation[J].Journal of Infrared and Millimeter Waves,2010,29(1):57-62.(in Chinese)
李宏宁,白廷柱,曹峰梅,等.用于场景仿真的红外成像模型及其有效性分析[J].红外与毫米波学报,2010,29(1):57-62.
[10] HU Haihe, BAI Tingzhu,HAN Qiang,et al.Infrared illumination model and infrared scene simulation based on Blinn-Phong model[J].Acta Optica Sinica,2013,33(6):80-86.(in Chinese)
胡海鹤,白廷柱,韩强,等.基于Blinn-Phong模型的红外辐照模型及其红外场景仿真[J].光学学报,2013,33(6):80-86.
[11] WANG Qiushi, MA Lizhuang,ZENG Zhou.Image-based BRDF acquisition for 3D objects with specular reflection[J].Journal of System Simulation,2008,20(11):2931-2934.(in Chinese)
王秋实,马利庄,曾洲.基于图像的三维高光物体双向反射分布函数测量[J].系统仿真学报,2008,20(11):2931-2934.
[12] MA Wenwei. Experimental and model study on surface BRDF for several typical materials[D].Wuhan:Huazhong University of Science & Techology.2014.(in Chinese)
马文维.几种典型材料表面的双向反射特性建模与实验测量研究[D].武汉:华中科技大学,2014.
[13] ZHANG Jianqi. Infrared Physics[M].Xi′an:Xidian University Press,2013.(in Chinese)
张建奇.红外物理.第2版[M].西安:西安电子科技大学出版社,2013.
[14] Renhorn I G E, Hallberg T,Boreman G D.Efficient polarimetric BRDF model[J].Optics Express,2015,23(24):31253.
[15] Guarnera D, Guarnera G C,Ghosh A,et al.BRDF Representation and Acquisition[J].Computer Graphics Forum,2016,35(2):625-650.
[16] Yu C, Lee S W.Reliable estimation of anisotropic BRDF[J].Electronics Letters,2016,52(12):1024-1026.
[17] GUO Chenguang. Research on method of high realistic infrared scene simulation system based on ray tracing[D].Xi′an:Xidian University,2013.(in Chinese)
郭晨光.基于光线跟踪的高真实感红外三维场景仿真方法研究[D].西安:西安电子科技大学,2013.
[18] Shidner J. An efficient ray-tracing method for determining terrain intercepts in EDL simulations[C]//IEEE Aerospace Conference,IEEE,2016:1-9.
[19] TIAN limin. High realistic infrared scene simulation based on ray tracing[D].Xi′an:Xidian University,2014.(in Chinese)
田利敏.基于光线跟踪的高真实感红外场景生成[D].西安:西安电子科技大学,2014.
[20] Bordival M, Schmidt F M,Maoult Y L,et al.A ray tracing method to simulate the infrared heating of semi-transparent thermoplastics[J].International Journal of Material Forming,2010,3(1):809-812.
[21] YUE Tianshuang, ZHAO Huaici,HUA Haiyang.Research on CUDA-based opitmised ray tracing algorithm and its realisation[J].Computer Applications and Software,2015,32(1):161-162.(in Chinese)
岳田爽,赵怀慈,花海洋.基于CUDA的光线追踪优化算法研究与实现[J].计算机应用与软件,2015,32(1):161-162.