基于事件相机的合成孔径成像

余 磊 廖 伟 周游龙 杨 文 夏桂松

合成孔径成像(Synthetic aperture imaging,SAI) 作为光场[1-2]计算成像领域的重要分支,克服了单一视角拍摄时对遮挡目标无法有效成像的问题,如图1(a)和图1(e)所示.通过将相机在多视角拍摄的图像帧进行映射与合成,合成孔径成像可等效于一个虚拟的大孔径和小景深相机成像,因此能够虚化远离对焦平面的遮挡物,实现对被遮挡目标的成像,在遮挡物去除[3-6]、目标识别与跟踪[7-10]以及场景三维重建[11]等方面具有极高的应用价值.

图1 基于传统相机的SAI和基于事件相机的SAI 效果对比.第1 列分别为拍摄实景和目标图像.第2～ 4 列分别对应密集遮挡、极高光照条件、极低光照条件下,基于传统相机的SAI 与本文提出的基于事件相机SAI 的成像结果对比Fig.1 Comparison of conventional camera based SAI and event camera based SAI.The first column illurstrates experimental scene and object image.Columns 2,3,and 4 correspond to the comparison of conventional camera based SAI results and event camera based SAI results under dense occlusions,extreme high light and extreme low light conditions

然而,在密集遮挡和极端光照条件下,由于遮挡物的密集干扰和相机本身较低的动态范围,基于传统相机的合成孔径成像无法有效地对被遮挡目标进行成像.图1(b)给出了传统合成孔径成像方法在密集遮挡条件下的成像结果.由于遮挡物过于密集,减少了来自被遮挡目标的信息,而增加了遮挡物的干扰,因此会严重影响成像结果的清晰度和对比度.针对这一问题,现有方法通过移除干扰像素点,从而提高对被遮挡目标的成像效果[11-12].但是,密集遮挡会大大降低遮挡物像素标记的准确度,从而影响合成孔径成像的质量.图1(c)和图1(d)给出了传统合成孔径成像方法在极端光照下的成像结果.由于传统相机的动态范围较低,不可避免会引起过曝光/欠曝光问题,导致无法对目标有效成像.对于这一问题,目前尚无有效的改善方法.

针对上述问题,本文提出了一种基于事件相机的合成孔径成像方法,能够有效提升在密集遮挡条件下的合成孔径成像质量;同时,在极端光照条件下也能有效地对被遮挡目标进行成像.事件相机是受生物视觉启发的一类新型视觉传感器,例如动态视觉传感器 (Dynamic vision sensor,DVS)[13]和动态主动像素视觉传感器 (Dynamic and active-pixel vision sensor,DAVIS)[14].与传统相机不同,事件相机感知场景的对数域亮度变化,输出异步事件流数据,具有极低的延时和极高的动态范围.与高延时的传统相机相比,事件相机能够以极低的延时响应亮度的瞬时变化.因此,在合成孔径过程中,事件相机能够连续地对场景和目标进行感知.在密集遮挡条件下,事件相机能够获取更多的被遮挡目标信息,从而提升成像质量,如图1(f)所示.此外,具有极高动态范围的事件相机能在极端光照条件下,根据亮度变化稳定地输出事件流,进行合成孔径成像,如图1(g)和图1(h)所示.利用事件相机进行多视角信息采集后,进一步将事件流在目标深度下映射,完成对焦.最后,通过分析场景亮度与事件点数量的关系,并针对亮度重建过程中存在的事件点抵消以及图像对比度下降问题,本文提出基于非对称和自适应阈值的图像重建方法,利用事件流进行亮度重建,得到高清晰度、对比度的目标重建图像.

本文的主要贡献如下:

1)本文提出利用事件相机进行合成孔径成像,系统分析了基于事件相机合成孔径成像的基本原理、方法和优势.

2)针对基于事件相机合成孔径成像中存在的事件点抵消与图像对比度下降问题,本文提出基于非对称和自适应阈值的合成孔径成像重建方法,进一步提升了重建图像的质量.

3)通过实验表明,本文方法不仅能够极大提升密集遮挡条件下的成像质量.同时,还能解决极端光照条件下的过曝光/欠曝光问题,对被遮挡目标进行有效成像.因此,对于密集丛林遮挡、夜间穿透成像、昼间天文观测等极端场景,本文方法具有极高的应用价值.

本文结构安排如下: 第1 节介绍了合成孔径成像和事件相机的基本原理与相关工作;第2 节介绍了基于事件相机的合成孔径成像原理与实现方法;第3 节在密集遮挡与极端光照下进行合成孔径成像实验,验证本文方法的可行性、有效性;第4 节得出结论并介绍进一步的研究方向.

1 相关工作

1.1 合成孔径成像

图2 为基于传统相机的合成孔径成像过程,将相机在多视角输出的图像帧在一定对焦深度下进行映射与合成,从而模拟一个虚拟的大孔径相机成像.上述过程可以表示为

图2 基于传统相机的合成孔径成像[4]Fig.2 Conventional camera based SAI[4]

其中,Ii为相机输出的第i帧图像,Hi(d)为将Ii对焦于深度d时的映射矩阵,f表示映射过程,L为图像帧总数,ISAI为合成孔径成像结果.由于相机的孔径越大,景深越小,当虚拟相机的孔径足够大时,可以通过虚化前景遮挡物,实现“透视”的效果[15].

现有的合成孔径成像方法主要采用传统相机进行成像,利用移动的相机[2-3]或相机阵列[16-17]进行多视角拍摄,采集光场信息.Vaish 等[4]提出平面+视差的方法校准相机阵列,进行合成孔径成像.然而,该方法要求对焦平面与相机平面保持严格平行.针对此局限,Vaish 等[5]根据相机多视图原理,提出了相机平面与聚焦平面相交时的合成孔径成像方法,完成遮挡去除任务.然而,受遮挡物光线干扰以及相机动态范围的限制,传统合成孔径成像方法在密集遮挡与极端光照下的目标重建性能较差.

传统合成孔径成像在进行图像叠加时,像素点可能来源于遮挡物像素,对合成孔径成像结果的清晰度和对比度造成影响.当遮挡物过于密集时,目标信息的减少和遮挡干扰的增加可能导致无法有效重建被遮挡目标.针对此问题,Vaish 等[18]提出利用熵、中值、合成聚焦等方法来消除遮挡物像素对合成孔径成像的影响,但是在遮挡物十分密集的情况下效果较差.Yang 等[8]通过对遮挡物进行深度估计,得到遮挡物体的实际深度,优化了合成孔径成像结果,并将其用于严重遮挡场景下的行人追踪任务.Pei 等[19]利用背景减法算法去除动态遮挡物来提高成像质量.然而,该方法不适用于目标静止的场景.Pei 等利用能量最小化对函数像素进行二值标记,但是该方法对场景的亮度和颜色十分敏感,在复杂室外场景的遮挡物标记效果较差[12].Pei 等[11]设计能量函数对图像帧中的遮挡物像素进行标记和分类,并进行场景的3D 重建.针对前景遮挡物干扰的问题,现有方法在场景复杂以及遮挡物密集的场景下难以准确地区分遮挡像素与目标像素.

此外,传统相机的动态范围较低,在极端光照下易出现过曝光、欠曝光问题.尤其在场景亮度偏低时,相机输出的图像帧还夹杂大量噪声,直接影响合成孔径成像的目标重建质量,如图1(d)所示.针对这一问题,目前尚无有效的解决方法.

1.2 事件相机

事件相机是受生物视觉系统启发的一类新型视觉传感器,与传统相机相比存在一定区别.传统相机基于帧进行成像,输出同步图像帧,像素点代表场景的亮度值;事件相机基于像素点独立成像,输出包含大量事件点的异步事件流,事件流表示场景在对数域的亮度变化.

事件点数据包含了亮度变化事件的像素坐标、触发时间和极性三类信息.本文将事件点定义为

其中,i1,2,3,···}为事件点序号,δ(x),δ(t) 分别表示空间、时间上的单位冲激函数,xi为第i个事件的像素坐标,ti是第i个事件点的触发时间,σi {+1,-1}为事件极性,其取值由以下函数确定

其中,I(xi)为图像I中xi位置像素点的亮度值,Ireset(xi)为xi位置像素点产生上一个事件点时的亮度值,c为事件点的激发阈值,ρ为一个截断函数

由此可见,当对数域亮度增量大于等于c时,激发正极性事件点,此时σi+1;当对数域亮度增量小于等于 -c时,激发负极性事件点,此时σi-1;当对数域亮度增量的绝对值小于c时,事件相机无输出.

与逐帧成像的传统相机相比,逐像素点独立成像的事件相机延时极低,能够及时响应像素的亮度变化并输出事件流,从而记录任意时刻的亮度变化情况.此外,在对数域感知亮度变化的特性使相机具有很高的动态范围,在极端光照条件下仍然能稳定地输出事件流.

利用事件相机的低延时和高动态性质,可以解决诸如高速运动、极端光照条件下的视觉感知问题,例如自动驾驶[20]、高速SLAM (Simultaneous localization and mapping)[21-23]、全天候空间监测[24]等.此外,事件相机广泛应用于高帧率、高动态范围视频生成以及场景三维重建中.Kim 等[23]利用事件相机的低延时特性,实现实时、高精度的六自由度跟踪以及场景三维重建.Barua 等[25]提出了一种基于子图像块的稀疏重建方法,利用事件流和图像帧在带噪声情况下进行高帧率视频重建.Watkins 等[26]依据生物视网膜模型,利用稀疏编码技术从事件流数据中重建高保真度、高帧率的图像.Scheerlinck等[27]利用事件相机高动态范围的特性,提出一种基于事件流和图像帧的互补滤波器算法,能够在极端光照条件下重建出高对比度的图像.Rebecq 等[28]提出了一种新的递归网络(Events-to-video,E2VID),利用事件流生成高帧率视频,该网络输出的重建图像质量远高于现有的重建方法.Scheerlinck 等[29]则提出了一种轻量级的神经网络(FireNet),与Rebecq等[28]提出的E2VID 网络相比,FireNet 有效降低了网络计算量,提高了运行速率,并且能够输出质量相当的重建图像.Wang 等[30]应用条件生成对抗网络,利用纯事件流数据生成高动态范围、无动态模糊的高帧率视频.

针对合成孔径成像,由于基于传统相机的合成孔径成像在遮挡物密集时,图像帧中遮挡物像素点占比远大于目标像素点,从而导致图像帧在对焦、累加后,得到的重建图像仍然无法有效地去除遮挡物,对目标的重建效果较差.且传统相机的动态范围较低,在极端光照下易产生过曝光、欠曝光问题,导致场景细节丢失.因此,本文采用低延时、高动态范围的事件相机进行合成孔径成像,解决传统合成孔径成像在密集遮挡或极端光照条件下,无法对被遮挡目标有效成像的问题.

2 基于事件相机的合成孔径成像

2.1 基于事件相机的合成孔径成像系统

基于传统相机的合成孔径成像,是将多视角拍摄的图像帧在目标所在深度下进行对焦和合成,得到被遮挡目标的重建图像;而基于事件相机的合成孔径成像,则是将多视角采集的异步事件流进行对焦,再通过图像亮度重建,得到被遮挡目标的重建图像.基于事件相机的合成孔径成像系统原型如图3所示.虚拟对焦平面πf是我们需要拍摄的平面,OC是放置于相机平面πC和πf之间的遮挡物.由于OC的遮挡,相机在单一视角无法对πf进行完全观测.这里我们利用事件相机进行合成孔径成像来观测目标平面.

图3 基于事件相机的合成孔径成像系统原型Fig.3 Prototype of synthetic aperture imaging system based on event camera

根据前文分析可以得到,由于亮度差|ΔI| 的存在,随着事件相机不断移动,当在缝隙期间观测时,目标P对应的像素亮度会发生变化,从而触发事件流.这些事件点与P和OC的亮度差|ΔI| 有关,因此包含了P的光线信息.然而,由于相机在不同时刻的位置Ct不同,P在多视角所引发事件点的空间坐标不一致,其光线信息在图像中仍处于分散(离焦)状态.为了将光线信息对齐,需要对事件流进行对焦.

2.2 事件流对焦

传统合成孔径成像的对焦方法,是将图像帧在对焦深度下进行逐帧映射,完成目标光线信息的对齐;而基于事件相机的合成孔径成像对焦方法,则是将事件流中的事件点在对焦深度下进行逐点映射,来完成目标光线的对齐工作.由于事件流中的事件点是相互独立的,事件点映射的实质是单个像素点坐标的映射.因此,本文首先讨论单个像素点坐标在不同相机位置下的映射关系,藉由此关系,对事件点进行逐点映射和对齐.

根据式(7),进一步对事件点进行逐点映射,实现事件流对焦.定义事件相机在移动拍摄过程中,共输出了包含M个事件点的事件流,ei(x,t) 为事件流中的事件点数据.将ei(x,t) 经映射后的事件点定义为

其中,xref,i是xi经过映射后的事件坐标,Ri,Ti是相机坐标系下,与之间的旋转、平移矩阵.至此,通过事件点映射完成了事件流的对焦工作,πf上目标所引发的事件点经映射后,在位置被成功对齐,它们的光线信息处于聚焦状态;远离πf的目标所引发的事件点未被成功对齐,这些光线信息仍然处于离焦状态.

由于图像帧中的像素值代表了场景的绝对亮度,基于传统相机的合成孔径成像在完成对焦后,将图像帧进行叠加取平均即可得到重建图像.然而,事件点仅包含对数域的亮度变化信息,而不直接反映绝对亮度值.因此在完成事件流对焦后,不能直接通过事件点累加得到重建结果,还需要设计合适的算法对事件流进行图像亮度重建.

2.3 事件流的亮度重建

2.3.1 场景亮度与事件点数量的关系事件流是描述场景亮度变化的一类数据,与场景的亮度值存在一定联系.本节首先探究场景亮度与事件点数量的关系,并以此为基础进行图像的亮度重建.定义IOC为OC在图像中的亮度值,I(xP)为P可见时,对应于图像中坐标为xP处像素的亮度值,OC与P的亮度差大小|ΔI||IOC-I(xP)|.由于事件相机具有极低的延时,能够及时响应像素的亮度变化,并立即激发事件点.那么,根据式(3),可以推导出xP每发生一次亮度变化时,理论激发的最大事件点个数为

2.3.2 基于非对称和自适应模型的亮度重建

针对利用式(10)直接进行反向亮度重建时,可能出现事件点抵消和图像对比度下降的问题,本节提出了基于非对称和自适应阈值的图像亮度重建方法.

由于事件相机具有μs 级的响应速度,因此假设相机在拍摄时可以及时响应亮度变化并输出事件点,即IOC,I(xP)与Nmax(I(xP)) 之间满足式(10).不失一般性,本文以下的讨论基于遮挡物亮度低于后方场景亮度,在其他场景下时可以依次进行类比.在遮挡物亮度最低的情况下,我们可以将IOC作为最低亮度基准,直接建立Nmax(I(xP))与I(xP) 之间的单调关系,即I(xP)的亮度值越大,xP发生一次亮度变化激发的事件点Nmax(I(xP)) 越多,如图4所示.

图4 亮度变化导致事件相机激发事件点数据.光学成像系统等效于一个低通滤波器,场景亮度的突变传入相机后转变为连续的亮度变化,事件相机对亮度变化作出响应,激发正极性(右下子图)或负极性(右上子图)事件点Fig.4 Event camera generates events when brightness changes.The optical imaging system is equivalent to a low-pass filter.The sudden change of brightness is converted into a continuous brightness change in the camera.Event camera responds to the brightness change and generates positive (bottom-right inset) or negative(top-right inset) events

1)事件点抵消问题.由于事件相机的对称激发阈值,在亮度重建过程中会存在正、负极性事件点抵消的问题.定义ISAI为事件流的亮度重建图像,利用式(10)进行亮度重建,并考虑对正、负极性事件点设置对称重建阈值c.在此条件下,图像亮度重建的过程可以描述为

其中,I0是亮度重建的初值,ISAI(x,t)是t时刻,ISAI中坐标为x处像素点的亮度值.由于事件相机具有对称的激发阈值,同一目标在被遮挡和重现的过程中分别产生了数量相同、极性相反的事件点.如果利用式(11)进行重建时仍设定对称的阈值,显然会出现正、负事件点相互抵消的情况,导致亮度重建错误.

本文提出非对称阈值法来解决事件点抵消的问题,该方法针对不同极性的事件点,设置非对称阈值进行亮度重建,将式(11)更新为

其中,c为非对称阈值函数

其中,con和coff为非对称重建阈值.本文在第3.1节实验部分通过分析重建阈值对图像质量的影响,选取con1.5,coff0.3.由于con＞coff,正极性事件点的影响程度在亮度重建时远大于负极性事件点,有效地防止了正负极性事件点数量相同导致亮度抵消的问题.而且,由于遮挡物的亮度低于后方场景亮度,事件点数量越多,说明该区域的亮度越高,根据事件点数量可以有效地区分场景亮度,进行亮度重建.

2) 图像对比度下降问题.基于非对称阈值的重建方法可能存在图像对比度下降的问题.根据式(12),当采用非对称的固定阈值计算时,随着参与计算的事件点数量增加,像素点亮度呈指数关系变化,事件点数量的差异可能使ISAI中部分区域的重建亮度远大于其余区域,导致图像整体对比度下降.针对此问题,本文提出一种基于非对称和自适应阈值的亮度重建方法.该方法在进行亮度重建时,根据事件点极性和当前像素的亮度值,计算重建阈值,从而防止局部区域亮度过高的问题.对式(12)做进一步修改,得

其中,cAT为非对称和自适应阈值函数

其中,λ为尺度因子,用于调整像素亮度值对阈值的影响程度.λ越大,像素亮度值对阈值计算的影响越大.利用式(15)进行重建时,当前像素点的亮度值越大 (小),计算的正极性重建阈值越小 (大),负极性阈值越大 (小),从而避免重建图像中的部分像素亮度值远高于其余像素,导致图像对比度下降.

2.4 基于事件相机的合成孔径成像算法

基于事件相机的合成孔径成像算法如算法 1所示.首先,将事件相机采集的事件流和相机内参矩阵K作为算法的参数输入,初始化合成孔径成像结果ISAI,并设定聚焦深度d.在确定参考相机位置后,将事件点坐标进行映射,并判断映射后的坐标是否处于重建图像范围内.对于处于图像范围内的事件点,则根据事件极性和当前像素亮度计算重建阈值,对图像进行更新.

算法 1.基于事件相机的合成孔径成像算法

利用事件相机感知亮度变化的特性,以及低延时、高动态范围的优势,基于事件相机的合成孔径成像方法能够在密集遮挡与极端光照环境下有效地进行合成孔径成像任务.

1)密集遮挡.传统相机在密集遮挡时,图像帧中遮挡物像素占比远高于目标像素,导致传统合成孔径成像无法有效重建出被遮挡目标.而事件相机在移动拍摄时,目标与遮挡物的亮度差使遮挡物边缘附近的像素点亮度发生改变并激发大量事件点,这些事件点包含了目标的光线信息.由于这类事件点仅在遮挡物边缘区域产生,遮挡物的密集程度仅影响事件点产生的总量,即遮挡物越密集,边缘缝隙越多,相机输出的事件点总量越多,更有利于目标光线信息的采集.此外,极低延时的特性使事件相机在移动时可以及时响应亮度的瞬时变化,以连续的视角观测场景.因此,在遮挡物密集、可观测区域较少的条件下,与高延时的传统相机相比,事件相机能获取更丰富的目标光线信息,进而有效重建被遮挡目标.

2)极端光照.传统相机的动态范围较低,在极端光照下易产生过曝光、欠曝光问题,严重影响合成孔径成像结果的清晰度与对比度,甚至无法正确地重建目标.而对数域感知亮度变化的特性使事件相机具有极高的动态范围,在极端光照下仍然能够根据场景的亮度变化稳定输出事件流,从而有效获取目标的光线信息并进行重建,如图5 所示.

图5 极端光照条件下事件相机输出的事件流数据Fig.5 Event stream generated by event camera under extreme light condition

3 实验与分析

本节将分别针对密集遮挡和极端光照场景进行合成孔径成像实验,通过与传统方法进行对比,验证本文方法的可行性和有效性.

3.1 系统实现与参数选取

本文提出的基于事件相机的合成孔径成像系统主要采用DAVIS346 事件相机进行场景信息感知.分别采用图6 中的灌木枝丛和极少缝隙的纸板模拟密集遮挡物.将相机放置于移动的导轨上进行多视角场景信息采集.由于DAVIS346 能够在输出事件流的同时输出灰度图像帧,为了保证相同的实验场景,本文直接采用该相机同步输出的图像帧进行传统合成孔径成像[3].DAVIS346 相机中的APS和DVS共用相同的光心,因此二者的内参矩阵相同.本文通过张正友标定法[33]对APS 进行标定,得到相机的内参矩阵K.不失一般性,为了简化实验,假设相机以匀速vtrack运动.并假设导轨所在的平面为相机平面,相机坐标系的X轴与导轨运动方向平行,不同位置处相机的光轴保持平行.那么,式(9) 中的Ri退化为一个单位阵,Ti[vtrack(ti-tref) 0 0]T.在后续实验过程中,采集时长1 s 内的事件流用于本文方法,并同时采集对应的40 帧同步图像帧用于传统合成孔径成像.分别利用峰值信噪比 (Peak signal-to-noise ratio,PSNR)和结构相似性 (Structural similarity index measure,SSIM) 对两种方法的结果进行客观评价,其中参考图像为无遮挡条件下输出的图像帧.

图6 两种不同类型的遮挡物 (相较于灌木枝丛,纸板的缝隙数量极少,且缝隙之间的间距较大)Fig.6 Two different types of occluders (Compared with dense bushes,the number of gaps in cardboard is very small,and the space between the gaps is large)

算法1 中待设定的参数包括: 正重建阈值con,负重建阈值coff和尺度因子λ,本文主要通过消融实验来对以上3 个参数进行设置.首先,将正重建阈值固定为con1.5,通过观察不同的负重建阈值和尺度因子对PSNR 的影响,来对这两个参数进行选取.图7 给出了负重建阈值coff取值对PSNR 的影响曲线.可以发现,当coff0.3 时,重建图像的PSNR值最高,因此在后续实验中设置coff0.3.同时,通过实验可以发现,当coff接近于con时,由于出现了第2.3.2 节中讨论的事件点抵消问题,降低了重建图像的质量.图8 给出了尺度因子λ对PSNR 的影响,可以发现,当λ2.5 时,重建图像的PSNR 值最大,因此在后续实验中设置λ2.5.

图7 PSNR 与负重建阈值的关系Fig.7 Relationship between PSNR and negative reconstruction threshold

图8 PSNR 与尺度因子的关系Fig.8 Relationship between PSNR and scale factor

3.2 密集遮挡条件下的目标重建

选取如图6(a)所示的灌木枝丛作为密集遮挡物,测试本文方法在密集遮挡下的目标重建能力.与图6(b)中的纸板相比,灌木枝丛具有较多缝隙,更容易获取目标的信息.

3.2.1 多深度目标重建

本节在灌木枝丛遮挡下进行多深度目标重建,分别在距离导轨 0.4 m,0.8 m和1.2 m 处放置平面几何目标.利用本文方法在不同深度下进行目标重建,并对比传统方法的重建结果.

图9 给出了本文方法与传统方法在不同深度下的目标重建结果.第1 行为基于传统相机的合成孔径成像结果,在不同对焦深度下,传统方法能够实现对应几何目标的重建.但由于密集遮挡物光线的干扰,重建图像中目标区域细节差、对比度低,图像整体亮度不均.第2 行为基于固定阈值法重建的合成孔径成像结果,与传统方法相比,固定阈值法重建出的几何目标在清晰度上有较大提升,但是图像对比度较低.这是由于场景顶部的日光灯管亮度较高,在事件相机移动拍摄时灯管区域产生的事件点远多于其余区域.因此,当利用固定阈值法进行重建时,事件点数量的巨大差异引起重建结果中灯管区域的亮度远高于其余区域,进而导致整体图像对比度下降.此外,随着对焦深度的增加,合成孔径逐渐对焦于灯管区域,使该区域的事件点更加集中,进一步加重了图像对比度下降问题.第3 行为基于自适应阈值重建的合成孔径成像结果,与传统方法和基于固定阈值重建法相比,基于自适应阈值的事件流重建能恢复出高清晰度、对比度的目标图像.这是由于事件点数量与场景亮度的关系不受遮挡物密集程度的影响,并且低延时的事件相机在移动拍摄时能够及时根据亮度变化输出事件点,采集更丰富、完整的光场信息.此外,基于自适应阈值的重建方法能够在重建时根据像素亮度调整重建阈值,从而有效提高重建图像的对比度.与传统方法相比,本文方法在灌木枝丛遮挡下的重建结果整体亮度均匀,且清晰度和对比度更高.

图9 灌木枝丛遮挡条件下的多深度合成孔径成像结果与对比 (第1 行为传统合成孔径成像结果,第2 行为基于固定阈值重建法的成像结果,第3 行为基于自适应阈值重建法的成像结果)Fig.9 Comparison of SAI results at different focus depths under the condition of dense bushes occlusion(The first row is SAI-C;the second row is reconstructed result with fixed thresholds;the third row is reconstructed result with adaptive thresholds)

表1 给出了本文方法与传统方法得到的目标重建图像的PSNR和SSIM.由于目标在重建图像中只占据小部分区域,为了尽量消除目标以外区域的影响,本文在计算图像质量指标时,分别裁剪出重建图像中的对应目标区域进行计算,如图9 中的方框区域所示.基于固定阈值重建和自适应阈值重建的事件相机SAI 结果在PSNR和SSIM 上均优于传统方法.自适应阈值重建法在3 处不同深度重建的目标均取得了最高的PSNR和SSIM 指标.与传统方法相比,对应于深度为 0.4 m,0.8 m,1.2 m 处的重建目标在PSNR 上分别提升了约5 dB,6 dB,8 dB;在SSIM 上分别提升了1/2、1/5和5 倍.从主、客观分析可以得出,基于自适应阈值的事件相机SAI 在密集树丛遮挡条件下进行多深度目标重建时,可以得到更高质量的目标重建图像.

3.2.2 单深度目标重建

在本节实验中,仅在距离导轨一定深度处放置平面几何图形或玩具熊目标,在灌木枝丛遮挡下进行单一深度目标的图像重建.从主、客观方面对重建图像进行评价,并对比传统方法的重建结果.

图10 分别给出了几何目标或玩具熊目标在灌木枝丛遮挡下的合成孔径成像结果,几何目标与导轨的距离为 0.6 m,玩具熊目标与导轨的距离为 0.4 m.无遮挡时,目标在相机视野内清晰可见;在有灌木枝丛遮挡时,相机在单一视角无法有效观测目标.传统合成孔径成像能够重建出被遮挡目标,但由于密集遮挡的干扰,图像中目标区域的对比度低、细节差.与传统方法相比,基于固定阈值和自适应阈值重建的事件相机SAI 均能更有效、完整地重建出被遮挡目标,而自适应阈值重建法得到的重建图像有更高的对比度和图像细节,并且图像亮度更均匀.此外,由于相机在向右移动时,相机视野内的目标也发生了相对移动,导致在目标的左(右)侧边缘产生负(正)极性事件点.因此,在本文方法的重建结果中,被遮挡目标的左(右)侧呈现出较暗(亮)的边缘.

图10 灌木枝丛遮挡条件下的合成孔径成像结果与对比 (第1 行和第2 行分别对应于几何目标与玩具熊目标)Fig.10 Comparison of SAI results under the condition of dense bushes occlusion condition(The first and second rows correspond to geometric object and teddy bear)

表2 给出了传统方法与本文方法得到的目标重建图像的PSNR和SSIM 指标.在几何目标实验中,与传统方法相比,基于固定阈值和自适应阈值重建的事件相机SAI 在PSNR 的提升超过4 dB,在SSIM上优于传统方法.在玩具熊目标实验中,基于自适应阈值的重建结果在PSNR 的提升超过2 dB,在SSIM上提升近一倍,并优于固定阈值重建法.从主、客观分析可以得出,基于自适应重建阈值的事件相机SAI在灌木枝丛遮挡下进行单深度目标重建时,能得到更高质量的目标重建图像.

表2 灌木枝丛遮挡条件下的合成孔径成像质量对比Table 2 Quantitative comparison of SAI results under the dense bushes occlusion condition

3.3 极端密集遮挡条件下的目标重建

本节实验采用极少缝隙的纸板作为遮挡物,基于传统方法和本文方法进行几何目标的重建任务.纸板遮挡物如图6(b)所示,固定纸板的缝隙宽度为2 mm来模拟极端密集遮挡情况.在此情况下,相机更难获取遮挡物后方目标的信息,因此更具有挑战性.此外,本文还采用了缝隙宽度分别为 5mm和13mm的黑色纸板来模拟一般密集遮挡和稀疏遮挡情况进行合成孔径成像实验,并进行对比和分析.

图11 给出了不同密集遮挡情况下的合成孔径成像结果.1)在极端密集遮挡情况下,普光相机只能通过纸板间的极少缝隙对目标进行观测.传统相机SAI 无法有效地重建被遮挡目标,并且图像中存在大量黑色条纹.这是由于传统相机的帧率较低,因此输出的连续图像帧之间存在一定时间间隔,而相机在该间隔内无法采集场景信息,导致部分目标区域信息的缺失.因此,传统方法无法对这些区域进行重建.本文方法在极端密集遮挡情况下则清晰地重建出了几何目标,其归功于事件相机的极低延时,能够及时响应任意时刻的亮度变化,因此能以连续的视角对场景进行感知,获取更完整、丰富的场景信息.2)在一般密集遮挡情况下,传统相机可以通过缝隙获取更丰富的目标信息,因此传统SAI的结果图像中黑色条纹区域显著减少,并且几何目标也更加清晰.而本文方法在一般密集遮挡下依旧能够重建出清晰的目标图像.3)在稀疏遮挡情况下,相机在单一视角即可观测到大部分的后方场景.因此,传统SAI 的结果图像中有效地重建出了被遮挡目标,接近于参考图像,但仍然受到遮挡物光线的影响.本文方法在稀疏遮挡情况下对目标的成像效果较差,这是由于本文方法依靠相机移动时,在遮挡物缝隙边缘处产生的事件点来获取场景信息.当遮挡物过于稀疏时,在遮挡物边缘处产生的事件点总量减少,导致获取的场景信息减少.

图11 不同密集遮挡条件情况下的合成孔径成像结果与对比 (第1 行为极端密集遮挡情况;第2 行为一般密集遮挡情况;第3 行为稀疏遮挡情况)Fig.11 Comparison of SAI results under different density occlusions condition (The first row corresponds to extremely dense occlusion condition,the second row corresponds to normal dense occlusion condition,the third row corresponds to sparse occlusion condition)

表3 给出了不同密集遮挡情况下,传统方法结果与本文方法结果对应的PSNR和SSIM 指标.在极端密集遮挡情况下,本文方法得到的重建图像在PSNR和SSIM 上均优于传统方法.与传统方法相比,基于自适应阈值重建的事件相机SAI 在PSNR上提升了超过7 dB,在SSIM 上提升了约1/5.在一般密集遮挡情况下,基于自适应阈值重建法的结果在PSNR 上相较于传统方法提升了超过6 dB,但是在SSIM 上已经低于传统方法.在稀疏遮挡情况下,传统方法的结果在PSNR和SSIM 上均优于本文方法.综上所述,本文方法在极端密集遮挡情况下能较好地对被遮挡目标进行成像,在一般密集遮挡情况下也能有效进行成像,在稀疏遮挡情况的成像质量不如传统方法.而传统方法在极端密集遮挡情况下的成像质量较差,但随着遮挡物密集程度降低,成像质量逐渐提高,并在稀疏遮挡情况下的成像质量超过了本文方法.

表3 不同密集遮挡情况下的多深度合成孔径成像质量对比Table 3 Quantitative comparison of SAI results under different density occlusions condition

3.4 极端光照条件下的目标重建

本节将针对极端光照条件下,基于本文方法和传统方法进行合成孔径成像实验.使用灌木枝丛作为遮挡物,分别采用几何图形和玩具熊作为目标,在极高和极低光照条件下进行目标重建.

图12 给出了极端光照条件下的合成孔径成像结果与对比.在极高光照条件下,传统相机出现了严重的过曝光问题,即使没有遮挡物,相机也无法有效地观测目标.从传统方法在极高光照条件下的成像结果可以发现,过曝光问题严重影响了合成孔径成像质量,无法对被遮挡目标进行重建,而本文方法则有效地重建出了几何目标和玩具熊目标.由于传统相机直接获取场景的绝对亮度值,因此在极低光照下无法区分目标与背景,同时输出的图像帧中包含噪声.从成像结果可以发现,传统方法在极低光照条件下几乎无法对目标进行成像,并且图像中包含了大量噪声,而本文方法仍然能够有效重建被遮挡目标,并且图像具有较高的清晰度和对比度.这是由于事件相机具有极高的动态范围,在极端光照条件下仍然能够灵敏感知亮度变化并稳定输出事件点,从而对被遮挡目标进行有效成像.从固定阈值和自适应阈值法的重建结果对比可以看到,自适应阈值重建法在极端光照条件下也能重建出更清晰、细节丰富、亮度更加均匀的图像.

图12 极端光照条件下的合成孔径成像结果与对比 (第1 行和第2 行分别对应于极高光照条件下,几何目标与玩具熊目标的合成孔径成像结果;第3 行和第4 行分别对应于极低光照条件下,几何目标与玩具熊目标的合成孔径成像结果)Fig.12 Comparison of SAI results under extrme light conditions (The first and second rows correspond to geometric object and teddy bear under extremely high light condition,and the third and fourth rows correspond to geometric object and teddy bear under extremely low light condition)

4 结论与展望

在密集遮挡与极端光照条件下,由于遮挡物的密集干扰与相机本身较低的动态范围,基于传统相机的合成孔径成像无法有效地对被遮挡目标进行成像.针对这一问题,本文利用事件相机的极低延时和极高动态范围特性,提出了一种基于事件相机的合成孔径成像方法.该方法利用感知亮度变化的事件相机进行多视角目标信息采集.然后,根据相机多视图几何原理,将事件流在目标深度下对焦.通过分析场景亮度与事件点数量的关系,提出基于非对称和自适应阈值的亮度重建方法,解决了基于事件相机合成孔径成像中存在的事件点抵消与图像对比度下降问题,进一步提升成像质量.实验结果表明,本文方法与传统方法相比,在密集遮挡条件下在清晰度、对比度、峰值信噪比和结构相似性指标上均有较大提升.同时,本文方法能解决极端光照条件下的过曝光/欠曝光问题,对被遮挡目标进行有效成像.

虽然本文方法在密集遮挡与极端光照条件下进行合成孔径成像时,与传统方法相比具有较大优势,但是也存在一些局限.首先,与基于传统移动相机的合成孔径成像类似[3],本文方法对事件相机的移动方式存在一些要求,即相机始终在一个相机平面内移动,且相机的光轴始终垂直于相机平面,并且需要保证场景处于静止状态,否则本文方法将无法正确进行事件流映射,导致无法进行有效的成像.其次,本文方法依靠在密集遮挡物边缘产生的事件点来获取场景信息.当遮挡物过于稀疏,或者遮挡物在场景中只占一小部分时,本文方法可能也无法有效地进行成像.最后,与普通的光学相机相比,目前市面上的事件相机分辨率较低.因此,当观测目标较小,或距离相机过远时,分辨率的限制可能会导致重建目标的细节较差.

因此,在今后的研究中,我们将尝试融合普光图像与事件流数据进行合成孔径成像,进一步提高合成孔径成像在复杂遮挡物、极端光照场景下的成像性能.此外,参考文献[34-36]的方法,我们将针对事件流重建的特性,进行重建图像的超分辨率复原,来弥补事件相机在分辨率上的局限.