王昊鹏,刘泽乾
(中国人民解放军空军航空大学 吉林 长春 130022)
运用三维激光成像技术可以将主动成像提高到一个新的层面上,除了强度和角度的标准,还包括成像的范围。利用三维几何形状可以解决对成像区域内的目标和人物的识别和鉴定,并能将目标对象进行对比。它同时也增强了“看”的能力,用于探测诸如植被、伪装网、窗帘和百叶帘等遮蔽物之下的隐藏对象,还可以被用于监视、侦察和识别。三维激光成像系统的高分辨率和准确度使得它能对三维图像做出精确的测量,例如生成一个人或一个完整的犯罪现场的三维模型。
文中提出用于激光主动成像系统的技术,并举例说明如何将该项技术应用到实际工作当中。第2节主要介绍了一些可用于三维成像的激光成像技术。第3节举例说明三维成像系统的一些应用,第4节提出了一些关于使用激光成像系统、信号处理、图像识别、视觉和建模仿真等方面正在进行的工作。
激光三维成像技术的基本原理是利用照射激光脉冲从探测场景中收集反射辐射线。激光的主动照射在白天或晚上的光照环境条件下完全独立,因此图像对比度在这方面具有较好的鲁棒性。
照射激光能够在一些传输数据信号上采样,或照射一些有间隙的遮蔽物所隐藏的对象,并由检测传感器接收隐蔽目标表面的反射激光,如图1所示,它可以应用于对可疑的物体和地区进行观察,例如被植被、伪装网、窗帘、百叶帘或有阴影的窗户遮住的区域。与可见光和近红外光不同,激光能够穿透建筑和车辆的窗户,可用于侦察和检测建筑物或汽车中是否有人。其他方面的应用包括地形测绘,如可以将树木、道路和建筑分类。三维信息与二维图像结合可以更好地识别目标,但是实现过程也更复杂。
图1 照射激光信号采样原理Fig.1 Laser irradiation principle of sampling signal
图1中,照射激光脉冲首先照射树的树冠,导致第一束回波信号产生。部分激光脉冲穿透树冠,最后在茎干上反射,产生回波。
在过去的几年里,新型传感器的能力得到了快速的发展。激光三维成像扫描系统通常采用机械扫描器,因此数据收集相当费时,而且无法捕捉移动的物体。闪光灯激光雷达作为新一代探测系统,其测距仪包括时间分辨接收器和ROIC(Read-Out Integrated Circuit),可以对每个像素完整采样。这使捕获一幅完整的三维图像仅需传输一束脉冲激光。
GV(gated viewing)技术也称为“burst illumination”,激光波长传感器可以是一台简单相机,但快门开合时间要与短波照射激光的脉冲同步。对应于所需要范围内的往返传输时间,可以设置一个可调控延迟来控制照相机快门的开合。相机成像需要考虑激光脉冲长度和快门打开的时间。通过预先设定的程序可以改变延迟时间,致使成像片段呈现不同区域的景象。由于生成每个区域的图像都需要最大照明亮度,电源的效率将对系统产生影响。该技术具有成本低和鲁棒性高等优点,用相对简单的部件就可以实现。主动照射的使用使GV系统具有夜间工作的能力。与被动成像技术相比,GV技术主要在以下方面具有优势:
1)对大气、烟雾和地形等干扰因素的抑制;
2)应用于远距离光学探测(例如光传感器或望远镜)的潜力;
3)轮廓检测;
4)曝光时间短,主动照明可以抑制背景光电噪声;
5)与光电无源系统相比,在晴朗天气下的可靠性和安全性更高,具有透过烟雾和阴霾“看”到目标的能力。
此外,有证据表明,相当微小的GV就可以生成高分辨率的三维图像,既三维物体的图像信息量可以由微小的GV图像构建。
用单一元件的激光成像探测器进行扫描是直接、迅速地获得探测场景的三维景象信息的方法。每一束脉冲激光照射被探测物体的一小部分,储存发射脉冲和接收回波的时间间隔。一些探测器给出全波形的时间分辨脉冲响应,其他探测器只给出超过一定限度的时间脉冲回波。有些系统除了储存第一个和最后一个回波之外,还能存储更多的回波,不同回波描绘不同的目标区域。扫描系统的优点之一是角分辨率高,主要缺点是数据采集时间长,难以捕捉移动的物体。激光成像扫描系统可以由地面激光发射器实现,或由机载设备实现。建立在地面上的系统可用于三维造型和小型物体的识别,而机载系统主要用于地形测绘。
FPA(focal plane array)探测器已经发展到能让每个像素都具有择时能力,这使非扫描激光三维成像成为可能。配有128×128像素和ROIC的FPA今天仍在使用[1]。这样一个系统中,帧速率可以增加到视频速率(50 Hz或60 Hz),能够捕获移动的目标。该传感器比普通照相机体积小,其激光源可由数据采集平台提供。
激光三维成像系统拥有记录回波信号的能力,可以揭露被部分隐藏的目标对象。激光三维成像扫描系统收集的试验数据表明,一束照射脉冲激光可以穿透到几十米的植被之下,对森林里的目标进行成像[2]。
将多视角的成像场景组合在一起可增强“透视”植被的能力。如图2所示,从8个不同的视角记录一处相当密集的植被群,植被群下放置了一辆沃尔沃V40。通过组合旋转点云可以揭露隐藏在树后的汽车,如图3所示。
在图2中,中间是将从8个不同的观察点得到的树缝图像拼接在一起生成的激光三维成像图像,周围是激光扫描仪在不同位置的一系列成像效果。红色的矩形区域显示隐藏车辆的位置。图3结合从8个观察点得到的图像信息,提取出了隐藏在浓密植被下的沃尔沃V40的图像。
FOI[3]的现场测试结果表明激光三维成像系统能穿透伪装网,提供隐藏物体的图像。FOI进行了对隐藏起来的目标部分成像的研究。热源图像由于受传播波长的限制,不能透过百叶帘成像。激光成像照射光在1.5 μm波长下传播,能够透过百叶帘,可用于对建筑物内部的目标成像。
城市环境和特殊景观元素的高仿真建模得益于激光成像的三维数据。激光三维成像系统定位在成像区域的中心位置,通过扫描获取成像数据。
2.2.1 识别和分类
现有的技术已经可以处理机载激光扫描数据,目前的研究目标是开发自动提取支持三维虚拟环境建模的地理信息的方法。该方法以坐标网格数据为工作基础。首先将不规则的激光点重新按照固定网格(0.25×0.25 m2)分布。数据需要两个网格存储:一个网格把海拔最高值储存在每个单元格中(DSMmax),如图 4(a)所示,另一个网格存储最低值(DSMmin)。
图2 不同视角的三维激光成像场景及效果Fig.2 Different perspective of the 3 d laser imaging scenes and effect
图3 植被下层隐藏目标的图像Fig.3 The hidden goal of vegetation image
该方法确定的第一类数据是地表信息,运用DSMmin和主动轮廓[4]估计地表(DTM)。该方法的理论基础是主动形状模型[5]。主动轮廓可以看作是被从下层推向上层的存储激光点的网格。
确定地表信息后,将地表的数据点进一步分类。当激光脉冲“印记”的不同部分出现在不同高度时,将产生多重回归信息,建筑物都是使用多重回归信息进行分类的。例如在建筑物边缘和植被区域,激光印记往往是分开的,一部分由目标物体的顶部反射,另一部分由地面反射,如图4(b)所示。利用这一多重回归信息,可以将大部分的植被去掉或与建筑分离。定义超过地表2 m以上的像素集群为有效信息,每组有效信息根据曲率的不同可分为建筑或非建筑、最大限度的斜坡和使用人工神经网络生成的图形。随后,又窄又高的物体被归类为灯柱一类的物体,剩下的超过地表以上2 m的像素被归类为植被。被分为地面信息的像素,利用脉冲强度的不同可进一步分类为“道路”(大街、小巷及其他地区)或“非道路”,如图 4(c)所示。
图4 三维虚拟环境建模Fig.4 3-d virtual environment modeling
用被归类为建筑的数据组来构建建筑物的三维模型。首先用表面法线聚类法提取出屋顶平面。然后在每个屋顶平面周围图像数据发生变化的部分插入拓扑点。这些屋顶平面之间的部分被定义为十字路口和建筑的边缘,它们可以分离出不同的建筑物。为了获得建筑模型,还需要提取线性的墙壁,使用二维霍夫变换沿着屋顶边缘估算直线段信息,在十字路口处估算线段位置,并插入新的数据点。通过这些信息即可建立城市的三维模型。
最后,提取单一的树木并划分为植被区域。用获取的数据估算提取的每棵树的位置、树高、树冠直径和面积。根据不同层面的空间扩展信息即可构造三维虚拟环境模型,如图5所示。
图5 三维虚拟环境模型,显示了地面建筑和树木的模型Fig.5 3-d virtual environment model,show the ground buildings and trees on the model
2.2.2 可视化和监视
有效的城市区域三维模型,不仅能使目标对象的和建筑本身可见,还能使传感器的仿真数据可视化。这能极大地提高在监视、危机管理、城市战斗等情况下对环境态势的感知效果。
分析从监控摄像头获取的数据,最常见的方法是利用显示器。问题是,虽然用这种方法很容易发现有不同寻常的事件发生,但仍然难以观察到正在发生什么。一旦发生某种形式的城市危机,例如暴乱、游行或战斗,人群和车辆会不断进出摄像机镜头的视野范围。操作员需要把这些细微的事件图像变成更大的画面,其工作过程非常复杂。
解决办法是模拟相关区域的三维模型,并在模型上实施视频记录。在合成的虚拟世界中,相机由录像放映机代替,以突出相机在现实世界中拍到的场景。该方法有如下优势:
1)能给出相关区域的整体场景,显示不同的摄像机在相同时间、相同地点记录的景象;
2)使记录的不同信息在时间和空间上的关联过程更加明显;
3)其他传感器的数据,如对入侵者实施跟踪的检测数据,易于集成在同一视图中。例如,如果一个罪犯在所有相机的检测视野之外,他的图像信息仍然可以在三维环境下被合成,并直接关联到视觉模型和视频数据中。此外,假设一个枪手被声纳网络传感器定位[6],不仅枪手能立即被标记为在三维模型中,而且他的整个视野范围,即当前危险区域,都可以在三维模型中被标注。
高水平的计算机图像处理可以分为2类:图像增强和自动分析。两种方法的目的都是明确图像的内容,以便支持进一步的操作。全面增强图像强度或范围数据的技术已经取得了很大进展,但对于部分区域的图像内容,仍需要由操作员进行处理。在某些情况下,这一解决方案能达到令人满意的效果。但在其他情况下,比如当在短时间内对大尺寸图片或大量三维数据集进行解析时,需要在处理过程中自动支持部分操作,例如当目标物体出现时,选择其动态部分的图像帧或范围帧。此外,数据的后期处理要能够支持操作员对被遮挡部分的物体进行成像,例如位于伪装网下、植被区域下、建筑的百叶帘和车辆的玻璃窗后的人或目标物体。
文献[7]给出了GV的图像增强效果。GV图像所受到的噪声和干扰主要来源于目标反射、大气扰动(湍流,散斑噪声)、摄像机和激光性能。此外,基于此方法还可以建立动态平台。当图像在湍流中,或照相机在运动时,通过追踪锐化的线条和边缘的转换和旋转过程,就有可能利用时间平滑滤波缓解随机照明差异的影响。用这种图像增强方法可增强对千米级距离的人类活动的探测,例如当目标人物在汽车中时,操作员可以探测到他的存在。
在车辆的反射镜和前灯等反光材料上,激光照射会引起强烈的光学反射,这可以用来检测隐藏在伪装网和植被区域后的车辆。
一些短射程GV系统能够解决人脸的视觉识别问题,而动态模型的识别还可以运用生物措施[7]。所谓生物措施是指探测人体的主要部分:头、颈、躯干、上臂、前臂、手、臀部、小腿、脚等。通过追踪身体部份,明确其相互关系,可以提取出每个个体的具体模型。
在军事应用中,激光成像技术已经在半自动或自动检测与识别军事目标方面使用了几十年[8],三维激光雷达等设备也已经被广泛使用。由于GV图像序列可以转换为三维数据量[9],一些军事用途上的算法也可用这种数据实现。
文中介绍了激光三维成像系统的技术和潜在用途。运用主动传感器可以准确地对车辆和人类等目标物体进行远距离三维成像。完整的三维扫描可以精确地模拟城市景观、犯罪现场或个体对象等场景。此外,由于激光三维成像系统可以穿透植被、百叶帘、伪装网等遮蔽物,使得激光三维成像技术可以应用于观察隐藏对象的活动,例如透过一栋建筑物的窗户对室内景象进行成像。
[1]Stettner R,Bailey H,Richmond R D.Eye safe laser radar focal plane array for threedimensional imaging[R].Proc.SPIE Vol.5412,Laser Radar Technology and Applications IX,2009.
[2]Steinvall O,Larsson H,Gustafsson F,et al.Characterizing targets and backgrounds for 3-D laser radars[R].To be presented at SPIE Security and Defence 2004,Military Remote Sensing, London,2009.
[3]Andersson P.Automatic target recognition from laser radar data-Applications to gated viewing and airborne 3-D laser radar[R].Tech report FOI-R--0829--SE,Swedish Defence Research Agency FOI, Sweden,2008.
[4]Elmqvist M.Ground surface estimation from airborne laser scanner data using active shape models[J].Photogrammetric Computer Vision-ISPRS Commission III Symposium,2007,XXXIV(A):114-118.
[5]Kass M,Witkin A,Terzopoulos D.Snakes:active contour models[J].In Int.J.of Computer Vision,2003(1):321-331.
[6]Maas H G.The potential of height texture measures for the segmentation of airborne laser scanner data [J].Fourth InternationalAirborne Remote Sensing Conference and Exhibition/21st Canadian Symposium on Remote Sensing,2004(6):21-24.
[7]Klasén L.Image sequence analysis of complex objects.Law enforcement and defence applications [D].Sweden:PhD dissertation no.762, Linköping University,2007.
[8]Grönwall C,Chevalier T,Persson A,et al.An overview of methods for recognition of natural and man-made objects using laser radar data[R].Proc.SPIE Vol.5412,Laser Radar Technology and Applications IX,April 2009.
[9]Andersson P,Klasén L,Elmqvist M,et al.Long range gated viewing and applications to automatic target recognition[J].Proceedings SSAB’03 Symposium on Image Analysis,KTH,Stockholm,March 6-7,2008.