□ 文/王玥
模糊图像处理刑事侦查利器
□文/王玥
目前,监控录像系统在“平安城市”、“金盾工程”等各大项目中均已被广泛地应用,这类系统的安装在增加了社会安全性的同时,也为警方提供了大量的破案线索。犯罪分子只要出现在这类监控范围内,系统就会客观、真实地记录下它所能观察到的所有信息,这些信息往往在案件的侦破中发挥重要作用,也可以作为强有力的法庭证据加以利用。用基层民警的话来说:以前办案都是往地上看(找足迹等),现在办案则是往天上看(找摄像头)。但在实际使用中,由于各种原因,警方获得的图像有一部分是模糊不清的。为了能够最大限度利用好监控资源,性能佳、效果好的模糊图像处理分析系统和成熟的图像去模糊实战应用技巧就成为了辅助基层民警办案的有力工具。
目前公安在案件视频的分析侦查过程中,存在着“能调阅、看不清、分析不了”等突出问题,造成这些问题的原因很多,如镜头聚焦不当、摄像机故障;传输太远、视频线老化、环境电磁干扰;摄像机护罩视窗或镜头脏污、受遮挡;大雾、沙尘、雨雪等恶劣环境影响;由视频压缩算法和传输带宽等原因而导致的图像模糊;摄像机分辨率低,欠采样成像;光学镜头的极限分辨率和摄像机不匹配导致的模糊;运动目标处于高速运动状态导致的运动模糊等。因此模糊图像处理的应用是不可避免的。
模糊图像分类
按照模糊形成的原因来说,常见的模糊图像可分为:运动模糊、散焦模糊、抖动模糊等。
运动模糊是指由于拍摄时目标运动造成的模糊。其图像特征是某些细节处(比如边缘等)会有明显的单方向拖尾。其中车辆运动造成的模糊,尤其是车牌模糊不清,在刑侦实战中是一种比较常见的情况且清晰化处理的需求强烈。
散焦模糊:拍摄图像时相机没有对准焦距,导致图像模糊。这种模糊是各向同性的,也就是在每个方向上模糊的程度是相同的。从图像上看,边缘细节等地方不会有明显的单方向拖尾,只是成像比较虚。
抖动模糊:在拍摄物体时由于相机发生了抖动而产生的图像模糊。这种模糊往往是由于拍摄瞬间相机位置不稳,产生微小不规则运动造成的。由于监控设备都是固定在支架上,这种情况相对较少。只有在监控摄像头安装不稳,外部震动比较大时才偶尔见到。
以上三种模糊,从更大的分类来说,都是空间一致模糊。就是在图像上各点模糊程度一致(模糊核在空间上一致的)。这种空间一致模糊,在数学上可以用卷积模型来描述。
去模糊原理
卷积是一个数学术语,通俗地说,就是我们可以认为这三种模糊图像中,每一个像素点的值都是该模糊图像对应的清晰图像中某些像素值的加权和,也就是模糊图像的一个点包含了原始清晰图像中的许多点的信息。加权像素的范围和权重,可以写成一个模糊核(矩阵)。对实际应用中的模糊图像而言,模糊核是远小于图像尺寸的。反映到图像上,就是模糊区域是远远小于图像尺寸的。
既然空间一致模糊可以建模为一个二维卷积问题,那么去除空间一致模糊就是一个二维反卷积问题。
图像的反卷积算法大致分为两类,一是图像的非盲目反卷积。也就是图像的模糊核是已知的,问题就在于如何更好地恢复原始图像,并且抑制噪声对结果的影响;二是盲目反卷积,即无需用户介入,算法内部自动或迭代地估计出模糊核,再对图像做非盲目反卷积,主要问题在于如何更准确地估计图像的模糊核。
我们知道,卷积在经过傅里叶变换后在频域表现为乘法,所以在已知图像退化方程PSF(对应模糊核)时,用退化后的图像I和点扩散方程f分别进行傅里叶变换后相除便可得到最终的原始图像。原理大致如此,但如果直接这样处理,缺点也是显而易见的,其一就是在这个去卷积过程中没有考虑到图像噪声的影响。为此,发展出了各种各样的去模糊算法。
常见的非盲目反卷积算法有:直接逆滤波法、维纳滤波法、RL算法。这些都属于经典算法,还有近年发展起来、现在依然不断更新的基于变分模型的正则化方法。
目前能实现去模糊功能的图像处理产品还是比较多的,比如美国的识慧、荷兰的影博士等,其原理大都是基于非盲目反卷积的,即需要用户预先估计出模糊核,才可以进行去模糊处理。比如去运动模糊,需用户估计出运动方向和运动距离。散焦模糊,则需估计出散焦半径。但还有些公司的产品可以提供一些自动化处理功能,比如东方网力的“警用图像处理系统”,支持一键去模糊。只需框选出图像需要处理的部分,算法就可自动给出去模糊后的运算结果,无需任何参数设置。这样的功能,无疑大大方便了用户的使用。
在使用软件图像去模糊功能时,通常都需要在判定模糊类型的基础上判定运动方向和运动距离。实战中常见的就是运动模糊和散焦模糊,目前也只有这两种类型才能达到比较好的处理效果。这二者的区别还是比较明显的:运动模糊经常发生在快速运动的目标上,且在图像细节上可看到各像素点有明显的拖尾现象,比如行驶中的汽车等;散焦模糊经常发生在镜头聚焦不当、摄像机故障等情况下,可看到各像素点呈发散状向四周扩散。
去运动模糊,最重要的是判定运动方向。自动化程度比较高的东方网力“警用图像处理系统V2.0”可以根据图像特点一键给出推荐参数,自动获取正确的运动方向和距离参数。
这里我们将通过两个真实的案例来展示一下模糊图像处理的神奇效果。
自动去模糊
从视频生成的序列图像中选取一帧清晰的图片生成快照,再进行去运动模糊处理。
在去运动模糊的过程中,主要依靠改变关注区域的范围、形状等,再根据系统计算的推荐参数来观察预览效果,反复尝试直到获取满意结果,再辅以 “运动方向”、“噪声强度”等参数的微调,最后实现应用效果。
如上图,由于系统给出的推荐参数很准确,我们只需要再适当地增强处理,即可达到进一步改善视觉效果的目的。如下图即是采用不同的图像增强功能获取的处理效果。
▲直方图调整
▲彩色转灰度
▲反色
手动去模糊
在自动去模糊不能奏效的情况下,就必须进行手工处理,具体操作步骤如下。
确定处理方法
单帧还是多帧,超分辨还是去模糊,或者联合使用。
实战中除了很明显易于判断的情况外,通常都得逐一进行尝试,以求得到最好的处理效果。具体步骤可以从简单的开始,先处理单帧去模糊,效果不好再尝试多帧超分辨、去模糊处理。
单帧处理
挑出质量最好的一帧,再去运动模糊。
挑帧方法:目标离镜头比较近、成像尺寸较大的;目标运动幅度小,成像比较稳定的(慢比快好,直线比拐弯好);目标边缘规则、色差明显、看起来更清晰的。
如下图所示,很明显是单一的运动模糊,除了运动目标(三轮车)外,其它部分(地面、饮料瓶等)都很清晰。
在确定为去运动模糊的基础上,系统给出推荐参数,如下图可以看到处理效果并不理想,其中上图为处理后,下图为原图。
与原图相比,处理后文字反而变得更模糊了,这说明推荐的参数存在一定误差,需手工量出运动方向进行补充校正。
这里有个小技巧,所选区域(红色选择框)的位置、大小不同,得到的推荐参数也会不同,可以通过反复尝试在不同的位置、框选不同大小的区域来观察预览效果。
如果调整框选区域得不到更好的结果,则需手工指定参数。
首先使用角度测量工具,量出目标三轮车的运动方向在175度左右,测量时主要须保证角度为所测方向与车体平行方向的夹角。如果车的运动不平稳,比如左右晃动或拐弯,运动角度就不容易测量,会出现较大误差。
角度基本确定后,再进行去运动模糊操作,交互式地调整运动距离,可以达到比较好的处理效果。
去运动模糊处理较好结果
但是,运动距离参数不准确,对处理结果的影响也是很大的。下面是一组运动距离参数偏小的处理结果示例:
下面是一组运动距离参数过大的处理结果示例:
从上图不难看出,运动距离参数偏小的处理结果仍然有一定程度的模糊;运动距离过大,就会产生过于强烈的振铃,导致图像细节完全丢失,看不清任何东西。
根据反复的测试和比对后,得到较好地运动距离和噪声强度范围,三个参数(运动方向、距离、噪声强度)均较满意后,可进入微调界面,得到如下处理效果。
从本图效果来看,单帧的结果只能看出一两个字,效果并不好。下面就介绍一下怎样进行图像的多帧序列处理。
多帧处理
第一步重要的仍然是挑帧,见单帧处理的挑帧指标,使所取的帧都能完成目标配准。
这里需要说明一下,多帧配准后,后续可以使用多帧平均或超分辨,这两种方法各有特点。如果使用多帧超分辨,则运动距离在单帧的基础上需要乘以放大系数;如果使用多帧平均,则不需要,得到的处理效果如下所示:
模糊图像处理系统的应用,经历了功能夸大宣传、用户需求不切实际,到技术普及、需求理性、精准回归的过程。
东方网力警用图像处理系统本着精准锁定用户核心业务需求的建设目标,在软件核心功能(如车牌清晰化)上深入研究、逐步优化,配合良好的交互设计,形成以视频侦查图像处理流程为导向的图像处理专业工具;同时摒弃边缘功能实现轻量化,从而达到与市场大多数相似系统差异化的目的。
其中重点推荐的一键去模糊功能已经能在许多情况下实现模糊图像的一键处理,降低了此专业性软件对于用户专业程度和使用经验的要求,同时辅以手动判断、测量、调整参数的流程向导,极大地提高了模糊图像清晰化的功能,其给出的多种图像增强、去噪、干扰校正等方法,也使得模糊图像清晰化后的视觉效果有了较大地提升。
从公安用户的实战应用中不难发现,警用图像处理系统多次在办案民警查找线索,最终破获案件中起到了至关重要的作用,为公安机关打击犯罪、提高破案率、快速掌握案情等提供了一套强有力的武器。
东方网力科技股份有限公司