结合HVS特性的恶劣环境下视频图像质量增强处理

广东省公安厅科技信息化处科技管理科

（广东省公安厅，广东 广州510050）

结合HVS特性的恶劣环境下视频图像质量增强处理

广东省公安厅科技信息化处科技管理科

（广东省公安厅，广东 广州510050）

1　项目来源

“结合HVS特性的恶劣环境下视频图像质量增强处理”项目（项目编号：2014GABJC018）是2014年度公安部科技强警基础专项立项项目，由视频图像智能分析与应用技术公安部重点实验室承担，2015年9月通过公安部科技信息化局组织的验收。

2　研究背景及意义

当前，平安城市建设已经进行了很多年，随着网络化、智能化的提高，智慧城市已经向我们走来。平安城市向智慧城市转变首先离不开智能监控。高清视频及城市间的联网，产生了大量的数据信息，系统集成与结构优化缓解了后端存储的压力，降低系统部署难度，减少管理和维护成本，各子系统能够协同作战，对城市管理意义重大。视频监控系统在公安机关打防管控中发挥的作用越来越大，但就整体而言，视频图像质量的问题仍然制约着视频系统效能的充分发挥。在雾霾、强光恶劣天气下，图像模糊，影响公安机关对图像信息的提取和判断。2013年开始，我国的空气质量问题特别突出，情况堪忧，雾霾的覆盖率已经达到国土面积1/7甚至更高。京津冀和长三角多个城市多次发布黄色红色雾霾预警。雾霾天气致使户外监控视频质量明显降低，不仅图像色彩暗淡、对比度大大降低，一些重要目标的细节更是难以辨识。在雾霾天气，空中飘浮着大量的含有粉尘、水汽凝结成的颗粒物，一旦这些颗粒物密度过大就会影响光线的传播，不仅肉眼看不到信号灯，普通镜头也只是看到一些模糊不清的画面，在很多监控车流量的视频里我们都可以看到类似画面。因此，如何让监控摄像头在雾霾、强光恶劣天气看得清楚，为公安系统提供清晰视频源，提高视频系统效能的发挥具有非常重要的实用意义和经济价值。

3　项目主要研究内容

利用人类视觉特性（HVS：Human Visual System）研究雾霾及其它恶劣环境下的视频图像增强技术，对摄像头在捕获视频图像过程中或者捕获图像之后对图像进行处理，以消除雾霾等不利因素影响，使画面清晰化，细节信息显示出来。该技术应用到公安实战中，提高对雾霾和强光恶劣环境下的图像处理能力，使图像清晰化，并有利于缓解监控工作人员的视觉疲劳。

（1）在分析形成恶劣环境原因的基础上，根据不同的应用环境，采用不同的图像增强算法。因为引起视频图像降质的机理不同，处理方法不一样，到目前为止，没有一种针对各种降质因素普遍适应的视频增强技术。

（2）基于大气散射规律，建立雾霾天气所引起的图像退化模型。充分利用了退化的先验知识，实现单帧图像的去雾功能，然后进一步利用最大值滤波方法对被低估的暗像素值进行调整修复、通过检测有雾区的密度方法并采用景深分层方法获得一定程度图像增加效果。

（3）结合HVS视觉特性，因为人眼对视频图像的变化值在HVS的视觉阈值之内，人眼可以忽略其变化。而变化值在HVS的视觉阈值之外，将严重影响视觉的感知，这些区域或者像素点称其为视觉敏感点或视觉关注点。在这部分的工作中，本项目首先探测出这些视觉关注点，然后对关注点采用基于HVS亮度响应的自适应增强算法，实现图像质量增强。

该项技术能够从多个角度提升视频监控的质量，可以用于各种有雾天气条件的透雾处理；能明显提升图像的对比度、清晰度；能够显著增强图像的细节信息，使原来模糊不清的图像细节被充分展示处理；能够提升图像的饱和度，使图像色彩鲜艳活泼、生动，透雾处理后的图像保持准确的色调、自然的外观，因而获得了良好的图像质量与视觉感受。

4　突破的关键技术及取得成果

该项目研发出一个视频图像智能分析软件，是基于目前国际领先的高性能视频图像增强及复原算法，将视频图像宽动态增强处理、视去雾增强处理、智能分析、档案管理等功能融合一体的视频图像处理软件。

（1）利用两通道的联合非局部相似性约束联合滤波，能够提高大气散射数据估计精度。

（2）利用不同参数的两通道的联合非局部相似性约束联合滤波，得到符合人眼视觉的差值图像，有助于进一步对大气散射估计进行精细估计。

（3）利用三通道的联合相似性约束联合滤波，能够有效恢复去雾图像，进一步降低去雾后图像的噪声。

主要应用于专业的车牌超分辨、背光人脸分辨、去雾处理、尤其在摘要检索前处理可提高许多倍摘要准确率等，同时可改进、提升恶劣环境下的视频监控图像的画面质量。

5　应用成效及前景

本项目所研发的视频图像智能分析软件无需对原有前端硬件做任何更改即可获得更高质量的视频。该软件产品采用无缝接入的方式融入新设计的监控系统，增加系统功能，但不增加硬件成本，对已有平台或正在建设中的监控平台都能灵活接入、配置和使用，从而大大节省用户的资金使用效益。此外，本软件提供的协同工作功能，能在有限人手情况下，短时间处理大量、时间跨度长的监控视频，从而减少传统视频证据提取的工作量，达到节约警力的效果。