陆世豪 祝 云 廖 华 奉钰力 钟文明
基于图像去雾技术的变电站图像清晰化方法
陆世豪1祝 云2廖 华1奉钰力1钟文明1
(1. 中国南方电网有限责任公司超高压输电公司南宁监控中心,南宁 530028;2. 广西电力系统最优化与节能技术重点实验室(广西大学),南宁 530004)
随着变电站从有人值守向无人值守转变,运行人员逐渐利用摄像头、机器人对设备进行监控。但是,雾天能见度低,从变电站采集的图像存在不清晰的问题,导致无法有效开展远程监控等工作,增加电网运行安全风险。鉴于此,本文针对变电站雾天图像进行研究,根据所采集图像的背景色彩、光照条件等特点,提出一种基于改进自动色阶算法的变电站雾天图像去雾算法,该算法在自动色阶去雾算法基础上进行改进,采用自动寻优gamma校正,使去雾后的图像更符合人眼视觉感受。最后,选取几种常用去雾算法进行对比分析,通过主观评价和客观评价,表明使用该算法处理雾天图像在细节、亮度、保真度、运行速度等方面更具优势,符合现场应用要求,有效解决了雾天变电站采集图像清晰度差的问题。
变电站;雾天图像;自动色阶算法;自动gamma校正;去雾
随着新型电力系统建设及调控一体化建设的推进[1],在集中监控模式下,变电站从“有人值守”向“无人值守”转变,变电站运行人员可利用摄像头监控变电站设备,开展智能巡视、智能操作工 作[2-4]。南方地区湿气重,经常会出现大雾天气或者在阴雨天整天伴随雨雾的情况,这种情况下所拍摄的图像存在不同程度的模糊、噪声、对比度低、纹理丢失等退化问题,使设备巡视、操作受到影响,降低工作效率,影响电网安全稳定运行。因此,为提高变电站雾天工作的安全性和可靠性,亟须对变电站雾天图像进行去雾处理。
随着图像处理技术的高速发展,基于数字图像处理的有雾图像增强方法因其成本低、可移植性强、无需消耗大量算力等优点备受青睐[5]。其中,文献[6]提出一种基于先验知识物理模型的去雾方法,在大多数雾天场景中都取得了一定效果。文献[7]利用限制对比度的自适应直方图均衡化(contrast limited adaptive histogram equalization, CLAHE)原理,通过直方图均衡增强全局可视性,进而放大场景局部细节,实现图像去雾,该算法主要目的在于恢复雾天图像的局部细节。RIZZI A等[8]在Retinex算法的理论基础上提出自动色彩增强(automatic color enhancement, ACE)去雾算法,通过计算图像目标像素点和周围像素点的明暗程度进行图像的对比度校正,以达到人类视网膜的色彩和亮度均衡的效果,但是该算法计算复杂度高,影响了其实时性。
上述方法解决传统景物雾天图像不清晰的问题具有一定效果,但与传统景物雾天图像只有远景不同,变电站雾天图像为日常设备巡视及智能操作图像,其中设备外观巡视、刀开关分合指示操作图像多为远景图像,表计读数巡视、开关分合位指示操作图像等为近景图像,这些图像画面多以灰、黄、黑、白等色彩为主,并且设备巡视、智能操作图像需要及时显示给运行人员。因此,现有去雾算法无法满足变电站实际应用需求,需要探索一种针对变电站实际应用的雾天图像快速去雾算法。本文重点以变电站雾天图像作为研究对象,在传统自动色阶去雾算法的基础上加以改进,结合自动寻优的gamma校正,在快速去雾的同时又能保证处理后的图像质量。
自动色阶算法(automatic color-grading algo- rithm)在航空拍摄的农田图像去雾方面有不错的表现[9]。高空农田图像如图1所示,可看出高空农田图像背景主要由灰黑色、浅黄、浅绿等色彩构成,与变电站图像色调相近,因此可尝试将该算法应用于变电站雾天图像去雾中。其基本原理[10]为:首先做单通道图像直方图统计,求出0.5%首尾的阈值,分别记为min和max,然后根据阈值去除图像中一定比例的最高和最低像素值,最后建立图像像素值线性映射关系,将其余的图像像素值进行线性映射。具体运算为
式中:u为阈值;为像素值。
由于雾天图像存在大量噪声,影响图像质量,因此在图像做去雾处理前需先做去噪处理,以提高图像质量,增大信噪比。
滤波是常用的图像去噪方法,可在去除噪声的同时使图像更加平滑。但是,传统的均值滤波、高斯滤波等只考虑空域,这会造成图像边缘模糊。而双边滤波处理(bilateral filter)通过结合空域和值域,利用邻域内像素点的空间邻近度和像素值相似度来构建高斯权重滤波器,可在保证滤波效果的同时保持图像边缘[11]。其原理如式(2)、式(3)所示[12]。
由于雾天大多出现在清晨,并且有些设备背景颜色偏深,导致自动色阶去雾后图像在视觉效果上偏昏暗,不利于机器或运行人员辨识。gamma校正通过对图像灰度值进行非线性操作,使图像输入与输出灰度值呈指数关系,以解决图像去雾算法存在的去雾过度导致图像颜色失真,或者去雾不足等问题。gamma校正公式为
由于预设gamma值一般取经验值,需要人为设置,不能适应所有光照条件,为解决自动色阶去雾后图像出现的光强视觉效果不佳问题,本文对gamma校正进行改进,提出具有自动寻优功能的gamma校正。
式中,为图像灰度图均值。
图2 自动校正流程
本文根据变电站图像色彩实际,寻找适合变电站去雾的自动色阶去雾算法,并解决自动色阶去雾算法不能适应所有光照情况而出现去雾后图像视觉效果不佳的问题,算法流程如下:
1)为确保能够保存图像边缘信息,原始图像通过双边滤波得到去噪图像。
2)去噪图像通过自动色阶去雾算法进行去雾处理得到中间去雾图像。
3)中间去雾图像受拍摄光强影响,视觉效果并不佳,通过本文提出的具有自动寻优功能的gamma校正实现图像校正,输出结果。
改进算法框架如图3所示。
现有的图像增强去雾算法均具备一定的去雾能力,但是在特定场景下每种算法的去雾效果有所差别。为能证明本文所提算法在变电站雾天图像去雾方面的优势,选取暗通道去雾算法[6]、CLAHE[7]、ACE去雾算法[8]及自动色阶去雾算法[10]4种常用去雾算法进行对比。为保证评价合理性、算法适用的全面性,本文采用主观和客观两种评价方式,选取变电站主要户外巡视设备表计、开关雾天图像作为实验对象。
本文的测试环境为:CPU为Intel Core i7— 8550U,具有四个处理核心,主频为1.8GHz,使用Python语言。
对表计、开关雾天图像进行去雾测试,各算法对变电站表计、开关图像去雾效果如图4、图5所示。
图4 各算法对变电站表计图像去雾效果
图5 各算法对变电站开关图像去雾效果
由图4和图5两个场景不难看出,表计图像属于近景图像,图像画面有表计、水泥柱及金具,色调由浅黄、灰、白等浅色调组成,色彩均匀;而开关图像属于远景图像,图像画面有开关箱、绝缘柱及天空,色调由灰、白、棕等色调组成,颜色深浅不一。
在两个场景中,暗通道算法去雾后图像均出现不同程度的失真情况,尤其是近景表计的白色表盘和远景图像的天空,出现失真和色彩偏移情况。CLAHE去雾图像出现轻微失真,图像整体偏亮,对于近景表计金属锈蚀深色部分细节恢复不佳。ACE去雾算法及自动色阶去雾算法有明显的去雾效果,色彩对比度提高,细节相对清晰,但受拍摄光照影响,整体偏暗,导致远景图像中开关箱体内分合闸指示色彩不易分辨。本文算法去雾图像色彩对比度增强十分明显,边缘清晰,图像整体明暗度更符合人眼视觉感受,更接近无雾情况下的巡视图像,且没有出现图像失真情况,尤其对于照度较低的远景图像中开关箱体内分合闸指示色彩的显示有较好效果,这对巡视和智能操作十分重要。
由于不同观察者视觉感受不同,进行主观评价会产生差异,为避免个人主观因素对图像评价带来的影响,本文选取4种常规的图像评价指标对算法去雾效果进行评价。具体为:信息熵(entropy)、峰值信噪比(peak signal to noise ratio, PSNR)、方均根误差(root mean square error, RMSE)及结构相似性(structural similarity, SSIM)[16-20]。四个图像客观评价标准里,信息熵主要是表示单张图像信息量大小,对于去雾图像而言,信息熵值越大,图像保留的细节越完整,去雾效果越好。峰值信噪比用于衡量处理后图像的失真、劣化程度,峰值信噪比越大,去雾后图像失真、劣化程度越小。方均根误差同样反映处理后图像的失真程度,方均根误差越小,去雾后图像失真程度越小。结构相似性主要用于度量去雾后图像结构信息的保留程度。
在实际应用中,变电站设备操作、巡视图像需要及时反馈展示给远方运行人员,因此图像去雾耗时也是影响算法适用性的重要因素,本文也将其作为评价指标考虑在内。变电站表计、开关图像评价结果见表1和表2。
表1 变电站表计图像评价结果
表2 变电站开关图像评价结果
由表1和表2可知:从信息熵来看,本文算法和CLAHE算法在变电站雾天近、远景图像信息恢复方面效果最佳,结合图4和图5可以看到,本文算法和CLAHE算法去雾图像可保留完整细节;从衡量图像失真程度的峰值信噪比、方均根误差来看,RMSE 数值越小,PSNR 越大,则处理后图像失真越小,表中数值表明暗通道算法、CLAHE算法图像失真相对其他算法严重,暗通道算法失真程度重于CLAHE算法,图4和图5同样验证了这一情况;从结构相似性来看,本文算法数值最高,表明本文算法去雾图像能保留更多的结构和深度信息。针对自动色阶算法和本文算法,综合主、客观评价结果来看,本文算法在图像色彩、细节处理、明亮度感受及客观评价指标方面较自动色阶算法有较大提升。
图像处理耗时也是实际应用的重要考量指标。暗通道算法和CLAHE算法耗时较少,但图像处理效果一般;ACE算法计算效率最低,耗时最长,显然无法达到变电站雾天图像处理实际应用的要求;本文算法在自动色阶算法基础上改进,因此运算耗时稍高于自动色阶算法,但综合主客观评价结果来看,改进后算法的处理性能得到较大提升,且算法耗时在实际应用可接受的范围内。
综上所述,经过本文算法处理的变电站雾天巡视图像在图像亮度、细节、视觉感受、保真度等方面都有较好的效果,从图像处理速度来看,该算法符合变电站现场应用要求。
本文针对雾天变电站巡视、操作图像不清晰的问题进行研究,提出了一种基于改进自动色阶算法的变电站雾天图像去雾方法,并通过与其他算法的对比证明了本文改进算法的有效性和适用性。本文所做工作及结论如下:
1)从变电站重要巡视场景颜色及实际应用出发,选择对与变电站图像背景色彩相近的高空农田图像去雾表现效果好的自动色阶算法进行改进。
2)针对自动色阶算法去雾后图像在视觉效果上呈现昏暗,不利于运行人员辨识的问题,对自动色阶算法进行改进。改进算法处理的图像在人眼视觉感受、图像保真度等方面都有较好的效果。
3)本文所改进的变电站雾天图像去雾算法鲁棒性强,无需提前训练,适用性广,可移植性好,运算速度快,符合实际应用需求。
[1] 吴珊, 边晓燕, 张菁娴, 等. 面向新型电力系统灵活性提升的国内外辅助服务市场研究综述[J]. 电工技术学报, 2023, 38(6): 1662-1677.
[2] 王刘旺, 周自强, 林龙, 等. 人工智能在变电站运维管理中的应用综述[J]. 高电压技术, 2020, 46(1): 1-13.
[3] 陆世豪, 祝云, 周振茂. 基于多头注意力循环卷积神经网络的电力设备缺陷文本分类方法[J]. 广东电力, 2021, 34(6): 30-38.
[4] 姚军, 张志宏, 陈少哺, 等. 基于数据源改造的二次系统智能巡视技术[J]. 电气技术, 2022, 23(8): 84-90.
[5] LU Bo, BAI Bingchuan, ZHAO Xuefeng. Vision-based structural displacement measurement under ambient- light changes via deep learning and digital image processing[J]. Measurement, 2023, 208: 112480.
[6] HE Kaiming, SUN Jian, TANG Xiaoou. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12): 2341-2353.
[7] KHALID R, REHMAN S, RIAZ F, et al. Enhanced dynamic quadrant histogram equalization plateau limit for image contrast enhancement[C]//Proceedings of the 5th International Conference on Digital Information and Communication Technology and Its Applications (DICTAP), Beirut, Lebanon, 2015: 86-91.
[8] RIZZI A, GATTA C, MARINI D. A new algorithm for unsupervised global and local color correction[J]. Pattern Recognition Letters, 2003, 24(11): 1663-1677.
[9] ANIKEEVA I A. Method and algorithm of automatic color rendition quality assessment of digital aerial and space photos[J]. Geodesy and Cartography, 2018, 937(7): 45-56.
[10] 杨婷, 高武奇, 王鹏, 等. 自动色阶与双向特征融合的水下目标检测算法[J]. 激光与光电子学进展, 2023, 60(6): 132-143.
[11] 钱小燕. 单一图像多滤波联合快速去雾算法[J]. 科学技术与工程, 2015, 15(6): 236-240.
[12] 温立民, 巨永锋, 王会峰, 等. 基于双边滤波暗原色透射率细化的图像去雾算法[J]. 测控技术, 2020, 39(4): 62-65.
[13] NABAHAT M, MODARRES K F, JAFARI N N. Optimization of bilateral filter parameters using a whale optimization algorithm[J]. Research in Mathe- matics, 2022, 9(1): 2140863.
[14] 储清翠, 王华彬, 陶亮. 图像的局部自适应Gamma校正[J]. 计算机工程与应用, 2015, 51(7): 189-193, 208.
[15] 赵磊, 陈玎, 朱道立. 求解大规模SCAD回归问题的随机坐标下降算法研究[J]. 上海管理科学, 2019, 41(5): 97-103.
[16] 张登银, 鞠铭烨, 钱雯. 图像去雾算法研究现状与展望[J]. 南京邮电大学学报(自然科学版), 2020, 40(5): 101-111.
[17] 余顺园. 信息损耗约束下多尺度透射层融合图像去雾[J]. 自动化与仪器仪表, 2021(9): 38-44.
[18] 陈健, 李诗云, 林丽, 等. 模糊失真图像无参考质量评价综述[J]. 自动化学报, 2022, 48(3): 689-711.
[19] 谢庆, 杨天驰, 裴少通, 等. 基于多尺度协作模型的电气设备红外图像超分辨率故障辨识方法[J]. 电工技术学报, 2021, 36(21): 4608-4616.
[20] 梁新福, 罗日成, 党世轩, 等. 基于数字图像处理的电力线异物识别方法研究[J]. 电气技术, 2022, 23(2): 73-78.
Substation image clearness method based on image defogging technology
LU Shihao1ZHU Yun2LIAO Hua1FENG Yuli1ZHONG Wenming1
(1. Nanning Monitoring Center, EHV Transmission Company, China Southern Power Grid, Nanning 530028;2. Guangxi Key Laboratory of Power System Optimization and Energy Technology (Guangxi University), Nanning 530004)
As the substation changes from manned to unattended, operators use cameras and robots to monitor the equipment. However, the image collected from the substation under foggy conditions has low visibility and unclear problems, which leads to the failure of remote monitoring and operation, and increases the security risk of power grid operation. In this regard, this paper studies the foggy images of substations. According to the characteristics of the background color and lighting conditions of the collected images, a fog removal algorithm for the foggy images of substations based on the improved automatic color-grading algorithm is proposed. This algorithm is improved on the basis of the automatic color-grading scale fog removal algorithm, and adopts automatic optimization gamma correction, so that the images after fog removal are more consistent with the human visual perception. Finally, several commonly used defogging algorithms are selected for comparative analysis. Through subjective and objective evaluation, it is shown that the algorithm has better results in image details, brightness, fidelity, operation speed and other aspects compared with the contrast algorithms, which meets the requirements of field application, effectively solves the problem of poor image clarity in substation.
substation; foggy image; automatic color-grading algorithm; automatic gamma correction; image haze removal
2023-03-13
2023-05-08
陆世豪(1995—),男,硕士,工程师,主要研究方向为计算机视觉技术、自然语言处理技术在电力系统中的应用。