基于综采工作面视频监控的图像增强方法

薛国华

（陕西黄陵矿业一号煤矿有限公司，陕西 延安 727307）

煤炭是我国的主要能源，在国民经济发展中占有极其重要的地位[1]。近年来，随着自动化和信息化技术的发展，煤矿向智能化开采方向发展[2-4]。随着综采自动化技术发展，视频监控广泛应用于综采工作面，主要用于片帮、大块煤、人员安全和设备干涉识别等。综采工作面视频监控图像易受煤矿井下粉尘、水雾等影响，并且工作面属于低照度环境，导致图像不清晰，难以实现工作面异常状态的准确识别。因此，研究综采工作面视频图像增强算法，对工作面设备、围岩和人员异常状态识别和煤矿安全生产具有重要意义。

目前，国内外许多学者对图像增强算法进行了大量的研究，其中也包括煤矿井下图像增强方法。徐荣鑫、付国荣等研究了基于双边滤波与单尺度Retinex 的混合图像增强算法，对图像进行去噪及增强处理，有效解决综采工作面内监控图像不清晰、雾化、眩光等问题[5-6]；尚长春等研究了基于机器视觉的煤矿图像增强方法，经小波变换进行融合、重构，最后使用均值、标准差等数字特征对处理结果进行评估，此方法对增强图像质量有较好的效果，并提高了井下障碍物识别正确率[7]；路雅宁等结合曲波变换和HIS 变换对图像进行融合，提高了光谱图像的分辨率[8]；智宁、李策等针对现有的图像过度增强、只适用小部分图像的问题，提出了一种基于深度融合网络的清晰化复原算法，此方法有较好的适用性，并有效提升了井下图像视觉效果[9-10]；同时，智宁等又提出了基于双伽马函数的低亮度图像增强算法，通过均衡低亮度区域和高亮度区域的亮度值，达到图像增强的目的[11]；应东杰等[12]针对井下图像质量差、噪声多的问题，提出了一种基于小波变换和模糊理论的图像增强算法，改善了图像效果；付燕等[13]针对井下视频的亮度不均、细节不清等问题，通过对比度受限函数和反馈函数对图像进行增强，该方法有效解决了井下视频图像失真问题；Ju 等[14]提出了伽马校正先验方法，减少了图像增强算法运算时间；Wang 等[15]通过结合傅里叶滤波和高斯滤波，对暗通道先验方法进行改进，提高了图像增强算法的运算速度。

综上所述，目前图像增强方法的研究较为广泛，但是现有煤矿井下图像增强算法具有一定的局限性，深度融合网络的清晰化复原算法等复杂算法处理速度慢，而对比度拉伸、伽马变换、直方图均衡等处理效率高的算法对煤矿井下图像增强效果不佳。为此，运用限制对比度自适应直方图均衡的图像增强方法对煤矿综采工作面低照度环境下的图像进行增强处理。

1 综采工作面全方位视频监控方案

为了全方位的监控综采工作面人员与设备等异常状态，采用云台摄像仪代替传统固定摄像仪，综采工作面视觉传感器布置方案如图1。每间隔5 个支架安装3 台矿用云台摄像仪，其中2 台安装于支架的顶梁上照向煤壁，用于监测采煤机滚筒与液压支架护帮板等是否发生干涉、煤臂是否发生片帮等，另外1 台照向支架，用于监视行人通道，监测人员是否在危险区域。

图1 综采工作面视觉传感器布置方案Fig.1 Layout plan of vision sensor in fully mechanized mining face

2 综采工作面图像增强方法

2.1 限制对比度自适应直方图均衡的图像增强方法

针对直方图均衡化的局限性及煤块井下实际环境。运用限制对比度自适应直方图均衡（CLAHE）方法对综采工作面图像进行增强，限制对比度自适应直方图均衡（CLAHE）算法的流程图如图2。

图2 限制对比度自适应直方图均衡法流程图Fig.2 Flow chart of adaptive histogram equalization method with limited contrast

该方法通过设定阈值来限制直方图的分布，以避免过度增强。若某个灰度级的概率超过该阈值，则对其进行裁剪，并将超出阀值的部分平均分配到各个灰度级。由于重分布使每个灰度级的概率均匀上升，导致被裁剪掉的灰度级概率又重新超过阈值，所以反复进行裁剪和平均分配的过程，直到超出阈值的部分可以忽略不计。通过阈值重分布处理，直方图累积分布函数中剧烈变化的曲线段会变得较为平缓，从而避免噪声点过度增强引起的图像失真。

为了避免每2 个块状中心区域之间产生不连续的割裂现象，限制对比度自适应直方图均衡的图像增强方法通过双线性插值来去除分块处理所导致的块边缘过渡不平衡效应。首先将图像均匀分成小窗口，然后计算每个窗口的直方图经裁剪重分布后的累积分布函数。窗口的中心像素点按照映射关系的原始定义进行变换，而其他的非边缘像素点则通过相邻4 个窗口的直方图累积分布函数对其的映射值进行双线性插值，得到最终的映射函数。

已 知 函 数f 的P 点 周 围Q11=（x1，y1）、Q12=（x1，y2）、Q21=（x2，y1）、Q22=（x2，y2）4 个点的值，那么求得P=（x，y）的值的方法为：

在x 方向进行插值：

映射插值原理如图3。通过插值计算，人工引入的窗口边界得以消除。黑色小矩形代表各分块的中心，所以此中心像素直接使用当前分块的映射函数；而右下方蓝紫色区域的像素，则是由当前分块与相邻分块的映射函数，执行双线性插值计算得出；同理，图像边缘的绿色区域的像素，由当前分块和相邻分块执行线性内插即可；最后在图像角落的红色区域，与所在分块中心像素一样，直接使用其映射函数计算。这样的插值处理，将直方图统计均衡化的次数减少到常数次，只增加了映射函数取值的线性计算，在保证算法一定效果的同时，极大的提升了计算效率。

图3 映射插值原理Fig.3 Principle of mapping interpolation

对于限制图像局部直方图对比度的问题，可以通过限制其幅值来实现。直方图均衡化的像素值，是通过累积分布函数（CDF）变换所得，限制局部直方图CDF 的斜率就可以达到限制对比度的目的。由于累积分布函数又是像素幅值的积分，所以对幅值的限制相当于限制CDF 的斜率。限制直方图的幅值需要对直方图裁剪，为了减少信息的丢失，裁剪的部分还要均匀的分布在直方图上。

设裁剪值为C，子块中高于这个值的灰度值和为TE，TE 属于裁剪的部分，如果把裁剪的部分平均分到子块的所有像素N 上，那么每个像素需要分到的灰度值为H=TE/N，再以U=C-H 为界限来重新分配灰度级。

本方法相对于直方图均衡算法，可以有效避免增强图像后导致亮度过大的问题，增强后的图像质量更高，更符合人眼观察习惯。

2.2 图像增强评价指标

采用峰值信噪比和信息熵对图像增强效果进行客观评价，峰值信噪比是一种常用的图像评价指标，图像的清晰度与峰值信噪比呈正相关，信息熵反映了图像灰度值的多样性。峰值信噪比的计算公式为：

式中：PSNR 为信噪比；MSE 为原图像的均方误差；n 为图像采样点的位数，8 位采样点时，n=255。信息熵H 的计算公式为：

式中：Pi为图像中某点出现的概率。

3 图像增强实验验证

获取煤矿井下综采工作面多幅图像，分别采用对比度拉伸、伽马变换、直方图均衡化、限制对比度自适应直方图均衡方法对图像进行增强处理，综采工作面巷道图像的不同增强方法结果对比如图4，综采工作面煤壁图像的不同增强方法结果对比如图5，工作面采煤机截割部图像的不同增强方法结果对比如图6。

图4 综采工作面巷道图像的不同增强方法结果对比Fig.4 Comparison results of different image enhancement methods of roadway in fully mechanized mining face

图5 综采工作面煤壁图像的不同增强方法结果对比Fig.5 Comparison results of different image enhancement methods of coal wall in fully mechanized mining face

图6 工作面采煤机截割部图像的不同增强方法结果对比Fig.6 Comparison results of different image enhancement methods of cutting unit of shearer in fully mechanized mining face

从以上处理结果可以看出，对比度拉伸法和伽马变换法对煤矿井下图像处理效果较差，对原始图像增强不明显。直方图均衡法处理后有效提高了原始图像的亮度，视觉效果也得以提高，但是出现了亮度过高的情况，限制对比度自适应直方图均衡方法的处理结果在视觉上有着最好的效果，在有效增强原始图像的同时，避免了对比度和亮度过高的情况，图像质量得到明确提高。

根据图4～图6 中图像处理结果，计算得出的4种图像增强处理方法的评价指标见表1。

从表1 中可以看出，运用限制对比度自适应直方图均衡方法处理结果的峰值信噪比相比于其他3种方法有着明显提升，说明此方法处理的图像清晰度要明显优于其他方法。限制对比度自适应直方图均衡方法的信息熵仅次于直方图均衡方法的处理结果，结合图4～图6 图像处理结果的实际效果可以看出，直方图均衡处理结果虽然信息熵更高，但是造成了图像亮度过高，对比度过大，丢失了图中细节，不符合人眼观察习惯，不能为煤矿机器视觉智能识别提供高质量的图像。

表1 不同图像增强方法评价指标Table 1 Evaluation index of different image enhancement methods

因此，综合对比度拉伸、伽马变换、直方图均衡化、限制对比度自适应直方图均衡4 种方法的图像增强对比分析，采用的限制对比度自适应直方图均衡方法的增强效果最佳，能够在煤矿井下综采工作面低照度、水雾等环境下实现图像清晰化。

为了验证提出的视频监控方案和采用的限制对比度自适应直方图均衡方法在煤矿井下综采工作面的增强效果，从煤矿井下综采工作面现场截取了视频增强后的图像，综采工作面人行道增强后的图像如图7，综采工作面采煤机滚筒增强后的图像如图8。

图7 综采工作面人行道增强后的图像Fig.7 Enhanced image of humanoid road in fully mechanized mining face

从图7 和图8 可以看出，视频监控方案实现了工作面人员、设备、煤壁等全方位监控，并且采用的限制对比度自适应直方图均衡方法实现了煤矿综采工作面视频图像良好的增强效果。

图8 综采工作面采煤机滚筒增强后的图像Fig.8 Enhanced image of shearer drum in fully mechanized mining face

4 结 语

针对煤矿综采工作面设备与人员异常状态全方位视频监控和煤矿井下低照度环境下的图像成像质量低的问题，提出了一种全方位的视频监控方案，并研究了限制对比度自适应直方图均衡的图像增强方法。运用对比度拉伸、伽马变换、直方图均衡化和限制对比度自适应直方图均衡4 种方法对煤矿井下实际图像进行增强处理对比验证。结果表明：采用的限制对比度自适应直方图均衡方法对煤矿综采工作面图像增强效果最好，该方法通过限制对比度，在增强图像的同时，避免了直方图均衡引起的亮度过高的问题。