视觉感知技术在选煤厂的应用研究

杨 硕 佟建楠

(1.煤炭科学研究总院唐山研究院，河北省唐山市，063012；2.天津大学电气自动化与信息工程学院，天津市南开区，300072；3.唐山学院土木工程学院，河北省唐山市，063000)

1 引言

视觉感知是以计算机视觉和机器学习为基础进行测量、分析、评估和决策的无损智能测控技术。研究将视觉感知技术应用于选煤厂人员和环境的监测过程，实现人机在复杂多样的工矿环境中协同运转的自适应控制要求，用以提高选煤厂生产过程的智能化程度。

随着选煤厂各个系统功能的逐渐细分，对生产岗位的具体化要求不断提高，本文针对生产线各个操作环节的关键岗位，提出基于人脸识别和动态目标检测的人员行为感知方案。目前，人脸识别算法主要分为基于全局特征的PCA、LDA、ICA算法和基于局部特征的LBP、SIFT算法，由文献可知，基于全局特征的识别算法对人脸的光照、尺度、位姿、遮挡等因素变化的鲁棒性较差，不适于在选煤厂低照度、多变性的环境中应用；常用的动态目标检测算法包括高斯背景建模法和帧差法；帧差法容易引入噪声并产生大量空洞，对后续确定目标对象造成影响。针对上述算法存在的问题，设计了一种基于局部特征的HOG算法进行人脸检测，通过混合高斯背景建模实现人员的动态识别，并结合两种算法提出针对人员行为的感知策略。

管道系统是实现介质和洗水闭路循环的重要工艺环节，在煤炭洗选过程中，管路网络的接口、阀门，与介质桶、水池、设备的衔接处极易发生物料的跑、冒、滴、漏现象。由于选煤厂作业空间狭窄，照明不足，人员无法全面监测生产环境中的积水面积，形成难以评估的危险区域，存在极大的安全隐患。由文献可知，应用基于重心或顶点的轮廓积分法可以测量具有规则几何形状的目标面积；基于动态轮廓线模型的图像法可精确测量目标面积，但需人工预设轮廓线的初位置，无法自动测量。针对上述方法不足，本文提出了基于参考物的环境视觉感知方法测量积水面积。

2 视觉感知系统

视觉感知系统是选煤厂日常人员和环境感知功能的具体应用单元，由于选煤厂现场环境复杂特殊，因此对视觉感知系统的实时性、准确率和重复率要求较高。本文研究提出的视觉感知系统控制方案如图1所示，包括物理层、数据链路层、控制层和决策层。

图1 视觉感知控制系统方案

物理层和数据链路层是视觉感知系统信息获取和传输的硬件架构。物理层设计符合选煤厂光照变化的工业级光学成像模型，光学系统通过光路控制单元将光信号聚焦到成像平面，并按实际补光需要进行调整达到光照整体均匀分布效果，以保证图像清晰度，完成对检测目标的成像和图像数据采集等基础工作；数据链路层应用数字通信网络，实现数据在上下级单元间的高速、稳定和精确传输。在研究过程中，选取选煤厂常规视频监控系统作为成像和传输平台，以验证视觉感知系统的普适性要求。控制层和决策层是视觉感知系统的算法中枢，控制层通过图像处理和人员环境感知算法，从图像中提取满足感知系统需要的目标特征；决策层通过大数据处理单元对检测对象的目标特征进行统计和计算，得到分析结果，实现系统对人员和环境感知的功能。

3 人员行为感知

人员行为感知是针对人与环境、人与设备交互作用中发生的违规现象进行视觉检测的过程。为了满足在行为感知过程中对目标特征提取和匹配等算法的有效性，将原始图像进行预处理，以剔除图像中潜在的干扰因素，并应用Adaboost人脸探测算法定位图像中人脸的精确位置。本文提出的人员行为感知算法流程如图2所示。

图2 人员行为感知算法流程

3.1 人脸识别检测

通过人脸识别检测，对进入检测区域的人员进行身份辨识，完成对非法人员的鉴别报警，并实现对选煤厂各个关键岗位工作人员到岗情况的自动统计。针对选煤厂的光照变化特点，本文应用HOG算法对待检测图像进行特征提取，采用K近邻分类器(KNN)完成人脸目标的匹配工作。人脸识别算法流程如图3所示。

图3 人脸识别算法流程

(1)为了提高不同光照成像条件下对匹配精度的鲁棒性要求，对定位的人脸图像进行Gamma归一化处理。

(2)应用[-1，0，1]和[1，0，-1]T梯度算子与原图像I(x,y)做卷积运算，得到水平和竖直方向的梯度分量见式(1)和式(2)，求取各像素点的梯度大小和方向见式(3)和式(4)：

式中：Gx(x,y)——水平方向梯度；

Gy(x,y)——垂直方向梯度；

G(x,y)——梯度幅值；

θ(x,y)——梯度方向。

(3)将人脸图像划分为包含8×8个像素的若干细胞单元(cell)，将细胞单元分成9个梯度方向块，对其中的像素点的梯度信息进行加权投影并统计梯度值，得到每个细胞单元的梯度方向直方图。

(4)将32×64个细胞单元组成一个区块(block)，将区块内所有细胞单元的特征向量进行串联，并通过式(5)所示函数对每个区块分别进行归一化，以得到对局部光照和对比度的变化具有较强健壮性的HOG描述符。

(5)

式中：ν——特征向量；

ε——极小常量。

(5)将人脸图像内的所有区块的HOG描述符串联，得到图像的HOG特征向量f={x1,x2,…,xn}。

(6)应用K近邻分类器，计算待测人脸图像特征向量和人员数据库中所有图像描述符的欧氏度量，以获得最小距离，设定匹配阈值，若该距离小于或等于阈值，则图像相似度较高。如果在K个测试样本中多数属于一个集合，则该人脸图像样本也属于此集合，人员匹配识别成功，为合法工作人员，并记录到岗情况。

3.2 动态目标检测

在人脸识别检测的基础上，研究对监控场景中的动态目标进行检测，自动捕捉人员与设备的运动情况，并将选煤厂各个岗位操作规程作为程序化逻辑判断条件，用以评估人员行为的合理性，并向安全监管人员提供实时有效的监测数据。假设在自然条件下受环境因素影响，像素点灰度值随时间的波动变化近似符合高斯分布，且任何一种分布都可以表示为多个高斯分布的加权拟合。由于选煤厂监控画面中的场景变化杂乱无序，本文以电工检修过程为例，应用混合高斯背景模型实现对人员或设备等动态前景的检测。人员动态检测如图4所示。

把采集的视频序列中各帧图像定义为一个时间序列:{Z1，Z2，…，Zn}，用k个高斯分布来表征每帧图像中各像素点特征，建立的混合高斯背景模型见式(6)，并初始化均值和方差等模型参数。

(6)

式中：k——高斯分布数量，k=3；

Xi,t——图像序列在t时刻第i点的像素值；

wi,t——图像序列在t时刻第i个高斯分布的权重；

μi,t——图像序列在t时刻第i个高斯分布的均值；

η(Xi,t,μi,t,∑i,t)——高斯概率密度函数。

(7)

按照式(8)对高斯分布由高到低排序，设定背景模型的比例阈值为T，计算得到前V个高斯分布来表征背景图像，以完成对动态目标的识别检测。

(8)

图4 人员动态检测

3.3 行为感知策略

通过对生产系统各个环节工作人员的人像和岗位信息的录入，建立岗位人员数据库，将监控画面中采集的人像作为待测目标，结合对设备、时间和地点的分析，按照识别算法将待测人像与数据库图像进行1∶n匹配，实现对人员在岗情况、人数和工种的统计，作人员识别算法性能见表1。

表1 工作人员识别算法性能

由表1可以看出，算法的识别率受到不同工况环境中光照和遮挡等外界因素的影响而浮动，但仍能在较短时间内达到97.61%、89.43%、91.14%和94.29%的识别精度，这是一种实时性和准确性较高的选煤厂人员识别解决方案。

在各岗位工作人员身份的识别前提下，按照背景建模算法提取图像中人员或设备等动态目标，以各个工种程序化的操作规程作为逻辑判断条件为视觉检测提供依据，对人员行为的合理性进行判断；结合对设备动态状况的感知，完成对人员行为危险性的评估。在实验测试中，图像在第157帧时，背景模型清晰、稳定，可以快速识别画面中出现的多个动态目标，结合预定义的行为策略能够完成对人员行为合理性的感知功能。

4 环境感知

选煤厂洗水环路系统的跑、冒、滴、漏不仅会引起潮湿环境下设备的电气短路，还会在地面形成煤泥水淤积的暗坑，严重威胁人员的生命安全，如何精确估计生产区域积水面积成为环境感知的关键问题。本文提出在自动识别积水区域的基础上，计算积水面积值完成对环境的评估，为降低地面污渍对目标区域形状分析的影响，首先对当前帧图像进行形态学处理。环境感知算法流程如图5所示。

图5 环境感知算法流程

4.1 积水区域识别

积水区域识别如图6所示。在对积水区域的识别过程中，由于不均匀的光照影响，容易在积水表面发生图6(a)所示明暗不同的镜面效应，导致常规的基于灰度信息的图像分割方法难以对感兴趣的目标区域进行准确分割。研究针对彩色图像应用更接近于人眼色彩感知的HSV空间，通过互不相关的亮度(V)和色彩(H、S)分别对图像进行处理，处理算法见式(9)～式(11)：

(11)

将图像按照式(9)～式(11)进行处理后，由RGB颜色空间转化为图6(b)所示的HSV空间，其中Tmax和Tmin分别为R、G和B中的最大值和最小值；由图6(c)、图6 (d)和图6 (e)所示的分别对H、S和V分量图进行图像分割，可较好地识别图像中明亮和阴暗积水区域。

图6 积水区域识别

在图像分割过程中，为了避免由光照不均造成局部积水区域的识别缺失问题，提出基于PCNN模型的积水区域自动分割算法，针对图像的轮廓和局部细节进行不同层次的分割，效果如图6(f)所示；最后对图像中的连通区域进行如图6(g)所示的拟合，以实现对积水区域的识别。

4.2 积水面积计算

研究假设数字图像由像素点组成，且每个像素点均可以表示一定的实际面积值，所以积水区域的实际面积值可以由已知参考物的面积求得，本文将参考物设置在垂直于地面的管路或墙壁上。在实际应用中，由于成像设备主光轴与积水地面不垂直，根据光学成像原理会产生一定的透视畸变，研究通过分别设置在水平和垂直两个平面上的相同参考物，计算校正系数，完成对图像的透视畸变的几何校正见式(12)：

(12)

式中：Pv——垂直参考物图像包含像数点数；

Av——垂直参考物图像实际面积值，m2；

kc——校正系数；

Pl——水平参考物图像包含像数点数；

Al——水平参考物图像实际面积值(Av=Al)，m2。

在求得校正系数后，测量原理计算积水区域的面积值见式(3)：

(13)

式中：Aa——积水面积值，m2；

Ar——参考物面积，m2；

Pa——积水区域图像包含像素点数；

Pr——参考物图像包含像数点数。

在实验过程中，由于积水区域的形状复杂，难以获得积水面积的真实值，研究在选煤厂实际生产区域应用薄膜附水法，通过在已知面积的不规则薄膜上充水模拟实际场景，以验证算法的精度。积水面积测量结果见表2。

表2 积水面积测量结果

由表2可得，算法的相对测量误差随模拟面积的增加而减小，在2.859～11.536 m2试验范围内的相对误差小于1.17%，能有效反映过水区域的面积变化，所以参考物测量法的精度适用于选煤厂积水区域面积的计算。

4.3 环境感知策略

在有效提取积水区域范围和精确计算积水面积的基础上，提出面积容忍极值法，通过比较实测面积与容忍极值，评估洗水环路系统的跑、冒、滴、漏等现象的严重等级，实现对选煤厂环境的感知功能。

5 结论

视觉感知技术是选煤厂实现人员、设备和环境三者间协调、高效、自主运行的有效手段。本文首先基于人脸识别和动态检测算法建立了具有良好鲁棒性和实时性的人员行为感知策略，实现了对人员行为合理性的判断和危险性的评估；其次提出基于积水区域识别和面积计算的环境感知策略，在完成对积水面积精确计算的情况下，对选煤厂洗水环路系统跑、冒、滴、漏现象的严重性进行分析。目前该课题仍存在以下关键技术难题：

(1)在人脸识别算法中，通过设定欧式距离的阈值来控制人员匹配结果，如何在准确性和成功率相互制约的前提下，设计具有自适应性阈值设定方法是下一步人员感知算法的主要分析方向。

(2)在积水区域识别算法中，在保证算法实时性的情况下，提高对连通区域的拟合精度以完成对水域范围内小面积干燥区域的有效识别，仍需在环境感知算法中作进一步研究。