一种基于倒影图像检测的水域落水人员判断方法

陈晗 周强

摘要：针对传统水域救生过程无落水人体检测先验知识、检测效率低的现状，提出了一种基于倒影图像检测的水域落水人员判断方法。该方法以水面倒影检测为核心，将倒影与真实落水目标进行比对，通过水纹特征实现对两者的区分检测，并采用方向梯度直方图（histogram of oriented gradient，HOG）特征以及支持向量机（Support Vector Machine，SVM）的人体检测算法对真实落水目标进行最终人体识别检测。实验表明，该方法对落水人员检测准确率为98.2%，达到了对真实落水人员的有效检测，提升了水面救援检测的效率和速度。

关键词： 水域救生；落水人员检测；倒影图像检测；HOG-SVM

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2018）26-0175-04

Abstract：Focusing on the problems that caused from no prior knowledge of human detection and the low detection efficiency in the traditional waters lifesaving process， a method for judging the persons falling into the water basin Based on reflection image is proposed. This method uses water surface reflection detection as the core， compares the reflection with the real falling water target， realizes the distinguish detection between the two through the water pattern feature， and uses the HOG and SVM human body detection algorithm to perform the final human body recognition detection on the real falling target. Experiments show that the accuracy rate of this method is 98.2% for the drowning personnel， which can achieve effective detection of real drowning personnel and improve the efficiency and speed of water surface rescue detection.

Key words：Water life-saving； Detection of falling personnel； Reflection image detection； HOG-SVM

我国国土幅员辽阔，对外开放的公园人工湖、水库和湖泊数量巨大，但实际生活中由于安全措施不到位、监控存在盲区和死角，以及湖泊区域水上应急救助设施配置较为薄弱等原因[1]，导致溺水死亡事故频繁发生，产生了恶劣社会影响，故而落水人员的救生问题就显得尤为重要。

目前，我国水上救生市场主要存在人员设备不足、研发体系不完善以及技术含量較低等问题，整体处于有待开发的状态。常见的针对人员落水问题的救生装置主要包括：传统救生装置和新型救生装置，其中传统救生装置主要包括救生筏和救生圈等[2]，主要依靠人力进行救援行为，并存在浮力不足、体积大、救援投掷准确性不高等问题，而新型装置则主要包括潜航器应急救生装置、智能救生网、弹射救生装置、STS超级救生艇、iSwimband救生装置、Self Rescue Bracelet 溺水自救手环和HEXA 六角形膨胀充气式救生垫等[3-4]，较传统救生装置，新型救生装置辅助性功能更加完善，但新型装置大多针对地理环境完整的大型区域或需人员穿戴检测设备的游泳池可控区域，因此存在局限性大、救援效率低、成本高昂等问题。同时，在户外水域中现有的救生救援在智能报警方面依然多依赖于人力巡检，从而导致对水面险情不能及时做出报警。

针对当前国内外水上救生装置和设备的现状，为提供更加智能、高效的水面救援应对方案，提出了一种中小型水域智能控制救生系统，该系统主要由落水人员检测模块、主控制模块、救援船模块、岸边语音报警模块和警卫室模块组成。该系统通过落水人员检测模块进行图像数据采集以及人员落水险情监测，并将检测结果传送至主控制模块，通过主控制模块进行信息融合，生成自主导航信息控制救生小船模块完成自主救援，同时生成险情报警控制，控制岸边语音报警模块和警卫室模块完成自主报警。系统设计具有自动实时监控、实时自主救援、实时险情报警等功能，可以弥补当前国内外在中小型水域救生方面人力不足的问题。其中落水人员检测模块能够最先感知到待监测水域是否存在人员落水的险情，保证系统及时对后续救援任务做出反应，因而是确保整个系统救援动作准确性的重中之重。

因此，本文主要针对复杂背景下基于图像的落水人体目标实时、准确地检测问题，提出一种落水人员在线检测算法，首先通过红外相机采集水面图像，并对采集到的图像做图像预处理提取运动目标，将得到的运动目标区域先进行倒影检测，排除倒影干扰，再进行基于HOG-SVM的人体检测，最终达到对落水人体的在线检测任务。该算法在水域救生中人体辨识这一问题上具有较强的准确性和快速性，对尽快确定落水人员的准确位置，缩短救助时间，提高落水人员的生存概率具有一定效果。

1 检测系统及工作难点

1.1 在线检测系统

根据系统要求，搭建的智能救生系统硬件框架落水人员检测模块、主控制模块、救援船模块、岸边语音报警模块和警卫室模块，硬件系统框架如图1所示：

1） 落水人员检测模块：为实现二十四小时对水域的实时监控，系统采用红外摄像头对水面图像数据进行实时采集，并完成在监控范围中人员落水的检测任务。

2） 主控制模块：融合落水人员检测模块检测结果，对救援船作相应的导航路径规划及对岸边语音报警模块做对应控制，并完成整个水域水面的监控画面融合并在警卫室模块中进行实时显示。

3） 警卫室模块：实时显示整个监控水域水面图像。

4） 岸边语音报警模块：当接收到主控制模块发来信号为水中无人员落入时，处于休眠状态，无动作；当信号为水中有人员落入时，触发语音报警模块进行岸边语音报警。

5） 救援船模块：通过无线传输模块，接收主控制模块发送的路径导航信息，根据导航信息进行自主救援任务，并完成返航过程。

1.2 系统控制流程及难点问题

1.2.1 系统控制流程

该智能控制救生系统的基本思想为：系统首先对待监控水面进行落水人体检测，再将检测到的落水人员信息传送至主控制模块，并产生相应的救援和报警操作。系统控制流程图如图2所示。

其中落水人员检测是本系统的核心部分，落水人员检测的最基本问题是找出落水目标，进而对落水目标进行人體判断，最终确定监控水域是否存在落水人员，根据检测结果进行后续救援任务。

1.2.2 落水人体检测及其难点

目前的落水人体检测主要参考地面人体检测方法对人体进行识别。在实际落水人体识别过程中，存在以下几个难点：

1） 运动目标的提取

在对落水人体进行检测时，待监控水域普遍存在背景复杂，且易受光照影响使水域出现动态变化等问题，这些问题会导致前景运动目标难以提取，因而运动目标的提取是本系统的一大难点。

2） 倒影与真实落水目标的区分

人体在岸边时会在水面产生倒影，而倒影和实际落水目标具有相同的形状、速度及方向等特征，从而导致倒影与真实落水目标难以区分，使落水救援工作难以进行，故而倒影与真实落水目标的区分是本系统的另一难点问题。

3） 落水人体的特征提取

落水人体的检测主要依据于人体特征。而人体为非刚体，且落水人体应对落水情况时的处理方式不同，故而有效选取落水人体特征也是本系统的难点问题。

2 落水人体检测改进算法

基于以上难点，本文提出了一种落水人体检测方法。该过程包括对水面倒影去除、水面疑似人体的提取和疑似人体目标的模式识别与分类三部分。如图3所示，人员落水检测具体流程为：

1） 在检测系统的前端运用红外摄像头采集监控水面图片；

2） 对采集到的图片进行中值滤波处理，去除噪声的干扰；

3） 对降噪过的图片进行背景去除，得到运动目标；

4） 对运动目标进行倒影判断，得到真实落水目标；

5） 对真实落水目标各特征进行提取，使用HOG-SVM算法完成对落水人体和非人体目标的识别和分类处理；

6） 输出人体目标识别结果。

2.1 运动目标提取

经过初始滤波后，为方便后续计算工作的进行，需要对摄像头采集到的图片做灰度处理。由第1章中监测系统可知，摄像头相对水域静止，所以本文检测属于静态背景下运动目标检测，常见的运动目标检测方法有光流法、立体视觉分析法、帧间差分法以及背景差分法等[5-7]。参考实时性要求，又因为水域背景复杂，背景建模难度非常大，所以本文采用帧间差分法对水域运动目标进行检测。帧间差分法如式（1）所示。

[minΔ=x=1Ny=1NIi（x，y）-Ii-1（x，y）] （1）

其中[Ii（x，y）]表示第i帧M×N[M×N]的图像，min△为第i帧图像与上一帧图像灰度值的差分结果。

差分后的运动目标轮廓提取过程容易受到噪声和背景变化的干扰[8]。所以获得[Δ]后，通过采用形态学方法对[Δ]进行处理，在去除细小的差分干扰时，以便得到较完整的运动目标所对应的连通域[Ni（x，y）]。形态学方法处理如式（2）所示：

[Nix，y=minΔΔ>TΘS⊕S] （2）

其中S为开运算算子，[Θ]为腐蚀运算运算符，[⊕]为膨胀运算运算符，[T]为差分阈值。

又因为帧间差分法易出现空洞，易导致后续特征提取时特征缺失，而运动目标周围背景对目标的特征判断也能提供一定帮助，所以考虑到非运动目标的作用[9]，本文采用截取最小外接矩形的方式确定运动目标。即最后在运动目标的连通域[Ni（x，y）]基础上求其最小外接矩形，此时外接矩形所在区域即为运动目标，处理如式（3）所示：

[Li（x，y）=Ii（x，y）（x，y）∈M] （3）

其中[Li（x，y）]为运动目标部分，[M]为最小外接矩形。

2.2 倒影检测

倒影是光照射在平静的水面上所成的虚像。在水域人体检测中，倒影的判断是水域人体检测中必不可少的一环。对于一般水域来说，倒影与实际存在落水情况如图4所示。

目前倒影检测方法有基于模糊自适应直方图法以及基于亮度、纹理、视差多特征检测等方法。前者需借用用毫米波雷达仪进行辅助测量，真实目标有返回值，倒影目标无返回值，检测过程较为复杂；后者则主要立足于双目视觉所得三维图像，处理难度较大[10-11]。如图4可知，由于实际落水人员存在不断运动过程，水面附近会持续存在水花，运动目标较实际人体大，并且人体周围水面纹路较多；而倒影相比于实体，亮度较低，且周围无明显水花。所以基于此特征，提出一种新的倒影检测方法，用于对2.1中所得运动目标部分进行倒影检测，流程如下所示：

1） 先进行Soble算子边缘检测参数m1，对运动目标部分进行一次边缘检测，得到第一次边缘特征；

2） 再改变Soble算子边缘检测参数m2，对运动目标部分再进行一次边缘检测，得到第二次边缘特征；

3） 由于水纹与水面背景之间的边缘较真实人体与水面背景之间的边缘缓慢，所以改变Soble算子检测参数，对运动目标进行检测后所得的边缘特征不同，真实落水目标两次边缘特征相差较大，所以，对两次所求边缘进行差分，得到的便是边缘较缓和的水花或水纹边缘特征。目标表示如式（4），△为图像边缘差分差分结果。

[Δ（m1，m2）=x=1Ny=1M?fm1（x，y）-?fm2（x，y）]

[=x=1Ny=1M?2f?x2+?2f?y2m=m1-?2f?x2+?2f?y2m=m2] （4）

4） 水纹检测

由于水花边缘不连续且繁杂，所以对上式边缘差分结果进一步做连通域分析，将连通域面积大于A的连通域个数num作为特征量，送入SVM分类器中进行训练分类，此处分类规则采用线性分类核函数k（x，y）并以最大边缘距离为准，分类结果T计算公式如式（5）所示：

[T=numk（x，y）=x·y=∑iΔ（m1，m2）k（x，y）=x·ys.t.Δ（m1，m2）≥A] （5）

5） 判定结果输出

根据SVM分類结果，判断图像为倒影或真实落水目标，若该运动目标部分确为倒影，直接结束对该运动目标的检测，否则则为真实落水目标，并令该运动目标部分进入2.3进行进一步人体判断。真实落水目标部分如式（6）所示。

[fi（x，y）=Li（x，y）s.t.Li（x，y）T=1] （6）

2.3 落水人体检测

目前基于HOG特征的方法在人体检测方面具有良好的效果，其出色的语义表达能力使其一直作为各种先进检测算法的重要组成部分[12]，所以本文以HOG+SVM的方法为核心对人体进行检测分类，并应实时性要求，在检测过程对HOG进行改进。

人体检测过程如下所示：

1） 输入疑似人体目标区域图像，并对图像进行滤波、灰度化以及Gama校正；

2） 通过式（7）、（8）梯度算子对图像进行计算，获得每个像素点的水平和垂直方向上的梯度、梯度幅值和梯度方向：

[Gi=Gix2+Giy2=?2fi?x2+?2fi?y2] （7）

[θi（x，y）=arctanGixGiy] （8）

3） 通过式（9）根据梯度幅值进行筛选，去除梯度幅值较小区域特征量，保留边缘特征明显区域，从而达到保留主要特征的同时大幅度减少后续计算数据，减少时间，提高计算效率：

[Hi=GiGi≥M30Gi

4） 把窗区域图像分割为若干个互不重叠的 8 * 8像素的 cell。由于边缘梯度方向差 均匀划分成 9 份，并以各像素点的梯度幅度为权重，统计各cell 的梯度方向加权直方图；

5） 将各个cell组合成大的块（block），并将各 cell统计到的直方图相连得到 block 的直方图向量，并将块的直方图向量相连作为待检测目标的HOG特征：

[Bi=iCi] （10）

6） 将提取到的特征量送入SVM分类器，进行最终的人体辨识部分。通过一个非线性映射p，把样本空间映射到一个高维乃至无穷维的特征空间，并最终寻找到一个超平面对落水人体与非人体目标进行区分。

3 实验分析

3.1实验过程

如图5所示，为了验证本文所提出的落水人体检测算法的效果性能，本文以岸边倒影、水面观赏湖鸭以及游泳馆模拟人体溺水三类视频进行了仿真研究，实验过程如下所示：

1） 预处理：对视频图像中帧图像进行中值滤波、灰度转换操作；

2） 运动目标提取：利用2.1中所述方法对图像进行帧间差分、形态学处理、取最小外接矩形以及提取运动目标操作；

3） 倒影检测：利用2.2中所述方法，选取Soble算子检测参数，对运动目标进行两次边缘检测，并求差分后送入SVM分类器中进行倒影检测，完成倒影与真实落水目标的分类，将真实落水目标出送入后续人体检测处理部分；

4） 人体检测：利用2.3中所述方法，对整个水域有无落水人员检测进行检测，并最终输出人体检测结果。

3.2 实验结果

3.2.1 倒影检测

此处以图5中两张待检测图像为例，进行倒影检测结果显示。其中，图6为倒影检测实验过程图，图7为SVM倒影检测分类结果图，其中类别1为真实落水目标，2为人体倒影。

3.2.2 人体检测

以在将倒影目标除去后的真实落水目标图像（泳池模拟溺水人员、观赏湖鸭）为例，采用2.3人体检测方法对落水目标进行落水人体检测实验，检测分类结果如图8所示。

3.2.3 实验精度

同时为了避免随机性的影响，本文对三类视频中500帧水面图像进行了检测，检测结果如表1所示。

实验证明，由于水中倒影的存在，本文提出的倒影检测方法能消除倒影误检并准确检测出真实落水目标，其中对落水人员的检测正确率为98.2%，保证了落水人员检测的精度，更有利于水面救生后续工作的进行。

4 结论

本文以水域落水人员为对象，针对目前水域救生存在的无落水人体检测先验知识、检测效率低的现状，提出了一种基于倒影图像检测的水域落水人员判断方法，该方法以水面倒影检测算法为核心对真实落水目标进行检测，同时采用HOG-SVM方法对真实落水目标进行落水人员识别，并通过大量实验证实了本文所提出算法在水域救生方面的准确性及其可行性。

其中，倒影检测算法是本文的核心，它弥补了传统人体检测算法忽略与人体相似背景的影响。它能够较为便捷准确的区分水面倒影与真实落水目标，进而对二者进行区分。从而便于后续HOG-SVM方法对真实落水目标中落水人体的检测，最终达到了对水域中落水人员检测可靠性的保障，对实际水面救生实施具有一定指导意义。

参考文献：

[1] 张进峰，刘永森，牟军敏， 等.库区水上应急救助设施多因素P-median选址模型[J].中国安全科学学报，2016，26（11）：163-168.

[2] 肖红，施楣梧.水上个体救生具的概念、种类和结构分析[J].中国安全科学学报，2003（12）：42-46+100.

[3] 徐峻楠，魏岗，杜辉，等.一种新型潜航器应急救生装置——爆涨式气囊工作原理初探[J].船电技术，2018，38（02）：8-12+17

[4] 曹忠亮，张旭亮，胡佳伟，等.一种弹射救生装置的设计与分析[J].齐齐哈尔大学学报：自然科学版，2016，32（02）：70-72.

[5] XIA Y Q，NING S H ，SHEN H. Moving targets detection algorithm Based on background subtraction and frames subtraction[C]//Proc of the 2nd International Conference on Industrial Mechatronics and Automation. Wuhan，China，2010：122-125.

[6] WANG Z Y，XU H，SUN L F，et al. Background subtraction in dynamic scenes with adaptive spatial fusing[C]//2009 IEEE International Workshop on Multimedia Signal Processing. Rio de Janeiro，Brazil，2009：1-6.

[7] LI W，WU X J，MATSUMOTO K，et al. Foreground detection Based on optical flow and background subtract[C]//InternationalConference on Communications，Circuits and Systems. Chengdu，China，2010：359-362.

[8] 胡瓊，秦磊，黄庆明.基于视觉的人体动作识别综述[J].计算机学报，2013，36（ 12）：2512-2524.

[9] 张杰，吴剑章，汤嘉立，等.基于时空图像分割和交互区域检测的人体动作识别方法[J].计算机应用研究，2017，34（01）：302-305+320.

[10] 刘茜. 水面移动机器人目标检测与定位方法研究[D].沈阳理工大学，2013.

[11] 徐栋. 基于多特征融合的复杂野外环境下水体障碍物的检测[D].浙江工商大学，2007.

[12] 刘保真，苏卫华，陈卓，等.伤员搜寻任务中人体的视觉检测方法研究[J].医疗卫生装备，2017，38（2）：118-121.

[通联编辑：唐一东]