于中阳 王亚菁
摘要:在全球范围内,溺水一直是造成意外伤害死亡事件的重要原因之一。如何降低溺水死亡风险已经成为全世界密切关注的公共卫生问题之一。以关键技术为切入点,将目前的防溺水监测系统分为视频检测、穿戴设备和救生设备三个类别,并分别进行详细阐述。通过在成本、技术集成复杂度、监测准确度和应用水域方面对不同的防溺水监测系统进行了对比和分析,深入地讨论了影响这三类防溺水监测系统的关键性因素,并提出了新的探讨方向。
关键词:防溺水;人工智能;传感器;救生;图像处理
中图分类号:TP311 文献标识码:A
文章编号:1009-3044(2023)13-0119-04
开放科学(资源服务)标识码(OSID)
0 引言
随着全民健身热潮的不断兴起,参加各项健身运动的人群也不断增多。游泳作为人们喜爱的运动方式之一,却由于其必须在水中才能进行的特殊性,一不留神便会造成溺水的风险。据世界卫生组织(World Health Organization) 指出,溺水已經成为全球最大的可预防、被忽视且迫切的公共卫生问题之一。不仅如此,为了在国际社会引起重视,世卫组织已先后发布过《预防溺水实施指南》《全球溺水报告》两份官方文件,并根据情况逐年更新。据其称,溺水是全球1~24岁儿童和青少年的一个主要死因,同时也是导致意外伤害和死亡的第三大原因,全球每小时有40多人溺水死亡。从溺水致死的人口数量来看,全球每年的溺水事件导致超过23.6万的人失去性命[1-2]。从溺水事件的损失金额来看,仅在美国海岸发生的溺水事件每年造成的直接和间接损失就高达2.73亿美元;澳大利亚和加拿大每年溺水造成的总损失分别为8 550万美元和1.73亿美元[1]。
在中国,每年约有5.9万人死于溺水,平均每天有161人因溺水死亡。其中,未成年人占比在95%以上[3],而且因溺水而亡的青少年比例还在逐年上升。随着溺水事件的危害不断扩散,如何减少溺水对游泳者的伤害也成为社会普遍关注的问题之一。溺水是指人体长时间淹没于水或其他液体介质中,水体进入呼吸道和肺泡引起缺氧窒息的状况[4]。溺水时间过长会导致呼吸困难和心脏停搏甚至死亡。在溺水情况下,人们很难进行大声呼救,只能在头位于水面上方时进行大声呼喊或者举起手臂示意。正是由于游泳运动的特殊性,救生人员难以清晰地界定游泳者的动作是正常游泳还是发生溺水。于是,一种能够实时监测游泳者的防溺水方法对于提高溺水者的存活概率起到非常关键的作用。
1 研究现状
目前,主流的防溺水监测系统大多分为以下几类:第一类是利用算法、图像处理、人工智能(AI,Artificial Intelligence)和监控摄像头等复杂的软件程序和硬件来探测水下人类,从实时的视频中捕捉图像以监测人体是否溺水;第二类是利用心跳、血氧饱和度、水压、水深等各类传感器和通信机制集成的随身穿戴设备,监测水中人体的各项机能指标,一旦监测到异常情况,立刻响起警报[5];第三类是借助传感器监测游泳者游泳状态,发现异常后通过发起信号的方式启动智能救生设备营救溺水者。
1.1 视频监测系统
Shiuuee K等人[6]提出了使用图像处理和背景模糊技术监测游泳者的行为状态并提取其图像特征,然后通过人工神经网络进行网络训练和测试,从而识别出溺水者。这种感知器类型的神经网络包含两个隐含层:第一层有7个神经元,第二层有3个神经元。实验结果表明,该神经网络对溺水者的检测准确率为94.46%。Handalage U等人[7]提出了利用卷积神经网络(CNN)模型的视觉监测系统(如图1所示)自动化地监测并营救溺水者。整个救援流程分为三个阶段:溺水检测组件通过自定义CNN模型检测出溺水者后,发送救援信号给无人机;救援无人机接收救援命令后,根据受害者位置坐标实施营救;同时,危险探测组件通过移动报警器将潜在的危险活动通知救生人员。Pavithra P等人[8]提出的基于视频的溺水检测系统,包括配有USB摄像头的树莓派和蜂鸣器,树莓派将采集到的图像进行处理,处理后进行特征识别,发现溺水者后通过GPIO系统报警并发送短消息。Jian J X等人[9]提出了利用图像处理和人工智能运动识别的溺水识别方法,首先将摄像头安装在游泳馆底部,然后利用OpenPose对图像关节点特征进行标记,最后将捕捉到的关节点特征输入递归神经网络,判断游泳者是否溺水,具体流程如图2所示。
1.2 穿戴设备
Jalalifar S等人[10]提出了一个以传感器为基础的防水穿戴装置如图3所示,能够通过传感器监测心率、血氧水平、运动情况和水深等信息,并将这些信息发送到微型控制器,微型控制器再将信息与初始设定阈值进行比较,以检测游泳者的状态。一旦控制器发现游泳者处于危险状态超过特定时间会自动触发警报,提示救生员营救。John S N等人[11]提出了一种基于心率的压力传感器防溺水系统如图4所示,包括发送模块和接收模块,发送模块采用腕带设计的方式包括一个微控制器和一个心率传感器,预定义最高和最低的心率数阈值。接收模块由单片机、液晶屏LCD(Liquid Crystal Display) 、蜂鸣器组成。射频模块用于无线传输和信号接收。发送模块跟踪到超过阈值的异常心率会向接收模块发送警报。Danh L V Q等人[12]提出了一种基于蓝牙低能量和接收信号强度定位的溺水检测方法。佩戴蓝牙标签的游泳者由安装在游泳池周围的蓝牙信标扫描仪监控。可穿戴蓝牙标签定期向蓝牙信标扫描仪发送信号。一旦蓝牙信号发生中断,警报器会被立刻触发,提醒救生员发生溺水事故。
1.3 救生设备
Nair S等人[13]提出了一种无人机救生设备的防溺水方法,如图5所示。在这个项目中,游泳者佩戴着一个带有求救按钮的手环,当游泳者发生危险时,按动求救按钮,无人机会根据GPS和Zigbee确定溺水者的具体位置,快速飞至目的地并投放救生衣,之后进行救援,提高溺水者的生还率。Yang D等人[14]提出了一种智能救生圈溺水检测算法,通过救生圈上的摄像头获取的图像,快速识别溺水事故,判断事故方向并预测其发生距离,然后将这些数据发送到控制器,以辅助智能救生圈完成救援任务。Yaswanthkumar S K等人[15]提出了一种针对溺水者的预警系统,通过人体的超声波和温度采集,监测水下是否有溺水者。如果发现超声波符合人类频率范围,且采集温度在12℃左右,携有救生设备的多功能无人车Autonomous Utility Vehicle (Auvs)会自动行驶到溺水者位置实施营救。
2 对比与讨论
從成本上来说,视频监测系统和救生设备的成本比较高,穿戴设备的成本较低;从技术集成的复杂度来说,视频监测系统和救生设备的集成技术较为复杂,穿戴设备在技术集成的复杂度相对另外两类较低;从溺水判定结果的准确度来看,视频监测系统的准确度最高,其次为救生设备;从应用水域来看,救生设备主要应用于海面、湖泊等大面积天然水域,而视频监测系统和穿戴设备更多应用于游泳馆等小面积人工水域。具体的防溺水监测系统对比如表1所示:
而在上述的文献中,许多影响监测结果精确度的因素值得深入讨论。在视频监测系统中,整个监测周期包括三个流程:前期的深度学习形成模型;中期目标检测和溺水判定以及后期的警报发送。在前期的机器学习过程中,必须输入大量的游泳图像和溺水图像,机器通过算法进行区分,从而逐渐提高验证结果的精确度。在中期,摄像头会进行视频的实时监控和图像传输,AI模型利用目标检测算法对图像进行处理,并分析是否存在溺水者。后期一旦发现溺水者,报警模块会立刻发送警报提示救生员并采取其他救援行动,尽可能保护溺水者的安全。于是,在视频监测系统中,通常容易受到训练样本[16]、图像捕捉要求以及AI模型算力的影响[17]。
首先,训练样本的数量和类型能够直接影响深度学习模型对于溺水行为的识别精度。在初始环节,模型需要接收大量的样本进行深度学习。然而,溺水样本和正常游泳样本类型分布不平衡,正常游泳样本远高于溺水行为样本,在深度学习中,样本越充足,模型对于图像的解析结果越精确,而训练样本的不足更容易导致识别结果的误判。另外,由于正常游泳和溺水都在水下,且动作行为有相似之处,所以深度学习模型更需要大量的溺水样本进行学习,于是溺水样本的采集对于溺水识别结果的准确度起到十分关键的作用。
其次,图像传输和处理需要应用到运动目标检测方法。具体而言,目标检测方法是从视频中将变化区域从图像中提取出来[18]。目前主要的运动目标检测方法有三种:帧间差分法[19-20]、卡尔曼滤波法[21]和光流法[22]。由于监测的游泳者一直处于动态运动之中,会受到许多外部因素(比如光照、阴影、人员或物品遮挡)的干扰,以至于运动目标检测成为一项困难的工作。对于运动目标的检测,图像捕捉要求会在很大程度地影响到防溺水的效果。图像捕捉要求包括摄像头拍摄清晰度、图像识别帧数和图像处理时间。摄像头拍摄的清晰度越高,图像识别和处理的准确度越高。在不影响溺水识别结果的情况下,图像识别帧数越少,计算时间越少,图像处理时间越短。于是,减少图像处理的时间,也能尽快地发现是否存在溺水者,以便进行后续的营救行动。
最后,在AI领域中,算力一直是一个无法绕开的因素。至于视频监测防溺水方法利用的深度学习、图像识别和神经网络等技术,更需要提高计算机的算力以快速得到精确的计算结果。计算机的算力迭代升级越快,机器学习能力强,图像识别结果越精确,越有助于增加溺水者生还的可能。
在穿戴设备防溺水方法中,一般包括智能手环[23]、泳帽[24-25]、泳镜[26]、泳衣[27]等。以智能手环为例,是由各类传感器、微型控制器、电池、LED显示屏、连接和通信模块等部分组成。游泳者在游泳池游泳时,佩戴的智能监测手环可以根据游泳者的状态进行信号传递,一旦传感器接收到心率、血氧饱和度等传感数据出现异常时,会立刻响起或发送警报,吸引救生员前来营救。这种情况下,设备佩戴的舒适度、通信强度、传感器接收信号的灵敏度都会影响溺水检测结果。一旦设备的大小佩戴起来不够便携,游泳动作容易受到影响,游泳者不愿意佩戴,智能手环预防溺水的功能就难以实现,于是对于智能手环的设计需要考虑其外观大小,保证人体佩戴的舒适性。
通常情况下,智能手环设计信号的传递分为三种情况:第一种情况是智能手环的传感器接收到异常数据时,判定为溺水后自动响起警报。岸边的救生员听到警报,根据警报的响声寻找溺水者的位置进行施救;第二种情况是智能手环作为发送端,救生员佩戴手表或安卓设备作为接收端,当智能手环传感器采集到异常数据信号时,判断是否符合溺水条件,判定为溺水后通过通信协议将警报信号发送到接收端,救生员接收到救生信号时根据GPS定位确定溺水者位置并进行施救;第三种是智能手环将救生信号发送至中央控制台,中央控制台为溺水者分配救生员。鉴于人溺水时,时间是决定生还可能性的关键因素。溺水状态被判断出得越早,溺水者越有可能脱离生命危险。于是,通信能力的强弱紧密关联着溺水者的生死。通信时间越短,干扰越少,救生人员接收到信号的时间越短,也就能越快完成溺水者的施救。目前,关于穿戴设备防溺水方法的通信机制通常选择无线通信技术(Zigbee、蓝牙、Wi-Fi等),这些通信协议在水下会受到一定程度的干扰。因此,如何增加信号传播的强度,通信协议的选择可以作为今后的研究者在研究溺水求救信号发送时讨论的方向。
传感器接收信号的灵敏度是影响智能手环溺水预警功能的第三大因素。心率、血氧饱和度、水深等数据是通过传感器进行采集,在手环设计初期,设计者会根据人体正常的运动情况设置正常采集阈值范围,比如Jalalifar S等人[10]的设计的装置中,心率小于50BPM,且持续时间超过15秒则判定为溺水。于是,当传感器采集的数据超出阈值并持续一定的时间时,即可确定游泳者是否溺水。但是传感器的灵敏度会直接影响到整个防溺水监测系统的判定结果,传感器的灵敏度过强,容易导致求救信号的误发;传感器灵敏度过弱,又容易导致溺水者无人施救。于是,传感器灵敏度的设计也是在此类穿戴设备防溺水方法中必须关注的问题之一。当然还有其他因素的影响,比如电池的续航能力,手环防水能力等,但在本文中不进行详细概述。
救生设备的防溺水方法主要是由AI模型和救生装置共同参与完成溺水人员的搜救,且该方法主要用于室外的海洋、湖泊、河流等水域进行救援。这种救援方式易受到恶劣天气的影响,在面向雷雨大风、沙尘等天气时,救生设备判断结果的精确度难以得到有效保证。
3 未來研究方向
关于防溺水方案的设计,其实可以有更多的思路,虽然这些思路目前仅停留在概念层面,但是可以为后续的研究者提供参考方向。
第一种思路是多功能滑轨小车救生方案:首先,在游泳馆四周安装多个智能监控摄像头,并且保证这些摄像头可以360度无死角地拍摄到泳池。其次,在游泳馆馆顶上固定好滑轨以及能在滑轨上运行的多功能小车。整个方案的运作流程是智能摄像头利用AI算法实时地对图像进行分析,一旦摄像头识别到人体的溺水行为,会立刻将该溺水者的位置坐标发送至多功能小车的接收端,小车接收到救生指令后,行驶到溺水者坐标上方位置,投放救生圈,帮助溺水者脱困。
第二种思路是智能手环防溺水方案,这个方案会更针对个体差异性。首先,每个首次进入游泳馆的游泳者需要注册身份信息,并将自己正常运动下的心率、血氧饱和度等体征信息输入手环进行记录,手环可以根据每个人输入的正常体征信息,判断游泳者是否溺水。当手环监测到游泳者的体征数据高于或低于正常阈值时,会判断为游泳者溺水并响起警报,吸引救生员或身边的游泳者进行营救。游泳完成后,手环会将每次游泳的个人体征数据储存到云端,下次登录时备用。
4 总结
本文以提高溺水者生还率为目标,将国内外现有的防溺水监测技术分为三类,并分别综述了三种防溺水监测系统的研究与进展。通过文献调研,对比了每种方法都有各自的优缺点:虽然视频监测系统和救生设备成本高,但是具有较高的监测精度;穿戴设备成本虽然低,但是监测精度相比前两种也较差。而且不同的防溺水监测系统应用水域不同,在游泳池、游泳馆等小型水域中,一般使用视频监测系统和穿戴设备,在大型水域比如湖泊、海洋,一般使用救生设备。所以在不同的场景要选用不同的防溺水方法。而且每种防溺水方法也存在着重要的影响因素,如何利用这些因素实现溺水监测效果的最大化,是后续学者需要深度研究的课题。
参考文献:
[1] 世界卫生组织.溺水[EB/OL]. (2021-4-27)[2022-10-24]. https://www.who.int/zh/news-room/fact-sheets/detail/drowning.
[2] Royal Life Saving. Royal Life Saving National Drowning Report 2022[R]. Sydney Australia:Royal Life Saving, 2022.
[3] 王晓宇, 侯鑫淼, 王佳畅, 等. 2022中国青少年防溺水大数据报告[R]. 北京:人民网舆情数据中心, 2022.
[4] 贺佳佳,张风云,范中沿,等.基于Utstein模式的海水淹溺现场(院前)救治研究进展[J].临床医学进展,2022(7):6740-6747.
[5] Shehata A M,Mohamed E M,Salem K L,et al.A survey of drowning detection techniques[C]//2021 International Mobile,Intelligent,and Ubiquitous Computing Conference (MIUCC).May 26-27,2021,Cairo,Egypt.IEEE,2021:286-290.
[6] Shiuuee K, Rezaei F.A presentation of drowning detection system on coastal lines using image processing techniques and neural network[J].Journal of Injury and Violence Research,2019,11(2).
[7] Handalage U,Nikapotha N,Subasinghe C,et al.Computer vision enabled drowning detection system[C]//2021 3rd International Conference on Advancements in Computing (ICAC).IEEE,2022:240-245.
[8] P P,S N,A N,et al.Video based drowning detection system[C]//2021 International Conference on Design Innovations for 3Cs Compute Communicate Control (ICDI3C).June 10-11,2021,Bangalore,India.IEEE,2021:203-206.
[9] Jian J X,Wang C M.Deep learning used to recognition swimmers drowning[C]//2021 IEEE/ACIS 22nd International Conference on Software Engineering,Artificial Intelligence,Networking and Parallel/Distributed Computing (SNPD).IEEE,2022:111-114.
[10] Jalalifar S,Kashizadeh A,Mahmood I,et al.A smart multi-sensor device to detect distress in swimmers[J].Sensors (Basel,Switzerland),2022,22(3):1059.
[11] John S N, Ukpabio I G, Omoruyi O, et al. Design of a drowning rescue alert system[J]. International Journal of Mechanical Engineering and Technology (IJMET), 2019, 10(1): 1987-1995.
[12] Danh L V Q, Hoan T N K, Pha H V, et al. An Early Drowning Detection System Capable of Locating Swimmers in Real Time[C]//International Conference on Business and Technology. Springer, Cham, 2023: 175-186.
[13] Nair S,Rodrigues G,Dsouza C,et al.Designing of beach rescue drone using GPS and zigbee technologies[C]//2019 International Conference on Communication and Electronics Systems (ICCES).IEEE,2020:1154-1158.
[14] Yang D S,Cao Y,Feng Y J,et al.Drowning detection algorithm for intelligent lifebuoy[C]//2021 IEEE International Conference on Unmanned Systems (ICUS).IEEE,2021:512-519.
[15] K Y S,K P O,V R R.Autonomous utility vehicle (auvs) based emergency human drowning detection system using sonar and thermal detection methods[C]//2019 IEEE International Conference on Distributed Computing,VLSI,Electrical Circuits and Robotics (DISCOVER).IEEE,2020:1-6.
[16] 赵凯琳,靳小龙,王元卓.小样本学习研究综述[J].软件学报,2021,32(2):349-369.
[17] 郑纬民.新基建中的高性能人工智能算力基础设施的架构与测评[J].机器人产业,2020(6):51-56.
[18] 郭静.基于Blob的双摄像機泳池监控报警系统算法研究[D].大连:大连海事大学,2011.
[19] 赵婷,郑紫微.基于改进的帧间差分运动目标提取算法[J].无线通信技术,2016,25(2)46-49,53.
[20] 陈媛,蔡晓燕.改进的帧间差分运动目标检测算法研究[J].现代计算机,2019(33):41-44.
[21] 郑斌.基于卷积神经网络融合扩展卡尔曼滤波的拖缆姿态解算算法研究[D].长春:吉林大学,2022.
[22] 董锐.基于光流法和结构相似度的无线视频质量评价方法[J].河南工程学院学报(自然科学版),2022,34(3):65-68,73.
[23] 崔亚龙,王景丽.水上智能救生手环系统设计与研究[J].信息与电脑,2021(10):73-75.
[24] 邹旭,廖钟豪,王廷军,等.基于zigbee通信模块的泳池防溺水智能泳帽的研究[J].科技风,2018(34):70.
[25] 霍君力,杨乔云,肖美妍,等. 防溺水自动报警充气泳帽[C]//物联网与无线通信-2017年全国物联网技术与应用大会和2017年全国无线电应用与管理学术会议论文集,2017:251-254.
[26] Roy A,Srinivasan K.A novel drowning detection method for safety of Swimmers[C]//2018 20th National Power Systems Conference (NPSC).December 14-16,2018,Tiruchirappalli,India.IEEE,2019:1-6.
[27] 邱睿,闻宇欣,张鹏,等.基于单片机的智能防溺水背心[J].电动工具,2019(3):7-10.
【通联编辑:唐一东】