无人机在伤员搜救中的应用及研究进展

2020-03-07 19:05朱明明雷涛夏娟娟李钊张林媛王健琪路国华
国际生物医学工程杂志 2020年5期
关键词:伤员图像目标

朱明明 雷涛 夏娟娟 李钊 张林媛 王健琪 路国华

1空军军医大学军事生物医学工程学系,西安710032;2西宁联勤保障中心药品仪器监督检验站,兰州730050

0 引 言

我国是世界上自然灾害最严重的国家之一,每年因自然灾害、事故灾害造成的人员伤亡逾百万[1],自然灾难种类繁多,给人民生命财产安全造成巨大危害。洪水、滑坡、地震等大型自然灾害发生后,通往救援现场的道路通常已被毁坏,不具备大规模人员进入的条件;且存在受灾面积广阔、环境复杂、搜索范围大、人员分布不确定、人员特征不明显等情况。然而由于救护人员数量有限,采用传统的地毯式搜寻已经无法快速并准确搜索到遇险人员。有许多幸存者很可能错过国际公认的黄金救援“72 小时”,且受伤后的“黄金救援时间”仅为1 h,在战场伤员搜救中更是有“白金10 分钟,黄金1 小时”的救治理念[2-4]。根据总后卫生部《战时卫生勤务学总论》研究表明,陆地各种伤员受伤后因未被及时发现而死亡人数占死亡总数的76.2%,如快速找到伤员,可使伤员死亡率降低2/3。因此如何快速有效地搜寻伤员已成为应急医学救援面临的首要问题,也是降低失踪及死亡率的首要因素。伤员搜寻更是以人为本的重要体现,是平时保群众安危、战时保战斗力的重要保障。

随着无人机技术的日趋成熟,易操纵、成本低、立即响应等优点,使无人机在救援活动中得到广泛应用。救援无人机是信息技术与智能制造相结合的产物,在紧急救援事件中其能快速深入灾害现场、获取现场影像数据、定位伤员情况,可在大型突发性灾难中提供多方位的帮助,从而完成灾情勘察、物资运输、应急通讯等任务。目前,常见无人机按动力可分为固定翼、扑翼、多旋翼和混合动力设计[5]。固定翼无人机动力需求最少,但需要更高的初始速度,且无法悬停在某个地方,也无法保持低速;与固定翼无人机不同,扑翼无人机可在大风条件下支持稳定飞行。固定翼和扑翼常综合使用,扑翼产生升力,固定翼产生推进力,提高了整体效率和空气动力学平衡;多旋翼无人机可垂直起降且可悬停,为监视和监视的理想选择,但需要更多的功耗,其载荷力受到限制。这些设计通常具有模块化和可扩展性,具有可重配置的有效负载和地面控制选项。有效载荷包括:遥感设备(如带有彩色、红外、多光谱和高光谱的摄像机),合成孔径雷达(SAR),测距雷达(LiDAR),测量传感器(气体,颗粒物和气象),通信设备(接收,传输和中继)和货物。载荷需依据搜素目标进行选择,根据搜寻目标的状态可分为有源目标和无源目标。

1 有源目标搜寻

有源目标是指伤员随身携带可对外发射信号的设备,信源可提供伤员的位置信息和生命检测等信息,此时的搜寻主要是针对信源的搜索,大大提高了识别的精度和范围。

1.1 智能手机

随着科技发展和人们生活水平的提高,智能手机在国内迅速普及,当灾害发生后,幸存者首先倾向于使用手机进行求救[6];但在地震、洪水、泥石流等自然灾害事件中常伴有通信中断的现象,灾害发生后通信基站被毁通信网络中断,使灾区与外界隔绝形成“孤岛”,给受灾群众带来巨大的心理压力,可造成悲观恐慌情绪蔓延。通信中断也使灾区信息难以快速传达至应急救援中心,使决策者难以在短时间内对灾区情况作出正确的判断。恢复通信是首要任务,然而重新搭建手机基站至少需一周或以上时间才能完全恢复,使用无人机搭载小型基站覆盖整个区域至少需要1 d 的时间[7]。梁魏等[8]针对地震灾区通信中断问题,提出利用智能手机自带的WIFI和蓝牙功能与无人机构建灾区mesh 网络,可在无网络状态下在灾后1 h 构建灾区多用户链接网络,以无人机为球心,半径70 m,搜集此区域内的共享灾情信息,智能手机用户可将灾情和自身情况通过该网络进行共享完成部分灾区自救和互救,最后将这些信息传输至应急指挥中心。

目前在用的灾后无线网络恢复方案,一般采用多架长航时无人机搭载通讯基站均匀覆盖整个灾区[9],以达到快速恢复通信的目的。然而在此方案中,未关注大多数手机用户所处的位置以提供必要的网路覆盖。在人员聚集区域,超出上限的用户会导致基站信息堵塞无法接入可用网络,且参考信号接收功率(reference signal receivcing power,RSRP)较低会导致手机不断去搜索新的基站网络,这个搜索过程将产生极大的功耗,消耗大量宝贵的手机电量,导致通信恢复后,手机因电量问题无法取得联系。针对此问题,Alsaeedy 等[10]提出了一种新的基于智能手机的无人机搜救框架,可在灾难发生后生成直观的危机分布图,显示潜在的幸存者分布,提供各区域包含幸存者数量等信息为伤员搜救进行优先级划分和管理,并提供必要的射频信号覆盖,另外还可提供基于智能手机的受灾地区态势感知。Sawalmeh 等[11]进一步研究了无人机作为空中基站在较小和较大覆盖范围内为用户提供无线覆盖的高效三维布局问题。而针对常规多输入多输出通信系统中信道串扰和频谱稀缺的限制,Hu 等[12]提出一种基于无人机的空对地无线电涡旋网络,其利用涡旋光束的空间分布特征优化频谱效率,在多数据传输且多用户环境下,这种正交传输技术可大大提高通信性能。Avanzato 等[13]通过移动终端与基站之间距离不同时而RSRP 不同的原理,提出使用无人机-豪微微蜂窝系统对监测区域内移动终端的RSRP 进行测算和3D 分析,最终达到以大约1 m 的精度定位可能存在的移动终端。

此类方法成本较低,定位精度较高,传输信息较丰富;但需具备良好稳定的手机通讯网络,而手机本身较为脆弱,存在受到撞击、雨水浸泡、高温等恶劣条件下较难幸存及续航时间短等问题,且传输信息受手机使用者的主观影响较大。

1.2 有源信标

智能穿戴设备可实时采集生理参数(如血压、体温、血氧、心率等)。此类设备可进行超低功耗设计,传输距离较近,一般需配备电台以完成信号的发射。可穿戴技术已在喜马拉雅山的严酷环境中成功地进行了试验,以监测基本的生理参数和地理位置[14]。李源等[15]设计了一款有体征监测功能的无人机野外搜救系统,其采用IMEC 公司的ECG 体征监测终端(需在人体胸部贴电极),使用蓝牙模块采集ECG 信号,再通过LoRa 低功耗远距离无线通信技术最远可传输约2 km,低功耗模式最长可工作7 d,此设备需手动开启。冯逸飞等[16]设计的无人机海上搜救系统,需佩戴单兵信标机和智能手表来进行体征采集和GPS 定位,该信标机可在遇到海水时自动激活,也可由无人机远程激活。为降低功耗延长工作时间,此类设备平时处于休眠模式,直到手动开启或无线开启之后才进入生命体征监测和信号收发模式,提供伤员生命体征的实时反馈,使搜救队为伤员救治做好准备。带有生命体征监测功能的设备大都需要贴身穿着,虽然薄膜材料发展迅速,但仍对人体运动能力有所束缚,易使人体产生不适感,尤其是战时对士兵战斗力有所影响;且大多数设备需手动开启,在许多突发事件中,伤员来不及开启就陷入昏迷或休克状态;具有无线传输开启功能的设备易被敌方侦测或干扰。Silvagni 等[17]提出了一种用于山区救援行动的多用途无人机,可在有源搜索与无源搜索之间切换,使用信标进行大致范围确定,然后利用热像仪与可见光相机对人体生命特征进行精确搜索,从而减轻伤员负担。

2 无源目标搜寻

当伤员未携带有源设备或有源设备破损、电量耗尽无法使用时就需以人体生命特征作为监测目标,如体温、呼吸心跳、呼救声、人体轮廓等标志。

2.1 机载视觉

目前,最常用的空中搜寻方法就是依靠人体视觉,此时较大的视野范围可提高搜寻效率,加之灾害发生地经常伴随交通障碍,使地面搜寻效率较低。目前大多采用搜救人员乘坐直升机进行目视搜寻的方法,搜寻发现概率与飞行高度、速度和搜寻人员视力、年龄个人因素等有关,受主观影响较大,且当观察距离超过某一距离时发现概率接近于零。此外,人眼长时间观察显示屏容易造成视觉疲劳,导致在搜寻过程中有可能遗漏重要信息[18]。由此提出利用无人机云台系统搭载高清相机将视频信号回传给地面站,搜寻人员通过观察图传显示画面搜寻伤员,并通过人体目标识别算法增加发现概率。

目前,主流的人体检测算法是HOG 特征结合SVM 分类器的思路[19]。在搜寻阶段常用的算法还有Harris 角点检测算法、SIFT 算法。de Oliveira 等[20]开发并评估了用于自动人体检测系统的多种模式识别系统。整个识别系统包括图像获取、检测和分割、特征提取、分类和后处理。对于分割和检测算法,使用显着图和热图像处理;在特征提取和分类中,采用HOG+SVM,LBP 级联,Haar 级联和两个CNN 架构。结果表明,CNN 是最佳技术,准确度为99.7%;其次是HOG+SVM,准确率为92.3%。在部分遮挡的情况下,CNN 的灵敏度为71.1%。

机载视觉与人工智能相结合更是为救援无人机提供了自主化解决方案。Sun 等[21]研究开发了一种基于相机的多合一目标检测和定位系统,并将其集成到完全自主的固定翼无人机中,可用于实时目标识别,也可进行目标后识别和定位以及航空图像收集,以用于进一步的地图绘制应用。Lygouras 等[22]将无人机机载视觉与深度学习技术相结合用于遇险游泳者的搜救,结合GNSS 全球导航卫星系统能完全以无人监督的方式执行关键的救生操作,并确保救生器坠落的精度。然而,无人机在视觉跟踪目标时,由于纵横比变化、视点变化、快速运动、尺度变化等,可能会带来平台运动和图像不稳定,易造成目标丢失。针对此问题,Xue 等[23]提出了一种高效的无人机视频目标跟踪方法,同时捕捉梯度信息和颜色特征来构造融合特征,根据稳定性函数,提出了一种高置信度的模型修正策略。此外,在野外中搜救任务由于复杂且不友好的野外环境可能造成操作上的延时,导致伤员二次伤害。为解决此类问题,AL-Kaff 等[24]提出一种基于从机载视觉捕获的颜色和深度数据的人体检测方法,提出了从骨骼姿态计算数据关联和视觉外观测量的方案,使得多人的跟踪对目标物体的角度的缩放、平移和旋转不变性,以保持无人机与被检测伤员的安全距离。

虽然机载视觉信息的深入开发研究大大提高了搜素的精度和自主性,然而这种高清摄像头拍摄观察方法完全依赖于环境中的可见光,在夜晚或光线较暗的环境下仍存在较大的制约。

2.2 红外视觉

红外是电磁波的一种,属于不可见光区域,其波长范围为760 nm~1 mm。由于在空气中传播过程中易被水蒸气、二氧化碳等吸收,仅有3 个“大气窗口”。0.9~2.5 μm 的高温测量区,一般应用于工业中的高温金属测量[25];波段为3~5 μm、8~14 μm 的低温区属地表目标生命区。红外热成像仪是将目标物体的红外辐射能量转换为电信号,再将电信号进行放大、伪彩处理,从而成为人眼可识别的热红外影像[26]。利用无人机红外载荷获取红外光谱影像进行伤员搜寻已得到广泛应用,红外视觉弥补了可见光易受光照变化影响的问题,热图像特别适合目标物体温度恒定的应用,通过红外热成像仪拍摄图像,BP 神经网络识别人体后,将图像回传至FPV 眼镜中,FPV 拥有第一视角视野开阔的优点,比传统第三视角更易于发现伤员[27]。通过使用热图像,可解决人们检测和识别中的传统问题,如低对比度、人群聚集、视觉条件的变化等。且热图像的分割过程无需太多的处理时间,特别适合于嵌入式应用。利用红外人体检测算法可实现在高遮挡性环境下的伤员搜寻,HOG+SVM 是最经典有效的人体目标检测方法[28];但OpenCV 提供的SVM 分类器是以可见光成像为模型训练得来,并不适用于红外人体目标检测,需采用红外数据对SVM 分类器进行训练,以提高分类器的准确性。另有一种方法是采用图像融合技术将可见光图像信息添加到红外图像中形成融合图像[29],仅在检测过程中使用热图像。在分类步骤之前,热图像被用于检测感兴区域,而分类步骤又是在RGB 图像上执行。

同样,红外热成像技术也存在其固有的弊端:①图像对比度低,分辨细节能力较差,如在野外无人机搭载红外热成像载荷进行伤员搜寻时,飞行高度大于60 m 左右时仅能区分动物与非动物,无法判断是遇险伤员还是野生动物。②受外部环境温度影响较大,如在温度高于30 ℃的环境中或伤员周围热源较多时,使用热像仪无法检测到人的热信号,尤其是战场环境影响较大。③价格贵,成本高。

2.3 多光谱技术

光谱技术可将成像信息从可见光拓展到300~1 100 nm 波段之间,通过目标与背景光谱特性曲线之间的差别,可提取特征将目标识别出来[30]。光谱成像仪根据分辨率的不同,可分为多光谱和高光谱,多光谱一般选择其中6~10 个特征光谱进行数据处理识别目标;高光谱数据体量大、冗余度高,包含的信息丰富,但需要的探测器数量也更多,使数据处理的实时性变差[31]。目前以美国为首的多国已研制并发射了覆盖可见光到热红外光谱范围的多光谱成像卫星,主要以美国的Landsat 系列和MODIS 为代表。此类仪器在国土资源、环境监测、城市遥感、海洋监管等发面具有较高应用价值。无人机数据和卫星数据的比较有两个明显的优势,即无人机采集数据的灵活快速,可达到实时反应的目的;其次,不受云层覆盖的影响,卫星在云层覆盖时无法采集数据,且无人机载多光谱具有更高的空间分辨率,可达到厘米级。基于多光谱探测的目标识别技术,因其具有能对抗伪装目标、抗干扰性、实时性等优点,已逐步应用于军事领域[32]。尤其在战场环境下,其周围热源干扰较大,且战士着迷彩伪装色,热成像和可见光均难以识别的情况下,多光谱技术具有其独特优势。

使用无人机遥感技术进行伤员搜救具有低成本、高速实时易于获取等优势;但由于无人机飞行高度低、摄像机视场角度小等原因,可造成单幅图像覆盖面积小,需采集多幅图像进行拼接以获取全景图像。此外,高空的风速对无人机摄像平台影响较大,相邻的图像会出现图像重叠不规则、曝光不均匀等问题,易出现重影、模糊、错位和颜色不一致的拼接图像。针对此问题,Zhang 等[33]提出了一种改进的动态规划算法来搜索最佳接缝线来完成无人机图像拼接,此方法对图像旋转具有不变性,优于OpenCV 方法。

2.4 声音信息

在野外搜救活动中,当机载视觉无法提供足够的信息时,无人机可利用声音信息来弥补视觉信息的不足。针对4 个关键问题——麦克风阵列的防水性、组装效率、无线通信的可靠性以及操作员的可视化工具,Hoshiba 等[34]开发了一种用于室外声源定位的球形麦克风阵列系统(SMAS),该系统由一个12 通道的麦克风阵列包括一个结构简单的球形体。通过使用带涂层的麦克风和简单的结构,可确保防水性和组装效率;其次,改变天线和通信协议以获得可靠的无线通信;为提高吞吐量,将地面站的天线更改为八木天线;为避免降低吞吐量,将通信协议从TCP 更改为UDP;并开发了针对无人机操作员的直观可视化工具。通过整合以上改进,构建了麦克风阵列系统。

2.5 雷达监测

目前,主要应用于灾害搜救的雷达设备有激光测距雷达(LiDAR)、合成孔径雷达(SAR)及微型生物雷达。机载激光雷达技术是一种常用的地形扫描技术,依靠发射红外和近红外波段快速获取高精度、高密度的地形信息,由于LiDAR 点云包含了地形中的所有表面特征[35],因此通过分离地面点可生成数字地形模型,获取地物三维信息的变化可直接反应灾害的严重程度[36],为应急救援和决策指挥提供可靠数据支撑。合成孔径雷达具有全天候实时高分辨成像与识别,SAR 在无人机上的应用,有效地提高了无人机的侦察能力, 使其在遥感遥测、地质勘探、灾情监控、环境监测和军事侦察中得到了很好的应用。微型生物雷达探测仪载荷能将伤员的微弱生命体征信号通过数据链路实时发送至地面站,通过该手段可有效做到伤员的伤情感知,为进一步救援提供指导[37]。微型生物雷达采用连续波体制,工作频率为24 GHz。利用振荡器产生正弦信号,经功率放大器放大之后,将信号分成两路,一路用于天线将信号辐射出去,另一路用于和接收到的信号混频。雷达的接收天线接收回波信号,通过低噪声放大器和发送信号进行混频用于消除载波信号。混频后的信号再通过放大器、低通滤波、放大、高通滤波、放大后被采样,最后DSP 芯片对采集到的信号进行处理和识别[38]。

3 目标救援

3.1 救援物资投送

在搜寻确定伤员位置后,无人机可向地面站传输高清影像,确认人员信息和精确位置,实时判断伤员伤情,并为地面搜救人员提供路径规划。当地面救援人员距离伤员较远时,无人机可向伤员位置投送必要的急救器材和生命维持药物,利用伤员自救,控制伤情延长生存时间,为搜救赢得时间。目前此类无人机已广泛应用于落水人员搜救,向落水人员抛投救生圈等设备。溺水时间是评估预后的最有力预测指标,快速提供漂浮设备减少落水人员溺水时间至关重要。利用无人机可快速定位溺水者位置并提供漂浮装置。Claesson 等[39]研究证明,与传统的搜索方相比,无人驾驶飞机可在海滩上更早提供水下受害者的位置,使溺水受害者更快接受心肺复苏。Seguin 等[40]研究表明,无人机可定位模拟受害者,识别他们且放下救生圈所花费的时间并未因天气条件而改变。无人机不仅是目击者和纽带,而且还可参与溺水的生存链。因此,在救援行动中增加无人机可提高急救的质量和速度,同时使救生员远离危险的海况。

在急诊医学领域,无人机已被用于向那些心脏骤停的患者提供自动体外除颤器(AED)。美国盐湖县采用无人机可在1 min 内到达患者事发现场,满足至少90%的AED 休克治疗需求,同时将实施成本降至最低[41]。Fakhrulddin 等[42]设计了一套使用无人机为心脏病老年患者提供急救物资的急救系统,使用无人机将急救箱运送给老年患者的平均时间可节省105 s。Wen 等[43]研究了在紧急情况下无人机的多目标血液供应问题,包括在运输过程中维护供血温度模型,在多个站点需要血液的情况下无人机路线计划以及承载能力。无人机有助于加快药物输送过程,从而改善患者护理水平;然而当前的系统仍然充满诸如高碰撞率、空域法规和伤害控制之类的问题。

3.2 远程医疗协助

当救援人员到达伤员位置,在伤员伤情较重时,为避免搬运过程中的二次伤害,需紧急处理伤情。此时,可采用远程医疗协助的方式,进行应急诊治操作。救援现场医务人员携带1 080 P 视频、音频传输头盔[44],利用前置高清图像传感器与后方有关专家进行远程会诊。摄像设备和无线传输设备一体化设计,无人机可作为通信中继搭建头盔与后方医院之间进行信息传输。Harnett 等[45]演示了使用无人机在外科医生和机器人之间建立无线通信网络以执行远程手术。在此研究中,外科医生和机器人被放置在相距100 m 的帐篷中。外科医生能成功地操纵机械臂进行模拟手术操作的练习。最近,通讯型无人机也被应用于执行患者的术前和术后评估以及在偏远地区进行某些外科手术的远程指导。

3.3 伤员后送

无人机进行伤员后送主要优势在于可节约宝贵的飞行人员和医务人员资源,去除驾驶舱和相关救生装备,大大降低了飞机的自重和成本,能够进一步缩小飞机的体积,增加机动灵活性。此类无人机主要应用于救援队和后方医院之间,先经过必要的创伤急救手术后,将伤员后送到更专业的后方医院。无人机按照动力结构可分为常规旋翼式、多旋翼式、涵道风扇式和复合式等类型。由于需要进行空中紧急后送的伤员大都是急重症伤员,在运输途中需医护人员陪同,且不宜受到剧烈颠簸,有关飞行对患者健康和安全的生理影响仍然缺乏具体的准则和标准。目前无人机飞行的稳定性和安全性尚需进一步的论证,因此许多用于伤员后送的无人机多为概念机。已开始服役的有以色列的“鸬鹚”无人机[46]、美军的“K-MAX”和“DP-14 HAWK”无人机。未来的后送无人机应能进入常规飞机无法进入的区域并快速转移[47],使受伤人员从高强度,高威胁,偏远和严峻地区迅速撤离,直接进入专科医疗区。当无人机载有伤员时,返回途中仍存在大量问题,因为无论是由于敌对行动或空域拥挤等其他原因,都存在明显导致伤情恶化的风险。最重要的是在没有专业医疗人员的情况下将重伤人员放入飞行平台以及在高风险环境中运送的安全性问题,尽管使用无人机无疑可减少飞行员和医务人员的风险,但对于伤员来说,这种风险仍然非常现实。

4 展 望

从搜寻目标来看,有源目标虽然识别精度高且范围广,但搜寻对象需佩带辅助装置,现有穿戴式救生装备主要存在增加身体载荷、穿戴装置使用不便、电磁兼容不确定性等不足。无源目标搜寻利用人体生命特征进行搜索从而减轻伤员负担,但机载视觉与多光谱完全依赖于环境中的可见光,在夜晚或光线较暗的环境下存在较大的制约;热红外成像技术分辨率较差,受环境温度影响较大;声音检测更是对环境噪声要求严格;生命雷达信号微弱及检测距离近等缺点,给伤员搜寻工作带来巨大挑战。未来伤员搜寻技术应注重无源无约束式的搜寻方式,搜寻、生命监测、通讯一体化,从而实现多技术的融合,高度无人化智能化,增加伤员搜寻的能力和效率。在目标救治中,目前应用最广的是救援物资投送,然而当前的系统仍然充满诸如高碰撞率、空域法规、伤害控制、噪音污染之类的问题。远程医疗协助为远程会诊搭建了较为完美的应用平台。对于后送无人机而言,存在的挑战主要是战场空域管理、网络攻击安全,在运输过程中需提供适当护理级别的决策以满足最终用户的可接受性。

利益冲突所有作者均声明不存在利益冲突

猜你喜欢
伤员图像目标
武警新兵在训练的过程中训练伤急救到院内急救的救治过程
巧用图像中的点、线、面解题
有趣的图像诗
李克强 全力组织抢险救援和救治伤员
烧伤伤员综合救治卫勤保障经验
亟待建立重大事件伤员救助基金
遥感图像几何纠正中GCP选取
趣味数独等4则
新目标七年级(下)Unit 3练习(一)
新目标七年级(下)Unit 4练习(一)