基于人工智能的婴儿睡眠监控系统

陈馨瑶 程进 邹小平 姜超 邬润杰 廖晶晶

北京信息科技大学北京市传感器重点实验室，北京100101

0 前言

随着二胎以及三胎政策的全面开放，少儿抚养比急增，婴儿看护本就是一件长期并且需要付出大量时间精力的事情。现今，在父母们需要同时兼顾家庭和工作的情况下，婴儿看护辅助逐渐成为了社会的关注热点和重要需求。传统的看护辅助以月嫂为主，但月嫂看护水平参差不齐且价格昂贵，随着现代化的发展，婴儿监控系统逐渐走入人们的视线中。相较于体征监测、哭声提醒[1-2]等宝宝监控系统，远程视频监控系统更加直观。然而，仅仅远程视频监控也并不能满足人们的需求，父母们不可能一直看着监控，但孩子的安全隐患却是无时不有、无处不在。2009年，佘达纶等人[3]发明的婴儿睡眠监控系统利用图像识别技术实现了对婴儿是否清醒的判断，用以提醒家长们宝宝醒了，只是该系统功能较单一且没有对于安全问题的识别；2012年，蒋亚明等人[4]设计了基于OpenCV的嵌入式视频监控系统，该系统通过图像识别实现了对宝宝的运动监测，但是该系统并没有对宝宝不同状态的区分与提醒。本系统通过图像识别技术实现了对婴儿睡眠过程中的吐奶、张嘴睡觉、口鼻被遮挡问题的实时监控，并且在识别到异常状况时第一时间通知父母，使得家长们能及时知晓宝宝的情况并做出处理。本系统主要对以下几个问题进行监控：

（1）张嘴睡觉[5]的问题：有一种病症为儿童阻塞性睡眠呼吸暂停、低通气综合征，这一疾病患儿会有张嘴呼吸的表现，即会引起宝宝习惯性张嘴睡觉。如果该症状没有得到及时的治疗，不仅会影响儿童的生长发育，还将带来因为长期缺氧引起的心血管方面的疾病，甚至会导致由于大脑缺氧造成学习及神经认知能力产生缺陷；

（2）吐奶问题：宝宝吐奶之后，奶水若流到耳朵里，不及时处理会导致中耳炎。另外，如果吐奶后被呛到，不仅会由于呛到中耳腔内引起中耳炎，还会引起窒息、咳嗽，甚至可能危及生命；

（3）口鼻遮挡问题：宝宝口鼻被遮挡会增加宝宝吸入二氧化碳过多以及过热的风险，这样不仅会导致缺氧窒息，还会引起婴儿猝死综合征。

1 系统设计

1.1 系统构成

此系统构成示意图如图1所示，系统硬件由微型电脑（树莓派）、树莓派适配摄像头和电源3部分构成。其中，树莓派为主要的控制模块；树莓派适配的摄像头为信息采集模块，实时采集婴儿的图片，再将信息传输进树莓派的运行系统中进行软件识别与处理；电源通过用树莓派适配的usb转mini接口的数据线来进行供电。当系统识别到婴儿的异常情况时，会通过手机微信小程序给家长发送消息。该系统结构简单，其实物是由3D打印的外壳封装的树莓派与摄像头，如图2所示，整个外壳为长方体，尺寸为12 cm×13.5 cm×5 cm。

1.2 工作原理

本系统主要运用了OpenCV[6]库的人脸检测和器官识别，以及Dlib[7]库的人脸特征检测。其中，OpenCV是一个开源的跨平台计算机视觉和机器学习软件库，它可以运行在多种操作系统上，并且提供了多种语言接口。本系统在树莓派上搭载了Raspberry Pi OS（Linux发行版）操作系统，又运用了python语言进行OpenCV等库的调用以及软件编写。

本系统在视频流中逐帧检测人脸，判断婴儿的睡眠状态，在检测到异常后，解除视频流对摄像头的占用，拍取异常情况的照片，再申请企业微信应用程序接口（Application Programming Interface，API）[8]，通过微信小程序向家长推送宝宝睡眠状态的照片以及文字提醒消息。主要的检测有：口鼻是否被异物遮挡、宝宝是否有吐奶现象、是否睁眼以及是否在睡觉时张嘴。检测到人脸之后，首先，判断能否检测到口鼻，从而判断口鼻是否被异物遮挡；其次，通过裁剪出的口部图片中白色像素点占比判断是否大于预设值0.05，从而判断宝宝是否吐奶；然后，通过比较眼睛长宽比是否大于预设值0.2，从而判断宝宝是否睁眼睡醒；最后，通过判断口部长宽比是否大于0.4，从而判断宝宝是否在睡觉时张嘴。系统工作流程图如图3所示。

1.3 系统的场景应用

首先，该系统需要利用支架安装在婴儿床正上方，保证能拍到婴儿的脸部，在宝宝睡觉时打开树莓派的开关，程序开始运行且摄像头开始监控。当宝宝口鼻被异物遮挡时，微信上就会收到 “宝宝口鼻挡住了！”的消息及宝宝此时的照片，这样家长可以在提示下及时帮宝宝移除异物；如果宝宝吐奶，微信上就会收到“宝宝吐奶了！”的消息及宝宝此时的照片，这样家长可以在提示下及时帮宝宝清理；如果宝宝睁眼了，微信上就会收到 “宝宝醒了！”的消息及宝宝此时的照片，这样家长可以在提示下及时关注宝宝动态；如果宝宝在睡觉过程中张开了嘴巴，微信上就会收到 “宝宝睡觉张嘴！”的消息及宝宝此时的照片。

2 系统功能的实现与验证

在系统工作过程中，主要是利用婴儿的图片来模拟婴儿的状态，系统工作实物图如图4所示。

首先接通系统电源，摄像头开始工作，紧接着分别对系统识别婴儿4种状态的功能进行验证：

（1）婴儿口鼻被遮挡：先将婴儿正常睡觉的图片放置到摄像头前，然后切换到婴儿口鼻被遮挡的图片，观察手机微信小程序中是否会收到信息提示以及其对异常情况的判断是否准确，准确判断下的信息提示如图5（a）所示；

（2）婴儿吐奶：先将婴儿正常睡觉的图片放置到摄像头前，然后切换到婴儿吐奶的图片，观察手机微信小程序中是否会收到信息提示以及其对异常情况的判断是否准确，准确判断下的信息提示如图5（b）所示；

（3）婴儿睡醒：先将婴儿正常睡觉的图片放置到摄像头前，然后切换到婴儿睁眼的图片，观察手机微信小程序中是否会收到信息提示以及其对异常情况的判断是否准确，准确判断下的信息提示如图5（c）所示；

（4）婴儿睡觉张嘴：先将婴儿正常睡觉的图片放置到摄像头前，然后切换到婴儿睡觉张嘴的图片，观察手机微信小程序中是否会收到信息提示以及其对异常情况的判断是否准确，准确判断下的信息提示如图5（d）所示。

经过验证，当婴儿脸部正对着摄像头时，该系统对于口鼻是否被异物遮挡、是否睁眼以及是否在睡觉时张嘴的判断均准确；而对于是否吐奶的判断不太稳定，同一张图片的情况下白色像素的占比数据存在波动。

3 系统特点

（1）本系统针对3种婴儿睡眠异常状况进行识别与提醒：吐奶问题、口鼻被遮挡问题、张嘴睡觉问题，极大地降低了婴儿睡眠期间的危险系数，且婴儿醒了也会有提醒；

（2）本系统通过微信小程序发送婴儿异常状况的照片与文字提醒，不需要另外下载软件，简化了人机交互的流程；

（3）本系统的控制模块是微型电脑——树莓派，树莓派功能强大，使得之后的功能扩展成为可能，并且整个系统轻便小巧，很适合在家里安装使用。

4 结束语

随着“二胎”和“三胎”政策的落地，母婴市场需求将持续增长，看护辅助系统的市场亟待发展，同时，老龄化的加剧和生育年龄的延迟，婴幼儿的看护任务逐渐加重。老人们无力帮忙看护孩子，父母们又需要兼顾家庭和工作，如何切实地降低看护工作的强度和减少看护时间是看护辅助系统的开发基点。本系统区别于其他如体征监测、远程、哭声监控等系统，该系统通过对监控视频流图像的识别，实现了对宝宝吐奶以及睡觉张嘴等安全问题针对性的监控，并且能通过微信小程序对不同异常情况向家长发出相应的提醒，以便家长及时采取干预措施。目前，该系统对于吐奶问题的识别不是非常准确，婴儿正脸偏离摄像头的程度与各种情况识别率之间的关系也尚不明确，接下来会从提高吐奶问题识别率与增加系统对婴儿脸部未正对摄像头情况的识别两个方面对系统进行优化。