人脸识别的看护机器人

雷相玉 周依婷 龙春晓 钟陈昊

编者按：这篇文章中，作者针对传统轮椅交互模式存在的操作不便、效率低，难以满足行动不便人群等缺陷，设计了一款具有表情控制的轮椅型看护机器人。该设计利用外部摄像头对使用者进行表情图像采集，通过esp8266模块将数据传输到处理器，进行数据判断后向轮椅机器人发出指令。同时利用GPS定位模块、红外检测模块、心率模块对使用者的各项心理与环境参数进行采集，且通过GSM模块将这几项数据发送给使用者的监护人，实现二者之间的信息交互。总体来看，该装置既能增强使用者的自主能力，尊重其人格尊严，也能使监护人安心。

调查数据显示，我国残疾人口基础数据库入库持证残疾人数从2016年的3219.4万人增长至2020年的3780.7万人，期间增加561.3万人。而仅有 23.3% 左右的残疾人得到康复服务，残疾人主动要求配置个人移动辅助器的占38.56%，而实际配置个人移动辅助器的占有 7.31%，由此可见，我国残疾人服务缺口巨大。随着社会经济的快速发展，社会老年化问题严重，残疾人士的生活服务水平应该在科技智能的帮助下得到提升。在市面上的一般轮椅和电动轮椅，大多通过手动操作的方式控制，存在着操作不便、效率低、灵活性不够、功能简单等问题，无法满足使用者的实际生活需求。与此同时，数字智能的兴起让面部表情识别技术受到了许多消费者与国内外科研人员的青睐，具有较高的研究价值与应用前景。因此，针对传统轮椅的操作不便与控制指令局限等缺陷，我们选择面部表情识别作为控制智能轮椅机器人新方式。

设计思路方法

这是针对手脚不便人群开发的利用面部表情识别技术控制轮椅出行的装置，这种以摄像头装置为主和以各类传感器为辅的可实时监测使用者身体参数与地理位置的智能化出行辅具，对手脚不便人群具有很高的应用价值。其中电机驱动板使用了电磁学的原理，摄像头运用凸透镜成像的原理，红外体温传感器运用热辐射效应，心率传感器运用光的发射与折射的原理，GPS与GPRS运用万有引力定律和开普列三大定律。

设计原理

系统的设计包括轮椅的行驶系统、多功能监测系统以及软件设计系统三部分。

轮椅行驶系统

轮椅的行驶系统主要由控制板和电机驱动板两部分构成。通过处理器模块（树莓派）实现对识别模块发送的数据进行接受与对比，再通过无线模块向控制板传输相应的动作指令，从而操控轮椅的行驶。

多功能监测系统

考虑到使用者的生理特征，多功能监测系统由心率脉搏传感器、红外温度传感器、GPS、無线WIFI模块、电池及微处理器等模块构成。考虑到设备的低功耗与低价格，采用STM32 F103 系列的处理器，可通过 Keil Mdk5 直接对其进行编程。该模块通过无线通信模块与监控中心相连，实现对用户者的体温、心率以及地理位置等参数的测量、储存以及传输等功能。后期将制作成手环连接到轮椅上。

软件设计系统

软件设计系统包括从机端的操作系统移植，无线网卡驱动、应用开发以及主机端的数据接收显示开发。最初采用 PC作为摄像头面部特征识别的处理终端，后期将程序移植到 Linux，放置于基于A53的树莓派中。

系统构成模块

该模型主要由五个部分组成：执行模块，识别模块，监测模块，显示和报警模块，处理模块。

WI-FI通讯模块

ATK-ESP8266 WI-FI模块是一款高性能的UART-WIFI（串口-无线）模块。该模块采用串口与MCU通讯，内置TCP/IP协议，能够实现串口与WI-FI之间的转换，传统串口通讯设备进行简单的串口配置后即可通过WI-FI来传输自己的数据。

红外体温传感器

GY-MCU90615 是一款低成本红外温度模块。工作电压 3-5v，功耗小，体积小。其工作原理，是通过单片机读取红外温度数据，串口通信方式输出。通过非接触式的传感器，采集病人的体温信息，利用连接线接到传感器信号采样器总线上，通过无线信号发送给处理器。

生物心率传感器

MDL0025 是光电反射式信号传感器，用于监测血管轻微的扩张所产生的光电反射强度来反应脉搏的跳动情况。 脉搏传感器捆绑在病人手指上，或者粘于病人胸前，并且将数据线与传感器信号采样器相连，可获取病人的脉搏信息。

GPS定位模块

GPS定位模块用于监测用户者的地理位置，它与GSM模块相连接，实现与监护人的联系，用户者通过主动报警或者被动报警即可了解用户者所处的地理位置。

GSM模块

GSM模块可与GPRS网络通信，当有SIM卡插入时自动读取SIM卡信息，连接GSM网络，能够发送短信、拨打电话、连接2G网络等。

摄像头部分

通过 USB 协议的摄像头，处理器读取摄像头拍摄的图像，通过内置程序识别面部动作。

显示器部分

显示器部分可采用标准串口显示器，来显示用户者的各项身体指标以及轮椅的电量。

蜂鸣器

通过蜂鸣器实现报警功能，当轮椅电量低于百分之二十时或者用户者生理异常时蜂鸣器发出鸣叫用于提醒用户者。

具体实施

轮椅模型如图 1所示，应用于四肢不便人群。服务对象在家人的帮助下坐上轮椅，系上腰带。

在图 1中，1为采集装置，主要采集使用者面部特征;2为可伸缩杆，用于调节摄像头的高度和角度;3为腰带，主要用于监测服务对象的各项生理指标;4为手环，主要连接在轮椅上，监测使用者的生理与环境指标;5为A35树莓派微型处理器，主要对采集到的数据进行处理并对轮椅或监护人发送指令。本装置能够前进、转弯以及停止，可在室内外使用，比如使用者公园游玩等，可让使用者进行心理放松和参与社会活动，减少监护人的陪护量。

工作方法

系统进行初始化，当系统监测到服务对象后，开始工作。

识别模块开始工作，通过USB协议的摄像头进行照片采集，将图像等信息传输到基于ARM 7的STM32 F103系列处理器进行整理集合，而后通过无线模块将数据传输到基于x64的笔记本电脑，电脑将会通过机器学习算法对图像数据进行识别并做校验判断处理。若识别到用户者的面部特征为系统认知的“指令特征”，则处理器会对执行机构发送命令使其进行相应操作。使用者用张嘴控制总开关;使用者抬头，启动轮椅前行;使用者低头，轮椅停止行驶;使用者转脸，轮椅随之旋转，直至使用者回正脸，轮椅停止旋转。

同时监测模块通过各类传感器实时监测使用者的地理位置、心率以及体温等，再将获得的数据在ARM 7STM32 F103系列处理器中处理好，并计算出相应的数值，而后通过无线模块将数据传输到x64的笔记本电脑，在电脑中判断是否越限及报警。若使用者的生理参数超过一定阈值，会发送短信通知监护人的到来;监护人也可主动发送“position”指令来查询使用者的各项生理与环境指标。

场景模拟

系统流程如图2所示。

情形一如图3所示：驾驶者坐在轮椅中，对准摄像头，当用户第奇数次张嘴且界面显示OPEN，解开轮椅总开关;当用户第偶数次张嘴且界面显示CLOSE，关闭轮椅总开关。

情形二如图4所示：驾驶者坐在轮椅中，对准摄像头，当用户抬头处于设定范围内，便会启动轮椅前行;若驾驶者遇到前方障碍物，可以低头来操控轮椅停止运动。

情形三如图5所示：駕驶者坐在轮椅中，对准摄像头，若驾驶者遇到前方转弯，可以在一定范围内左转脸或者右转脸，轮椅便会相应的左旋转或者右旋转，直至驾驶者回正脸部，轮椅便会停止旋转。

创新特点

由上述的针对四肢不便人群的智能轮椅的原理与流程可知，本发明的特色与创新点如下：

1.采用新颖的面部控制，颠覆了传统轮椅的操控模式。使用者仅需进行张嘴、抬头 、低头以及转脸便可控制轮椅，极大地满足了四肢不变人群的出行需求，实现了便捷的人机交互。

2.集合多种传感器，监测使用者的心率、体温等生理参数，实时反馈其身体状况，保障了使用者的出行安全。

3.结合GPS、GPRS以及GSM技术，实时监测用户的地理位置，建立与监护人的信息交互。

4.本装置操作简单、兼容性强、适用范围广。使用者可在家中或者康复院较安全的环境使用，能够减少其监护人的工作量，也有助于残疾人增强自尊并与外界环境进行互动。此作品还可开发运用于病人脸部锻炼康复、病房监测植物人情况等。

应用前景

随着社会的发展与科技的进步，四肢不便人群对于保障健康、便利生活的需求不断提高，因此智能辅助机械成为一个新研究热点。且人工智能领域在各个方面有着广泛的应用，其中的面部识别技术受到了许多消费者与国内外科研究人员的青睐，具有较高的研究价值与应用前景。针对传统轮椅的操作不便与控制指令单一等缺陷，我们选择面部特征识别作为人机交互的新方式。

本文为满足四肢不便人群的出行需求，在传统轮椅的基础上，进行了功能的改进与创新，特别是采用面部识别及计算机软件技术来控制轮椅的行驶方向，实现了人机交互功能，提高了四肢不便人群的生活质量。同时结合GPS定位和GSM通讯来实时监测出行者的地理位置，建立与家属或医院的信息交互，并配载红外体温传感器和心率传感器监测使用者的生理特征，反馈用户的实时身体状况，保障了出行者的户外安全。此外，利用太阳能电池板和蓄电池进行供电，辅之蜂鸣器预警轮椅的电量不足。我们将合适的硬件和人工智能相结合，赋予了残障人士更多的自主性与便利性，增加四肢不便生活的自信心，同时也减少其监护人的工作量。在后续的开发中，我们将研究眼睛以及眉毛等部位表情的人机互动功能，能够有效帮助特定人群及时表达需要被帮助的需求。

结语

社会在不断的发展，科学在不断地进步。科技发展造福的是全人类，是服务人民的存在。本装置的初心是为了改善四肢不便人群的生活水平、自主能力和人格尊严。在就算没有人员陪同的情况下也能自由出行，也让监护人能放心其自我出行。当然本装置只是一个初步的设计，仅仅只能满足四肢不便人群的一部分需求，我们也会加强改进，实现更多的表情控制，达到更高精度的监测水平。为部分四肢不便人员有更美好的生活不断努力，继续钻研。

参考文献：

[1]韩德洋. 依法保护残疾人的公民权利和人格尊严[N]. 人民法院报，2021-11-25（005）.

[2]史浩，邢瑜航，陈炼.基于多尺度融合注意力机制的人脸表情识别研究[J/OL].微电子学与计机：1-8[2021-11-30].https：//doi.org/10.19304/J.ISSN1000-7180.2021.0799.

[3]张晓玉. 我国个人移动辅助器具领域的发展现状和趋势[A].中国康复医学会，2010：6.

[4]罗椅民.我国适老辅具与残疾人辅具需求分析[J].STANDARD SCIENCE，2019（6）：57-61.

[5]张天.面部表情识别的研究与集成实现[D].重庆邮电大学，2016.

[6]吴景军.基于面部表情的智能轮椅控制系统研究[D].沈阳工业大学，2015.

[7]黄晓光，叶振合，郑颖.残疾人辅具产品安全性设计研究[J].包装工程，2018（16）：16-18.

[8]吴赓.蓝牙技术在单片机控制中的应用[J].机电信息，2021（26）：60-61+64.

[9]张琥石，林伟龙，杨发柱，黄向军，金星伊，陈洁，罗晓春，张盈盈，甘辛.基于ESP8266 WiFi模块的物联网体温监测系统[J].物联网技术，2020，10（12）：32-35.

本文受到国家级大学生创新创业训练计划项目《健康城市与智能出行——针对手脚皆残的智能轮椅》（202010349021）资助。