基于人工智能的自闭症儿童情绪识别系统研究

孙宏林 程敬 李茜 彭俊峰 张佳伟

（西安工程大学机电工程学院，陕西 西安 710600）

引言：自闭症又称孤独症,是一种脑功能障碍引起的严重的长期发展障碍的综合症，主要表现在言语发展与沟通、社会交往以及情绪与行为模式等方面的障碍或异常。研究发现自闭症患者很难识别出自己的或者是其他人的面部表情以及情绪。这种识别他人情绪表情能力的缺乏影响了他们与他人交往的能力[1]。根据世界卫生组织的调查显示，全世界自闭症患者已达6700 万以上，这一上升趋势还在不断的加剧，据全国残疾人普查情况统计估算，我国自闭症患者已超过1000 万人，自闭症尤以儿童占比较高，我国0-14 岁儿童患者数量在200 万人左右，并且数量逐年增高。

一、研究背景

自闭症又称孤独症,是一种脑功能障碍引起的严重的长期发展障碍的综合症，主要表现在言语发展与沟通、社会交往以及情绪与行为模式等方面的障碍或异常。随着自闭症近年来的增长趋势，已经逐渐的得到广大人群的关注，据2013 年美国精神病学会的最新诊断标准《精神疾病诊断与统计手册》第五版，ASD 的典型特征划分为3 大特征:社交障碍，语言交流障碍，重复刻板的异常行为[2]。Baron 等人使用标准的面部表情图片研究自闭症儿童对不同情绪种类的识别,发现自闭症儿童对他人由外部情境引发的简单表情识别得较好,如高兴和悲伤,但难以识别由信念和愿望引发的面部表情如惊奇、窘迫等[3]。他们对于害怕、不安、痛苦等表达负性情绪的表情更不敏感[4]。根据世界卫生组织的调查显示，目前全球有自闭症患者约6700 万人，我国自闭症患者已超过1000 万人，自闭症尤以儿童占比较高，我国0-14 岁儿童患者数量在200 万人左右，每59 名儿童中就有1 名为自闭症患者。

迄今为止，自闭症病因尚不明确，因此没有特别有效和有针对性的治疗药物，目前自闭症治疗方案大多采取教育和行为干预的方法，以药物为辅助手段，而教育和行为干预效果并不明显，而且费用高昂，给患者家庭带来巨大的经济负担。

二、系统实施

（一）总方案实施

实施方案包括三个方面：

1.基于脑电信号的自闭症儿童情绪识别

设计出自闭症患儿易于接受的智能可穿戴设备，形状类似日常生活中佩戴的帽子，用来采集自闭症患儿脑电信号，采用人工智能中深度学习的方法对脑电信号进行特征提取，构建多维情绪分类系统，将特征信号与情绪类型进行关联，建立自闭症儿童情绪识别模型进行情绪识别。

2.基于面部表情的自闭症儿童情绪识别

拍摄自闭症患儿面部图像，通过人工智能中机器学习的方法针对不同患儿进行面部图像与情绪对应关系的训练和学习，进而建立自闭症儿童面部表情与情绪和需求的对应关系模型。

3.综合脑电和面部信号的自闭症儿童情绪识别

将自闭症儿童脑电信号和面部图像情绪识别结果进行综合分析，给出自闭症儿童情绪类型和建议，并将结果反馈给家人和交流者，以便准确把握自闭症患儿的情绪，满足其需求和进行正确的情绪引导。

方案实施技术路线如图1。

图1 方案实施路线图

（二）面部表情的自闭症儿童情绪识别

采集自闭症儿童面部图像，采用通过人工智能中机器学习的方法针对不同患儿进行面部图像与情绪对应关系的训练和学习，进而建立自闭症儿童面部表情与情绪的对应关系模型的方案。

首先收集图片数据，将各个表情图片数据进行标注，将“自然”情绪设置为“0”,将“生气”设置为“1”，将“厌恶”设置为“2”，将“害怕”设置为“3”，将“高兴”设置为“4”，将“伤心”设置为“5”。然后，运用深度学习框架PADDLE 搭建RNN 模型。将图片放进模型里进行训练，取参数较好的时训练结束。再将测试集进行测试，训练数据如图2 所示，若测试集准确率合格，则模型训练完毕：若测试集准确率过低，则进行数据深度修改和框架改进。

图2 训练数据可视化图

训练合格后，运用锐尔威视高清摄像头模组（锐尔威视IMX322 高清，0.01lux1080P，焦距6mm，视角60°）拍摄面部表情图像，通过识别面目表情图像，输出结果。

（三）脑电信号的自闭症儿童情绪识别

所设计的头皮脑电信号采集前端电路主要由带有斩波调制器的前置放大器、增益可编程放大器以及外置低通滤波器组成，电路的整体构架如图3。

图3 整体电路架构

前置放大器电路结构，对于极其微弱的头皮脑电信号，要求前置放大器具有较高的增益、较高的共模抑制比和低噪声。为了抑制共模信号，前置放大器通常采用全差分结构。

增益可编程放大器和低通滤波器，记录部位、环境以及电极的变化都会导致头皮脑电信号的幅度出现大范围的变化，因此放置可变增益放大器对前置电路的总增益进行调节以避免输出信号发生饱和现象。

三、设备设计

（一）穿戴式脑电传感儿童帽

根据儿童头部形状和相应脑电波信息采集位置，将脑电传感器（头皮脑电信号采集前端电路）设计成适合儿童舒适配戴的儿童帽，可以随时采集脑电信息。传感器以条幅交叉的结构覆盖在帽子内壁，与头部贴合，既满足了采集脑电信号的功能，又能够满足受众儿童对舒适性的要求。

根据产品功能的要求，以鸭舌帽为原型设计本产品：如图4 所示，帽顶部分内部覆盖脑电传感器，在佩戴时，收集脑电信号；帽檐部分放置微型电池和信号发送器，为脑电传感器提供电源同时将收集到的信号发送给计算终端。

图4 儿童帽透视图

（二）面部表情识别眼镜

将面部识别摄像头安装在眼镜上，用户在观察自闭症儿童时佩戴眼镜，便能采集自闭症儿童的面部表情信息，同时结合穿戴式脑电传感儿童帽收集到的脑电信息，综合计算出自闭症儿童此刻的情绪，转化成语音告诉眼镜佩戴者。

以普通眼镜为原型设计面部表情识别眼镜：如图5 所示，在眼镜横梁正中放置面部表情识别摄像头；如图6 所示，镜脚处安装微型播放器，用以将计算出来的自闭症儿童情绪信息以语音形式告诉眼镜佩戴者；在镜腿处设计可充电式微型电源，为面部表情识别摄像头和播放器供电。

图5 面部表情识别摄像头

图6 镜脚处微型播放器

四、结论

人工智能技术的飞速发展为改善自闭症儿童社会功能与生活质量提供了可能，此智能可穿戴系统通过将自闭症儿童脑电信号和面部图像情绪识别结果进行综合分析，给出自闭症儿童情绪类型和建议，并将结果反馈给家人和交流者，以便准确把握自闭症患儿的情绪，满足其需求和进行正确的情绪引导。同时通过深度学习和机器视觉相关技术开发智能可穿戴设备，在自闭症患儿与一般人之间架起一座桥梁，让一般人拥有“读心术”，能读懂他们的情绪，满足他们的需求，提升他们沟通和社交能力，提高他们生活质量，进而改善他们的病症，减轻他们的痛苦。