孤独症儿童早期社交技能的智能化评估

陈靓影　张如静　王帆　张坤　王广帅　王广海

[摘   要] 人工智能技术的发展给孤独症评估带来了新思路，目前智能化评估集中为孤独症判别二分类评估，缺乏高效、量化的精细化评估方法。研究设计开发了一款基于人工智能技术的早期社交技能量化评估系统。实验招募了28名孤独症儿童为研究对象，采集了社交技能评估视频，记录了评估过程中儿童的头部转向活动和面部表情。使用头部姿态估计、表情识别以及语音识别等技术分析评估过程中的应答性共同注意和应答性社交微笑。结果表明：（1）早期社交技能的智能化评估得分以精确的反应时间和持续时间区分呈梯度分布，评估结果客观精细;（2）准确性检验证明智能化评估得分与人工评分结果具有一致性，验证了孤独症儿童早期社交技能智能化评估的可行性。这种评估方式客观、准确、易用，为儿童早期社交技能连续性评估提供技术支持，客观量化的精细化评估结果为孤独症儿童的精准干预提供客观依据，具有很好的应用价值和现实意义。

[关键词] 孤独症儿童; 早期社交技能; 应答性共同注意; 应答性社交微笑; 智能化评估

[中图分类号] G434            [文献标志码] A

[作者简介] 陈靓影（1973—），女，湖北武汉人。教授，博士，主要从事教育信息技术、特殊儿童教育、人机交互、机器学习等方面的研究。E-mail：chenjy@mail.ccnu.edu.cn。张坤为通讯作者，E-mail：zhk@mail.ccnu.edu.cn。

一、引   言

孤独症是一种广泛性发展障碍，主要表现为社会交往障碍、交流障碍、兴趣狭窄和刻板重复的行为方式等症状[1]，对儿童身心发展、家庭和社会都会造成不可忽视的危害。据美国疾病控制与预防中心最新统计结果显示，2018年美国孤独症发病率为59个儿童中有1个为孤独症，且呈逐年上升趋势[2]。由于孤独症的病因与临床表现都十分复杂，导致难以从源头上预防。早发现、早干预尤为重要。能力评估作为孤独症儿童干预的客观依据[3]，一般在两岁以前进行，通常使用标准化量表来完成，耗时一到两小时，这种传统的能力评估方法不仅需经历漫长的等待时间[4]，容易导致错过个性化干预的最佳时间，加之量表评估缺乏客观量化的评价指标而依赖于临床治疗师的专业经验[5]，越来越多的研究集中于探讨一种简单有效的评估方式。例如：尝试使用体感技术[6]、计算机游戏[7]、机器人[8]等技术手段实现孤独症儿童能力的高效评估，尤其是人工智能的快速发展给孤独症儿童能力评估带来了新启示。祝智庭、魏非强调计算机的感知智能采集学习者的情绪、眼神等以识别其情感状态[9]，陈维维论述了运用图像识别、语音识别等技术对儿童的多元智能进行智能化评估的可行性[10]。在此研究基础上，研究者借助机器学习通过动作[11]、手势[12]等区分孤独症人群的特征。虽然这些基于智能技术的评估方法取得了一定进展，但主要集中在区分孤独症儿童和典型发展儿童的二分类评估，仍缺乏高效、量化的精细化评估工具，精准干预更无法保障。

早期社交技能是儿童语言、情感乃至思维发展的前提条件。作为孤独症三大核心障碍之一的社交障碍，一直被认为是孤独症儿童最明显的特征[1]。孤独症儿童的社交障碍在语言能力发展之前就已初露端倪，如较少的眼神接触，较少使用手势、动作、面部表情等与他人进行交往等。再者，早期社交技能主要包含：同伴互动、亲社会行为、精细且富有创造力的独自游戏[13]，而以上三方面均需要应答性共同注意（Response to Joint Attention，RJA）和應答性社交微笑（Responsive Social Smile，RSS）两项基本社交技能的支持，它们是完成分享、参与社会互动、实现情感发展的先决条件，因此，在被誉为“孤独症诊断金标准”的孤独症诊断观察量表（Autism Diagnostic Observation Schedule，ADOS）中被列出关键评估项目。

综上，研究采集了孤独症儿童的技能评估视频，以应答性共同注意和应答性社交微笑两项社交技能为例，应用头部姿态估计、表情识别以及语音识别等人工智能技术综合探讨孤独症儿童早期社交技能的量化评估，以期为孤独症儿童社交技能连续性评估提供可能，并以客观量化的精细化评估结果辅助专业人员临床评估，从而为孤独症儿童的精准干预提供客观依据。

二、智能化评估项目

ADOS量表是半结构化的标准评估工具，通过观察儿童在游戏中的表现来评估儿童在语言、社会交往以及刻板行为三大方面的能力[14]。其中，应答性共同注意和应答性社交微笑作为社会交往方面的核心能力，前者可用来预测儿童的语言能力和社会认知能力[15]，后者会影响儿童情绪表达甚至是共情能力的发展[16]，因此，应答性共同注意和应答性社交微笑对儿童早期社交技能的评估具有重要意义。

（一）应答性共同注意

应答性共同注意是指当他人用视线、手势或语言等外界刺激唤起注意时，儿童通过追视等视觉行为作出回应[17]。从本质上来看，应答性共同注意是一种出于分享目的的人、物之间的三元社会互动，其意义在于儿童对外界刺激作出回应从而理解这个人的意图。这一领悟是儿童对他人心理状态的最早理解，标志着儿童心理理论能力的一个根本进步[18]，而孤独症儿童心理理论发展迟滞，众多研究证明孤独症儿童比发育迟缓儿童或智力年龄匹配的儿童在应答性共同注意技能上受损更严重[19-21]，且实验证明，应答性共同注意与儿童的语言发展、社会认知发展相关性显著[22]。因此，应答性共同注意通常被看作是孤独症儿童社交能力发育迟缓的重要指标[23]。

（二）应答性社交微笑

应答性社交微笑是指儿童在社交互动中作出的微笑回应[24]。1991年，Adrien等[25]人首次使用家庭录像评估孤独症儿童在一岁前后的行为，结合婴儿行为综合评价量表得出他们缺乏社交兴趣的关键行为，包含缺乏适当的面部表情，没有社交微笑，不能模仿他人等现象。因此，缺乏社交微笑被认为是孤独症的早期特征。社交微笑的缺乏，与孤独症儿童不能理解他人的面部表情有关，影响了社会参照能力的发展[26]，导致了早期积极情绪反应匮乏、社交能力发展迟滞。

另外，幼儿参与应答性共同注意时，经常会表现出积极情感的面部表情（例如，惊讶地张开嘴，睁大眼睛）。尤其与父母进行应答性共同注意的互动时，父母对物体的评价会引发幼儿的微笑。研究表明，在幼儿一岁左右，社交微笑会融入共同注意[27]，二者通常在社交过程中同时出现，因此，在孤独症儿童早期筛查和评估中，应答性社交微笑与应答性共同注意常作为标志性考查项目。

基于以上研究基础，我们选取了应答性共同注意和应答性社交微笑两项核心社交能力作为评估项目，尝试应用人工智能技术对评估视频进行智能化评估，以探讨早期社交技能的量化评估方法。

三、实验过程与方法

（一）实验对象

实验在武汉某特教机构共招募28名被诊断为孤独症的儿童为被试儿童，实验前与家长签订了知情同意书。被试儿童年龄在2～6岁之间，均符合美国《精神疾病诊断与统计手册》第五版（DSM-5）的孤独症诊断标准，并且经由发育行为儿科2名副主任双盲确诊，排除儿童精神分裂症、癫痫及其他神经性障碍，实验前确定了被试儿童的视觉、听觉发育正常。

（二）实验设计

实验在该特教机构的评估室（约30平方米）进行，实验范围用窗帘隔开以减少对被试儿童的视觉干扰。实验设计基于ADOS量表模块二中的应答性共同注意和应答性社交微笑项目，评估人员和被试儿童分别坐在评估桌（120cm长×60cm宽）两侧，将能发出声音的玩具置于桌子中间位置，并用毛巾盖住。儿童的父母或其他照看人在后方坐着，保持一定距离以免干扰其注意力，相对位置如图1所示。共三台摄像机隐藏于评估室内，1号摄像机置于评估桌的垂直平分线上，以确保玩具在画面的水平居中位置;2号摄像机置于评估人员的正前方偏左位置，以获取评估人员的面部表情;3号摄像机置于被试儿童的正前方偏左位置，以获取被试儿童的面部表情。

实验开始前，评估人员将玩具用毛巾盖起来以避免引起儿童的兴趣，给儿童玩一些其他玩具以适应新环境。待实验开始后，叫儿童的名字或者抚摸他以吸引其将注意力集中在评估人员脸上。第一步，叫儿童的名字，并说“看！”，目光注视玩具再收回至儿童脸上。该过程持续4秒，如果儿童没有作出反应，则重复该步骤两次，每次等待时间为4秒，如果孩子没有作出正确响应则进入第二步，激活玩具使玩具发出声音5秒，看儿童是否看玩具。如果没有响应，则关上声音开关，暂停5秒，再打开声音开关并保持声音持续时间超过5秒。该环节为应答性共同注意评估，随后将玩具递给儿童供其玩耍，在儿童玩玩具的过程中，叫他的名字，待他抬头看评估人员时冲他微笑，等待儿童给予应答性社交微笑，如果没有回应，则重复该步骤两次，每次等待时间为4秒，且儿童的嘴角朝上微笑至少1秒为有效微笑，如仍没有响应，则以语言“笑一个！”请求其微笑，观察儿童反应。

（三）智能化评估系统

为实现对儿童在社会互动过程中的行为和心理状态的评估，并避免侵入式设备对儿童的影响，研究设计开发了早期社交技能的智能化评估系统，系统主要包括信息采集、特征提取和评估反馈三个模块，如图2所示。其中信息采集模块主要是通过高清摄像头采集社会互动过程的视频和音频信息;特征提取模块主要是通过头部姿态估计、表情识别等人工智能技术识别相关行为特征，结合语音识别技术正确标注包含互动双方相关情感行为的显著时间间隔;评估反馈模块主要是根据ADOS量表的评分标准对提取的孤独症儿童的行为特征作出评估判断，并反馈评估结果。人工智能技术的应用使孤独症儿童社交技能的自动量化评估成为可能，本研究以应答性共同注意和应答性社交微笑为例介绍早期社交技能的智能化评估流程。

评估应答性共同注意时，首先检测评估人员头部姿态，以评估人员看向目标玩具为判定条件，并读取该动作结束的时间点，继续检测被试儿童的头部姿态，当被试儿童看向目标玩具时满足判定条件，并记录该动作开始及结束的时间点;如果被试儿童未作出响应则进入语音识别环节，语音识别玩具发出的声音，记录玩具声音发出的时间点，并进行被试儿童头部姿态检测以判定被试儿童是否在玩具发出声音时予以响应。最后结合记录的时间点计算被试儿童的反应时间及持续时间，以得出被试儿童在该技能评估过程中的得分。

同理，评估应答性社交微笑时，首先运用语音识别技术检测评估人员叫出被试儿童的名字，检测评估人员的表情，其对被试儿童微笑为判定条件，并读取该表情结束的时间点，接着检测被试儿童的面部表情，当被试儿童对评估人员微笑时满足判定条件，并记录该表情开始及结束的时间点;如果被试儿童未回应微笑，则语音识别检测评估人员发出的微笑请求，记录该声音发出的时间点，随后检测被试儿童的面部表情，结合不同条件下被试儿童是否有社交微笑及相应的反应时间及持续时间，以得出被试儿童在应答性社交微笑评估中的得分。

（四）關键技术

1. 头部姿态估计

头部姿态估计是理解人类行为的一个关键步骤，从计算机视觉的角度来看，头部姿态估计的原理是根据数字图像相对于成像传感器坐标系的距离数据推断头部方向[28]。本文采用深度多任务学习方法来估计评估人员和被试儿童的头部姿态，研究提出了改进的多任务卷积神经网络（Multi-task Convolutional Neural Network，MTCNN模型）方法，采用三阶段级联框架（P网、R网、O网）实现由粗到细的人脸检测，并在此基础上进行精确的人脸框回归、特征点定位以及头部姿态估计，得到头部姿态的三个角度，即偏航角、俯仰角和旋转角[29]，原理如图3所示。最后根据结合人脸三维空间位置和人脸朝向姿态计算评估人员和被试儿童的注意力方向[30]（图4（a）），研究所用的头部姿态估计算法准确率为91%。

2. 表情识别

面部表情是人类表达自己的情绪状态和意图的社交手段。表情识别是对人类心理状态的解码过程，它是将外显的面部表情解释为人类的情感状态[31]。本文使用表情识别技术判定被试儿童在评估过程中的社交微笑，该方法提取人脸及嘴巴区域，对6700张微笑图像和18200张非微笑图像进行条件随机森林训练实现笑脸识别[30]，准确率为94.2%。因涉及被试儿童的隐私问题，仅由图4（b）呈现研究所用的表情识别算法在公开数据集上的检测效果。

3. 语音识别

语音传递信息是人类最重要、最常用的信息交换方式。随着人工智能的发展，自动语音识别已广泛应用于日常生活及科学研究中。本文使用科大讯飞开放平台提供的Web API检测评估过程中评估人员发出的语音请求，基于深度全序列卷积神经网络（Deep Fully Convolutional Neural Network，DFCNN）[32]，将语谱图直接输入卷积层，从而降低信息损失，语音识别准确率达98%。

四、实验结果

研究收集了实验过程中28名孤独症儿童的社交技能评估视频，采集了评估应答性共同注意和应答性社交微笑时的视音频信号，1号摄像机的实验视频主要用于分析应答性共同注意，2号和3号摄像机经音频信号检测完成同步后用于分析应答性社交微笑，采集视音频信号及相应时间间隔作为特征点，以获得最终的技能评估得分。

（一） 特征采集

如图5所示，在实验视频中采集相应特征。

1. 人物眼神注视方向

应用头部姿态估计技术计算人物眼神注视方向，当评估人员看向目标玩具时，即为评估人员发出应答性共同注意的指令;同理，当被试儿童看向目标玩具时，为儿童作出响应。

2. 人物面部表情识别

应用表情识别技术，判定评估人员是否对被试儿童发出社交微笑的指令，同理，当检测到儿童作出微笑表情时为儿童作出响应。

3. 反应时间

反应时间是从评估人员发起互动请求到被试儿童作出响应的时间。

4. 持续时间

应答性共同注意的持续时间为儿童看向目标玩具出现的时间段;应答性社交微笑的持续时间为儿童作出微笑回应的时间段。

（二）智能化评估得分

根据ADOS量表的评分标准对实验视频中的儿童进行打分，应答性共同注意（RJA）的得分范围为0～3分;应答性社交微笑（RSS）的得分范围为0～2分。智能化评估系统在判定人物眼神注视方向或面部表情识别满足判定条件后，结合反应时间和持续时间进行衡量并输出评估结果。智能化评估结果见表1，表1对几种不同得分情况进行了代表性汇总，含是否有两项社交技能的响应，相应的反应时间、持续时间以及最终的技能得分。与传统评估结果相比，智能化評估方式可给出明确的社交响应情况，以及精确的反应时间、持续时间，技能得分更客观、精细。

注：1.以“有”和“无”来标记两项社交技能的评估过程中被试儿童是否作出响应;2.时间以秒为单位，以No.1为例，RJA和RSS两项技能的反应时间分别为27.76秒和1.48秒，持续时间分别为2.8秒和12.52秒;3.得分为单项技能得分，No.1的RJA和RSS技能得分分别为2分和0分。

（三）准确性检验

为验证实验结果的有效性，请两位经验丰富的ADOS临床评估专家对实验过程中采集的视频录像中儿童的社交技能进行人工判定打分。在该研究开始之前，这两位专家都已接受了ADOS量表第二版的临床使用培训，且内部一致性信度较好（Kappa=0.94），28位被试儿童的评估得分与智能化评估系统分析所得评分全部一致。

五、讨   论

本研究以应答性共同注意和应答性社交微笑为例，采用人工智能技术实现对孤独症儿童社交技能的智能化评估。通过对实验过程中孤独症儿童的社交技能评估视频的分析表明，本研究提出的智能化评估方法具有可行性和有效性。与传统的评估方法相比，本研究具有很大的优势，主要体现在以下几个方面：

（一）智能化评估实现精细化

实验依据ADOS量表制定了评分标准，智能化评估系统采集被试儿童在技能评估过程中的眼神注视方向、面部表情，社交互动中的反应时间和持续时间等特征，应用头部姿态估计、表情识别及语音识别等技术实现自动化分析，并给出应答性共同注意和应答性社交微笑的评估结果。从表1中可看出，智能化评估所得评分依被试儿童的社交技能水平呈梯度分布，这证明，这种智能化评估方式可提供孤独症儿童行为症状严重程度的量化评估。与同类研究的二分类评估方式相比[11，12，33]，可对每种技能实现精细化评估，协助特殊学校对孤独症儿童能力水平精准定位，以期靶向干预。

（二）智能化评估具有可行性

为验证智能化评估系统的准确性，特邀请了受过美国ADOS量表测评培训的专业人员对实验视频进行技能评分。两种评分条件下，28名孤独症儿童的技能得分全部一致，这代表基于智能识别技术的评估系统在孤独症儿童社交技能评估方面具有可行性，为人工智能辅助专业人员临床评估提供了准确可靠的技术支持。

（三）智能化评估客观准确

评估方式基于视频分析，可在自然情境下由父母组织开展，因而避免了评估环境以及评估人员给孤独症儿童带来的潜在压力，还可避免临床检查中医疗设备对儿童的负面影响，从而获得儿童自然放松的心理状态，保证评估结果的客观准确性，这种方式所得结果可辅助医生对孤独症儿童的能力水平作出最客观的判定。我们前期的研究结果也证明了这一点，采用人机交互游戏等智能化环境进行评估，儿童会有更高的学习动机和参与度，评估结果更加客观有效[7]。

（四）智能化评估为连续性评估提供可能

智能化评估得分可在两三分钟内分析获取，其易用性方便了特殊学校对孤独症儿童的学习进程进行形成性评价，根据评价结果调整学习计划，开展针对性干预，并阶段性地对儿童的能力水平进行评估，给孤独症儿童的长期干预提供纵向客观量化依据。因此，智能化评估的应用为孤独症儿童能力的连续性评估提供可能。

（五）智能化评估有望助力医疗均衡发展

智能化评估操作简单，大大提高了评估效率，使得医疗机构之外的快速评估成为可能，从而缩短孤独症儿童获得诊断及干预的等待时间，惠及医疗基础设施有限地区的人群，一定程度上有望推动医疗资源的均衡发展。

与其他相关研究相比，本研究设计的智能化评估方法客观量化、操作简单，对专业人员依赖度低，有利于评估的实现，研究运用了多种智能识别技术对两项社交技能的评估过程进行智能分析并呈现了不同技能的量化差异，基本实现了孤独症儿童技能的客观、准确性评估。为检验智能分析程序的可行性，研究伊始对30名年龄相匹配的典型发展儿童开展了早期社交技能评估，实验结果显示，30名典型发展儿童技能评分均为0分，也就是说，他们已具备这两项技能，因此，研究仅呈现孤独症儿童的智能化评估结果。待后续研究考查其他技能的智能化评估时，可根据技能难度以及典型发展儿童的技能发展特点确定被试人群。

六、结   语

研究提出了人工智能技术在技能评估领域中应用的一种新思路，应用头部姿态估计、表情识别、语音识别等智能技术整合并分析多种视听线索，研究以应答性共同注意和应答性社交微笑为例，自动分析社交技能评估过程中的行为变化，智能化评估得分以精确的反应时间和持续时间区分以实现精细化评估，评估结果客观准确且技术的易接受性为儿童早期社交技能连续性评估提供技术支持，另外，这种智能化评估技术综合了多源数据（头部姿态、面部表情、语音等），这也为孤独症儿童复杂的非语言沟通能力评估提供了有益的补充信息。

基于现有技术限制，研究仅从两个方面评估儿童的早期社交技能，对于一些复杂的社交技能，如包含肢体动作的主动性共同注意、分享能力、模仿能力等没有展开探讨，未来将进一步深度融入语音识别、体感技术以客观地评估孤独症儿童的语言、动作等外显行为，并融合心率、皮肤电、脑电等生理信号捕捉技术以精准地观察孤独症儿童的认知心理状态，以期提供客观量化的精准评估指标，为孤独症个性化干预提供客观依据;同时，这种客观量化的智能化评估方式不仅可用来测量孤独症儿童的特定内在能力（如认知、社交等），还可用于探讨其认知心理状态如何影响其在特定社会情境下的外显行为，以探知孤独症儿童社会性活动的外在表征与整体社会互动能力的映射机理，从而充实孤独症理论，为医学生物学、神经心理学、特殊教育学等研究领域提供理论支持和技术基础。

[参考文献]

[1] American Psychiatric Association. The diagnostic and statistical manual of mental disorders（5th ed.）[M].Washington，DC：American Psychiatric Association，2013.

[2] CDC. Prevalence of autism spectrum disorder among children aged 8 years - autism and developmental disabilities monitoring network， 11 sites， United States， 2014[EB/OL].（2018-04-27）[2019-04-15].https：//www.cdc.gov/mmwr/volumes/67/ss/ss6706a1.htm.

[3] 陳靓影，王广帅，张坤.为提高孤独症儿童社会互动能力的人机交互学习活动设计与实现[J].电化教育研究，2017，38（5）：106-111，117.

[4] FADI T， FIRUZ K， KHAIRAN R. A new computational intelligence approach to detect autistic features for autism screening[J]. International journal of medical informatics， 2018（117）：112-124.

[5] 陈靓影，王广帅，张坤，等.基于计算机游戏的自闭症谱系障碍儿童评估研究[J].电化教育研究，2017（11）：80-85，119.

[6] KORHONEN， VESA， R？魧TY， et al. A pilot study： a computer game-based assessment of visual perspective taking of four children with autism with high support needs[J]. Scandinavian journal of disability research， 2017， 19（4）： 281-294.

[7] CHEN J， et al. A pilot study on evaluating children with autism spectrum disorder using computer games[J]. Computers in human behavior， 2019（90）： 204-214.

[8] 于新宇.0-6岁自闭症儿童社交能力评估系统的研发与应用[D].上海：华东师范大学，2018.

[9] 祝智庭，魏非.教育信息化2.0：智能教育启程，智慧教育领航[J].电化教育研究，2018，39（9）：5-16.

[10] 陈维维.多元智能视域中的人工智能技术发展及教育应用[J].电化教育研究，2018，39（7）：12-19.

[11] FULCERI F， et al. Motor skills as moderators of core symptoms in autism spectrum disorders： preliminary data from an exploratory analysis with artificial neural networks[J]. Frontiers in psychology， 2019（9）： 2683.

[12] ANZULEWICZ A， SOBOTA K， et al. Toward the autism motor signature： gesture patterns during smart tablet gameplay identify children with autism [J]. Scientific reports， 2016（6）：1-13.

[13] 奎爾. 做·看·听·说 孤独症儿童社会性和沟通能力干预指南[M].何正平，译.北京：华夏出版社，2015.

[14] HUS V， GOTHAM K， LORD C. Standardizing ADOS domain scores： separating severity of social affect and restricted and repetitive behaviors[J]. Journal of autism and developmental disorders， 2012， 44（10）：2400-2412.

[15] 周念丽. 自闭症幼儿的社会认知：理论、实验及干预的研究[M]. 上海：上海教育出版社，2006.

[16] 马伟娜，朱蓓蓓.孤独症儿童的情绪共情能力及情绪表情注意方式[J].心理学报， 2014（4）：528-539.

[17] MEINDL J N， CANNELLA-MALONE H I. Initiating and responding to joint attention bids in children with autism： a review of the literature[J]. Research in developmental disabilities， 2011， 32（5）：1441-1454.

[18] 米勒.心理理论：学龄儿童如何理解他人的思想[M].陈英和，译.北京：北京师范大学出版社，2015.

[19] PETER M. Joint attention and social-emotional approach behavior in children with autism[J]. Development and psychopathology， 1995， 7（1）：63-82.

[20] DAWSON G， TOTH K， ABBOTT R， et al. Early social attention impairments in autism： social orienting， joint attention， and attention to distress [J]. Developmental psychology， 2004， 40（2）：271-283.

[21] ADAMSON L B， BAKEMAN R， SUMA K， et al. An expanded view of joint attention： skill， engagement， and language in typical development and autism [J]. Child development， 2017，90（1）：1-18.

[22] SCHIETECATTE I， ROEYERS H， WARREYN P. Exploring the nature of joint attention impairments in young children with autism spectrum disorder： associated social and cognitive skills [J]. Journal of autism and developmental disorders， 2012， 42（1）：1-12.

[23] BARBARO J， DISSANAYAKE C. Early markers of autism spectrum disorders in infants and toddlers prospectively identified in the Social Attention and Communication Study[J]. Autism， 2013， 17（1）：64-86.

[24] MESSINGER D， FOGEL A. The interactive development of social smiling[J]. Advances in child development & behavior， 2007， 35（35）：327-366.

[25] ADRIEN J L， FAURE M， PERROT A， et al. Autism and family home movies： preliminary findings[J]. Journal of autism & developmental disorders， 1991， 21（1）：43.

[26] 贝克.婴儿 儿童和青少年[M].桑标，译.上海：上海人民出版社，2014

[27] KRSTOVSKA-GUERRERO I， JONES E A. Joint attention in autism： teaching smiling coordinated with gaze to respond to joint attention bids[J]. Research in autism spectrum disorders， 2013， 7（1）：93-108.

[28] 刘袁缘.自然环境下头部姿态估计方法的研究与应用[D].武汉：华中师范大学，2015.

[29] XU L， CHEN J， GAN Y. Head pose estimation with soft labels using regularized convolutional neural network[J]. Neurocomputing， 2019（337）： 339-353.

[30] LIU Y， CHEN J， ZHANG M， et al. Student engagement study based on multi-cue detection and recognition in an intelligent learning environment[J]. Multimedia tools & applications， 2018， 77（21）：1-27.

[31] GAN Y， CHEN J， XU L， Facial expression recognition boosted by soft label with a diverse ensemble[J]. Pattern recognition letters， 2019，125： 105-112..

[32] 科大訊飞.语音转写.[EB/OL]. （2019-03-09） [2019-05-28].https：//doc.xfyun.cn/rest_api/%E8%AF%AD%9F%B3%E8%BD%AC%E5%86%99.html.

[33] 陈小燕，吴婕翎，李明，等. 2～3岁孤独症谱系障碍儿童与正常儿童叫名反应的比较[J].中国儿童保健杂志， 2017， 25（9）：931-934.

Intelligent Assessment of Early Social Skills for Children with Autism Spectrum Disorder： Taking Response to Joint Attention and Responsive Social Smile as Examples

CHEN Jingying1，  ZHANG Rujing1，  WANG Fan1，  ZHANG Kun1，  WANG Guangshuai1，  WANG Guanghai2

（1.National Engineering Technology Research Center for E-learning， Central China Normal University， Wuhan Hubei 430079; 2.Department of Developmental and Behavioral Pediatrics， Pediatric Translational Medicine Institution， Shanghai 200127）

[Abstract] The development of artificial intelligence brings new ideas to the assessment of Autism Spectrum Disorder （ASD） while most of intelligent assessments use ASD screening methods， lacking efficient and quantitative refined assessment methods. Thus， a quantitative evaluation system for early social skills based on artificial intelligence is developed. 28 children with ASD are recruited in the experiment， and the videos for the assessment of social skills are collected， in which children's head positions and facial expression are recorded. Techniques such as head pose estimation， facial expression recognition and automatic speech recognition are used to assess their social skills in response to joint attention and responsive social smile. The results indicate that （1） the score of intelligent assessment of early social skills is distributed in gradient with precise response time and duration， and the evaluation result is objective and fine. （2） Accuracy test proves that the score of intelligent assessment is consistent with that of human-rating， which verifies the feasibility of intelligent assessment of early social skills of children with ASD. This method is objective， accurate and easy to use， providing technical support for the continuous assessment of children's early social skills. The precise assessment results， which are objective and quantitative， provide an objective basis for accurate intervention of children with autism， which are of great value for application and practical significance.

[Keywords] Children with Autism Spectrum Disorder （ASD）; Early Social Skills; Response to Joint Attention; Responsive Social Smile; Intelligent Assessment