针对智力障碍儿童的眼脑手协调训练系统

彭 伟，邵东升，孙少明，占礼葵，张茹斌，孙大鹏，赵英俊，杨晓悦

1 中国科学院合肥智能机械研究所，合肥市，230031

2 中国科学技术大学，合肥市，230026

3 中科院合肥技术创新工程院，合肥市，230088

4 安徽大学，合肥市，230601

针对智力障碍儿童的眼脑手协调训练系统

【作者】彭 伟1,2，邵东升3，孙少明3，占礼葵3，张茹斌1，孙大鹏4，赵英俊1，杨晓悦1

1 中国科学院合肥智能机械研究所，合肥市，230031

2 中国科学技术大学，合肥市，230026

3 中科院合肥技术创新工程院，合肥市，230088

4 安徽大学，合肥市，230601

为了帮助提高智力障碍儿童的注意力和基本感觉统合能力，该文提出了一种交互式的眼脑手协调训练系统，通过触控板与上位机软件的个性化图标进行交互操作，实现眼睛看见-大脑思考-手指运动的训练机制，从而帮助其提高基本的认知和行为能力。通过实验表明，该训练平台具有很高的操作性和接受程度，为智力障碍儿童提供了便携的训练手段。

智力障碍儿童；脑手眼协调；触控板；训练系统

0 引言

在中国，目前大约有5 100万残疾人口，智力残疾(智力落后、弱智)者近五分之一，其中有539万是14岁以下的儿童，由于社会发展、经济条件、公共卫生保障等多方面制约，智力障碍儿童的教育、康复面临非常严峻的挑战。

智力障碍(MR)又称智力缺陷，一般指的是由于大脑受到器质性的损害或是由于脑发育不完全从而造成认识活动的持续障碍以及整个心理活动的障碍。临床表现有：感知速度减慢、注意力严重分散、记忆力差、言语能力差、思维能力低、基本无数字概念、情绪不稳、自控力差、意志薄弱以及交往能力差等。这些症状可概括表现为注意力低下和感觉统合能力失调[1]两个方面。儿童的感觉统合失调是指外部的感觉刺激信号无法在儿童的大脑神经系统进行有效的组合，而使机体不能和谐的运作，久而久之形成各种障碍最终影响身心健康。相关实验表明，儿童学习困难与注意力缺陷、感觉统合失调有着更为显著的关系[2]。

智力障碍儿童的治疗方式包括教育疗法、医学疗法、体育疗法、音乐疗法、游戏疗法以及综合康复疗法[3]，其中体育疗法和游戏疗法是目前应用最为广泛、发展最为丰富的智力障碍干预手段[4-5]，例如基于kinect体感游戏的训练系统，经实验表明对智障儿童行为改善是显著的[6]。此外，现阶段的治疗集中于医疗机构和特殊教育学校，资源较为集中，不利用常规化、家庭化智力障碍干预治疗的发展和普及，因此本文提出一种游戏化的、简单可行的脑手眼协调训练方法和设备终端。

1 研究内容

根据以上概述，本文所提出的智力障碍儿童脑手眼协调训练平台，需要在以下三个方面展开研究：

(1) 针对智力障碍儿童注意力的提高和感觉统合失调程度的改善，提出一种科学的、便于操作的脑手眼训练方法，该方法以动态图标作为视觉信息源，以位置的不同在大脑中产生感应思考，并通过手部的触控运动对大脑中的位置判断进行响应，最终反馈到屏幕中相应图标的变化，从而实现脑手眼协调训练机制；

(2) 基于柔性阵列式传感器开发出适合手指运动的压力触控平台，并进行手指压力标定和软件数据解析，实现手指触控坐标的识别；

(3) 训练软件设计，实现训练基本内容和附加功能，引入游戏化设计元素，提高软件整体的可接受程度。

2 方案设计

本系统以游戏化训练方式为基本设计原则，采用智能化的触控式压力板作为用户的交互设备，通过编写训练软件实现训练内容，训练者通过触控压力板对软件界面图标进行响应，做到眼睛看见-大脑思考-手指运动的脑手眼协调锻炼，并通过游戏化的操作逻辑设计得分、过关等要素，在保障训练科学性、有效性的同时，极大提高用户的训练积极性。训练系统平台包含硬件和软件两个部分，硬件主要是压力板的设计，软件包括压力板数据处理（下位机）和上位机软件设计两个方面。下面将对系统的硬件和软件设计方案进行详细介绍。

2.1 硬件设计

中国科学院合肥智能机械研究所研发的柔性压力阵列传感器[7]是一种用于获取步态特征、体态特征等柔性压力信息的传感平台，采用将低温应变电阻浆料在聚酯基材上通过丝网印刷工艺制备而成，具有非常成熟的制造工艺和完善的系统产品，目前已应用于运动步态分析[7]、步态身份识别[8]等领域。

本系统的触控压力板依据此技术，定制了一块24×15的传感器阵列，通过对手指压力的重新标定，实现较为精准的手指触控位置识别。所涉及的电路控制方面的组成框图如图1所示。基于该阵列式传感器和控制电路板，又进行了机械结构方面的包装，设计了一块可操作的触控压力板，如图2所示。

2.2 软件设计

2.2.1 下位机软件设计

下位机软件部分主要完成以下几个方面功能：(1) 控制基本外围电路，包括接口、指示信号、数据采集卡等；

图1 硬件逻辑框图Fig.1 Hardware logic diagram

图2 触控板Fig.2 Touch control panel

图3 软件整体流程图Fig.3 Software overall f ow chart

(2) 定时扫描压力传感器阵列的数据信息；

(3) 压力数据处理，生成固定格式的数据帧，并向上位机发送有压力值变化的数据帧；

(4) 下位机作为客户端，实现网络通信。

2.2.2 上位机软件设计

上位机软件的设计是本套训练系统的核心，是训练内容执行的平台。软件采用Windows编程技术，编程环境为VS2010，基于MFC进行开发。

该软件开发了两大模块，其一是用户数据管理，其二是训练执行。用户数据管理具体功能包括用户注册/登录、个人信息查询、训练数据记录以及管理员登录等。训练方法执行包括下位机(触摸板)上传数据的处理和训练逻辑设计两个方面，其中下位机数据处理主要实现压力板的触摸位置识别，以响应训练界面中位置随机出现的图标，该部分算法是训练执行的基础。软件整体流程图如图3所示。部分软件界面如图4所示。下面针对软件设计的四个核心部分进行介绍。

图4 软件界面Fig.4 Software interface

(1) 数据库模块

软件用户数据管理部分基于Access数据库进行链接开发，采用ODBC方式。数据库表单字段包括用户名、密码、姓名、年龄、性别、上次训练日期、累计训练时长以及三关训练游戏最高分。

首先设计Access数据库文件，建立包含上述字段的记录表，并以.mdb格式进行保存。在系统中建立Access数据源，实现与数据库文件的关联，之后软件对数据库文件的操作都通过该数据源进行间接操作。MFC程序新建派生于基类CRecordSet的子类，通过该子类与系统数据源进行绑定，并通过变量与数据库文件中的字段实现匹配。最后，在需要使用数据库的其他类中，添加该子类型的变量，通过变量的属性和函数并配合SQL语句即可实现对数据库的各种操作，如打开、关闭、新增、删除、过滤等。

(2) 网口通信模块

基于大面积柔性压力传感器的触控板，在硬件电路上设计了串口通信和网口通信两种接口，考虑到压力信息数据量大、发送频率高的特点，并为后期开发保证技术余量，因此本上位机软件通信模块采用网口通信技术实现触控板与上位机程序的数据交换。

本网络编程采用Windows Socket方式，该方式是网络程序中一种比较简单的实现方法。套接字Socket是连接应用程序与网络驱动程序的桥梁，其在应用程序中创建，通过绑定操作与驱动程序建立关系。此后，应用程序送给Socket的数据，由Socket交给驱动程序向网络上发送出去。计算机从网络上收到与该Socket绑定的IP地址和端口号相关的数据后，由驱动程序交给Socket，应用程序便可以从该Socket中提取接收到的数据[9]。

传输方式基于TCP协议，上位机作为服务器端，程序流程如下：

①在对话框类的OnInitDialog函数中，完成创建套接字（socket）、将套接字绑定到一个本地地址和端口号上（6800）、将套接字设为监听模式（listen）三个操作；

②为了防止程序阻塞，在OnInitDialog函数中创建子线程，在子线程中通过accept函数等待客户请求到来，当请求到来后，接受连接请求，并返回一个新的套接字（sockConn）用于数据接收和发送，之前的套接字一直用于监听服务；

③用套接字sockConn的send函数发送采集指令，开启下位机采集数据功能（见数据分析模块介绍）；

④在需要使用网络通信接收数据的对话框对应的类中创建子线程，用于接收数据（recv）；

⑤套接字关闭，对话框关闭。

(3) 数据分析模块

该部分程序目的在于分析下位机上传的数据，得出压力点坐标信息，并归化成1～15区域值，通过该区域值实现与屏幕中的位置图标进行匹配、交互。数据分析流程如图5所示。

图5 数据分析流程Fig.5 Data analysis process

网口接收数据之前，需要发送特殊指令给下位机控制器，以控制压力传感器各种工作状态，共有4种特殊写入指令，对应功能如下：

读零命令：0x04 0x00 0x02 0x00；

采集命令：0x04 0x00 0x03 0x00；

停止命令：0x04 0x00 0x04 0x00；

复位命令：0x16 0x00；

下位机通过网口上传的数据以24个字节为一帧，格式见表1。

表1 压力信息数据帧格式Tab.1 Frame format of pressure data

在数据分析过程中，需要进行数据帧字节顺序的调整，主要是因为下位机控制器发送数据时采用双字节发送，上位机与下位机大小段存储方式的不同，造成相邻字节顺序错误，通过调整使得数据帧与规定的数据帧格式一致，方便程序的进一步处理。

阵列压力传感器为24列15行，通过分析数据帧得出有压力变化的具体行列值，根据游戏逻辑模块图标显示位置的设计确定触控板区域的划分，该区域的划分需保证与屏幕中显示的图标位置相对应。

(4) 训练逻辑模块

图形操作是智力障碍儿童的有效训练方式之一[10]，图形通常采用生活中常见的数字或图标，如水果、动物、交通工具等，智力障碍儿童通过对图片的交互认知和操作识别，既可以学习大量生活日常知识，又得到反射机制训练，改善思维方式，有效提高注意力和感觉统合能力。

本训练采用15点图标的方式，即软件对屏幕坐标进行规划，设置15个用于图标显示的坐标点（可采用均匀分布的方式），并从左到右、从上到下编号1～15，与上述触控板划分的区域值一一对应。图标具体设计包含表情笑脸、水果、食物三组。训练游戏设计3关，具体操作方法见图3所示。每一关游戏设定一分钟，难度与同一时间出现的图标个数相关，即第一关同时出现一个位置随机的图标，训练者在触摸板上触压到相对应的位置得分，随即该图标消失并出现下一图标，以此循环；第二关同时出现两个位置随机的图标，训练者依次触压到两个相对应的位置即得分；第三关同时出现三个位置随机的图标，训练者依次触压到三个相对应的位置即得分。整套训练游戏的图标、关卡都可进一步开发，得分和难度也可根据具体操作情况进行调整。

3 结束

本文针对智力障碍儿童，提出了一种简单、有效的脑手眼协调训练方法，并给出了训练平台的原理和设计方案，在一定程度上弥补了目前培智教育设备市场的不足，给智力障碍儿童的康复训练提供了一种新的技术手段和训练平台。

该实验样机在合肥某所培智教育学校进行了布点实验，实验样本20人，年龄分布8～15岁，训练强度每天半个小时，训练周期为两周。实验结果表明，经过训练，学生的游戏得分能力明显增强，反映出脑手眼协调能力的一定提高，如图6所示。

图6 训练结果对比Fig.6 Comparison of training results

此外，通过“数字划消”实验的前后对比，我们也发现大部分学生注意力也得到了一定程度的改善。整套训练系统在实验阶段稳定度高、操作性强，得到了培智教育和健康教育领域工作者的充分肯定，具有非常重要的社会意义和实用价值。

当然，系统的设计还存在很多的不足之处，需要在后面的工作中进行不断改进，也需要通过更多的实验反馈系统设计的科学性，因此在后期工作中我们制定了以下几个研发改进方向：

(1) 加强智障儿童教育训练理论方面的学习和研究，设计更科学、更便捷的训练方式；

(2) 改进游戏化的设计，提高训练过程的趣味性，包括界面风格、图标样式、音效以及得分等各个方面；

(3) 完善数据库功能，增加与游戏相关各种信息的存储和管理；

(4) 学习人机工程学相关知识，设计更符合儿童手型的键盘；

(5) 开展大量后期实验，进一步验证该系统的认可程度和训练效果。

通过本文介绍的系统设计方案和后期的不断改进，我们希望能够量产出可投入市场的产品，为培智教育提供智能化、信息化的教育设备。

[1] 薛婷. 感觉统合训练对智力障碍儿童适应行为促进的实验研究[D]. 苏州: 苏州大学, 2013.

[2] 阮为勇, 唐洪丽, 李海浪, 等. 学习困难儿童感觉统合与注意力测试[J]. 铁道医学, 2001, 29(3): 152-153.

[3] 唐强, 李娟, 王艳. 中国智障儿童的测评与治疗现状[J]. 中国现代医生, 2008, 46(9): 37-38.

[4] 王顺妹. 游戏在智障儿童心理康复和行为矫正中的作用[J]. 中国临床康复, 2003, 7(27): 3740-3741.

[5] Sirin K, Naim N, Haldun S. Effect of a multidimensional exercise intervention on the physical capacity of mentally retarded children[J]. Healthmed, 2011, 5(1): 205-209.

[6] Fu Y, Wu JF, Wu SS et al. Game system for rehabilitation based on Kinect is effective for mental retardation[C]// Int Conf Eng Technol appl(ICETA 2015), 2015, 22, 01036.

[7] 杨先军. 柔性力敏传感及其应用技术研究[D]. 合肥:中国科学技术大学, 2012.

[8] 夏懿. 基于足底压力分布的步行行为感知关键技术研究[D]. 合肥: 中国科学技术大学, 2013.

[9] 孙鑫. VC++深入详解[M]. 北京: 北京电子工业出版社, 2012:523, 531-532.

[10] 刘太祥. 图形操作促进智障学生学习的研究[J]. 教学仪器与实验, 2014, 30(7): 58-60.

Eyes-Brain-Hands Coordination Training System for Mental Retarded Children

【Writers】PENG Wei1,2, SHAO Dongsheng3, SUN Shaoming3, ZHAN Likui3, ZHANG Rubin1, SUN Dapeng4, ZHAO Yingjun1,
YANG Xiaoyue1
1 Institute of Intelligent Machines, Chinese Academy of Science, Hefei, 230031
2 University of Science and Technology of China, Hefei, 230026
3 CAS(Hefei) Institute of Technology Innovation, Hefei, 230088
4 Anhui University, Hefei, 230601

In order to help improving mental attention and sensory integration ability of mental retarded children, this paper proposes an interactive eyes-brain-hands coordination training system. This system realizes the principle of seeing, thinking and moving of hands by an interactive operation between the computer software custom icons and a touch control panel, so it can improve cognitive function and activity of daily living. The results show this training platform has a high degree of application and acceptance, and provides a portable training method for mental retarded children.

mental retarded children, Eyes-Brain-Hands coordination, touch control panel, training system

TP23；R749.94

A

10.3969/j.issn.1671-7104.2016.05.005

1671-7104(2016)05-0331-05

2016-03-17

安徽省科技重大专项项目（15czz02072）；安徽省科技攻关项目（1604a0902188）

彭伟，E-mail: wpeng@mail.ustc.edu.cn

孙少明，E-mail: smsun@iim.ac.cn