基于弯曲度传感器的智能钢琴手套设计

胡瀚文　黄强

摘 要 手是人类与外界进行交互操作的重要人体器官。音乐是众所周知的用于表达情感和思想的媒介。学习弹钢琴，是开发人的智力最有效的途径之一。本文针对钢琴训练对设备及资金投入要求较高的问题，设计了一款不需要外界设备，就能进行钢琴指法和曲谱练习的钢琴手套。本手套涉及Arduino编程、传感器、3D打印、通讯、音乐等知识。本研究属于智能教学教具开发，具有较好的教育和社会价值。

关键词 智能音箱 steam教具 Arduino单片机 3D打印

中图分类号：TP212.9文献标识码：A

0引言

在我们的日常活动中，手是人类与外界进行交互操作的重要人体器官。人们用手来抓取物体，表达思想，感知物質世界。数据手套常被用来采集手部信息。1977年，Thomas Defanti发明了第一个数据手套“Sayre Glove”。它是基于光学原理的柔性光纤传感器，它所采用的光纤的一端有一个光源，另一端是一个光电接收器。其测量状态的原理是当传感器弯曲时光电接收器所接收到的光通量会发生变化，以检测手指的动作。1981年， Bell实验室Gary Grimes设计了一种新型的数据手套用来代替传统的键盘，它用到接近传感器、惯性传感器、关节弯曲传感器等多种传感器。接近传感器检测操作者的大拇指是否与手的其它部位或手指相接触，当发生接触时向计算机发送数据信息;关节弯曲传感器检测手指的弯曲角度;惯性传感器测量前臂和手腕的姿态。这种数据手套可以用来检测手敲键盘姿势，从而为纠正手势提供数据基础。

音乐是众所周知的用于表达情感和思想的媒介。学习弹钢琴，是开发人的智力最有效的途径之一。特别是儿童自幼开始学习弹钢琴，除了可以提高素质，陶冶情操和提升文化修养之外，在开发智力方面，还有着特殊的功效。成熟掌握弹钢琴技能需要长时间的训练、熟练记忆指法和曲谱，同时需要较多的资金投入，包括对设备的资金投入和学习培训的资金投入。

2012年7月18日，佐治亚理工学院的研究人员与Shepherd中心的研究者合作创造了一种无线音乐手套——MMT手套，也叫“移动的音乐手”。手套能与电脑、MP3播放器或智能电话配合，将一首歌曲的音符通过无线电传输到与手套连接的设备中，通过让人的手指振动的方式来传达出该按哪个键盘键。这项发明可以帮助因为四肢瘫痪导致手部触觉或活动受限的人进行康复治疗。

在信息化水平飞速发展的今天，研究适于应用智能、文化开放的教学设备是具有、较好的意义及良好的社会效益。本文设计了一款不需要外界设备，就能进行钢琴指法和曲谱练习的钢琴手套。

1整体结构

智能钢琴手套，包括：手套组件和音箱组件。练习者带上手套后，只需根据手指弯曲的状态，就可发出相应的声音，从而达到练习钢琴指法和曲目的目的。其中手套组件包括手套、指关节处的弯曲度传感器、信号发射模块、第一控制单元等。其中手套根据中华人民共和国国家标准：成年人手部号型（GB/T 16252-1996）确定。音箱组件包括：壳体、信号接收模块、扬声器模块、第二控制单元。其中，第一控制单元和弯曲度传感器以及信号发射模块电连接;第二控制单元和扬声器模块以及信号接收模块电连接。

1.音箱组件 2.电池盒 3.手套组件

图1：智能钢琴手套实体图

2关键设计

2.1功能设计

在做基于弯曲度传感器手套控制的蓝牙音箱时，主要设计了三种功能：（1）音箱能够播放不同音调;（2）可以通过手势来控制音箱的音调;（3）手套和音箱之间的连接属于无线连接。

2.2外观设计

基于弯曲度传感器手套控制的蓝牙音箱的外观分为上位机和下位机两部分，如图2：（1）上位机把传感器和我们生活中常使用的手套相结合;（2）下位机音箱使用3D打印方形且带有一定曲面的外壳，这样更能够把声音放大。

2.3交互方式

基于弯曲度传感器手套控制的蓝牙音箱的方式包括：（1）弯曲度传感器测量手指的弯曲程度;（2）扬声器发出音调。

2.4供电方式

基于弯曲度传感器手套控制的蓝牙音箱设计的使用场景为舞台表演，供电方式选择是电池直接供电。

3实体设计

3.1元器件

智能钢琴音箱元器件包括Arduino Nano控制器、Arduino Nano扩展板、弯曲度传感器、10K 电阻、蓝牙模块、扬声器和音箱外壳等，如图3。其中音箱外壳由3D打印技术打印。

3.1.1 Arduino Nano控制器

上位机和下位机都采用Arduino Nano为控制核心，能够支持弯曲度传感器、蓝牙通讯、扬声器等。Arduino Nano是一块基于开放原始代码的超小Simple i/o平台，与之前的USB版Arduino duemilanove 相比较，Arduino Nano在体积上占很大优势，Arduino既可以用来开发出需要独立运行，并且具有互动效果的电子用品;也可以用来开发出与电脑相连接，同Flash，Processing，Max/Msp，PD，VVVV等软件一同合作完成的互动作品。

Arduino Nano拥有12个数字输入/输出端口D2～D13;8个模拟输入端口A0～A7;1对TTL电平串口收发端口RX/ TX;6个PWM端口，D3、D5、D6、 D9、D10、D11。Arduino Nano采用Atmel Atmega328P-AU单片机，支持USB下载及供电，支持外接5V～12V直流电源供电，支持9V电池供电，支持ISP下载，具体如图4。

3.1.2弯曲度传感器

flex 2.2弯曲传感器，当传感器的金属面向外弯曲时，该传感器的电阻值会发生变化，从而可以检测到弯曲度。非弯曲状态电阻： ～9000 ;90度弯曲电阻：～14000 ;180度弯曲电阻：～22000 。 实验室，弯曲传感器连接了一个10K 电阻，与Arduino Nano相连接。

弯曲度传感器为模拟传感器，读取传感器值对应的函数是analogRead（ ），对应的取值范围是0-1023。本作品共使用5个弯曲传感器，传感器与Arduino Nano连线如图4。

弯曲度传感器的金属面弯曲时，弯曲度传感器的电阻值会发生变化，从而检测对应手指关节处是否弯曲。在使用中，第一控制单元根据弯曲度传感器测量的手指关节处是否弯曲生成相应的字符信号，并且将该字符信号传输至信号发射模块，设置于壳体内的信号接收模块接收该字符信号并且将该字符信号传输至第二控制单元，第二控制单元根据接受到的字符信號控制扬声器模块发出相应的声音（例如，仿钢琴声）。

3.1.3 HC-05主从机一体蓝牙模块

它的最大特点是当蓝牙设备与蓝牙设备配对连接成功后，我们可以忽视蓝牙内部的通信协议，直接将蓝牙当做串口用。蓝牙HC-05，空旷地带传输距离10米左右，默认波特率为9600、默认配对密码为1234。该作品使用2个HC-05蓝牙模块，一块作为发射模块，一块作为接受模块使用。设置波特率函数为Serial.begin（9600），发射信号对应的函数为Serial.println（ ），读取信号值对应的函数为Serial.Read（ ）。上位机和下位机HC-05蓝牙模块接线一样。

扬声器模块，相当于一个无源蜂鸣器。蜂鸣器分为有源蜂鸣器和无源蜂鸣器。有源蜂鸣器内部有震荡、驱动电路，加电源就可以响。优点是用起来省事，缺点是频率固定了，只有一个单音。无源蜂鸣器声音频率可控，可以做出“多来米发索拉西”的效果。常用的函数包括tone（ ），和noTone（ ）。在编曲过程中，我们选用了“多来米发索拉西多（高音）”，合计8个音调。（见表1表2）

3.1.4程序设计

采用Arduino IDE进行程序编写，程序主要实现功能为，当做某一特定手势的时候，音箱会发出对应音调的声音。首先，要对手势进行编码。

上位机程序要实现功能为，当做某特定手势的时候，发出不同的字符信号。

下位机要实现功能为，当接收到字符信号时，音箱会发出对应音调的声音。（见表3、表4、表5、表6、表7）

3.2测试

当弯曲传感器接好线之后，分别测出各个手指头弯曲（见表6）和不弯曲时传感器值（见表7）。基于弯曲度传感器手套控制的蓝牙音箱，通过短暂的训练，即可以完成各个音调的控制。使用熟练可以依靠手势变化弹出一首简单的曲子。让每个感兴趣的人很快就能上手，并且知识含量也比较丰富。

为了让传感器能够直观测出弯曲和不弯曲的状态，根据测量值，定义了各个弯曲传感器弯曲和非弯曲的取值范围。

4结论

（1）该作品涉及知识包括开源硬件、编程、蓝牙通讯、声音、音乐、3D打印等跨学科知识。作品本身使用的是开源软硬件，通过一定学习，每个人可以通过自己编码方式，制作一个属于自己风格的音箱。

（2）该作品可实现1个音节、8个音调的声音，后续音阶有待开发。

（导师：黄强）

作者简介：胡瀚文（2000-），男，常德芷兰实验学校;导师：黄强（1989-），男，北京因科未来教育科技有限公司。

参考文献

[1] 梁善林.一种基于视觉手势识别的虚拟演奏[D].北京：北方工业大学，2017.

[2] David J. Stunnan，and David ZeltZer.A Survey of Glov-based Input[C].IEEE ComPuter Craphics & Applications， January，1994.

[3] 刘贤梅，李从信，贾惠柱.桌面虚拟现实系统中数据手套的应用研究[J].系统仿真学报，2001.

[4] T. G. Zimmerman et al.A Hand Gesture Interface Device[C].Proc. Human Factors in Computing System and Graphics Interface， ACM Press， New York， April ，1987.

[5] 马晓鸣.学习钢琴与智力开发.林区教学，2008，132（03）：97-98.

[6] 孙江波.弹钢琴拟人机器手设计与研究[D].长春工业大学，2015.

[7] GB/T 16252-1996，中华人民共和国国家标准：成年人手部号型[S].