基于Kinect图像识别的翻书机设计*

，，，

(吉林大学 仪器科学与电气工程学院，长春 130026)

引 言

目前，国内外已经有了翻书结构的设计方案，例如日本的BOOKTIME5000型翻书机、美国Michael Donald Banks[1]的Page Turner、燕山大学武岳[2]等人研究的全自动可调式翻页机构及大连交通大学董云美[3]等人研究的脚踏式翻书机构。但是上述的翻书机普遍具有结构复杂、成本高等缺点，同时他们通过直接接触、头戴设备等方式获取用户指令的方式缺乏人性化设计，无法真正地满足特定人群的需求。本文研制的这一款翻书机弥补了上述多种传统翻书机的缺陷，充分利用当下先进的计算机技术，在简化翻书机机械结构的同时优化了用户指令的获取方式，提高了用户的使用体验，实现了低成本、高性价比等目标。

1 整体设计

本文所设计的基于Kinect图像识别的翻书机能够通过自动识别用户肢体语言，实现自动翻页的功能。本系统通过对Kinect传感器所传回的大量数据进行处理，判别用户肢体语言，实现用户翻书指令的辨别。利用负压吸附原理，实现对书页的吸附、脱开及传递等动作。其中吸持力主要依靠风扇系统提供，由系统抽取空气造成压力差，吸附书页并将其置于翻页棒上，进而实现翻书动作。整体框图如图1所示，翻书机系统采用模块化设计，主要由三个部分组成：动作识别部分、控制系统部分、机械结构部分。

图1 整体框图

2 软件实现方案

2.1 基于支持向量机的动作识别

与神经网络对比，支持向量机不需要太多的训练样本，同时对于凸优化问题,支持向量机能够有效的解决，当参数和样本一致时，训练模型所得到的预测值就不会产生变化，因此在实际应用和理论中支持向量机比神经网络模型具有更高的性能。

对于人脸特征的提取，使用在 SVM的基础上结合局部二值模式(LBP)的加权算法。通过描述人脸图像的 LBP和深度 LBP特征，加权形成人脸特征向量，通过这些向量采用支持向量机进行分类，依托人脸数据库进行仿真。

对于人脸图像的LBP算子，在人脸纹理特征提取的方面计算量小、复杂度小，可以对人脸的图像分析图像检索取得很好的效果，但对于具体五官的识别具有不稳定性。

对于深度的LBP算子，由于人脸的平滑性，大部分图像深度小于5，因此对人脸部特征的提取并不稳定，但对五官未知的大体判定相对较为准确。

所以使用加权合并LBP和深度LBP的方法对人脸特征进行提取。

训练集T={(x1，y1)，……,(xl,yl)}属于(Rn×Y)选取合适的核函数K(x，x1)以及惩罚函数C>0; 通过下面公式：

2.2 人脸识别

为了能正确识别用户的翻书意图，本设计主要以使用者头部转动方向来判断是否接收到翻书指令。同时，为了能够提高容错率，也为了能够增加使用者的使用体验，避免因误判断导致不必要的翻书，动作识别系统采用双参数来进行头部运动的判断。

对Kinect采集的脸部数据进行处理后，得到人面部各个部分的标定信息，如图2所示。通过面部信息位置的变化，最终得到三个参数：Pitch、Roll、Yaw。双参数判定方法的核心思想就是利用Pitch和Yaw这两个参数形成一个相互制约的关系，只有当两个参数达到某一条件下才会触发翻书指令判断，并通过串口发送至下位机。

图2 面部特征识别

为了获得Pitch、Roll、Yaw三个参数，系统在获得图像数据后，首先需要定位到图像中脸部的位置，然后根据脸部五官的位置计算出这三个参数。微软亚洲研究所于2012年提出了基于学习的描述符(Learn-based Descriptor，简称LE描述符)[8]用于解决脸部识别的图像问题和匹配问题。

不同于其他脸部描述符，LE描述符的获取是利用非监督型学习技术从训练案例中获得编码器，之后采用降维算法将高维非线性数据转换成低维线性数据，最终获得一个高判断力且易于区分的脸部描写以及LE描述符。该方法采用了非监督型学习技术，实现了恒定力与判断力的平衡，即具有较强的抗干扰能力又具有迅速的人脸识别和匹配能力。

获得的LE描述符再经过分辨器处理，从而确定脸部各个标准点的位置，最终实现脸部追踪。

3 硬件实现方案

3.1 翻书原理设计

翻书机的功能是代替人手来完成翻书动作。人在翻书的过程中，所完成的动作主要是将要翻的书页从一端翻到另一端。这一过程可简化为两个部分：捏住纸张和移动纸张。本翻书机利用风机和翻书棒来实现这两个过程。

为了实现捏住纸张这一功能，本设计利用负压吸附原理，通过驱动风机制造负压从而使纸张自动吸附在风机上。过程如图3所示。将风机置于纸张一定高度之上，启动风机，风机产生气流。根据伯努利定理，流速大的地方气压小，与纸张下方的气压相比，纸张上方的气压更小，气压差使得纸张主动吸附到风机上。同时，为了避免风机扇叶对纸张造成损伤，风机下端使用纱网将其隔开。负压吸附过程如图3所示。

图3 负压吸附过程

另外，为了将纸张从一段移动到另一端，本设计采用步进电机所驱动的翻书棒作为施力方。当纸张提高到一定高度时，翻书棒转动，从而使纸张从一端移动到另一端，相当于书页围绕其装订方转动180°，翻书棒亦旋转180°。同样为了保护纸张不受损坏，翻书棒应该使用圆柱体或椭圆柱体，本设计采用椭圆柱体。

3.2 机械结构设计

翻书机机械结构图如图4所示，为了能适应不同高度的纸张以及纸张的不同材质，风机置于一个可上下移动的支架上，并且加装接近开关形成闭环系统，当风机运动到与纸张一定距离时，开关触发风机停止运动。此外，风机可由传动带左右移动，从而实现左右两个方向翻书。

此外，风机可由传动带左右移动，从而实现左右两个方向翻书。

图4 翻书机机械结构图

3.3 机械运动描述

机械系统初始化状态下，步进电机转动，使得翻书棒与书本上端平行；风机向左运动，直至接近开关短接，风机在状态末处于风机支架最左端；风机支架向下运动，直至接近开关短接，根据书本的厚度风机支架将停留在不同的高度。

翻书指令下达。右翻书状态下，风机启动，吸附纸张，风机支架向上运动，提高纸张至一定高度。风机支架向上运动停止，翻书棒逆时针转动，带动纸张向右运动。风机停止，机械系统再一次进行初始化。若是左翻书指令，在风机启动前，传动带将使风机移动至最右端，然后再进行后续的步骤。翻书机实体图如图5所示。

图5 翻书机实体正面图

4 测试结果

为了能够准确地反映本设计方案的实用性，设计人员选择采光良好的房间，并将翻书机置于宽敞水平的实验台上，对翻书机进行多次实际测试。测试的内容包括向左翻书和向右翻书。测试结果如表1所列。

表1 测试结果

[1] Banks M D. Page turner: US, US7750226[P]. 2010-07-06.

[2] 宜亚丽, 武岳, 赵三猛,等. 全自动可调式翻页机构设计[J]. 机械研究与应用, 2011(6):79-81.

[3] 董美云, 李培行. 脚踏式翻书机构的设计及运动仿真[J]. 大连交通大学学报, 2010, 31(2):24-27.

[4] 高之泉. 基于双Kinect的人体运动捕捉[D].南京：南京大学,2017.

[5] 蒋亚杰. 基于Kinect的人体姿态识别和机器人控制[D].深圳：深圳大学,2017.

[6] 姜延丰. 基于Kinect的动作评价方法研究[D].沈阳：沈阳工业大学,2017.

[7] 李妮妮.计算机软件开发新技术的应用研究[J].科技展望,2016(5):10.

[8] Shotton J, Fitzgibbon A, Cook M, et al. Real-Time Human Pose Recognition in Parts from Single Depth Images[J]. Communications of the Acm, 2013, 56(1):116-124.

[9] Cao Z, Yin Q, Tang X, et al. Face recognition with learning-based descriptor[J]. 2010, 26(2):2707-2714.

[10] 王侃. 自动翻书机的设计[C]//全国机械设计年会, 长沙, 2008:317-319.