仿人手感知的纹理识别与触觉再现方法研究*

徐 远, 宋爱国, 胡素芸

(东南大学 仪器科学与工程学院，江苏 南京 210096)

0 引 言

纹理触觉感知技术在遥操作机器人、虚拟手术以及虚拟现实等多个领域都有很大的发展前景[1]。目前国内外对于纹理检测识别的研究大多为基于图像的方法，采用计算机视觉技术对于图像信息进行处理[2]。但物体表面纹理图片容易受到外部环境因素的影响，只能反映空间信息，不能反映机械性能，难以实现实时分类。

目前较为成熟的纹理检测技术为探针检测法[3，4]。但探针检测方法的测量结果只能反映轨迹线上的凹凸信息；其次，探针在物体表面滑动时容易对柔软物体造成损伤，不适用于柔性物体表面。除了探针型的装置，Kim S H等人研发的基于聚合物的微机电系统(MEMS)触觉传感器阵列设计类似人手指皮肤，只能检测到部分表面的静态接触信息[5]。东南大学仪器科学与工程学院自2013年在纹理触觉传感器方面展开研究，设计了旋转机械结构的纹理传感器，但该传感器只能在圆形轨迹上进行测量。于是，胡海桦等人提出了基于聚偏二氟乙烯(polyvinylidene fluoride,PVDF)的新型纹理传感器,可在二维平面上检测纹理信息，但其局限性表现在无法进行实时分类和人机交互，缺少纹理的触觉再现[6]。Yi Z K，Qin L H等人基于PVDF研制的手握笔式触觉传感器可识别表面不同粗糙度，但同样具有探针检测的局限性[7,8]。

纹理触觉再现技术主要利用力反馈技术与虚拟现实技术相结合，建立虚拟场景，基于获取的纹理信息建立力触觉环境模型，操作者通过操作力反馈设备，在虚拟场景中感受真实的力感与触感。基于虚拟现实技术实现远程感受纹理的触感，即纹理触觉再现。目前的触觉再现技术依赖于力反馈装置，纹理再现的虚拟纹理模型的构建方法是纹理再现的关键技术[9～11]。但目前的大多数现有方法只能检测到物体表面的部分信息，难以模拟人手指触摸纹理的感知过程。

本文通过研究人手指触摸纹理的过程，基于东南大学仪器科学与工程学院的新型纹理检测装置，提出了一种仿人手触觉感知的纹理检测识别及触觉再现方法，模拟指尖感知过程，搭建神经网络对检测到的纹理进行实时识别分类，并基于采集到的纹理信息的统计特性，借助三自由度Geomagic Touch力反馈装置再现纹理触感。

1 基于PVDF的仿人手式纹理检测原理

本文利用PVDF的压电特性采集纹理表面信息。采样头末端呈手指弧形，腔体内硅胶填充，类似人手的柔性关节。采样头中固定霍尼韦尔公司生产的FSG1500g触力传感器以采集垂直方向的压力，采用比例—积分—微分(proportional-integral-differential,PID)对压力进行控制，保证检测纹理时垂直方向的压力恒定。如图1所示。

图1 纹理检测装置采样头结构示意

PVDF薄膜对动态接触力敏感而对静态接触力不敏感，与人手指皮肤特性类似。其在外力的作用下发生细微形变时，引起它内部正负电荷中心相对转移，其表面会产生电荷，PVDF的输出电荷由压电应变常数d31，d32，d33共同影响，d33≥d31>d32，但d31，d32为受延展方向压力的压电系数，本文中PVDF薄膜固定在刚性采样头上，延展方向难以产生形变，所以假设ΔQ=d33ΔF，即输出电荷量与力满足线性关系。

本文使PVDF薄膜与物体表面相接触，PID控制垂直薄膜表面为恒定力的情况下，使薄膜与物体表面发生相对匀速直线运动，滑动过程中，PVDF表面受到挤压产生变化的电荷量，通过测量PVDF的输出电荷，即可得到物体表面的纹理特征。

PVDF纹理检测模型如图2所示，用σ(x,y,z)表示PVDF表面的点(x,y)在t时刻产生的应变，那么PVDF的输出电荷为

图2 PVDF纹理检测模型

(1)

式中Q(t0)为PVDF薄膜在t0时刻的输出电荷，Ω为表面积。将PVDF连接到放大器电路，考虑漏电流，R，C为PVDF等效电阻、电容，可得

(2)

当应变σ3为一个阶跃函数时，上式解为

Q(t)=Ω·d33·exp(-t/RC)·U(t)

(3)

式中U(t)为阶跃函数，T=RC为响应时间常数，说明PVDF的输出电荷会随着时间减小，采用PVDF不适用测量静接触力，只能测量动接触力。

采样头安装在平行四连杆机构上，垂直于物体表面按压，可以在垂直方向运动，提供z方向的自由度。当电机旋转将带动采样头缓慢下降，同时，采样头中安装的力传感器检测接触力，达到一定值后，采用PID控制z方向采样头高度，使传感器与表面之间的接触力保持恒定。平行四连杆机构固定在二维运动机构上，该机构由两个带滑块的直线导轨组成，用以产生x，y方向的自由度。每个直线导轨由带有可记录位移和速度的编码器的步进电机驱动。测量平台也固定在直线导轨2下的基座上。样品安装在平台上。因此，采用头可以保持在给定速度下在样品上沿x方向和y方向滑动。整个仿人手纹理检测装置的示意图如图3所示。

图3 仿人手纹理检测装置

2 PCA-MLP纹理数据识别分类

2.1 实验方法

如图4所示，本文采用6种纹理进行分类识别及再现，分别为丝绒、亚麻、纤维、法兰绒、竹简和塑料桌垫，并标记为1#～6#，6种纹理在X方向均为均匀分布。搭建好硬件平台后，对纹理样本进行采样，通常人手指触摸感知布料压力约为0.5～1.5 N，因此，控制PVDF探头以0.8 N的恒定压力与纹理紧密接触，探头横向运动的速度设置为30 mm/s，符合人手感知纹理的过程。在时域下对每个样本进行采集，下位机的采样频率为20 kHz，对采样数据每5个进行均值滤波平滑数据，并上传至数据采集客户端实时显示，即最终采样频率为4 kHz。

图4 6种实验纹理图片

2.2 数据预处理

时域信号虽然可以直接反映纹理信号的变化情况，但是无法使用有限参数描述信号特征，因此对时域信号进行快速傅里叶变换(FFT)，将时域信号转化到频域上进行分析，通过分析不同纹理信号的频域特征对信号进行分类，去除掉直流分量后，6种纹理的时域信号及对应的频谱如图5所示，通过观察可以发现，不同纹理有不同的特征频率及幅值，可以通过分析频谱信息对纹理信号进行区分，采集到的纹理信号频率主要分布在0～85 Hz范围内。

图5 6种纹理的时域信号及对应频谱

2.3 PCA数据降维

图5频谱中所示的频率范围有200个频率点，因此,需要采用降维的方法将200维数据降低维度。PCA可以在数据特征损失较小的前提下，将高维数据转换到低维[12]。

在进行PCA之前，首先对数据进行均值标准化，设标准化后的n个m维训练样本组成矩阵X{X1,X2,…,Xn}，对数据样本进行中心化，即

(4)

从最大可分性出发，设投影变换后得到的新坐标系为W{W1,W2,…,Wd}，其中Wi为标准正交基向量，则样本点Xi在新空间中超平面上的投影为WTXi，使投影后的样本点方差尽可能大，才能使所有样本点的投影尽可能分开，投影后样本点的方差为

(5)

求方差最大即求maxwtr(WTXXTW，其中XXT为样本的协方差矩阵。采用对X进行奇异值分解的方法代替协方差矩阵的特征值分解，对求得的特征值进行排序并求出各个成分对方差的贡献百分比，可以看出:12维主成分对200维特征方差的贡献即超过90%，因此保存通过训练集求出的投影矩阵W，采用该矩阵将训练集和测试集从200维降至12维，以简化计算，降低样本需求。

2.4 多层感知机分类识别

本文基于Tensorflow搭建多层感知机(muti-layer perceptron，MLP)对纹理信号进行分类识别。搭建的网络包括输入层、两个隐含层和输出层4层结构，层与层之间全连接。在每种纹理的随机位置各采样200组数据，按0.7，0.3的比例分为训练集，训练集中选取10 %的数据用于交叉验证，测试集采用训练集训练出的PCA投影矩阵降至12维。隐含层的节点个数选择按照经验公式：隐含层大小≈(输入大小+输出大小)×2/3，将两个隐含层的节点个数设置为15和10。激活函数采用SoftMax，最大迭代次数设置为500。损失函数采用交叉熵损失函数

(6)

式中K为类别总数，y为分类结果，P为分类正确的概率。对于常规梯度更新方法如BGD,SGD等参数难以调试等缺点，采用Adagrad自适应算法，在学习过程中自动调整学习率∂，Adagrad在每轮训练中对每个参数θi的学习率进行更新，公式如下

(7)

式中Gt,ii为对角矩阵，对角线位置i，i对应参数θi从第一轮到第t轮的平方和，ε为平滑项，设置为1×10-8，gt,i为第t轮第i个参数的梯度。对于出现频率低的参数使用较大学习率，出现频率高的参数采用较小学习率。将数据输入网络训练，学习曲线如图6所示。

图6 用于6分类的MLP网络模型学习曲线

作为对比实验，分别采用PCA降维+SVM搭建支持向量机和线性判断分析(linear discriminant analysis,LDA)降维+MLP搭建网络进行训练[13]，其中LDA降维方法将原始数据降至5维(LDA最多将数据降至分类数-1维)。各模型识别准确率如表1所示。

表1 不同降维方法及训练模型的分类准确率 %

3 基于采集纹理统计特性的力触觉再现

本文选用的6种纹理均在采集方向上均匀分布，纹理采集装置的工作方式为以恒定压力在纹理表面沿X方向或Y方向匀速运动，纹理采样位置随机，探头与纹理表面凹凸起伏的接触也为随机，因此,采集到的纹理信号满足Siira J和Pai D K等人提出的正态分布模型[9]。以丝绒纹理信号为例，选取装置单次行程采集到的数据信号(取8 000个采样点)，计算纹理信号的均值μ和方差σ，画出数据的分布直方图及其正态曲线。对这些数据进行KS—检验(Kolmogorov Smirnov test)，计算出的P值小于0.01，因此，数据符合近似正态分布Normal(μ,σ2)。

计算其他5种纹理的均值和方差并验证，发现均可以以正态分布模型来描述一种纹理的特征，而均值和方差与一种与运动速度无关的属性，可以反映出探头划过纹理表面的接触力特征。基于采集纹理信号的统计特性，本文以随机振动模型来表达物体表面的纹理特征。当虚拟代理在虚拟纹理表面划动时，人手会感受到由随机振动产生的法向力Fnor，以及由相对运动产生的切向摩擦力Ffric，即建立起的力学模型为

Fcon=Fnor+Ffric

(8)

由于纹理信号

Vtex～ANormal(μ,σ2)

(9)

A为比例系数，因此

Fnor=FN+Ftex

(10)

Ftex=A′ Normal(μ,σ2)

(11)

式中FN为人手触摸虚拟环境的支持力，与触摸纹理的压力相反，A′ 为比例系数，由A，受控器输出力以及实际振幅共同确定。

切向摩擦力反映的是虚拟代理在虚拟纹理上相对运动或有相对运动趋势时的阻力，摩擦力受人主观移动速度影响，根据Klatzky R L等人的研究结果[14]，感知纹理的速度越大，感受到的粗糙度越小，因此Ffric量化为[15]

Ffric=μFnor×cos(π/4|Vmax|×|V|)

(12)

式中Vmax为使用手控器在虚拟环境中运动的最大速度，设置为120 mm/s，V为实际运动速度，符合速度越快，阻尼感知越小的规律。

常规的振动模型基于数据的整体统计特征，在反映纹理的局部特征上具有缺陷，本文采用一种分段表达的方式来强化纹理的局部特征，如图7所示，由实验数据表明，当探头从一种纹理特征转到另一种纹理特征时，采集数据的均值和方差都会出现较大变化。以8 000个采样数据为例，本文以1 000个数据大小作为滑动窗口，以1 000为单位扫描8 000个采样数据，统计滑动窗口内的数据特征，当均值和方差变化超过20 %时，即认为局部纹理特征出现改变，更换力学模型中的正态分布参数，产生新的随机数，变化的周期与滑动窗口大小相关。采用分段建模的方式，根据统计信息动态改变模型参数，以达到体现纹理局部特征的效果。此外，力触觉再现的效果也与电机振动频率有关，太高或者太低都会影响再现的真实感，由于本文算法计算量较小，可以达到很高的再现频率，经过实验调节，振动频率设置为1 200 Hz。

图7 虚拟环境虚拟代理受力示意

4 纹理感知实验与分析

本文采用Geomagic-Touch3自由度力反馈手控器，基于VS2015+OpenHaptics搭建虚拟纹理触觉表达客户端，Touch手控器最大施加力为3.3 N，位置分辨率约为0.055 mm，3D 分辨率为0.009 mm。本文采用纹理再现常用的明暗恢复形状(shape from shading,SFS)算法作为对比，比较本文算法和SFS算法的再现真实度，真实度的评价主要从纹理振幅、振动频率、不同速度下的阻尼力等指标衡量，搭建出的纹理再现客户端如图8所示。

图8 基于Geomagic Touch手控器的纹理再现客户端

为了屏蔽视觉对被试者的心理暗示，两块纹理均用白色贴图覆盖，左侧纹理为本文算法，右侧纹理为SFS算法。挑选10名并不知道两种算法的被试者(男女各半)进行感知实验，先让被试者感知真实纹理，然后通过力反馈手控器触摸虚拟纹理，以上述指标衡量纹理再现的真实度，感知过程中被试者还需带上隔音耳机，避免手控器电机振动对人造成频率上的心理暗示，6种纹理的实验结果如表2所示。

表2 6种纹理真实感选择情况 %

通过对比实验可以发现，对于依附于布料上的细腻纹理，基于采集纹理统计特性的再现算法具有很好的再现效果，这是由于SFS算法依赖于图像光源，布料纹理细腻且有颜色干扰(如纤维上的斑纹干扰)，图像无法很好反映纹理细节。而本文算法基于实际采集到的数据建模，PVDF信号变化即反映采样过程中的力变化，因此可以反映纹理的细微变化。对于竹简，塑料桌垫等栅格较大的纹理，基于图像的算法体现出一定优势，因为大栅格纹理明暗变化明显，图像可以很好识别，但SFS算法仍存在法向力不连续，易跳过凹处问题。而本文算法法向力由随机振动产生，对于大栅格纹理，在纹理凹处仍有轻微振动，易对被试者产生干扰。

5 结 论

本文利用PVDF薄膜灵敏度高，响应速度快，质地柔软等优点设计仿人手感知探头，在电机带动下，以仿人主动感知的方式在纹理方向上匀速运动采集纹理信息，通过PCA+MLP对采集数据进行降维、分类，实现了可靠有效的纹理识别。在纹理再现方面，本文基于采集数据的统计信息，采用正态分布模型产生随机振动，模仿PVDF探头采集到的纹理特征，并通过滑动窗口的方式动态调整模型，以强化局部纹理特征，优化再现真实感，与SFS算法相比，基于数据驱动的算法更能体现细腻纹理的信号特征，克服了传统基于图像的算法依赖光照，易受布料花纹颜色干扰的缺点。综上，本文提出的方法在遥操作机器人，虚拟现实，机器人触觉等领域都有很大发展前景。