面向复杂加工装备的功能聚合与作业手势交互设计

张富强，曾夏，白筠妍，赵睿英

面向复杂加工装备的功能聚合与作业手势交互设计

张富强a,b，曾夏a,b，白筠妍a,b，赵睿英a

（长安大学 a.道路施工技术与装备教育部重点实验室 b.智能制造系统研究所，西安 710064）

为了解决当前复杂加工装备人机交互过程中存在手势和功能映射模糊、缺少规范等问题，研究将人机交互技术赋能复杂加工装备的智能化升级。首先，采用谱系聚类法进行复杂加工装备的人机交互功能聚合，为手势映射提供基础；其次，基于手势交互定义原则对作业手势进行规范性定义，完成手势库的设计；最后，根据作业场景进行调整并完成人机交互功能与作业手势的映射。通过聚类将40个子功能元聚合为16个二级功能和4个一级功能，依据手势定义规则设计出一套动、静态结合的混合手势库，实现了人机交互功能映射。该研究为交互服务识别与计算提供基础的理论支持，可方便、自然地对复杂加工装备进行远程操作与监控。

复杂加工装备；功能聚合；作业手势定义；交互合计

工业5.0的提出及人工智能、虚拟现实、物联网等新兴技术快速发展，人本智造成为现代信息技术和先进制造业深度融合的焦点，更加强调以人为本的生产环境[1-2]。周济院士提到，面向新一代智能制造的人–信息–物理系统2.0（HCPS2.0）的关键核心技术包括人机协同与人机交互技术[3]。因此，面向复杂加工装备的数字化、网络化和智能化演变与发展需求，人机交互技术赋能复杂加工装备的智能化升级是当前的研究热点问题之一，将人们的使用意图转换为机器可以理解并执行具体操作的信息输入，从而配合完成人们的需求。现有人机交互过程缺乏针对性，对复杂加工装备运行过程中的各类功能分类不明晰，从而导致了手势交互定义与交互功能无法形成规范的映射关系，使人机交互的流畅性和效率受到一定的影响。

当前，国内外关于复杂加工装备的人机交互功能聚类的直接文献较少，而复杂加工装备的模块化功能分析可为人机交互设计提供指导参考。产品模块化设计是将产品根据特定规则分解成多个功能模块，接着按照实际需求对分解完成的功能模块进行下一步应用，从而再迅速达到应用领域的目标要求[4-5]，如功能模块到结构模块的映射应用，可以快速构建出产品模型；功能模块到人机交互模块的映射，可以为人机交互的方式提供新思路。例如：Li等[6]基于模糊聚类分析对数控机床的模块进行划分，并以Matlab为运行环境，形成了数控机床的动态聚类图。董庆伟等[7]基于产品设计结构理论对淬火机床功能部件进行分析，采用聚类分析法完成模块划分。高羡明等[8]提出了基于谱系聚类的模块划分方法，对数控机床完成模块划分并对其功能模块和结构模块进行关系映射。王鹏家等[9]结合层次分析法和谱系聚类法对数控机床进行模块化分析，采用VB编程语言和Matlab软件开发出一套辅助模块划分系统并证明其通用性及实用性。张海燕等[10]在变双曲圆弧齿线圆柱齿轮的专用机床模块化设计过程中，提出结合间隙统计和自组织神经网络映射的方法对其进行聚类研究。

综上所述，目前的模块划分方法大多是自下向上、基于底层子功能元的聚类方法，然而对结构和功能复杂、功能元数量众多的设备进行模块划分时，上述方法存在处理过程复杂和计算量庞大等问题，人为进行的相关度分析导致结果主观因素占据过多，从而会造成结果存在差异。因此，对复杂加工装备进行模块化分析，采用层次分析法进行聚合，可以实现相关度分析客观化、计算过程自动化。

1 面向复杂加工装备手势交互的实现流程

手势交互作为一种结合先进感知技术和计算机模式识别技术的新型交互方式，为实现人机交互的高效自然性提供了良好的选择。以复杂加工装备为研究对象，进行手势识别交互设计。首先需要对复杂加工装备的功能进行分解；其次根据不同的功能对交互手势库进行设计；最后对交互功能与作业手势进行映射，实现手势与功能之间高质量、不混淆对应。整体的实现流程如图1所示，其分为两大块，分别为复杂加工装备的功能分解和手势交互设计。在功能聚类层面，采用谱系聚类法对复杂加工装备进行模块化的分析，其中选用层次分析法确定各功能元属性之间的权重，从而构造距离矩阵，得到划分结果；在手势交互设计层面，根据手势定义规范对手势库进行设计，设计过程基于手势易于学习、安全有效、符合习惯、有包容性、交互反馈、系统引导性等特点。

图1 整体实现流程

2 复杂加工装备作业功能元的聚合方法

谱系聚类算法采用降维技术，更适用于高维数据聚类。由于复杂加工装备功能丰富、类别多样，使用谱聚类算法对其进行分析是合适的选择。同时，谱系聚类法可以计算出功能元素之间的相关矩阵，因此对解决复杂加工装备的功能聚类问题非常有效。面向复杂加工装备的功能模块划分方法流程，见图2。

图2 复杂加工装备的功能模块划分流程

2.1 基于谱系聚类法的功能元聚合

谱系聚类法是一种基于层次结构的聚类方法[11-12]。首先将复杂加工装备的功能元分解出来；其次计算各功能元之间的距离，将距离最相近（即最相似）的聚合成一个小功能类；再将聚合的小功能类按其之间的相似性进行再聚合；最后随着各功能类之间相似性的逐渐减小，得到按相似性大小不同而聚合起来的一个谱系图，聚合步骤包括：对复杂加工装备的所有子功能进行分解，形成独立的子功能元；计算各个子功能元之间的相关性（通过层次分析法确定各相关准则指标的权重，从而计算出功能元之间的相关度）；计算各个功能元之间的相关矩阵和距离矩阵，对功能元进行聚合得到谱系聚类图，最终确定功能分类模块。

2.2 基于层次分析法的权值计算

层次分析法通过专家等经验来判断各项准则指标的重要程度并且进行量化，确定各个准则指标的权重系数。首先通过对复杂加工装备的各个功能元相关性准则指标的重要性进行比较和判断，得到判断矩阵；其次计算判断矩阵的特征向量，并根据特征向量得到各个评价指标的权重值；最后对判断矩阵进行一致性检验，若其满足一致性要求，则可视为合理的，反之则需对判断矩阵进行相应修正，以确保得到合理的权重。具体的权重求解过程如下。

2.2.1 确定判断矩阵

对每个层次中的因素，建立一个判断矩阵，该矩阵描述了每个因素对其他因素的重要性和影响力，通常采用一定的评分标准进行评价，其重要程度见表1。

表1 重要程度标度

Tab.1 Scale of importance

且应符合以下性质：

2.2.2 计算权重向量与求解一致性

2）对一致性指标进行求解，计算公式如下：

3）检验对应的平均随机一致性指标。

取值见表2。

表2取值

Tab.2 Values of RI

4）计算出一致性比率值，进而得到判断矩阵是否需要进行修正，计算公式如下：

2.3 相关矩阵和距离矩阵的计算

得到功能元之间的相关度后，计算相关矩阵和距离矩阵，相关矩阵表示如下：

相关矩阵与距离矩阵的转换关系计算公式如下：

距离矩阵表示如下：

3 基于映射规则的作业手势定义

3.1 作业手势的定义和分类

手势通过手指、手掌、手腕、手臂等部位的运动轨迹和具体形态来实现。根据手势的运动特点，手势可以分为静态手势和动态手势两大类，见图3。静态手势主要通过手部外形与轮廓形状的不同来传递信息。动态手势是指在一定时间内，手部的姿势和位置产生位移变化。动态手势一般可以分为准备、开始、执行、结束、收回五个阶段[13-14]。根据动静态手势各自的特点，对应所需实现的功能采用动、静态手势结合的方式进行作业手势定义。

图3 根据运动特点的手势分类

Fig.3 Gesture classification based on motion characteristics

3.2 基于映射规则的作业手势定义

在面向复杂加工装备的手势交互过程中，基于手势设计的映射是将作业手势与人机交互功能相关联，在进行两者间的映射之前需要对作业手势进行定义[15]。考虑到在复杂加工装备实际工作中的结构、功能、操作流程等多个方面，为确保交互设计的高效性、可靠性与安全性，参照Nielsen[16]的交互设计原则，可将复杂加工装备手势交互设计原则总结归纳为以下四项。

1）操作保证安全可靠，不会因误操作等导致设备损坏或用户受伤。手势交互在设计和实现过程中应该考虑到安全可靠性因素，比如允许手势较大程度地模糊操作，对手势交互系统进行全面的风险评估与安全测试，确保其在各种情况下都能够保持安全可靠性。

2）简洁且易于学习。手势交互设计应简洁明了、易于理解，以减少操作人员的学习和认知负担，确保操作人员可以轻松地理解和适应手势交互功能，从而提高交互效率和易用性。

3）具有用户包容性。不同操作人员在交互过程中允许存在差异性，比如手掌形态和粗细等的差异性，这种差异不影响整体的交互行为。

4）动作的差异性与连贯性。不同的交互行为的手势设计要清楚区分，避免交互过程中互相影响和误操作。同时手势动作具有连贯性，更加符合人体行为习惯。因此，复杂加工装备在进行手势交互的过程中，应该依照以上规则进行手势库的设计，完成基于映射规则的作业手势定义。

4 案例分析

4.1 复杂加工装备交互功能分析

通过文献调研得出操作人员与复杂加工装备之间可用手势进行交互的功能汇总，为了完成后续功能的聚类，将人机交互功能进行一级功能、二级功能和三级功能分解。分为视图功能、加工功能、附属功能、辅助功能4个一级功能，然后继续进行二级功能和三级功能分解，一级功能分解如图4所示，二级和三级部分功能展示见图5—6。

得到操作人员与复杂加工装备的手势交互的子功能元后，为了方便后续功能聚类的描述，对三级功能的各个功能元进行编号，见表3。

图4 一级功能分解

Fig.4 Decomposition of primary functions

图5 部分二级功能分解

Fig.5 Decomposition of some secondary functions

图6 部分三级功能展示

4.2 层次分析法的权重计算

为了计算出各个功能元之间的相关度，从而得到相关矩阵和距离矩阵，然后完成功能元的聚类，首先需要对相关的准则指标进行权重计算。在对功能元进行聚合时，着重要综合考虑功能元之间的相关准则指标，其中包括功能、空间、动力、信息、工艺五项准则指标。因此，如表1所示，此处选用层次分析法来构造判断矩阵，计算出功能相关度的各个权重。根据各项准则指标之间的重要性两两进行比较与判断，通过比较结果得到判断矩阵。

根据计算可以得到不同属性的权重值，各类属性权重分布见图7。

表3 三级功能元编号

Tab.3 Tertiary function element number

图7 各类属性权重分布

Fig.7 Weight distribution of various attributes

进一步计算可以得到判断矩阵的最大特征根：

计算一致性指标=0.038 575，结合表2中的数据计算出=0.034<0.1，数据表明该判断矩阵通过一致性检验。

4.3 功能元谱系聚类及手势定义

图8 功能元的谱系聚类图

Fig.8 Pedigree clustering diagram of function element

图9 人机交互功能汇总

Fig.9 Summary of human-machine interaction functions

在此基础上遵循手势设计原则，考虑到手势的易学习性和易操作性，基于人工交互功能到手势之间的作业映射关系，设计出一套适用于复杂加工装备的混合手势操作实现人机交互，其中包含静态手势、动态手势、单手操作及双手同时操作的手势模型，见表4。

表4 功能到手势映射

Tab.4 Mapping from function to gesture

表4是结合人机交互功能的聚合分类和手势定义的准则，并根据实际应用的便利性进行调整，完成两者间的映射。面向对象是复杂加工装备的孪生系统，包括人机交互界面的手势交互和对孪生模型的交互控制。比如进入界面后显示4个一级功能，Hand_one、Hand_two、Hand_three、Hand_four分别对应这4个一级功能选项并进入到相应界面，进入到辅助界面后继续通过Hand_one、Hand_two、Hand_three可以查看冷却系统、清洗系统和润滑系统。其他手势定义与功能的映射交互与其类似。

5 结语

针对复杂加工装备的人机交互规范程度低的问题，设计了交互功能模块划分的方案，提出采用谱系聚类法聚合并用层次分析法确定功能、空间、动力、信息、工艺等准则的相关权重，完成复杂加工装备的人机交互功能聚合，将40个子功能元聚合为16个二级功能和4个一级功能。随后选用作业手势为人机交互的方式，完成对作业手势的定义和与交互功能的逐一映射，其聚类结果可以全面地反映复杂加工装备功能及其对应手势的关联关系，提升了人机交互的规范性与针对性，为复杂加工装备与新一代人机交互方式融合提供了基础。下一步的研究工作，通过采用问卷调查方式来对作业操作功能和手势的映射结果合理性进行评价。

[1] 姚锡凡, 马南峰, 张存吉, 等. 以人为本的智能制造：演进与展望[J]. 机械工程学报, 2022, 58(18): 2-15.YAO Xi-fan, MA Nan-feng, ZHANG Cun-ji, et al. Human-Centric Smart Manufacturing: Evolution and Outlook[J]. Journal of Mechanical Engineering, 2022, 58(18): 2-15.

[2] 孙效华, 张义文, 秦觉晓, 等. 人机智能协同研究综述[J]. 包装工程, 2020, 41(18): 1-11. SUN Xiao-hua, ZHANG Yi-wen, QIN Jue-xiao, et al. Review on Human-Intelligent System Collaboration[J]. Packaging Engineering, 2020, 41(18): 1-11.

[3] ZHOU Ji, ZHOU Yan-hong, WANG Bai-cun, et al. Human-Cyber-Physical Systems (HCPSS) in the Context of New-Generation Intelligent Manufacturing[J]. Engineering, 2019, 5(4): 624-636.

[4] ZHANG Hai-yan, HOU Li, LIANG Shuang, et al. Modular Configuration Design of a Special Machine Tool for Variable Hyperbolic Circular-Arc-Tooth-Trace Cylindricalgears[J]. Mechanical Sciences, 2022, 13(1): 55-65.

[5] YANG Mei, XIA Yi-min, JIA Lian-hui, et al. A Modular Design Method Based on TRIZ and AD and Its Application to Cutter Changing Robot[J]. Advances in Mechanical Engineering, 2021, 13(7): 1-18.

[6] LI Fei, LI Xu-dong, XIE Hua-long. Modular Design Research of Computer Numerical Control Machine Tools Oriented to Customer Requirements[J]. Advances in Mechanical Engineering, 2020, 12(4): 1-18.

[7] 董庆伟, 韩芳洁, 周群起, 等. 淬火机床的模块化设计应用研究[J]. 机床与液压, 2021, 49(7): 62-66. DONG Qing-wei, HAN Fang-jie, ZHOU Qun-qi, et al. Modular Design and Application Research for Quenching Machine Tool[J]. Machine Tool & Hydraulics, 2021, 49(7): 62-66.

[8] 高羡明, 洪军, 刘瑞萍, 等. 多准则数控机床模块谱系聚类的划分方法研究[J]. 西安交通大学学报, 2011, 45(5): 131-136. GAO Xian-ming, HONG Jun, LIU Rui-ping, et al. Numerical Control Machine Tool Module Partition with Multi-Criteria Pedigree Clustering Method[J]. Journal of Xi'an Jiaotong University, 2011, 45(5): 131-136.

[9] 王鹏家, 巩亚东, 刘永贤, 等. 基于谱系聚类的数控机床模块划分系统[J]. 东北大学学报(自然科学版), 2014, 35(5): 739-742.WANG Peng-jia, GONG Ya-dong, LIU Yong-xian, et al. Module Division System of CNC Machine Tools Based on Hierarchical Clustering[J]. Journal of Northeastern University (Natural Science), 2014, 35(5): 739-742.

[10] 张海燕, 侯力, 罗岚, 等. 变双曲圆弧齿线圆柱齿轮专用机床的模块化设计[J]. 机械工程学报, 2021, 57(3): 77-86. ZHANG Hai-yan, HOU Li, LUO Lan, et al. Modular Design for Machine Tools of Variable Hyperbolic Circular-Arc-Tooth-Trace Cylindrical Gear[J]. Journal of Mechanical Engineering, 2021, 57(3): 77-86.

[11] RAN Xing-cheng, XI Yue, LU Yong-gang, et al. Comprehensive Survey on Hierarchical Clustering Algorithms and the Recent Developments[J]. Artificial Intelligence Review, 2022: 1-46.

[12] MUNSHI A. A Survey of Advances in Hierarchical Clustering Algorithms and Applications[J]. International Journal of Computer Science and Network Security, 2022, 22 (5): 17-24.

[13] 张维, 林泽一, 程坚, 等. 动态手势理解与交互综述[J]. 软件学报, 2021, 32(10): 3051-3067. ZHANG Wei, LIN Ze-yi, CHENG Jian, et al. Survey of Dynamic Hand Gesture Understanding and Interaction[J]. Journal of Software, 2021, 32(10): 3051-3067.

[14] OLIVAS-PADILLA B E, GLUSHKOVA A, MANITSARIS S. Motion Capture Benchmark of Real Industrial Tasks and Traditional Crafts for Human Movement Analysis[J]. IEEE Access, 2023, 11: 40075-40092.

[15] WANG Bai-cun, ZHENG Pai, YIN Yue, et al. Toward Human-Centric Smart Manufacturing: A Human-Cyber- Physical Systems (HCPS) Perspective[J]. Journal of Manufacturing Systems, 2022, 63: 471-490.

Interaction Design of Function Aggregation and Operation Gesture for Complex Machining Equipment

ZHANG Fu-qianga,b, ZENG Xiaa,b, BAI Jun-yana,b, ZHAO Rui-yinga

(a. Key Laboratory of Road Construction Technology and Equipment of MOE b. Institute of Smart Manufacturing Systems Engineering, Chang'an University, Xi'an 710064, China)

The work aims to empower the intelligent upgrading of complex machining equipment with human-machine interaction technology, in order to solve the problems in the human-machine interaction process of complex machining equipment, such as blurred gesture and function mapping and lack of standards. Firstly, the hierarchical clustering method was used to aggregate the human-machine interaction functions of complex machining equipment, providing a foundation for gesture mapping. Next, the definition of operation gestures was standardized based on mapping rules, and the gesture library was designed. Finally, the mapping between human-machine interaction functions and operation gestures was adjusted and completed according to the operation situation. By clustering, 40 sub-functional elements were aggregated into 16 secondary functions and 4 primary functions, and a set of dynamic and static hybrid gesture library was designed based on gesture definition rules. This study provides basic theoretical support for interactive service recognition and computation, and can realize the convenient, natural and remote operation and monitoring of complex machining equipment.

complex machining equipment; function aggregation; operation gesture definition; interaction design

TH 165；TB472

A

1001-3563(2023)12-0060-08

10.19554/j.cnki.1001-3563.2023.12.006

2023–01–07

国家重点研发计划（2021YFB3301702）；陕西省科技重大专项（2018zdzx01-01-01）

张富强（1984—），男，博士，副教授，主要研究方向为面向人机交互的智能制造。

赵睿英（1985—），女，博士，副教授，主要研究方向为工业机器人控制。

责任编辑：陈作