一种姿态识别增强的VR眼镜信息显示方法

王晓东，夏靖波，吴耀翔

（厦门大学嘉庚学院信息科学与技术学院，福建漳州363105）

可穿戴设备直接佩戴在人身上或被整合进衣物、配件[1]，用于记录、监测人体数据[2-3]，也可用于增强人体功能或保护[4]。这种智能设备与人体结合紧密，并且在人体的佩戴位置相对固定，非常适合用于穿戴者的姿态识别[5-6]。研究表明，在工作环境下人作业时能发挥的操纵力大小，取决于人的作业姿势、用力部位、力的作用方向和方式等，只有保持正确的作业姿势才能有较高的工作效率[7]。可以推知，可穿戴设备识别的姿态，与穿戴者正在从事的活动、场景具有密切相关性。在工业生产现场，场景信息的获取具有重要价值，将有利于实现智能化的数据信息选择、推送及其他应用。

尤其是，当前可穿戴的VR 眼镜设备，在工业制造领域开始得到推广应用和普及[8]。基于VR 眼镜与现实图像进行画面叠加和辅助数据显示，已在汽车维修、航空机务、复杂制造、3D 现场打印等领域崭露头角，其优势在于：解放了员工双手的同时，更高效地使用了互联网和数据资源；克服产业工人个体的遗忘曲线，增强了操作的精准性；实现了管理细节和大数据采集，保障高危环境下人身安全等。

为了进一步提高VR 眼镜数据显示的智能化，文中提出结合室内定位技术识别操作人姿态，进而实施佩戴者工服识别并获取工种场景，然后实现了一种姿态识别增强的VR 眼镜信息显示方法。

1 方法原理

1.1 基于室内定位技术的姿态识别

人体姿态识别的传统方法可以分为两种，即基于计算机视觉方法和加速度传感器方法，前者发展成熟、精度高，但隐私保护不好，后者数据处理复杂、精度差，但是对个人隐私保护好。也有学者提出[9]，利用可穿戴设备结合室内定位技术，在保护用户隐私的同时识别精度提高了40%，证明了可穿戴设备姿态识别的可行性。文献[10]提出，基于室内定位技术（如超宽带、UWB 定位），在人体安装14 个参考点并计算相对位置的方法实现姿态计算，将14 个参考点两两连接构成91 条矢量，排除其中无意义的，只保留10 条（头-颈、颈-胸、右肩-右肘、右肘-右手、左肩-左肘，左肘-左手等）矢量，它们之间形成的夹角可用来较为精确地估算人体姿态。

基于这种设计，文中主要观察获取VR 眼镜佩戴者的低头倾角（与垂直方向的夹角β），因此只设定头部和颈部两个参考点（并假设不考虑下肢的动作），则简化得出图1所示的角度测算结构。方法通过室内定位，对点A(xA,yA,zA)（即佩戴者头部）、B(xB,yB,zB)（即佩戴者颈部）坐标进行测算，再计算AB连线与垂线夹角β，可知佩戴者低头倾角，并有：

图1 可穿戴设备姿态示意图

定位可以采用TDOA 机制[11-12]。设置M+1 个观测站，其中有一个主站S0，M个副站Si，其坐标为(xi,yi,zi)，i=0,1,…,M。设电磁辐射由目标到达各站的时间为ti，各个副站到达时间与主站到达时间的时间差记为τi，将到达时间差乘光速C，可以得到各个副站到总站的距离差，即Δri=Cτi。

定位A、B点坐标的计算，分别求解下面方程组解，即可获得：

其中za=[x,y,z]T，li=(d2i-d20-Δri2)/2，di=对上述方程进行简化表示，即为：Gza=h。

TDOA 可以采用加权最小二乘（WLS）算法、泰勒级数法或Chan 算法求解。采用WLS 算法，令残差ξ=h-Gza，设权矩阵为W（选取原则视实际具体情况而定），求取za的估计使得残差的加权值最小，即：

令(h-Gza)TW(h-Gza)=f(za)，对其求za偏导，并令结果等于0，即：

由此可以得到za=(GTWG)-1GTWh，即为目标位置估计值。

当信噪比比较高时，TDOA 的测量误差服从高斯分布，则Chan 算法更加适合[13]。Chan 算法使用两步最大似然估计来计算目标位置，其优点就是计算量小。

1.2 姿态支持的图像理解

在获知姿态后，可以增强对图像的理解。

该方法实现姿态图像理解支持主要是根据视距与图像的相关性和先验知识，利用摄像头焦距及目标距离，基于先验知识，就可以推知识别目标在图像中所处的区域。

目标距离计算公式如下：

其中，f表示焦距，v表示像距，u表示物距，利用式（4）可以计算像的位置。h′表示像的高度，h表示物的高度，m为放大倍数，利用式（5）可以计算像的大小和面积。

根据VR 眼镜摄像头的镜片焦距，在进行场景识别过程中，对采集图像进行分割，结合姿态定位已知区域，并对其实施识别，分辨场景信息。

2 基于工服色彩的场景识别实现

工服是工业环境中的必要装备，具有保护和标识作用[14]，其颜色与工种是相关的，也在一定程度上反映了场景信息。下面结合上节内容介绍基于工服色彩的VR 眼镜场景识别，利用对VR 眼镜佩戴航空机务保障人员工服的颜色识别实现相关数据的推送。该文利用这种相关性，实现对应工种信息的推送。

2.1 VR眼镜选取

眼镜选取珑璟VR 眼镜（Lochn＠）。该眼镜基于LCE1801H 光导模组，支持使用MIPI 接口和RGB 接口，分辨率为800×480，模组上位机核心芯片RK3399可以使用双MIPI 接口、双ISP，单通道最大支持1 300万像素。眼镜可以与Android 移动终端互联，实现直接通信，且分辨率较高，显示效果好。

珑璟VR 眼镜实物如图2所示，该眼镜与定位器绑定。

图2 VR眼镜实物图

2.2 工服图像分割

VR 眼镜佩戴者的视觉关系如图3所示，其中左图为平视状态；右图为俯视或低头状态，扇形面积为VR 眼镜的视角，θ为VR 眼镜的视角角度；左图状态视角的中心线与水平线重合，在右图佩戴者低头状态下，视角中心线与水平线形成夹角，夹角为β。

图3 VR眼镜佩戴者的视觉关系

则在右图俯视情况下，眼镜佩戴者的工服会出现在阴影区域中（该区域是视角落在佩戴者身体的部分），则可计算在整个成像中工服出现的图像比例，该比例记为μ，其计算公式如式（6）：

依据μ，通过式（4）、（5）获得图高h，可以将预判的工服图像按照μ·h的长度分割出来。进一步对获得的工服图像进行色彩分析，并将比重最多的颜色作为工服颜色，查表获得该工服工种对应的数据（依据航空机务保障工服颜色与数据设置定义如表1）。

表1 工服颜色与数据设置定义表

2.3 定位系统设计

姿态识别室内定位中，UWB 基站使用ST 公司的32 位控制器STM32F103C8T6 作为主控，decaWave 公司的DWM1001 模块作为UWB 收发器（收发器如图4所示）。

图4 UWB收发器

该文采用6 个基站，实验的场景如图5所示，为一个大约7 m×5 m 的室内环境，室内的四周为墙体，并在其中圈定出一个直径为1 m 的圆形区域进行定位实验，设定基站A1坐标(0，0，1.3)，A2坐标(0，0，1.7)，B1坐标为(2，0，1.3)，B2坐标为(2，0，1.7)，C1坐标为(0，2，1.3)，C2坐标为(0，2，1.7)，单位为m。

图5 实验场景

为了提高测试精度，采用基于误差修正UWB 测距模型和分段参数的BLE 测距模型的融合定位，克服了UWB 精度不足的问题[15]。经测试，改进后的定位方法平均定位误差可达6.8 cm，基本满足了该文姿态识别的应用要求。经过BLE 改进前后单一测试点定位坐标三维散点图，如图6所示。

图6 定位坐标散点图

2.4 系统流程框架

系统方案流程如图7所示。

图7 应用系统方案流程

1）场景分析触发与绑定。为了启动识别，采用二维码标定设备机体。当佩戴者启动VR 眼镜开始现场工作后，该眼镜立即进入“待工”状态；通过凝视机体（粘贴有二维码），VR 眼镜识别出该二维码，完成“待工”到“工作”状态的切换。

2）姿态识别探测，获取包含工服图像。佩戴者使用眼镜时，系统持续测量眼镜的视觉角度，当低头角度达到阈值，立即采集此时的一张图像。

3）工服图像获取。根据VR 眼镜摄像头视角，地面高度为视距（1.2～1.8 m），按照2.2 节方法分割获得工服图像，继而进行图像色彩分析，得到比重最多的颜色，即为工服色。

4）数据匹配。预先建立工服颜色与工种数据信息对应关系的数据库。根据3），采用明氏距离计算RGB 颜色相似度，据此在数据库中查询得到与工服最匹配数据。

5）数据推送呈现。将上述得到的机务工种数据信息，呈现在眼镜上。

以紫色工服为例，对模拟发电机设备进行测试，效果如图8所示，正确识别工种类型并实现了数据推送显示。通过综合测试发现，该方法切实可行，可以实现不同工服颜色识别和数据推送。但是，由于受定位精度的影响，佩戴/动作习惯不规范，以及下肢运动的影响未考虑等因素，识别准确性、稳定性上还存在一定偏差（识别准确率在42%～65%之间）。未来可以通过增加参考点来识别更复杂的姿态，并采用精度更高的定位算法和设备提升方法效果。

图8 工服识别信息推送软件界面效果图

3 结 论

文中利用可穿戴设备与人体之间的密切关系，基于室内定位技术获得佩戴者的姿态，进而辅助场景识别，用以增强信息显示。随着可穿戴设备的不断普及，智能化程度越来越高，可以利用的信息也必将更加丰富（如：体征、体态、情感、习惯等），充分将这些信息与设备、场景相融合，可以进一步提高可穿戴设备的智能化，并改善用户使用体验，甚至在工业流程优化中发挥更重要的作用[16]。