基于人体姿态估计的用户偏好分析系统

刘慧娟，赵东明

(1.天津广播影视职业学院 天津300112；2.中国移动通信集团天津有限公司 天津300020)

0 引 言

在商场或店铺做商品营销时，店内营业人员大多是在店外进行商品展示或随机下发消息向客户推荐，并不能根据客户在厅店内的姿态变化，来确定用户是否对商品感兴趣，其结果是工作人员往往在做无用功，并没有吸引到潜在的客户，从而失去了很多商机。传统的营销方式还是基于问询、解答的模式，缺乏新技术应用下针对性强、智能化的业务新方式。为了促进商品销售，提升厅店人员的工作效率和吸引更多的客户，可以基于人体姿态的分析辅助厅店人员进行场景化营销和个性化推荐。本文基于人体姿态估计开发了用户偏好分析系统，重点解决厅店中用户偏好分析不准确造成的商机流失问题。

随着人工智能的技术成熟，卷积神经网络(CNN)技术在计算机视觉方面的应用发展速度极快，人体姿态估计在行为估计、人机交互、异常检测等方面有着广阔的应用前景。该系统将人体姿态估计技术引入到厅店零售环节，通过对用户肢体形态进行分析，判断用户对商品的偏好及情绪，进而辅助厅店人员进行场景化接触营销和个性化推荐，对厅店运营效率提升很有帮助。

1 人体姿态估计

基于人体姿态的估计进行客户偏好分析，关键在于人体特征点的定位。其核心是人体骨架模型由肢体上的特征点(关节)决定，与人脸上的五官特征点定位非常相似(图1)。在样本图片上标注人体骨架点，可用于训练CNN模型，从而进行特征点的定位。

为解决上述问题，本文提供了一种基于人体姿态估计的用户偏好分析和推荐方法，核心流程包括：①关节点位置数据采样；②计算特征向量；③关键帧提取；④模型训练与测试，根据测试结果对用户喜好进行分类；⑤根据喜好分类结果，进行个性化的推荐服务。

图1 人体姿态示意图Fig.1 Human body posture diagram

1.1 关节点位置数据采样

以监控系统拍摄的人体图像为依据(图1)，从中提取出图像中每帧人体关节点位置坐标，即根据监控系统拍摄到的图像，对图像中每帧人体进行姿态估计，得到人体头部、脖颈、左肩、右肩、左手肘、右手肘、左手腕、右手腕、尾椎、左臀部、右臀部、左膝盖、右膝盖、左脚踝和右脚踝这15个关节点的位置坐标。

图2 人体形体关键点采样Fig.2 Key point sampling of human posture

1.2 计算特征向量

利用提取的各关节点 3D坐标计算人体关节点之间的角度作为人体动作识别的特征，从一帧图像的关节位置中计算出的15个角度组成的特征向量为：

1.3 关键帧提取

在一个动作视频序列中为了概括反映该动作的图像帧，需要体现动作视频中具有代表意义的关键姿态。因此关键帧的提取能够最大限度地使该行为区别于其他类型的行为，同时减少数据存储空间的使用。但是考虑到动作执行、动作速率不一致问题，采用 K-均值聚类算法进行聚类，提取出相似数据的聚类中心，然后进行关键帧提取。

具体提取步骤如下：

②计算每一个样本(i)x到每一个聚类质心的距离最小值，D取最小值时，表示将其归为 j类，即

进行聚类前，K-means算法需要规定聚类个数，且初始聚类中心选取具有随机性，如数据集中的动作(摆手、摇头、试戴等)，以及这些动作幅度大小都需要予以统一的规定。完成关键帧提取后，形成可识别的客户偏好基础特征。

2 客户偏好分析

2.1 用户喜好的分类

人体姿态识别过程包括对数据的预处理、构造3D卷积神经网络和分类训练过程，最终输出结果。算法流程图如图3所示。

图3 基于人体姿态估计的客户偏好分析流程图Fig.3 Customer preference analysis based on human posture estimation

①在预处理阶段，将提取的关键帧图像大小统一到120×160像素，得到统一大小尺寸下的图像；

②对图像进行均分，分成 5份，其中第 1～4份为训练集，第5份作为测试集；

③将训练集数据输入到卷积神经网络中进行模型训练，得到表现好的模型，然后将测试集数据输入到模型中得到测试分类结果。

根据聚类算法提前约定的规则，将测试结果划分到对应的类中，从而判断用户行为。基于人体姿态估计，首先基于 CNN来进行客户对商品感兴趣程度的分类，再基于精确肢体(如手部、头部)的动作捕捉，可以进一步推断用户对商品的喜好，是不感兴趣的摇头、摆手以及犹豫不决地在厅店内驻留，还是感兴趣试戴，精准把控客户对商品的感知。

2.2 根据喜好进行个性化的推荐服务

面向厅店的人体姿态分析和推荐系统，基于高清摄像头和人工智能图像处理程序，利用 CNN卷积神经网络不断优化识别模型，结合行为、形态、姿态的估计算法，判别客户对某一类商品的偏好情绪，通过客户对商品的喜好程度，辅助厅店人员进行场景化营销和个性化推荐，从而提升厅店的零售转化率和客户体验价值。整体流程如图4所示。

图4 客户偏好分析的业务推荐流程Fig.4 Business recommendation process for customer preference analysis

厅店高清摄像头采集店内顾客的图像后，立即根据姿态进行估计，根据模型输出的结果判断其所处的分类结果，从而得出用户对商品的喜好程度。系统将客户的喜好推断结果实时地传送到厅店人员的手机上，厅店人员收到消息后，立刻行动。厅店人员根据用户对商品的喜好程度结果，先是进行主动式的某一商品介绍，然后利用实物或者是手持终端设备为用户进行详细的商品展示。最后，根据客户对商品的反应，注册客户的用户资料，录入厅店的会员库，为客户做后续的推荐服务。

3 应用与实践

基于人体姿态估计的客户偏好分析系统能够有效减少客户特征点的数量级，把人体行为转换成十几维的特征点，降低了模型输入的复杂度，完成快速的算法输出，便于厅店人员做出实时的业务推荐举措。在下一阶段工作中，将拓展人体姿态分析模型，将客户表情、客户动作识别功能纳入智慧营销，有效拓展应用范围。

该系统在保护用户隐私的前提下，能够完成智能化的业务推荐，提高了厅店人员的工作效率，并且能够帮助厅店人员挖掘潜在的客户，提高经济效益，有极大的实用价值。其立足天津移动营销进行了使用推广，已应用于天津移动两个智慧营业厅，支撑营销人员基于客户实时感知场景进行现场营销。验证表明可以有效提升现场营销效率，节省客户选购时间，提升了产品推荐成功率，在新零售背景下、流动式营销场景下，都有极大应用潜力。

4 结 语

本文开发了一套面向厅店的人体姿态分析和推荐系统，基于高清摄像头和人工智能图像处理程序。利用 CNN卷积神经网络不断优化识别模型，结合行为、形态、姿态的估计算法，判别出客户对某一类商品的偏好情绪，通过客户对商品的喜好程度，辅助厅店人员进行场景化营销和个性化推荐，从而提升厅店的零售转化率和客户体验价值。