基于视觉的室内吸烟行为数据采集与分析

甘剑

(湖南中烟工业有限责任公司信息中心 湖南长沙 410019)

随着“互联网+”“大数据”“新零售”等技术概念的推动，运用新技术对吸烟人行为进行研究分析，对于卷烟企业的发展具有重要价值。目前的吸烟行为数据采集和研究，大多数以抽烟面谈[1]、问卷调查[2]或现场仪器测试[3]等人工采集方式为主。随着互联网和电子支付手段的兴起，使得零售终端POS 数据[4]、产品扫码数据[5]、网络评论数据[6]等成为一种新的消费行为信息获取渠道。

这些人工分析方式，成本较高且耗时，得到的数据多为非自然条件下的实验性行为数据，受限于调查样本规模，容易带来数据的地域偏差和实验者偏差，并且在数据时效性方面也具有局限性，不能满足动态市场条件下烟草企业精益生产和精准营销的决策需求。

为此，该文针对吸烟人群最集中的吸烟室场景，基于深度学习视觉识别技术，提出一种基于视觉的吸烟行为分析方法，设计了一种基于视觉的吸烟行为数据采集分析系统，以期在自然状态下，实现对吸烟室内吸烟人的行为数据的自动化采集和分析，从而为烟草企业卷烟设计优化、精准营销决策提供动态实时的数据支持。

1 基于视觉的吸烟行为分析方法

1.1 吸烟室场景下的吸烟行为数据维度

随着文明吸烟行为的倡导和国家控烟政策的实施，在高铁、机场、商场、办公楼等公共场所建立了大量吸烟室。当吸烟人进入吸烟室后，在消费“一支烟”时间里，重点关注吸烟人抽了什么品牌的卷烟、抽烟的行为习惯如何、抽烟时的情绪反应如何以及他是什么类型的人。

针对这些信息，该文采用在吸烟室合适位置部署智能图像采集设备的方式，获取吸烟人从出现、吸烟到离开的全过程现场图像信息，并进行实时的图像识别分析来获取。这种基于视觉的数据采集方式，对于吸烟人是全程无感的，获得的是自然条件下吸烟人的多维度行为数据。

如图1所示，吸烟室场景中的吸烟行为数据包括6个维度，即吸烟人的外观特征、卷烟消费品牌、抽吸行为习惯、抽吸情绪状态、地理位置信息、抽吸时间信息。

图1 吸烟人6维吸烟行为数据集合示意图

其中，外观特征包括性别、年龄、着装类型；卷烟消费品牌包括品牌名称、规格、厂家等数据；抽吸行为习惯包括单口抽吸时长，单支烟抽吸次数及时长等；情绪状态包括人脸基础表情、放松度等；地理位置则包括吸烟室所在场所、城市；抽吸时间信息包括开始时间、离开时间等。通过上述6个维度行为数据的不断积累和分析，可以对吸烟室场景下的吸烟人行为进行精确描述，进而为烟草新品研发、产品销售和用户行为研究等带来实际价值。

1.2 基于视觉的吸烟行为分析流程

基于视觉的吸烟行为分析的过程如图2 所示，主要包括视频图像数据获取、吸烟人行为图像识别、吸烟人行为数据综合分析和云端大数据分析和应用4 个步骤。

图2 基于视觉的吸烟行为数据采集分析流程

1.2.1 视频图像数据获取

在吸烟室部署智能图像采集设备，持续实时获取吸烟室内的吸烟人行为图像数据。

1.2.2 吸烟人行为图像智能识别

图像数据的本地实时处理和识别计算，通过人体检测算法，进行吸烟人到达判断，当检测到有吸烟人出现在采集区域后，自动分析和识别吸烟人行为，包括吸烟人的人脸检测、人体姿态估计、烟包品牌识别、抽吸行为识别、人脸情绪识别等，产生识别结果数据。

1.2.3 吸烟人行为数据综合分析

结合时间、地点、空间位置关系和吸烟人特征，对上述各种图像识别结果进行关联分析和聚合计算，形成特定吸烟人或吸烟人群体的行为数据集。

1.2.4 云端数据留存和大数据分析应用

各个吸烟室的智能设备将识别的吸烟人行为数据上报云端服务平台，由云端计算系统进行卷烟消费行为数据的综合分析、过滤和分类，最终实现吸烟行为大数据统计分析和应用。

2 基于深度学习的吸烟行为图像识别

在基于视觉的行为分析过程中，吸烟人行为图像的智能识别是核心和关键[7]。针对摄像头获取的吸烟室场景实时图像，智能识别的目标包括吸烟人外观特征（年龄、性别和着装）、吸烟人姿态动作[8]（人体关键点、吸烟动作）、吸烟过程中露出的烟包品牌，以及吸烟过程中的表情变化多个关键识别任务，这是一个典型的多任务图像识别问题，下面重点介绍吸烟行为识别和卷烟品牌识别实现方法。

2.1 吸烟人抽吸行为识别

针对吸烟人的卷烟抽吸行为识别，自行采集建立了吸烟人抽吸香烟动作的图片数据集，并进行抽吸行为的图片标注，分为抽烟和没抽烟2 类标签，共4 800张图片；然后基于迁移学习方法，以VGG-16 模型[9]为基础，构建吸烟行为识别模型，基于自建的吸烟行为数据集进行模型训练，重点针对用户的抽吸香烟动作进行识别。如图3所示，在具体实现时，截取吸烟人嘴部附近区域的图像，然后应用训练的深度网络模型进行推理计算，在实时的人体姿态检测数据基础上，综合所检测的吸烟人手部和脸部位置关系[10]，获得当前是否正在抽烟的判断结果。

图3 抽吸行为识别过程

2.2 卷烟品牌图像识别

卷烟品牌识别主要识别判断当前图像中是否存在香烟烟盒，并输出其卷烟品牌类别和具体位置[11]。针对卷烟烟包这类小目标的检测识别，在YOLOv3 算法基础上进行深度迁移学习，设计烟包品牌识别模型。YOLOv3 是一种单阶段实时目标检测算法，以回归的方式对目标进行检测，输入图像后，直接在图像的多个位置上回归出目标的位置以及其分类类别，其网络结构由骨架网络Darknet-53 和检测网络两部分组成，分别用作特征提取及多尺度预测。

模型采用自行设计采集的卷烟烟包品牌数据集，数据集包括两个部分：一部分在理想光线环境下通过数码相机拍摄的烟盒图片，与真实吸烟室场景背景图片进行模拟叠加合成，形成训练样本，每类烟包品牌1 000张图片，共10类烟包；另一部分采用真实部署的设备实际拍摄的现场图像，每类品牌约500 张图片，对前者进行补充。

3 基于视觉的室内吸烟行为分析系统设计

进一步设计和实现了基于视觉的吸烟室内吸烟行为感知分析系统。系统基于分层设计思想，采用云+端的总体架构，分为数据感知层、数据服务层、数据应用层三个层次，表现为智能终端系统、云端服务平台和数据应用系统三大功能系统，具体如图4所示。

图4 吸烟室内吸烟行为分析系统总体架构

3.1 数据感知层

智能终端系统整个系统的前端基础，通过在吸烟室现场部署高清摄像头，获取吸烟室场景下的吸烟人图像数据，同时采用边缘计算模块，对非结构化的实时视频图像进行智能识别，抽取、关联和聚合形成结构化吸烟人吸烟行为数据。

3.2 数据服务层

云端服务平台是整个系统的数据和服务中心，面向烟草营销、生产和研发等对吸烟行为数据的要求，提供的数据存储、OLAP 建模分析、消息中间件、云端计算、系统管理等相关基础Web应用服务，实现吸烟行为大数据的汇总、存储、建模和分析输出。

3.3 数据应用层

数据应用系统面向最终烟草企业用户提供的数据应用服务界面，包括吸烟室消费行为大数据的可视化展示，以及对接烟草企业的应用业务系统，例如：营销辅助决策和相关部门业务系统，通过调用吸烟者行为数据服务，实现品牌关联分析、吸烟人群体分析、消费行为分析等，最终形成品牌数据的实时状态，为烟草产品研发以及营销提供数据基础。

4 方法验证与系统应用

首先，对基于深度学习的吸烟人行为图像识别算法性能进行了实验验证。通过在现场运行系统获取识别数据，采用系统识别和人工判别比对的方式，分别对吸烟人外观特征识别、抽吸行为识别和卷烟品牌识别的有效性进行分析。

实验结果统计见表1，可以看出在吸烟室场景下，基于深度迁移学习的行为图像识别方法对抽吸动作的识别具有较高能力，识别率在94.5%，对烟包品牌的识别准确率为91%，总体识别准确率在85%以上，具有比较理想的识别效果。

表1 吸烟行为图像识别实验结果

具体的系统实现如图5 所示。其中，图5（a）为智能终端系统的硬件平台和软件系统界面，可以综合获取吸烟人的外观特征、吸烟行为、卷烟品牌等特征数据；图5（b）为卷烟消费行为大数据可视化系统软件的运行界面，该系统部署在湖南中烟共享吸烟室内，实现了烟客吸烟室内吸烟者行为数据的可视化分析展现，以及运行状态的可视化监测。

图5 基于视觉的吸烟室行为分析系统建设实现

5 结语

通过综合应用基于深度学习的智能图像识别技术，以吸烟室为研究场景，提出一种基于视觉的吸烟行为智能分析方法，设计并实现了基于视觉的吸烟室内吸烟行为数据采集和分析系统，该系统于在湖南中烟主导的共享吸烟室项目中得到实践应用，现场应用结果表明：在3 m识别距离范围内，系统支持10种烟包品牌的智能识别，并能在自然状态下对吸烟人的外观特征、抽吸行为、用户情绪等数据的进行自动化的感知和识别，总体识别准确率在85%以上，具有较理想的识别效果。基于云端服务系统，能够综合形成具有时空特点的吸烟行为大数据集合，并通过吸烟行为大数据可视化系统进行综合呈现，是烟草行业吸烟行为数据采集和分析的一种创新尝试，具有较好的现实价值和实践意义。