基于图像检测技术的室内人员动态服装热阻系统设计

周志杨，刘光辉，杨 蕾，张娅琳，张钰敏

(西安建筑科技大学 信息与控制工程学院，西安 710055)

0 引言

据统计学分析，现代人一天中有80%～90%以上的时间都在室内度过，许多人对室内环境质量提出了更高的要求[1]。在环境质量研究中，环境的热舒适性是影响人员工作效率和生产力的最重要因素[2-3]。热舒适性反映室内人员对周围环境满意程度，由环境因素和个人因素决定，环境因素包括室内温度、相对湿度、风速和平均辐射温度，个人因素包括服装热阻和代谢率。环境因素通过温度/风速传感器等很容易测量，而个人对环境偏好不同，难以通过传感器准确测量人体参数以确定精确的热舒适性结果。在个人因素中，服装为人体提供隔热层，它是人体与环境之间的重要决定因素，因此服装热阻的估计对热舒适性有重要作用[4]。

为了准确估计服装热阻参数，文献[5]利用三维扫描仪测量人体在6种手臂姿势下,12个体段的衣下间隙体积及接触面积,测量服装各体段的局部热阻；文献[6]采用暖体假人“Newton”设备对服装热阻进行测量，提出在不影响防护服性能前提下，采取腋下、胸背部及大腿内侧开口设计来改善服装热湿舒适性；文献[7]从服装面积因子出发，分析计算面积的直接法和间接法之间的差异，提出三种服装面积因子测评方法。文献[8]利用热流密度测量仪测定人体部位的热流密度，计算服装局部热阻和总热阻；文献[9]对比了串行、全局和并行计算方法，提出设计防护服时要特别注意关键部位的设计。以上服装热阻估计以测量仪器为主，这些设备估计精度往往取决于多个局部热阻的测量，而且这些测量方法没有考虑到风速、人员行进速度的影响。而且在公共建筑环境中，人员服装信息通过调查问卷方式获得，受试者要多次填写调查问卷，估计过程复杂。

随着人工智能和机器视觉技术的迅速发展，各个领域逐渐用CCD等“软传感器”代替人眼视觉，并取得较好效果[10]，得到了广泛应用。由于计算机视觉技术可以实时获取大量有效信息，而且易于集成到控制系统中，因此，在工业化生产过程中，人们逐渐将视觉技术广泛用于智能化系统控制、测量等领域。文献[11]利用舰体几何结构特征进行航空遥感影像的直线段检测，结合聚类分析实现了舰船目标检测。文献[12]通过图像检测技术，对建筑空间图像中人群密度和人员分布进行检测，估计人员实时负荷，用于空调分级调控。文献[13]提出了一种基于视频图像的人体体温调节状态识别框架，实现空调系统个性化热舒适性控制。

图像检测技术为人员动态服装热阻的实时估计提供了新思路，因此提出采用CCD视觉传感器代替问卷调查，搭建了基于图像检测技术的动态服装热阻测量系统。通过摄像头采集图像以及应用图像处理技术，减少人为操作，提高测量的准确性。同时减少了测量过程中的人为误差，解除受试者繁重的调查工作。首先，采用计算机视觉技术，建立端到端的人员服装检测网络模型，利用摄像头采集的室内图像数据检测人员着衣量；然后，通过查表映射法对室内服装热阻进行初步估计，利用测量仪器测得风速、行走速度对服装热阻修正，得到动态服装热阻估计结果。

1 系统结构及原理

1.1 功能分析

在服装热阻估计过程中，受试者需要通过CCD相机的可视化分析和室内环境数据的实时监测，综合估计动态环境中的服装热阻值，当监测到室内人员时，算法能够满足系统的实时性要求，并通过可视化分析预测到服装穿着，为动态服装热阻的估计提供依据。因此在整个服装热阻系统的设计中，需要满足以下功能需求：1)算法的检测精度;2)模型加载;3)环境数据采集;4)算法实时性。

1.2 系统架构方法

基于服装检测模型的室内人员服装热阻系统架构原理图如图1所示，首先需要依据室内空气参数以及其他外部数据进行综合分析，再使用服装检测模型对CCD相机采集的图像进行特征提取，预测服装热阻，实现室内人员服装热阻系统，将预测值与美国采暖、制冷与空调工程师学会(ASHRAE)制定的不同服装搭配热阻分布情况进行对比，分析数据之间的关系。实验中用到的设备如表1所示。

图1 系统架构原理图

表1 测量仪器

室内人员服装热阻估计系统方法如图2所示，是根据国内/国外标准中关于服装热阻提供的数据信息，由单独的深度学习组合模型进行训练和预测，其主要功能包括：数据采集和标注、网络模型训练和模型预测和动态服装热阻(CLO)估计三部分。

图2 CCD动态服装热阻系统

在数据采集与标注中，使用麻省理工计算机科学和人工智能实验室研发的图像标注工具labelme进行样本标注。如图3所示为标注的图片工具和标注的掩模实例。标签类别分别为：外套、短袖、无袖背心、长袖、裙子、长裤和短裤。

图3 数据标注

2 系统硬件设计

该系统设计应用EAIDK310开发板进行模型硬件部署，基于嵌入式深度学习框架Tengine进行编写，该框架支持tensorflow模型文件，部署流程如图4所示。

图4 部署流程图

基于EAIDK310的硬件部署运行流程图描述如下。

1)使用tensorflow深度学习框架语言训练网络模型，并保存其模型结构和网络参数，文件格式为.pth、.pt或.pkl格式；模型优化算法选择Adam。设当前收敛过程中迭代次数为t，Adam优化算法如表2所示。

表2 Adam运算表

其中：ε为步长；ρ1和ρ2为矩估计的指数衰减率，在[0,1)内取值；初始化一阶和二阶矩变量s=0，r=0，初始化时间步t=0；δ取值10-8防止分母为0，发生异常;

2)进行深度学习模型文件格式转换，将上一步骤所得模型文件转换为ONNX文件格式。ONNX(Open Neural Network Exchange)用于表示深度学习模型的标准，使模型在不同框架之间进行转移；

3)运行官方提供Tengine模型转换工具将ONNX模型文件转换为tmfile文件格式；

4)完成模型文件转换之后，在EAIDK310开发板烧录Linux系统，并配置相关程序开发环境。运用OpenCV对输入图片做图像预处理，运行Tengine硬件加速库调用深度学习模型文件(tmfile文件)，得到网络模型运行结果；

5)最后根据模型运行结果数据，在服装类别检测任务中检测着装类别并进行边界框回归操作。

3 系统软件设计

3.1 改进的Mask RCNN网络设计

FPN[15]可以输出每个阶段的神经网络层级特征图用于预测，但是FPN网络的池化下采样操作会造成图像分辨率降低，丢失服装的部分信息。空洞卷积[16]可以通过在标准卷积核中添加空洞，即在空洞位置添加0，达到扩大卷积核尺度，增大感受野的目的，且不增加参数运算量。因此，构建了一个AFPN模块，利用C1～C4阶段的不同空洞率的空洞卷积核对不同尺寸特征进行重采样，揭示图像的上下文信息。在空洞卷积尾部串联空间金字塔结构[17]，将不同大小的特征图映射为相同维度的空间信息，然后融入图像表示中，以更好地完成特征提取任务。

空洞卷积定义为:

(1)

式中,w表示卷积核；K表示卷积核尺寸；w[k]表示大小为k的卷积核；a[i]表示第i个输入值；*l表示空洞卷积运算；l表示空洞率，描述卷积核处理数据时采样的步幅，通过调整l即可调整感受野大小。

不同空洞率下感受野的变化如图5所示。图中5(a)表示标准的3×3卷积，感受野为3×3；图5(b)表示空洞率为2的3×3扩张卷积，感受野为7×7；图5(c)表示空洞率为4的3×3扩张卷积，其感受野可达15×15。

图5 不同空洞率下感受野的变化

RPN网络用于生成候选区域，回归候选框的位置坐标，区分出前景与背景，并输出得分信息。特征图经过基于ResNet-101的AFPN网络提取后，通过共享卷积操作，得到统一维度的特征图[18]。特征图中的每一个锚点，依据像素点按长宽比为1：1、1：2、2：1生成锚框，框的维度大小分别设置为[32，32]、[64，64]、[128，128]、[256，256]、[512，512]。因此，每个像素点对应15个锚框，锚框的坐标与原图对应。然后，RPN网络输出的候选框经过ROIAlign处理，得到固定大小尺寸的候选目标特征图，ROI Align使用双线性插值的方式进行池化操作，解决传统ROI池化中两次取整操作导致区域不匹配的问题。最后使用FCN全连接网络对候选目标特征图进行服装分类和边界框预测，mask分支用于检测的目标生成掩膜。服装检测网络的总损失函数为式(2)：

L=Lcls+Lbox+Lmask

(2)

(1-pi)(1-pi*)]

(3)

(4)

(5)

其中:R是smooth函数，如式(6)所示。

(6)

式中，i表示锚框索引，pi是候选框包含服装的预测概率，pi*为真值标签，ti为预测边界框的偏移量，ti*为锚框相对于真值框的实际偏移量，Ncls为总的锚点框的数量，Nreg是特征图的大小。Lcls和Lreg为分类和回归的损失函数。mask分支的损失Lmask采用式(5)平均二进制交叉熵损失，cls_k表示类别数。

图6 服装检测网络结构图

服装检测网络结构如图6所示。其中，C1～C5表示ResNet101特征提取的五个阶段，每个阶段特征图尺寸分别为256×256、128×128、64×64、32×32、16×16；P2～P4表示1×1卷积和2倍上采样加和融合后的特征图，P5是在C5通过1×1卷积改变通道数的特征信息，P6是在P5上用步长为2的最大池化下采样得到的结果[13]。在图6中，使用AFPN会产生多个特征图[P2，P3，P4，P5，P6]，需要从多个特征图中确定一个特征图用来选定候选区域(ROI)，这里ROI的选择依据以下式(7)：

(7)

其中:w，h代表选定候选区域的宽和高，224表示预训练ImageNet图片的大小，即224×224，k表示面积为w×h的ROI所应该在的层级。这样做会使大尺寸的候选区域从低层特征图提取，有利于大目标检测，小尺寸的候选区域从高层特征图提取，有利于检测小目标。修正层用于候选区域固定大小尺寸，然后通过连接函数得到候选目标特征图，送入到预测层进行分类、回归和mask预测。

在网络模型训练阶段，使用改进的Mask RCNN网络架构进行服装检测，将训练的模型部署在硬件中，以进行室内人员服装类别的实时检测。

3.2 查表映射法

针对改进的Mask RCNN网络模型识别的服装类别，并结合ASHRAE 55[19]和ISO 9920[20]标准，如表3所示这些单件服装的服装热阻值基本情况。首先，通过服装识别网络模型得到人员着装的分类结果；然后结合表3，通过查表映射的方式计算当前人员的服装热阻。

表3 单件服装热阻值Iclu(clo)

成套衣服的服装热阻通过以下式(8)计算：

(8)

其中:Iclu,i表示第i件单件服装的热阻值，单位为clo(m2·℃/W)，Icl表示成套服装的静态热阻值，单位为clo(m2·℃/W)。

3.3 修正过程实现

服装热阻修正的具体操作如图7所示。首先，开启系统后，通过服装检测模型识别服装类别，查表映射计算得到静态热阻Icl；其次，通过风速测量仪和便携式可穿戴设备Fitbit对人员附近风速var和行进速度vw进行测量，修正静态热阻参数；最后，得到动态环境的服装热阻值(CLO)。

针对夏季工况人员不同的穿着搭配，参数修正存在差异。这里主要研究轻质服装(0 clo

其中轻质服装的动态热阻估计，采用文献[21]推导的式(9)进行服装热阻修正：

IT,r=Icl·exp[-0.224·(var-0.15)+0.023 4·

(9)

式中,IT,r代表修正后的动态服装热阻，Icl代表静态热阻，var代表人附近的空气流速，vw代表人行走的速度。var为0.15～4 m/s，vw为0～1.2 m/s。

对于服装热阻(Icl)大于0.6且小于1.4的正常工作服，依据ISO 9920标准要求[20]，修正后的服装总热阻应按下式计算：

IT,r=Icl·exp[-0.281·(var-0.15)+

(10)

式中,IT,r代表修正后的动态服装热阻，Icl代表静态热阻，var代表人附近的空气流速，vw代表人行走的速度。var为0.15～3.5 m/s，vw为0～1.2 m/s。

图7 服装热阻修正流程图

4 应用实例及结果分析

选用开源NTU-RGB+B120[22]数据集和构建西安某高校办公室内采集的部分数据作为训练样本，从NTU-RGB+D 120的帧序列和自建数据中随机选择服装搭配存在差异的图片进行数据标注，然后用数据增强改变图片亮度、加噪声、加随机点、平移、翻转等方式扩充训练样本数量，增加训练样本多样性，以避免过拟合，同时提升模型性能。最终构建5380张图片用于模型训练，为了测试模型性能从原数据集选取图片进行测试。

4.1 改进的Mask RCNN网络实验结果

改进的Mask RCNN服装检测模型训练和测试的服务器配置如下：Ubuntu 16.04，两块GPU，GPU型号2080Ti以及12G显存，环境配置为CUDA10.0 +anaconda3 +python3 + tensorflow-gpu 1.13.1。网络初始训练学习率为1e-3，batch size=2，epochs=1 000。

图8 服装检测和静态热阻预测结果

服装检测模型在训练阶段需计算预测结果和标注值间的损失，并进行反向传播优化模型参数。改进Mask RCNN模型人员静态服装热阻在线估计的四组结果如图8所示，其中图片主要来自实验室场景，虚线框和其中的色块是检测和分割的结果，虚线框上的类别名称是分类的结果。每类服装的识别精度结果如表4所示。由表4可知，改进Mask RCNN网络模型能提高服装分类识别精度，证明了特征提取阶段的AFCN模块中融入空洞卷积操作的有效性。

表4 服装识别准确度 %

算法的实时性进行对比如表5所示，改进Mask RCNN网络和原始方法在单帧图像检测时间一样。虽然改进Mask RCNN服装检测模型的精度较高，但实时性方面没有提升。

表5 算法实时性对比

4.2 动态服装热阻估计结果

为了估计动态服装热阻，在实际环境进行了实验，四名人员穿着分别与图8相对应，测量人员周围的空气流速和人员移动速度，估算并得到的动态热阻值如表6所示。

表6 动态热阻和静态热阻结果对比

由表6分析可知，随着人员着衣量的增多，动态热阻和静态热阻之间的偏差值△I逐渐增大，说明在动态环境中，需要考虑风速、人员行进速度对服装热阻估计的影响，尤其在正常工作服(0.6 clo

5 结束语

采用CCD相机替代问卷调查，结合风速测量仪和Fitbit等设备，应用EAIDK310开发板进行模型硬件部署，实现了CCD动态服装热阻系统设计。运用图像检测技术识别人员穿着信息，应用查表映射计算得到服装热阻的初步估计，然后，利用测量仪器测得风速、行走速度对服装热阻修正，得到动态服装热阻估计结果。

在服装热阻估计过程中，改进Mask RCNN网络识别精度虽高，但是实时性较差，而且在硬件部署方面，由于长时间运行，芯片温度比较高。因此，后期工作要提高网络实时性，使模型更轻量化，方便硬件部署，避免系统过热。