分层式三维室内地图分类方法及更新机制

冯光升 张晓雪 王慧强 李冰洋 袁泉 陈诗军 陈大伟

摘 要：针对现有的地图更新方法，在室内地图环境下的效果并不理想的问题，提出了一种分层式的室内地图更新方法。首先以室内物体的活动性为参数，然后进行层次的划分来减少更新数据的数量，最后利用卷积神经网络（CNN）对室内数据进行归属层次的判定。实验结果表明，

与版本式更新方法相比，所提算法的更新时间降低了27个百分点;与增量式更新方法相比，其更新时间在更新项大于100后逐渐降低。与增量式更新方法相比更新包大小降低了6.2个百分点，且在数据项小于200之前其更新包一直小于版本式更新方法。所提方法可以显著提高室内地图的更新效率。

与没有进行分层的增量式更新方法和版本式更新方法相比此处是与一种方法比较，还是两种方法进行比较吧？请明确。应该是两种方法吧，但平均值是怎么计算的？这样表达不太准确，请将值分别表示出来，即应该是两个值，而不应该用平均值来表述。英文摘要处的表述也请作相应修改，更新时间平均降低了23个百分点，且数据量越大效果越明显。

关键词：室内地图;地图更新方法;分层式更新;卷积神经网络;增量式更新;版本式更新

中图分类号： TP391

文献标志码：A

Abstract： For the fact that existing map updating methods are not good at map updating in indoor map environments， a hierarchical indoor map updating method was proposed. Firstly， the activity of indoor objects was taken as a parameter. Then， the division of hierarchy was performed to reduce the amount of updated data. Finally， a Convolutional Neural Network （CNN） was used to determine the attribution level of indoor data in network. The experimental results show that compared with the version update method， the update time of the proposed method is reduced by 27 percentage points， and the update time is gradually reduced compared with the incremental update method after the update item number is greater than 100. Compared with the incremental update method， the update package size of the proposed method is reduced by 6.2 percentage points， and its update package is always smaller than that of the version update method before the data item number is less than 200. Therefore， the proposed method can significantly improve the updating efficiency of indoor maps.

Key words： indoor map; map updating method; hierarchical updating; Convolutional Neural Network （CNN）; incremental update; version update

0 引言

地图的现势性（Currency）是衡量其性能重要指标之一，所谓现势性是指地图所提供的地理空间信息要尽可能地反映当前最新的情况[1]，而提升地图的现势性的关键在于提高地图的更新频率及效率。

不同于室外地图，室外地形变化较少，交通道路和建筑的刷新频率通常以月或者年计算;而室内地图的实体要素复杂多变

此处不通顺，前面的是否应该为“室内地图”？

把这一整句话进行修改。室外地形变化较少，交通道路和建筑的刷新频率通常以月或者年计算。与室外地图不同，室内地图的实体要素复杂多变。。。

室外地形變化较少，交通道路和建筑的刷新频率通常以月或者年计算。与室外地图不同，室内地图的实体要素复杂多变

并且其变化频率更加频繁，例如大型超市通常以星期为单位改变货架布局，而大型会展中心以天为单位改变室内布局，频繁的场景改变和数以千万计的室内地图场景为室内地图更新带来了挑战。与此同时，不仅是空间上发生变化，室内地图中还承载着丰富的活动资讯和相关推介，这种地图的附带信息则是以小时为单位变化的，因此，如何快速、有效地更新室内地图是一个具有研究价值的问题。

目前室外地图更新方式多参照导航更新的方式进行，包括增量式更新与版本式更新[2-4]。版本式更新需要将地图内所有要素进行重新绘制，期间经过变化信息的采集、制作、检验到发布，整个周期时间较长，更新效率也低，成本高;而增量式更新则对地图进行增量式分析，然后对变化的部分进行相应的补测，获取新的数据，绘制生成增量包，发布后完成更新操作。但是对于室内地图如果采用增量式更新，在进行增量分析式其状态不仅是增加、删除、修改要素，还要体现属性变化，而且由于其要素众多，增量分析的过程也繁琐且周期长;若采用版本式更新，当室内地图仅仅是改变了一些属性信息或者其承载的相关活动信息时，而将其所有要素都更新，造成了大量不必要的资源浪费并且成本高[5-7]。

综上所述，为了保证室内地图的更新效率以及用户体验，本课题我们提出了一种分层式的室内地图更新方法，将原始室内地图根据室内物体的可运动性进行分层处理，用来解决对于具要素多、且变化频繁的室内场景的更新问题此句不通顺用来解决要素多且变化频繁的室内场景的更新问题，来保证室内地图的现势性。

1 分层式三维室内地图更新方法

在现实生活中，用户对室内地图的要求是范围广、内容详细、现势性高。对此为了提升室内地图的现势性，本文提出了分层式三维室内地图更新的方法，目的是以传输最小数据量或者是最快的速度更新用户的数据。

从用户的角度看室内地图，主要包括三维室内物体、室内房屋框架、一些兴趣点（Point of Interest， POI）（例如防火栓、灭火器、安全出口等），还有以文本展示的信息（例如商家优惠信息、超市哪些物品缺货等）。根据室内地图这些要素的表达形式，本文提出了一种分层模型，将具有相同性质的物体提取至一个图层，在以后更新地图时，只需要更新变动物体所在的图层，减少更新地图的代价。将室内地图分为5层，各层的详细定义如下。

1）基础架构层。基础架构层为整个室内地图的底层，也是整个室内环境的基础，主要包括建筑的墙面、门窗、各个房间直接的间隔板，在室内环境中基本上处于不会移动的地位。主要包括建筑的墙面、门窗、各个房间直接的间隔板等要素，在室内环境中基本上不会发生移动。此处语句不通顺，请作相应调整

2）稳定层。稳定层是整个室内的地图的第二层，其包含的物体主要是例如展厅内货架、大型家具等物体。

3）活动层。活动层是整个室内地图的第三层，也是采用地图分层思想的主要原因，该层主要以小型、频繁移动的家具为主，例如带滑轮的工作椅、简易折叠小家具等物品。

4）POI层。该层是由安全出口、消火栓、灭火器等物体构成，在地图上仅以一个点体现。

5）信息层。信息层体现的主要是室内场景的一些信息，例如商场的打折信息、机场的航班信息等。

利用分类方法将室内地图按照以上五种层次进行分层处理，为室内元素添加所在图层标签，然后根据元素的标签，对其进行逐层输出，生成更新包。将分层地图与原地图进行匹配，完成地图更新。其流程如图1所示。

2 室内要素分层方法

在本文的分层任务中，后两层POI层是以点的形式体现，信息层是以文字的形式体现出来，这些都无需判断，可直接进行更新。本文主要是解决在大规模且具有遮挡的室内场景中提取出物体并分析出其所属分层（前三层）的任务[8-9]。因数据源为二维图像，本文根据分类好的二维图像和其具体坐标绘制三维室内地图，所以训练数据和测试数据均为二维图像。传统分类方法是对物体进行手工提取特征值然后加入分类器的对物体分类;然而人工设计的特征提取方法存在局限性：这意味着它们泛化能力差，且劳动力成本高。本文利用在大规模数据集ImageNet上预训练的卷积神经网络（Convolutional Neural Network， CNN）模型提取物体的初步特征，然后通过主成分分析法对特征降维，然后利用支持向量机（Support Vector Machine， SVM）分类器对物体进行分类分层处理[10-11]。

本文使用的预训练模型是AlexNet模型，该模型总共包括910层：第1层是输入层，第2～6层都是卷积层，第7～9层为全连接层，第10层为输出层原稿的图2中没有第10层，现在补充出来了，是否符合表达？请明确。回复：可以这么修改，对，其拓扑结构如图2所示。

对于第2～6层卷积层，不仅是传统的单层卷积结构，而是一种卷积过程，每次卷积过程都包括一次卷积操作和一次下采样（Subsampling）操作，中间适当地插入一些函数来控制数值的范围，以便后续的循环计算。第2、3层的卷积部分由卷积阶段、激活函数、下采样阶段以及局部响应归一化部分阶段卷积过程组成[12-13]，如以Ali（p，q）表示第l层网络上卷积操作过的第i个特征响应中间值矩阵，经过激活函数后即得到l+1层的第i个输出矩阵Xl+1i（p，q），以Yij（u，v）表示l层连接这l+1层的第j个卷积核。首先由式（1）计算到l层图像域在各个卷积核上二维卷积后的值：

Ai+1j（p，q）=∑li=1∑Du，v=1Ylj（u，v）xli（p-u，q-v）+blj（1）此处bllj（l、j为上标和下标）是何意？请明确。书写正确吗？参数说明中没有体现出来，请补充。回复：公式错了 ，应该是blj。其中l表示层数，j表示第j个卷积核

其中blj（l表示层数， j表示第j个卷积核）为偏置量，然后将上述矩阵经过激活函数得到第l+1层的输出值，如式（2）：

第2层的卷积结构包含輸出是96个27×27特征映射图，其卷积核的大小是11×11，卷积步长是4，下采样的步长为2。第3层的输出的是256个13×13特征映射图，其卷积核的大小是5×5，卷积步长是1。第4、5层是卷积过程，因为输入的尺寸差别，特征的数据量已经较少，取消了下采样层，且这两层的输出均为384个13×13特征映射图，卷积内核大小为3×3，步长为1。第6层为由卷积阶段、激活函数、下采样阶段以及局部响应归一化部分阶段组成的卷积运算，它的最终输出是56个6×6的特征映射图。最后三第7～9层是全连接层，它们的神经元个数分别为4096、4096和1000，并且在最后一层中加入了Softmax分类器，输出最终分类结果及概率。

本实验采用的数据集是MIT67 Indoor Scene dataset。该数据集是麻省理工采集并发布的有67个不同室内类别场景，共15620幅图像。数据集包含不同类型的商店（如会展厅、超市），住宅，公共空间（如图书馆、机场）等场景，图片数量因类别而异，但每个类别至少有100幅图像，如图3所示。图像均为jpg格式。同类别数据具有一定的差异性，而不同类别的数据又具有一定的相似性。部分场景依次是：饭店、仓库、机场、超市、教室、酒吧，本文从MIT67 数据集中每一类中随机选取80幅作为训练集，20幅图像作为测试集。

首先利用预训练的AlexNet提取网络的特征，并直接结合支持向量机进行分类，探究哪一层的特征性能最优，其效果如表1所示;随后将获取的最优层特征进行主成分分析法进行降维后，利用SVM进行分类，产生详细的分类结果。

3 实验结果和分析

本文选取了由公众上传的哈尔滨市某大型超市的数据为例，这里包括该超市的平面俯视图和超市内场景多角度的图片数据，如图34所示，其中室内场景的详细数据如下：一共包含超市图片数据5352张，涵盖展架、信息台、冰箱、收银台等共92类物体。根据这组数据对本文提出的更新方法过程进行说明，并与传统的更新方法进行比较。

用LabelImg将场景中的物体提取出来，其效果如图5，将提取出来的物体图片作为卷积神经网络的输入层，对物体进行分层处理，将处理分层后的物体添加分层标签，然后生成增量包，对地图进行更新。

为证明本文方法的使实用性，本文采用同样的场景，选取更新区域分别有20、50、100、200更新项的数据，使用版本式更新、增量式更新和分层式更新的方法，来测试本文所设计方法的效果，其测试效果对比如表2所示。

通过上述实验可以发现，在更新项较少的情况下，增量式更新方法的效果较好;但是随着更新项的增加，增量式方法的效果越来越差，而版本式更新，因其需要对全部数据更新，会消耗大量的无用资源。除此之外，本文还做了定性实验，实验效果如表3所示。

4 结语

本文提出的方法对于具有要素多且更新频繁的室内场景的更新问题是一个很好的解决办法，满足了用户对地图现势性的要求。与版本式更新方法、增量式更新的方法相比，本文方法具有更高的更新效率，且在数据量方面有所改善。下一步工作，将尝试机器学习与神经网络结合方法对物体进行分类。

参考文献 （References）

[1] 应申，杨杰，王凯，等.众包模式下室内地图变化发现与更新[J].测绘地理信息，2016，41（2）：62-65.（YING S， YANG J， WANG K， et al. Crowdsourcing-based change detection and updating of indoor map [J]. Geomatics of Surveying and Mapping， 2016，41（2）：62-65.）

[2] 汪永红，张斌，郭黎，等.导航电子地图增量更新方法研究[J].地理信息世界，2011，9（4）：40-43.（WANG Y H， ZHANG B， GUO L， et al. Research of incremental updating method for navigation electronic map [J]. Geographic Information World， 2011， 9（4）： 40-43.）

[3] 郭鹏，崔铁军.导航电子地图增量式更新服务模式[J].地理信息世界，2011，9（4）：57-61.（GUO P， CUI T J. Incremental updating service mode of navigable electronic maps [J]. Geographic Information World，2011，9（4）：57-61.）

[4] 李晓斌，李飞，马春红.面向车联网应用的导航电子地图增量更新[J].测绘科学，2016，41（8）：161-164.（LI X B， LI F， MA C H. Incremental updating technique of navigation electronic map for telematics [J]. Science of Surveying and Mapping， 2016，41（8）：161-164.）

[5] 苏旭明，谭建成，陈悦竹，等.支持增量更新的导航电子地图数据模型的研究[J].北京测绘，2016（3）：126-128.（SU X M， TAN J C， CHEN Y Z， et al. The research on data model of supportingincremental updating of navigation electronic map [J]. Beijing Surveying and Mapping， 2016（3）： 126-128.）

[6] 张新长，郭泰圣，唐铁.一种自适应的矢量数据增量更新方法研究[J]. 测绘学报，2012，41（4）：613-619.（ZHANG X C， GUO T S， TANG T. An adaptive method for incremental updating of vector data [J]. Acta Geodaetica et Cartographica Sinica， 2012， 41（4）： 613-619.）

[7] 張保钢，杨伯钢，张伟松.矢量地理信息更新增量的传播[J].测绘通报，2015（4）：53-56.（ZHANG B G， YANG B G， ZHANG W S. Incremental propagation of vector geographic information updating [J]. Bulletin of Surveying and Mapping， 2015（4）：53-56.）

[8] LONG J， SHELHAMER E， DARRELL T. Fully convolutional networks for semantic segmentation[C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2015： 3431-3440.

[9] YUAN J， WU Y， YANG M. Discovery of collocation patterns： from visual words to visual phrases[C]// Proceedings of the 2007 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2007： 1-8.

[10] TU S， HUANG Y， LIU G. CSFL： a novel unsupervised convolution neural network approach for visual pattern classification[J]. AI Communications， 2017， 30（5）： 311-324.

[11] HERRANZ L， JIANG S， LI X. Scene recognition with CNNs： objects， scales and dataset bias[C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2016： 571-579.

[12] HE K， ZHANG X， REN S， et al. Delving deep into rectifiers： surpassing human-level performance on ImageNet classification [C]// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE， 2015： 1026-1034.

[13] CAGLAYAN A， CAN A B. Volumetric object recognition using 3-D CNNs on depth data[J]. IEEE Access， 2018， 6： 20058-20066.