终端设备的室内外场景感知技术综述

林 树， 苏素燕， 陈端云， 姜乃祺， 陈 俊， 林明睿

（1 国网福建省电力有限公司厦门供电公司， 福建 厦门 362400；2 国网福建电力有限公司， 福州 350001； 3 福州大学物理与信息工程学院， 福州 350108）

0 引 言

室内外场景感知，即室内外场景分类技术，该技术的根本任务是甄别终端所处的环境是室内还是室外。 随着技术的发展和需求的不断增加，场景感知的类别也可随着需求的改变而改变，以应对复杂的终端工作场景，完成复杂的分类任务。

全球正在迈向万物互联的时代，越来越多的终端设备应用于日常生活、工业制造和医疗健康等领域，终端设备的数量和种类与日俱增，终端设备对场景感知技术的需求应运而生。 室内外场景感知作为场景感知中的基础任务，仍有较大研究的潜力。 由于GNSS 信号易受遮挡的特性，在室外环境可以直接使用GNSS 进行定位，而在室内场景则需要无线信号辅助定位。 因此，定位终端设备需要根据场景感知的结果，切换合适的定位方式，室内外场景感知的准确与否，会对终端设备的定位精度有直接的影响。 因此，室内外场景感知技术具有广阔的应用前景和研究价值。 本文根据室内外场景感知方法的不同数据采集介质，将室内外场景感知分为基于特定传感器的室内外场景感知方法、基于图像信息的室内外场景感知方法、基于泛在无线信号的室内外场景感知方法，并依次对这3 类方法进行研究分析。

1 基于特定传感器的室内外场景感知方法

特定传感器是指可以部署在终端上，用于采集室内外环境信息的传感器，如光照传感器、温度传感器、地磁传感器等。 根据传感器在室内外不同场景的数据表现，结合阈值判别或分类算法，实现室内外场景感知。

Krumm 等人［1］使用温度传感器对所处环境进行检测，根据传感器采集的温度和实际天气的温度进行比较，使用贝叶斯分类器完成场景分类。 这种方式需要定位信息的支持，以得到终端所处地理位置的天气信息（即实际天气温度），辅助终端实现场景感知。 Sung 等人［2］利用扬声器发送线性调频信号，同时使用声音传感器采集在环境内反射的音频，根据这一数据特征完成场景类别的判断；也可以根据室内外的光线特征，使用光传感器，根据光照强度的阈值［3］对室内外场景进行分类。 在天气状况良好的白天，太阳光的光照强度远大于室内人造光强度，但由于复杂多变的天气、昼夜变化，会对自然的光照强度有所影响，最终影响场景感知的精度。 由于单一传感器往往无法应对复杂的工作环境，因此为满足更高的分类精度，研究人员设计出了诸多传感器组合的方案。

如图1 所示，Li 等人［4］设计的IODetector 轻量系统采用光传感器、蜂窝模块和磁传感器的多传感器组合方案。 由于建筑内钢筋、混凝土和各类电子设备的影响，测量的地磁数据和基站信号也会产生波动，结合这一数据特征，根据置信度进行场景感知。 而只依靠置信度难以合理运用各个传感器的检测特点。 Radu 等人［3］针对IODetector 轻量系统进行优化，选用半监督学习的co-training 方法对数据进行处理。

图1 IODetector 系统架构Fig. 1 The IODetector system architecture

根据IODetector 轻量系统和以往技术对于光照处理的缺陷，Rhudy 等人［5］使用紫外线传感器、光线传感器和RGB 传感器组合的方案，采集光线的组成成分，提升对光线信息的感知；章晓强等人［6］也提出了对光照强度动态处理的方式，通过结合实际的时间和时区，获得该地区的昼夜时间，并利用空气湿度反映实时天气，以此来调整对光照的处理策略。整个方案使用了光照传感器、温湿度传感器和磁传感器组合进行室内外场景感知，针对光照、温湿度和地磁在室内外场景中的数据特征不同，根据各算法的置信度进行投票，并结合多元融合的无监督机制，完成室内外场景的分类。 该算法结合了各个传感器的特点，利用投票机制对置信度进行选择，以应对复杂的天气环境。

阮锦佳等人［7］通过光照传感器、磁传感器、气压传感器、加速度传感器和陀螺仪，分别采集所处环境的光照信息、磁场变化强度和终端的运动状态，利用SVM 多分类器分类。 这种方法的算法复杂度低，精准度高，但部分传感器主要关注于终端的运动状态，限制了终端的普适性。 蒋超等人［8］同样关注运动状态，使用运动传感器对终端的转弯频率和运动频率进行监测，以此来判断室内外场景。

这种基于特定传感器的方法，虽然可以满足室内外场景感知的基本需求，但需要在终端中部署额外的传感器部件，用于检测环境信息，对于终端功耗和轻量化的优化是一个严峻的挑战，在一定程度上限制了终端的广泛应用。

2 基于图像信息的室内外场景感知方法

场景识别不仅可以在终端上搭载特定传感器，也可以通过在终端中搭载摄像头，根据图像进行场景识别，将场景感知看作图像分类问题。 对于现有技术发展而言，图像处理技术已相对成熟，图像内富含大量的信息。 图像信息如图2 所示，其中包括颜色、光线和纹理信息，图片中含有的目标物体信息，图像区域空间的结构信息等。 基于图像信息的室内外场景感知方法多样，主要有基于图像特征的方式、基于图像语义信息的方式和基于深度学习的图像处理方式。

图2 图像信息Fig. 2 Image information

2.1 基于图像特征的场景感知

根据图像特征（指图像的客观特征）可以对场景进行划分，其中包含图像的颜色、纹理、图形形状等。 根据光传感器的原理，对采集的图像进行光线分析，经过研究发现，室内和室外光线在色度上有很大差异，且对于照明色度，红色和蓝色色度之间有很强的线性关系，因此只对红色色域进行阈值判别［9］，便可以实现场景感知。

同时，也有研究团队分别根据图像的颜色直方图、图像纹理进行分类。 其中，根据纹理判断能够忽略不必要的场景细节，同时可以将RGB 颜色的图像映射到不同的色彩空间之中，如HSV 颜色空间、Lab颜色信息，以提取更丰富的颜色特征。 Szummer 等人［10］对图像颜色信息和图像纹理信息进行了整合，以克服单个参考数据准确率不高的缺陷。 李锦烽等人［11］对图像小波分解后，使用LBP 算子提取不同频率下的图像纹理。 同样，与LBP 算子类似的图像特征提取方法（如SIFT、HOG、Haar 等），也能够应用于场景感知之中，利用算子的特性，以提取图像的显著特征。

2.2 基于图像语义信息的场景感知

图像特征属于图像的浅层语义信息，实现场景感知也可以挖掘图像的深层语义信息。 深层语义信息可以理解为与类别划分的相关信息，不同于只能机器理解的图像特征，深层语义信息可以被人类所理解。

Li 等人［12］根据物体的语义信息，判断图像的场景类别，利用Object Bank 表示图像，再使用SVM 分类器进行图像分类。 这种依照物体检测的方式，对于具有标志性物体的场景分类效果更佳。 如：在特定场所会出现特定的物体，室内场景的沙发、电视在一般情况下不会出现在室外，但是室内室外场景下的物体种类复杂，针对室内室外的场景感知缺乏可靠性。

图像空间区域的语义信息同样值得关注，Sadeghi 等人［13］提出的Latent Pyramidal Regions 通过区域检测子表现特定区域的语义信息，同时关注场景的形状和纹理信息，来解决目标语义信息的局限性。 Juneja 等人［14］基于Bag of Words 提出的Bag of Parts 同样关注空间区域的语义特征，对图像进行语义分割，保留显著性区域，根据区域的结构和特征，实现场景感知。

2.3 基于深度学习的场景感知

深度学习已在图像分类任务上被广泛应用，场景分类作为图像分类的一个分支，也引来一些学者的深入研究。 经典的CNN 网络已经满足基本的图像分类任务，如使用ImageNet 数据，将卷积神经网络训练成ImageNet-CNN 网络，实现室内外场景感知。 Zhou 等人［15］使用了更优质的场景Places 数据集，将CNN 网络训练成了Places-CNN 网络，并且阐述了数据集对于训练神经网络的重要性，尤其注重数据集的类别相关性和数据多样性。 其中，无论是传统的机器学习算法，还是新兴的深度学习算法，数据集的质量往往会直接影响到训练模型的好坏。

随着卷积神经网络的发展，网络结构的不断创新，AlexNet、VGG 和Resnet 等经典图像分类网络结构被应用到室内外场景感知领域。 不仅如此，如YOLO、R-CNN 等目标检测的经典神经网络，以及FCN、U-Net 等语义分割的经典神经网络，都能够在室内外场景感知领域提取到图像中有效的场景信息，对图像特征进一步的剖析。

尽管深度学习具有分类精度高，学习能力强，适应性好的特点，但是相较于一些传统的检测方式，深度学习对于硬件的要求较高，并且高度依赖大量数据支撑，对于算法的终端部署和实现等问题亟待解决。 一些轻量型网络架构，如SqueezeNet、ShuffleNet等网络结构，对轻量化终端的部署，是一个较好的解决方案。

3 基于泛在无线信号的室内外场景感知

泛在无线信号是指广泛分布于环境空间内的无线信号，如GNSS 远程发送的定位信号、蜂窝基站的通信信号、室内密布的WiFi 信号和蓝牙信号等。 根据实验测量，多种泛在无线信号，在室内室外环境下，都能保持较为稳定的状态，不会轻易受到自然环境变化的干扰，昼夜时间和温差等因素，也不会使泛在无线信号产生太多波动。 要使用泛在无线信号，可以通过信号接收器对泛在无线信号进行采集，根据各类泛在无线信号在室内外空间内的传播特性和分布特点，实现室内外场景感知的任务。

根据卫星信号传输远距离、大衰落和高动态等特点，同时根据泛在无线信号会受到建筑和电子器械的干扰，使信号出现折射、反射的特点，通过统计终端接收的卫星信号个数和AP（无线访问节点）信号个数，即统计特定泛在信号个数（如WIFI 信号、UWB 信号或蓝牙信号），进行场景感知，根据信号个数的阈值进行场景判定。 阈值需要通过先验知识进行预先设定，不具备自学习的能力，无法实现室内外场景感知终端的广泛适用。 胡旭科等人［16］对这个方案的阈值判定进行了改进和优化。 为了避免室内室外重叠区域和信号干扰，减少误判发生的可能，采用alpha-count 机制，以稳定终端对场景的判断，减少微弱信号带来的影响，避免频繁进行场景切换。

由于单纯依靠接收泛在无线信号的数量进行阈值判断，缺乏对场景的普适性，蒋超等人［8］采用特定传感器和泛在信号结合的思路，使用卫星数目、运动姿态和光照强度进行室内外场景感知；Radu 等人［3］根据室内场景中卫星信号的个数、卫星高度角和信噪比的数据特征，并结合传感器采集的地磁数据和光照强度，利用神经网络进行分类，以实现室内外场景感知；鄢松等人［17］通过实验对比，舍弃地磁数据，使用WIFI 信号、GNSS 信号和光照强度组合作为特征数据，通过AdaBoost 和PNN（概率神经网络）组合的分类算法，实现室内外场景感知。

不仅可以将泛在无线信号的数量作为特征数据，信号质量或信号强度也可以作为场景判断的依据。 Gao 等人［18］基于GNSS 信号可用数量和信号强度，使用隐马尔科夫模型，甄别室内和室外环境；同样的，alpha-count 机制也是根据信号强度作为判断依据，只有当信号强度达到阈值时，才能被认定为是有效信号。 这种方式更深入的利用泛在无线信号的传输特性，有助于提升模型的准确性和鲁棒性。

由于实现场景感知的终端，可以同时接收到多种且多个泛在无线信号。 因此可将其整合为一个信号指纹，用于存储所在位置的信号指纹信息。 通过大量采集信号指纹和场景信息一一对应，建立信号指纹数据库，用于存储不同场景下的指纹信息。 在终端部署阶段，当终端处于新的场景下，通过采集指纹信息，利用已经建好的信号指纹数据库进行对比匹配，或者使用近邻算法、贝叶斯概率算法和机器学的分类算法，都能根据信号指纹数据库进行场景感知。

这种基于泛在无线信号的室内外场景感知技术，可以只通过信号采集器，不需要多个传感器或是高功耗的摄像头就能完成大量的泛在无线信号采集，对场景信息有着丰富的感知，对于轻量化低功耗设计，提供了良好的设计思路。

4 结束语

本文针对定位终端设备在场景感知技术领域的发展现状和前沿成果进行论述，根据不同的数据采集介质，分为基本的3 个场景感知方式。 对于不同的场景分类理念和技术方案，进行了介绍和分析，对于简单的室内外场景，已有多种技术方案可以胜任，对于各类复杂的场景环境，尚且还没有一种算法可以达到令人满意的程度，而且对于提升模型的鲁棒性和场景感知模块的轻量化设计，仍有较大的发展空间和研究潜力。