大数据驱动的无线网络资源管理及控制

刘媛妮 赵国锋

摘要：认为将大数据技术融入到无线网络资源管理中，有利于统筹分析大范围、多应用之间以及应用内部的无线资源需求，使无线网络资源管理变得更加灵活、便捷、高效。提出大数据驱动的无线网络资源管理及控制框架：首先利用移动群智感知（MCS）技术方法进行无线网络全域范围内资源信息的收集；其次利用数据虚拟化方法技术，构建全网的无线资源统一视图并提供不同粒度及角度的数据服务；最后利用软件定义网络（SDN）思想方式，研究面向应用全生命周期的无线资源管理控制机制，实现对应用的个性化资源管理与控制。

关键词： 无线网络；大数据；移动群智感知；数据虚拟化；网络资源管理

Abstract： It is believed that the integration of big data technology into wireless network resource management will facilitate the co-ordination analysis of wireless resource requirements in a wide range of multiple applications and the internal of applications， making wireless network resource management more flexible， convenient and efficient. In this paper， a big data-driven wireless network resource management and control framework is proposed. First， mobile crowd sensing （MCS） technology is used to collect the whole-scale wireless network resource information. Second， data virtualization （DV） is used to build a unified wireless resource view， and to provide data services with different granularities and angles. Finally， in order to realize the personalized resource management and control of applications， the software defined network （SDN） method is used in the radio resource management control mechanism oriented to the whole application life cycle.

Key words： wireless network； big data； mobile crowd sensing； data virtualization； network resource management

1 無线网络资源管理面临 的问题

为了保证构建于无线网络之上的各种应用能够给用户带来较好的用户感知体验，研究者利用动态频谱接入、无线覆盖测量、信道估计等技术来对频谱资源进行管理和规划，提高无线资源的利用率。然而，随着无线移动通信技术的快速发展，人们对无线频谱资源日益增加的需求，造成了无线频谱拥塞。为此，需要构建面向全域的无线网络资源管理池，通过对无线网络资源信息的数据收集、分析，实现对资源的统一管理和控制。然而，现有的技术在应对上述任务时主要面临以下3方面的问题：

首先，泛在化的数据急剧增长，增加了数据收集的范围及复杂度。传统的无线网络数据收集[1-2]涉及到的方法有人工路测、专门的无线传感器网络的构建等。这些方法在一定程度上能够实现一定范围内的数据收集，但也有自身的局限性：如人工路测方法通常会导致数据收集成本较高，并且通过该方式收集的无线网络环境数据存在盲区[3]，且灵活性较差；而构建专门的无线传感器网络需要在无线网络全域范围内部署大量的网络基础设施，增加了数据收集及网络维护的成本。

其次，多源异构的数据特性为数据的分析管理带来新的挑战。现有大部分的数据分析系统往往面向单一的上层应用，多应用之间无法实现某些相同底层数据的复用，造成数据的重复收集、分析及浪费。即便是面向多源异构数据处理的数据仓库在构建全域的无线网络资源池的需求下也变得捉襟见肘，不具有可持续性：数据源的数量太过多样化，使得数据在可用性、质量和格式方面的差异太大，导致数据仓库需要不断地进行完整的数据提取、转换、加载等操作；另一方面，网络管理及控制的需求逐渐加快，日趋专业化，难以为每个需求开发定制专门的提取、转换、加载流程。

最后，无线网络资源的管理及控制主要表现为单向的管理及优化，更多的是从网络侧的角度考虑资源的分配及控制，无法针对具体应用从用户的感知体验考虑用户的需求变化对资源变化的需求。即大部分的网络管理及控制策略考虑网络侧资源的使用情况，较少考虑用户侧应用需求变化导致的资源变化，缺乏相应的反馈机制

面对这些挑战，解决的关键是如何实现无线网络环境全局信息数据的收集，构建统一的无线网络资源管理框架，实现面向无线网络全域范围内的数据搜集、分析以及面向应用的资源管理及控制。在对泛在的、多源、异构的无线网络数据收集的基础上，通过数据的互通共享、融合分析，并针对无线网络上层应用中面临的需求，为上层应用提供动态、按需、自动化的数据存储、处理、分析、可视化等服务，实现大数据驱动的无线网络资源管理及控制。

2 大数据驱动的无线网络 资源管理及控制的内涵 及挑战

大数据驱动的无线网络资源管理及控制，就是在实现无线网络全域内数据收集的基础上，将无线网络数据进行融合分析、互通共享，构建统一的无线网络资源池，这些资源包括频率、时间、功率、编码、网络设施、资源等，并以数据服务的形式向上层应用提供查询、分配等功能。其次，对构建在无线网络之上各种应用的资源使用情况（如反映用户感知体验指标的相关数据）进行收集及反馈，从而使不同类型、不同需求的无线网络应用业务在兼顾整体资源分配的前提下能够获得按需服务，最大化无线资源使用效率。

如图1所示，这种大数据驱动的无线网络资源管理及控制主要涉及以下3方面的关键技术：

（1）泛在、灵活的无线网络数据收集方法，即构建无线网络统一资源管理池需要收集的信息包括网络侧及用户侧两方面的数据。网络侧的数据包括能够反映无线网络设备、资源、性能、状态、拓扑业务/内容等多个方面。用户侧数据则是直接能够反映用户业务感知体验的数据，如数据视频业务浏览过程中能够反映用户感知体验的首包时延、卡顿次数、平均下载时间等。

（2）面向多源、异构的无线网络数据的管理机制，即构建无线网络全局资源的统一视图，需要屏蔽各个数据源的差别，使用户能够通过统一的结构请求访问这些资源数据而无需关注各个数据源的具体结构。另一方面，底层数据提供者对数据结构、数据格式等方面的改变，都不会对数据使用者产生影响。这就使上层的数据使用者不需要亲自执行查询、访问并聚合多个数据源的数据即可得到自己想要的信息。为实现大数据驱动的无线资源管理，需要至少具备两个功能：能够根据本地数据源的“特性和能力”主动对外发布相关的数据服务；当外界的数据消费者请求相关的数据服务时，数据管理层能够根据请求提取相关的数据，并根据外界数据标准进行一定的规范变换，然后提交给外界的请求对象。

（3）面向应用的无线网络资源管理及控制，即面向应用的无线网络资源管理及控制不仅针对无线网络上的各种应用进行资源的统一管理及分配，而且需要根据业务对资源的动态需求情况，实现面向应用的个性化、动态资源管理。也就是说，该层面一方面应该能够掌控无线网络环境全局的资源，兼顾各种应用对资源的需求并实现资源的统筹分配；另一方面需要针对每一个特定的应用，构建对应的资源管理及控制模块，对单个应用的资源使用情况进行实施监测控制，并根据应用对资源的实际需求情况实现动态调整。

3 大数据驱动的无线网络 资源管理及控制系统的 参考框架

为了满足上述的要求，本文提出了基于大数据驱动的无线网络资源管理及控制框架（如图2所示），自底向上分别是基于移动群智感知[4]的无线网络数据收集层，基于数据虚拟化的无线网络管理及分析层[5]，面向应用全生命周期的无线网络资源管理、控制层，最上层为构建于无线网络之上的各种应用。基于大数据驱动的无线网络管理及控制首先在数据收集层利用移动群智感知的方法实现大规模、多样化的无线网络数据收集，其次利用数据虚拟化的方法构建多源、异构数据的统一视图，并将资源以数据服务的形式向外发布，网络资源管理及控制层面利用软件定义网络（SDN）的思想方式实现对上层应用的资源使用情况的个性化管控及反馈。下面我们将对各个层面进行详细阐述。

3.1 基于移动群智感知的无线网络 数据收集

移动群智感知是指利用普通用户的移动设备作为基本的感知单元，通过移动互联网进行有意识或无意识的协作，实现感知任务分发以及感知数据收集，完成大规模的、复杂的社会感知活动。移动群智感知作为一种新型的、“以人为中心”的感知模式对未来的普适计算有重要的意义。利用移动群智感知技术进行无线数据收集的优势在于：节点的移动性、泛在性以及能够通过多种方式（GSM、3G、4G、Wi-Fi等）连接到云端对数据进行存储、计算、集中化的特性。利用移动群智感知的方法进行无线网络环境数据的收集，一方面有效利用了移动端碎片化的计算、存储资源，另一方面大大降低了构建数据收集网络基础设施的费用。

移动群智感知的生命周期[6]可划分感知任务的发布、感知用户招募、用户感知活动的进行以及感知数据上报4个阶段。因此，在该层面主要涉及以下相关问题：（1）如何对感知任务进行合理的粒度划分，使得功能单一的感知设备之间能够通过协作方式完成感知任务，最大化利用移动感知设备的碎片化资源；（2）如何在感知成本有限的情况下选择能够实现最大化覆盖的感知节点；（3）如何设置、如何构建合理的激励机制，提高用户参与感知活动的积极性；（4）如何均衡感知数据的精度与感知数据数量之间的关系，在保证感知数据质量的同时能够控制感知数据收集的规模以减轻后续的存储、计算、分析成本。

3.2 基于数据虚拟化的无线网络 大数据管理及分析

数据虚拟化是一种虚拟化技术，对于来自多个异构数据源的数据可以隐藏真实数据的复杂性。数据虚拟化通过为上层应用程序提供一种透明的数据访问机制，可以显著地将应用程序与数据的复杂性分离。具体的方式是将每个“异构数据获取于处理描述包”封装为一个数据服务单元，这样就可以将局域网范围内的一个或者多个数据源，抽象为一组数据服务单元。其中每个数据服务单元相当于正对数据源的一个预处理查询，不仅可以被执行，而且可以被发布。使用数据虚拟化对数据进行管理，可以使数据模型的逻辑从数据的物理位置和源格式的细节中抽象出来。这意味着：使用数据的上层应用和用户不需要知道数据的物理存储方式和位置，使用底层的数据处理就可以在任何时候选择合并、移动、转换或存储数据，而不会对上游数据的工具和用户产生任何影响。这样避免数据的重复收集，有效地实现数据复用。

通过数据虚拟化技术提供统一的无线网络资源视图，将底层数据能够提供的功能以服务的形式进行定义、注册、权限管理等，从而实现对底层数据功能的模块化，以及针对上层控制层面触发的复杂事件进行数据服务组合的功能。根据数据虚拟化对数据的处理流程，可将数据虚拟化层面自底向上分解为数据映射层、元数据组织层、数据服务层、查询响应层。在該层面需要考虑的问题主要包括：（1）数据虚拟化层面的实施方案，即以何种架构形式实现数据虚拟化架构；（2）如何建立原始数据、映射表、封装表之间的关系，保证数据源向虚拟表格之间的正确映射；（3）如何实现元数据的抽取，并建立结构合理的元数据组织模型，实现元数据的高效存储，提高数据索引的效率；（4）如何创建相应的数据服务模块，实现对元数据的调用；（5）如何制定最佳的查询处理策略，提高查询的效率等。

3.3 面向应用全生命周期的无线 网络资源管理及控制

传统面向应用的无线资源分析直接对数据进行“调用、分析、计算”的模式，难以区分不同用户（数据使用者、数据提供者）的权限，无法在保证数据隐私的同时扩大数据的使用范围。研究面向应用的无线网络资源管理及控制机制，根据底层的数据分析结果，构建相应的资源管理策略，并以SDN控制的方式實现对无线应用资源分析，并根据用户侧收集到的数据的分析结果，实现对无线资源的动态反馈及调整。

面向应用全生命周期的无线网络资源管理及控制层面需要重点研究的内容包括：（1）如何定义无线网络环境中各种应用的事件流，并建立复杂事件与底层数据服务的对应关系，实现面向应用的无线资源数据分析的功能；（2）如何构建基于软件定义的、面向应用的无线资源控制机制，通过调用基于数据虚拟化的无线资源分析模块的结果制定对无线资源的宏观统筹方案以及面向应用的资源调整机制，并以软件定义的方式实现对应用的资源控制。

4 结束语

面对无线网络应用不断增多而导致的用户对无线网络感知体验要求不断增加的新形势，需要实现面向应用全生命周期的无向网络资源管控，以提高无线网络资源的利用率，满足用户对体验质量（QoE）的需求。大数据驱动的无线网络资源管理及控制从数据在应用中流动的过程出发，通过对无线网络环境相关信息的收集、分析，制定资源管理分配策略，对无线应用所需要的资源进行分配，并通过对当前资源分配策略下用户的感知体验信息的收集、分析，进而反馈到资源管控层面，最终以SDN的方式实现面向应用的个性化、动态化的资源管理及分配。另外，随着大数据、人工智能等技术的发展，对网络资源及用户感知体验的分析将会更具洞察力，应用内部业务流的定义及监测控制也将会变得更加智能。可以预见：在不久的将来，这些技术将会更深入地被融入到无线网络资源管控中，未来的无线网络资源管理将会变得更加灵活、便捷、智能、高效。

参考文献

[1] ABDALLAH M N， DYAB W， SARKAR T K， et al. Electromagnetic Macro Model for Analysis of Propagation Path Loss in Cellular Networks[C]//Antennas and Propagation Society International Symposium （APSURSI）.USA： IEEE， 2014： 947-948. DOI： 10.1109/APS.2014.6904802

[2] 钟志华. 无线网络优化的路测[J]. 科技传播，2017，9（07）：43-44

[3] LIANG H W， HO C H， CHEN L S， et al. Coverage Hole Detection in Cellular Networks with Deterministic Propagation Model[C]//Intelligent Green Building and Smart Grid （IGBSG）， 2016 2nd International Conference on. USA： IEEE， 2016： 1-6.DOI： 10.1109/IGBSG.2016.7539428

[4] GANTI R K， YE F， LEI H. Mobile Crowdsensing： Current State and Future Challenges[J]. IEEE Communications Magazine， 2011， 49（11）：32-39. DOI： 10.1109/MCOM.2011.6069707

[5] GARETH MORGAN. Data Virtualisation on Rise as ETL Alternative for Data Integration [J].Computer Weekly， 2012，4（8）：15-18

[6] ZHANG D Q， WANG L Y， XIONG H Y， et al. 4W1H in Mobile Crowd Sensing[J]. IEEE Communications Magazine， 2014， 52（8）：42-48.DOI： 10.1109/MCOM.2014.6871668