基于Hadoop技术的电信大数据平台设计

文/王成 闫红

随着经济的快速发展与进步，我国已经进入了高度信息化的全新时代，人们生活和生产工作已完全依附于网络通信的支撑。在生活和工作中可以发现，移动信息网络的最大的优势能够将海量的信息资源整合到一起，并且进行整理和储存，再将处理后的信息数据发送到各个所需要的服务用户，基于此，网络可以成为获取大众消费倾向以及情况的有力依据，这也就需要强大的信息技术作为支持。

1 Hadoop平台技术框架评价

目前，由于我国网络使用者的数量飞速增长，这也为各大网络平台的信息处理方面带来了巨大压力，并且这也是一项巨大的挑战。针对这些信息处理问题，云计算技术也就成为了一个良好的信息处理平台，能够为众多网络平台分忧解难，做到对各大信息数据的有效处理以及高效率的分析。Hadoop Distributed File System（Hadoop）作为众多信息技术的主要支撑技术，具有高容错性、高吞吐量和高运算能力等特点，目前已经在电信大数据的处理分析中得到了广泛的应用，并且达到了理想中的作业效果。基于此，电信在数据处理这方面将会获得很大的进步空间。除此之外，目前在移动通信这方面已经达到了高度饱和的状态，这也为在Hadoop技术支持之下的电信大数据提供了很大的发展空间。

Hadoop平台技术的框架主要分为两个部分，分别是并行的计算框架以及该平台技术的分布式文件系统。并行的计算机框架可以理解为一个用来编写处理以及并行分布数据的一种框架。目前为止，大家所熟悉的分布式文件系统之一就是NFS，但是在Hadoop平台技术中所应用的分布式文件系统为HDFS，与NFS分布式文件系统相比，由于这种分布式文件系统具有单一的节点设计，也正因此，HDFS分布式文件系统能够有效的缩小文件系统的结构。

2 基于Hadoop平台技术的电信大数据平台设计思路

Hadoop平台技术可以概括为一个分层次的分布框架技术，该技术主要用于对网络信息数据的处理以及分析，本文设计的基于Hadoop平台技术的电信大数据分析平台设计思路如下：

2.1 建立离线流量分析系统

为了能够实现Hadoop平台技术在流量统计这方面的应用，该平台在原有计算机技术框架的基础上，增加了一个离线流量分析系统，以便于对流量数据的分析和处理，对流量实现实时的监督与控制，从而达到理想中的应用效果。此外，在原有管理系统的基础下，将Hadoop平台技术分支出一个专门控制管理流量日志的系统，并利用此系统实现对大数据的处理以及分析：

（1）与其他系统相比较，该系统在结构化以及不完全结构化的信息数据处理和分析这方面具有更加高效率高质量的优势。

（2）该系统具有闪存功能，能够详细准确的记录以及储存一切流量信息数据，基于此，该系统还能够为大数据处理相应的制作镜像包。

（3）在该系统中，针对模块信息数据处理的这方面，相关工作人员研发出了一套根据语音进行信息数据处理以及分析的应用系统，通过这种方式简化该平台信息数据处理的操作，简化系统的数据处理分析流程。

2.2 在原有系统上设计云计算监控系统

为了能够达到更加高效、密切的对网络数据进行监督和管理的目的，可在Hadoop平台技术的基础下，对原有系统进行升级优化，并且安装云计算监控系统，从而实现对电信大数据的管理分析以及进行实时监督控制。一直以来，能否保证在电信平台上的使用用户的所有网络资料的安全，是电信平台以及其他网商所担心的一个问题，因此，为了能够实现用户资料的使用全程的安全性以及私密性，该系统将采用zoomanager集中监控与管理系统，该保护系统能够做到对云计算的大数据内容进行密切细致并且极其可靠的保护，除此之外，该系统的应用在实践中发现，还能够在一定程度上对云计算中的信息进行优化，能够在对计算机云计算中的信息进行搜集管理并且储存的同时，还能够通过相关科学算法，做到对大数据以及信息的分类，这样就很容易发展数据中存在的问题，进而对出现的问题提出相应的完善策略。

2.3 简化系统集群

由于电信平台具有庞大的用户数额和海量传输数据，因此，电信平台的信息数量也是相当庞大的，为了能够实现系统运行的效率以及质量，就要相应的简化Hadoop系统以及系统集群，基于此，本平台中可采用MapReduce的云计算平台，从而简化系统集群，通过对网络信息用户基本信息的分析和处理，从而达到简化系统集群的目的，另外，该系统还能够采集到计算机CPU的使用率以及推断出构造数据资源所处于的资源消耗类型，从而帮助运维人员进行资源调配和管理。

2.4 建立用户服务器网络图

由于互联网的整体系统是由多个小网络系统所构成的，基于此，对于电信网络平台的运营商来说，各个小型网络支撑系统以及各个用户的网络使用数据和基础信息，也就构成了庞大电信平台的网络系统。为了能够提升电信网络的使用效率以及质量，相关网络技术人员就研发出了集电信各个用户的基本信息以及数据的用户服务器网络图，该构图的基础为物理结构。

3 Hadoop技术支撑下电信大数据处理的特点

3.1 具有庞大互联网数据的处理构架

在电信大数据平台中具有以Hadoop技术为基础的计算机云系统，该系统能够实现对网络大量数据以及信息的搜集，储存，管理以及分析，并且还可以进行相关的安全检测。除此之外，由于这几个程序是按照顺序进行的，所以从另外一个角度来说，云计算系统能够实现对网络的全面检测。在该系统的具体应用实践中发现，与以往传统的计算系统相比，该系统能够在很大程度上提升平台的工作的质量以及效率，尤其是在安全检测这方面获得了很大的进步。

3.2 具有分布式检测系统故障的数据采集机制

信息数据的采集作为电信平台大数据处理过程中的第一个环节，该环节决定了后续环节工作的准确性以及质量，基于此，在信息数据的采集部分一定要做到信息的高度准确，这样才能保证后续工作的顺利开展。但是，在数据的搜集过程中仍然存在许多困难，因此，针对目前平台的信息搜集现状，相关科研工作者建立起一个具有分布式检测系统故障的数据采集机制，其主要内容有两点，分别是网络信息节点的检测以及对系统的计算方法进行检测工作。在该机制的运行过程中发现，这个机制能够有效的避免以往信息搜集系统中存在网络信息模糊的问题，并且能够实现对数据进行动态的检测，从而保证数据能够高度符合实际，使后续的工作能够稳定进行。

3.3 具有能够进行动态储存以及分配的计算方法

在对电信大数据进行计算时，采用不同的储存计算的方式也就会产生不同的储存计算结果，基于此，为了使数据计算达到理想中的效果，相关工作人员也就逐渐研发除了动态储存以及分配的计算方法。这种算法主要是以节能性评价为基础，在此基础上对计算的数据进行储存管理，另外，该系统还要借助一些节点参数来对数据进行储存，并且根据不同节点的特点来对信息数据实现精密的分类。目前为止，该技术已经在电信大数据处理平台上得到了实际的应用，并且取得良好的应用效果。

3.4 具有以异构云环境为基础层面的动态推理算法

数据的处理以及分析在电信大数据的处理过程中占有核心地位，该环节的工作情况直接影响到电信大数据处理的整体效果以及质量，基于此，为了能够使平台的数据处理结果更加准确，就要对此环节进行不断的优化以及完善。目前为止，虽然电信大数据处理平台的云计算系统处于初步构建的阶段，但是该系统的提升速度是非常快的，尤其是该系统的硬件水平，但是这也导致了平台中节点之间存在较大的差异性。针对目前系统这样的运作情况，为了达到理想中的系统运作效率，在平台的科研人员的努力下，提出了异构云环境为基础层面的动态推理算法。

4 结论

综上所述，随着时代的进步与发展，电信为了能够得到可持续健康发展，就必须跟紧时代发展的步伐，在电信大数据处理以及分析这方面进行不断的完善和优化工作，组建专业的科研团队，并紧跟社会的科技发展动向以及需求。因此，本文基于Hadoop技术设计的电信大数据处理平台，可实现高效率、高准确性的处理能力，节约了大量网络带宽和时间，并使得运算过程可充分并行化，从而为电信大数据处理提供一个良好的技术支撑。