一种基于云计算的数据挖掘平台架构设计与实现

沈瞳周

一种基于云计算的数据挖掘平台架构设计与实现

沈瞳周

南京中设航空科技发展有限公司，江苏 南京 210000

随着科学技术的快速发展，互联网计算机技术日趋成熟。云计算已成为社会发展的重要平台。数据挖掘是企业获取信息资源的重要途径，而数据挖掘技术则是完成数据挖掘的关键条件，为社会发展中的各个领域提供了现代化的服务。因此，数据挖掘平台架构设计与实现必须以云计算为基础，才能更加科学和合理。通过对云计算和数据挖掘的含义进行分析，阐述了以云计算为基础的数据挖掘平台架构的设计与实现。

云计算；数据挖掘平台架构；设计与实现

1 云计算概念

云计算是以网络、分布和并行计算为基础而实现的，并对大量的数据进行整合，然后对所有服务器的资源进行处理的一类计算平台。这个计算方式已经被广泛应用于商业金融、电子商务等多个领域中。云计算的主要优势是投入成本较低，具有很好的通用性，处理数据效率较高，并且数据规模很大，可以根据客户的需求对资源进行动态透明的存储和虚拟化的计算，也可以将用户暂时用不到的资源进行动态回收，然后将其提供给需要使用的客户。云计算因为其通用性和廉价性，可以帮助用户操作大规模数据。

当前，云计算平台的发展日趋成熟，对数据资源能够进行科学的操作和部署。云计算主要包括以下几个特征：第一，通用性。云计算并没有针对特定的应用而进行，都是以云作为基础来对各种应用进行支撑，也可以对不同应用进行构建。第二，虚拟化。云计算所涉及的资源都来自于虚拟的云端，它并不是从固定的实体而来的。所以，用户在获取资源时，不会受到应用服务的终端和位置的限制。第三，超大规模与高扩展性。在云端，可以将数据以透明的形式显示给用户，并将规模进行无限的动态扩展，在这个过程中不会对用户的应用和业务产生任何影响。第四，成本投入较低。云的一个特殊的特点就是具有很好的容错机制，它可以利用最廉价的节点来建立云。同时，它可以对数据进行自动化的集中，这种方式在很大程度上降低了企业数据的管理成本，也提高了数据资源的利用率。

2 数据挖掘含义

数据挖掘是社会和科学发展的必然产物，也是知识领域中的一项关键技术。数据挖掘技术会涉及很多领域的应用，如机器学习、模式识别和人工智能等，主要包括估计分类、估计预测、相关性分组和聚类等。

3 云计算环境下的数据挖掘平台设计

云计算环境下的数据挖掘平台设计如图1所示：

图1 基于云计算环境下的数据挖掘平台初步架构图

3.1 目标系统模型的设计分析

数据挖掘平台和技术是当前互联网云计算环境下最常用的技术之一，在数据挖掘系统中发挥着关键性的作用。如果数据挖掘平台架构缺乏一定的科学性和合理性，就会造成大量的资源浪费，也会给企业带来相应的损失。所以，科学、合理的数据挖掘平台架构目标系统模型的建立至关重要。它既可以为云计算环境下的各种终端用户提供高透明的的界面服务，又可以为用户提供同步的、更加开放式的接口支持。通过这种系统的、较为完善的系统模型建设，一方面能够满足云计算用户对互联网终端访问系统的性能要求；另一方面，可以综合利用互联网的信息，满足其他类型端口应用程序的需求[1]。

3.2 功能层次模型的设计分析

在功能层次模型设计的框架结构分类中，可以将其划分为算法层、应用层和用户层。第一，算法层是模型中的核心。在工作过程中，它主要是与下个层次中所提供的统一数据来源相结合，并对相关算法和对接口处的数据进行处理和管理。在计算过程中，可以利用多种算法按照相应的顺序来得到并分析各种不同的结果。第二，应用层具有很强的抽象性，可以对云数据挖掘中的海量信息进行科学的规划和统计，从而实现系统的应用[1]。同时，应用层还可以使用它的调用系统服务功能来进行数据的处理和应用。

4 云计算数据挖掘平台架构关键技术的实现

本文以分布式算法为例进行了分析。此方法是当前云计算数据挖掘平台中较为先进的一种算法。这种以互联网为基础的新型数据挖掘程序的算法，可以将其分为四种：自愿约束型的自适应程序算法，以地域性路由优化为基础的程序算法，局部数据挖据算法以及全局挖掘算法。表1是资源约束型自适应程序算法的相关内容。

表1 资源约束型自适应程序算法相关符号介绍

在分布式计算框架中，可以对相关的细节进行有效的处理，可以让用户进行更好的体验和使用，具有很好的运行效率，降低了系统的维护成本。当前最常见的分布式计算框架为MapReduce，它对PC机的适应性很强，可以将执行的任务和数据分布等多种类型数据封装在一个库中，用户可以直接调取和使用这些数据，各个数据间不会产生并联。

5 结束语

综上所述，当前社会已经进入大数据时代，云计算技术已经得到了快速的发展和成熟。在对数据进行挖掘时，只有采用科学的数据挖掘技术，才能得以实现。因此，以云计算为基础，构建科学的数据挖掘平台架构设计，然后使其得以实现，为数据信息的获得提供重要的保障，更好地服务于各个领域，使这些数据信息发挥最大的价值。企业必须提高对数据挖掘平台架构设计的重视程度，加大成本投入，建立企业内部数据挖掘私有云和公用云，为企业提供更多的数据服务。

[1]黄钢勇.基于云计算的数据挖掘平台架构及其关键技术探讨[J].科学与财富，2016，8（4）：46-49.

Design and Implementation of a Data Mining Platform Architecture Based on Cloud Computing

Shen Tongzhou

Nanjing Central Aeronautical Science and Technology Development Co., Ltd., Jiangsu Nanjing 210000

With the rapid development of science and technology, Internet computer technology is becoming more and more mature. Cloud computing has become an important platform for social development. Data mining is an important way for enterprises to acquire information resources, and data mining technology is the key condition for data mining, providing modern services for all fields in social development. Therefore, the design and implementation of data mining platform architecture must be based on cloud computing in order to be more scientific and reasonable. Through the analysis of the meaning of cloud computing and data mining, the design and implementation of the architecture of the data mining platform based on cloud computing is described.

cloud computing; data mining platform architecture; design and Implementation

TP311.13

A

1009-6434（2017）9-0091-02