浅析数学与应用数学在大数据中的应用

2017-04-07 07:22:11蔡皓宇
数码设计 2017年10期
关键词:数据管理数据处理储存

蔡皓宇



浅析数学与应用数学在大数据中的应用

蔡皓宇

(南京市第九中学 江苏 南京 210000)

大数据是时代发展的必然产物,而数学与应用数学专业旨在培养学生对于数学学科知识的应用能力,将数学与应用数学专业知识引入到大数据处理工作之中,对于知识应用效用的发挥以及数据处理效率的提高均起到良好的促进效果。本文就数学与应用数学在大数据中的应用展开论述。

数学与应用数学;大数据;应用

1 大数据概述

1.1 大数据概念的“兴起”

计算机技术的应用普及以及互联网络的兴起,对于社会各行业起到了极大的促进作用,更是在诸多行业之中产生了大量的“生产数据”,例如:光学观测、监控技术、医疗保健、传感数据、客户体验数据以及金融行业交易链等等,更有“无限”数据的形象说法,因为在诸多领域之中,数据的产生是“源源不断”的,造成了数据的“类灾害”,在这种历史发展环境之中,大数据的概念逐渐的被人们所重视。随着大数据概念在广大公众视野中的逐渐显露,其特点也逐渐的被大众所了解,对于大数据的认知中,其结构不固定,且需要对其进行实时分析等特点被人们所接受,在新时代大数据发展需求中,全新体系构架的建立势在必行,以满足大规模数的获取、传输、储存以及分析。

1.2 大数据给数据处理技术带来新的挑战

大数据爆发带来前所未有的发展空间和发展机遇,与此同时,对于传统的数据信息的管理工作提出严峻的挑战,第一,在大数据爆发的时代中,社会各个行业之中数据的生产和消费变得更加的快捷、容易,对于数据的收集和集成管理工作提出全新的挑战;第二,大数据时代中数据的一个最显著的特点就是“大”,这给数据的储存和管理工作带来全新的挑战,硬件和软件的研发工作更加的迫切,需要其有跨越式的进步和发展;最后,受到大数据异构性、规模性、实时性、复杂性和隐私性等特性的需求要求,对于数据的查询、分析和预测工作效率提出严峻的挑战。

1.3 现实环境的局限性

传统的数据管理和分析是以关系型数据库管理系统为基础的,这种数据管理系统在结构化数据处理过程中有相对突出的优势,但是,在对半结构化或是无结构化数据处理过程中却显得有些“苍白无力”,除了在全新数据结构处理方面的欠缺之外,在硬件储存方面也表现的“捉襟见肘”,虽然能够通过提高储存容量的上限来满足现实的需求,但其造价也会“水涨船高”,提高硬件的生产成本,大数据的储存和处理需要对硬件实行并行扩容(通过并行增加硬件从而实现对储存容量和处理效率的有效拓展),这些都是传统 RDBMS 不能够实现的,对于大数据的发展形成桎梏。

2 大数据实现的核心技术及实现方法

在现代计算机技术的“承载”下,大数据处理技术在对传统计算机技术不断完善与更新的基础上,正在不断的“改变世界”,大数据处理技术通过实时、高效、可视化呈现的对海量数据的处理过程中,能够满足用户对于数据需求在形式和内容上的“自由”,实现数据意义上的“按需分配”。通过云技术的应用,使大数据的采集、传输、处理和应用成为可能,在实际的生产生活中利用一系列非传统的工具实现对大量结构、非结构以及半结构化的数据进行处理。

大数据处理技术框架的形成,基于大数据处理的生命周期,涉及到大数据的采集与处理、大数据的储存和管理、大数据的计算模式和计算系统、大数据的分析与研究以及大数据的隐私与安全等几项核心技术。

2.1 大数据的采集与预处理工作

数据源的多样化是大数据的一个重要的特点,数据的多样化不仅仅表现在数据形成的多样化,还体现在数据内容的多样化和数据结构的多样化,大数据技术的第一步就是要完成对数据的收集和预处理工作,为后续流程的进行提供统一的高质量的集成数据。

2.2 大数据的储存和管理工作

大数据处理工作之多一困难,很重要的一个方面就是数据的“积累”,而实现对数据的有效的积累过程就需要对既有数据的储存和管理,故而,在大数据技术的实现过程中,要克服数据储存规模大、储存管理复杂以及数据服务种类和水平要求较好这几项困难,才能一举攻破大数据技术的“堡垒”。

2.3 大数据的安全与隐私

在数据爆发的时代之中,对于人们的隐私构成严重的威胁,在大数据管理过程中,主要面对的难题有:

1)大数据时代的安全与传统安全相比,变得更加复杂;

2)使用过程中的安全问题;

3)对大数据分析较高的企业和团体,面临更多的安全挑战;

4)基于位置的隐私数据暴露严重;

5)缺乏相关的法律法规保证;

6)大数据的共享问题;

7)数据动态性;

8)多元数据的融合挑战。

3 数学与应用数学在大数据中的应用方向和前景

数学与应用数学旨在教学生数学科学的基本理论与基本方法的基础上,培养其运用所学数学知识利用计算机技术解决实际问题的能力,为社会科技、教育和经济部门提供从事研究、教学或是生产经营等实际应用、开发研究和管理工作的高级人才,而大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,专业是属于计算机专业。在大数据处理应用之中,会更多的融入应用数学知识,以实现应用数学在大数据处理中效用的进一步发挥。

4 结语

综上所述,大数据爆发是历史发展的必然结果,也是新时代人们对于数据信息需求品质提高的必然趋势,大数据爆发在满足人们对数字信息方面需求的同时,对于各项技术(包括对爆发性数据的收集、整理、储存以及分析预测等技术)提出严峻的挑战,需要社会各方人员用于创新,踏出具有历史性的一步。在进行大数据管理工作的研发过程中,对于核心技术要集中“攻破”,解决问题中的主要问题,对于核心技术的实现方式进行有效的拓展。在新时代发展过程中,数学和应用数学之于大数据管理工作之中有重要的作用,其应用空间相当的广阔,应给予足够的重视,争取其在大数据管理工作中发挥更为重要的效用。

[1]程学旗,靳小龙,王元卓,郭嘉丰,张铁赢,李国杰. 大数据系统和分析技术综述[J]. 软件学报,2014,25(09):1889-1908.

[2]黄刘生,田苗苗,黄河. 大数据隐私保护密码技术研究综述[J]. 软件学报,2015,26(04):945-959.

[3]孙洪涛,郑勤华. 教育大数据的核心技术、应用现状与发展趋势[J]. 远程教育杂志,2016,34(05):41-49.

big data is the inevitable outcome of the development of the times, and mathematic and applied mathematic major aims at training students to apply the knowledge of mathematics discipline, introducing the mathematic and applied mathematic expertise into the work of big data processing, which has a good effect on the application of knowledge and the improvement of the efficiency of data processing. This paper discusses the application of mathematics and applied mathematics in large data.

mathematics and applied mathematics; Big data; application

10.19551/j.cnki.issn1672-9129.2017.10.344

G434

A

1672-9129(2017)10-0278-02

猜你喜欢
数据管理数据处理储存
企业级BOM数据管理概要
认知诊断缺失数据处理方法的比较:零替换、多重插补与极大似然估计法*
心理学报(2022年4期)2022-04-12 07:38:02
定制化汽车制造的数据管理分析
海洋环境数据管理优化与实践
ILWT-EEMD数据处理的ELM滚动轴承故障诊断
水泵技术(2021年3期)2021-08-14 02:09:20
CTCS-2级报文数据管理需求分析和实现
安防云储存时代已来
基于希尔伯特- 黄变换的去噪法在外测数据处理中的应用
冬眠
火电厂碳捕集与储存中吸收法的应用和改进
发电设备(2014年4期)2014-02-27 09:45:33