陈亚飞
摘要:大数据是计算机技术,互联网技术和通信技术发展必须面对的普遍问题。它是现阶段互联网的出现或特征。大数据已经渗透到人们生活的各个领域。我们生活在海量数据时代。大数据以其广泛的影响力正在微妙地改变着我们社会的公共政策,信息科学和社会科学。具有极其重要的应用价值。本文简要介绍了大数据系统的框架,技术发展并分析了其未来的发展趋势。
关键词:大数据技术;发展趋势;公共安全;商业价值
1 大数据系统框架及技术发展研究
大数据比传统的编程语言,编程思想和数据结构处理能力要大,但是相对于当前的数据增长,以前的技术和工具是传统的。当遇到新技术浪潮时,当前的技术工具将成为阻碍技术发展的最大问题。因此,大数据的大小只是一个相对较大的数据。未来,大数据将遇到越来越多的问题。大数据不是一个新问题,而是一个始终存在的问题。
1.1数据分析
作为价值链中最重要的阶段,数据分析旨在提取数据价值以便帮助人们做出决策。以下为3种常用的数据分析的方式:其一,数据可视化。通过图形有效的传递信息是数据可视化的根本目标,随着数据量的增长,传统的电子表格已不能满足大数据时代的要求。由于它可以帮助软件开发、算法设计等方面的研究,可视化大数据已成为一个越来越活跃的研究领域。其二,统计分析。在应用数学中,每件事物都存在其随机性和不确定性,而统计分析对大数据集进行描述和推理的过程。其三,数据挖掘。目前,人工智能、机器学习等相关领域均已提出了各类数据挖掘算法。数据挖掘是大数据发现模式的过程,数据挖掘算法是数据挖掘的过程中的重要课题。
1.2大数据处理
利用强大的支持平台来判断大数据的潜在价值称为大数据处理。根据处理时间的长短,我们可以把大数据分析分为流处理和批处理两种方式。流处理的理论和科技已经被研究了近10年,凭借其自身携带的庞大的数据,流处理可以快速分析数据导出结果,甚至其处理时间已经达到了秒、毫秒的水平。先对数据进行存储在对数据进行分析是批处理中最常用的方式。MapReduce已被广泛应用于生物信息学Web挖掘中,其核心思想是:首先处理已经被分成小块的数据,然后按照其分布方式导出中间结果,从而接连导出最终结果。此外,由于该模型计算机资源接近数据源位置,因此可以很好地避免通信开销。
1.3数据存储
为了满足数据平台的数据分析和特征提取,数据存储必须满足以下两个条件:其一,存储的基础架构必须满足永久可靠性;其二,数据存储子系统必须能够查询和分析数据。获取大数据的主要方式有爬虫收集、政府数据、行业数据等。总结一下获取的方式就是程序员自身的积累再加上各个渠道内的收集。
2 大數据技术发展新趋势
在数据持续增长的今天,开放共享成为了数据资源在数据大战中持续保持优势的关键。各类数据的共享使用不仅极大地方便了我们的日常生活更为各种产业的发展提供了机遇。但由于政府和企业之间没有统一规范标准,就很容易降低数据的开放程度,引起商业垄断的现象发生。而且现阶段的数据安全数据质量方面都存在很大的问题,能够熟练掌握大数据的专业人员也很少,大数据人才市场的匮乏直接影响了大数据未来的发展趋势。笔者认为未来大数据的发展趋势主要体现在以下几个方面。
2.1生活便利化
大数据技术已经开始逐渐改变我们的日常生活,并逐渐普及到了各个方面,促进了城市的发展。大数据技术从传统的、简单的数据分析处理到现在的智能化技术,无一不为人类提供了便利。智能技术来对自己的身体质量进行检测,比如:智能手环的出现,让人们可以随时了解自身的健康状态。外出时可以通过大数据技术进行人工智能导航;在家可以使用智能家电等。在未来大数据技术将会通过对数据的分析为人类提供更多智能化的帮助。
2.2数据资源化
随着大数据的发展,很多商业机构都对大数据表现出了相当浓厚的兴趣,大数据成为当代企业抢夺的新焦点。《华尔街日报》中就曾指出大数据是想黄金、货币一样的新的资产类别。谷歌、百度、腾讯等企业都通过利用大数据取得了事业上的成功,而金融电信等行业也在通过不断地利用大数据来提升自身的竞争力。我们可以相信大数据将在不久的将来成为个人的资产,成为企业竞争的有力武器。数据资源也可以解决交通行业的出行问题,智能交通依靠大数据信息集成的优势和组合效率,并跨越行政区域的限制,很好地配置公共交通信息资源,促进公共交通均衡性发展,对交通堵塞和交通污染排放进行隐形控制。
2.3行业方案定制化
大数据技术开始和传统的商业进行智能化的结合,在对企业的数据进行分析处理的基础上,将会引入更多的非数据化结构数据到其中。企业可以利用这项功能实现完整的数据化平台,并给各个商家定制适合他们的数据服务。由于商业智能化技术更利于企业找到新的商机,所以,必定会有广泛的应用市场。我们相信大数据技术在未来将会更智能化地解决商业中所存在的问题,对传统金融行业产生了巨大影响,大数据金融概念的提出及实施更能体现自身的实力和潜力。如京东商城等电子商务企业已经借助平台积淀的数据资产而进军金融领域,将信息流、物流和资金流深度融合,为平台上的用户提供订单白条等创新服务,弥补了传统供应链金融信息技术服务的缺失,并且这种定制化的商业解决方案必定会在金融行业创造出更高的价值。在教育领域大数据也引发着重要变革,美国教育部门所创造的“学习分析系统”正是基于大数据所研发,它以数据和模块联合的框架,向教育工作者提供学生关于学习更多、更好、更精确的信息。
3 结语
综上所述,随着近几年科学技术的迅猛发展,许多领域产生了海量数据,我们正生活在一个海量数据的时代。凭借其广泛的影响,大数据正在潜移默化地改变着我们的社会。在未来的发展过程中,大数据技术开始和传统的商业进行智能化的结合,在对企业的数据进行分析处理的基础上,将会引入更多的非数据化结构数据到其中。另外,越来越多商业机构都对大数据表现出了相当浓厚的兴趣,大数据成为当代企业抢夺的新焦点。
参考文献
[1] 李军.大数据:从海量到精准[M].北京:清华大学出版社,2014.
[2] 裘敬忠.探讨大数据技术发展趋势及应用的初步经验[J].纳税,2017(17):201.
[3] 潘柱廷,程学旗,袁晓如.CCF大专委2016年大数据发展趋势预测——解读和行动建议[J].大数据,2016,2(1):105-113.