大数据技术发展现状及趋势探究

编者按：目前，数据已经渗透到了每一个行业领域并成为重要的生产因素，数据规模也正以惊人的速度呈膨胀式的增长，大数据正成为这个时代最为显著的标签。虽然大数据这个概念已经为大多人所知，但大数据究竟是什么，很多人其实并不明白，甚至还存在许多误区，文章基于对大数据现有技术体系的认知，对大数据技术的现状及其未来发展趋势进行探讨。

数据已经悄无声息地融入我们生活的每一个细节，即使人们无法直接触摸感受到它，但它的能力不可小覷。自2013年成为大数据元年以来，大数据一词越来越多地进入到了人们的视野当中，这个名词已然成为当前日常生活中的一种时尚或者时髦。即便不从事科研工作或者在科技领域甚至在平日里接触不到大数据概念的人们也对此较为熟悉，大数据已经切实地融入了我们的生活，但对于“大数据是什么？”这个问题，大多数人还是一知半解。

什么才是大数据？尽管大数据的概念一经提出便引发了社会各界的广泛关注，但到目前为止，学术界对于大数据还没有形成一个统一的定义，麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。IBM公司提出了大数据的5V特点以将其与传统数据区别，即：

1.Volume：数据量大，包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是PB（1024个TB）、E（1024个PB）或ZB（1024个EB）。

2.Variety：种类和来源多样化。包括结构化、半结构化和非结构化数据，具体表现为网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。

3.Value：数据价值密度相对较低，或者说是浪里淘沙却又弥足珍贵。随着互联网以及物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低。

4.Velocity：数据增长速度快，处理速度也快，时效性要求高。

5.Veracity：数据的准确性和可信赖度，即数据的质量。

从字面意义入手，大数据也应该从“大”字开始理解。随着互联网浪潮席卷全球，全世界的数据量也呈井喷式上涨，2010年全球产生的数据量为1.2ZB，而十年后2020年这个数字已经增长到64ZB，约为64万亿GB，预计到2025年将增长到约1000ZB。出于保存海量的网络信息并获取其中潜藏的巨大价值的目的，催生了大数据技术。大数据技术就是通过分析采集得来的、大量的、不同类型的数据，使数据可视化并得到其中的潜在价值，让人们直观地感受到数据的力量、使用数据的力量。

我国大数据技术发展现状分析

大数据技术主要涉及四个部分，数据采集技术、数据存储技术、数据分析技术、数据可视化技术。

数据采集技术：大数据采集是指从终端设备、社交网络、企业管理系统以及其他互联网平台、系统等获取数据的过程。这些数据不但来源广泛，且数据类型多样、规模庞大、产生速度快，传统的数据采集方法基本无法胜任。

数据存储技术：大数据存储目前主要通过建立轻型数据库、大型分布式数据库或者存储集群平台以满足大数据读写的高速需求。

数据分析技术：大数据分析技术通过数据清洗从大量不同类型的数据中获取真实有效的数据，经算法运算处理后获得需要的结果。

数据可视化技术：使数据分析的复杂结果以图表、词云等对非计算机专业人士友好的形式输出，方便其他专业人才运用。

近年来，大数据产业高速发展，在“十三五”时期，我国大数据产业规模年均增速超过25%，2020年达到约8000亿元，产业价值不断提升。并且“大数据”一词在“十四五”规划的征求意见稿中频繁出现，“数据”一词则更是出现了六十余次。可以看出，作为国民经济和社会发展的重要风向标，“十四五”规划对于大数据的发展也作出了重要部署。

目前，大数据技术已经在多个行业领域中有着不同运用，如：

1.电商领域：淘宝、京东等电商平台利用大数据技术，对用户信息进行分析，从而为用户推送用户感兴趣的产品，从而刺激消费。

2.医疗领域：医疗行业通过临床数据对比、实时统计分析、远程病人数据分析、就诊行为分析等，辅助医生进行临床决策，规范诊疗路径，提高医生的工作效率。

3.安防领域：安防行业可实现视频图像模糊查询、快速检索、精准定位，并能够进一步挖掘海量视频监控数据背后的价值信息，反馈内涵知识辅助决策判断。

4.金融领域：用户画像的基础上，银行可以根据用户的年龄、资产规模、理财偏好等，对用户群进行精准定位，分析出潜在的金融服务需求。

5.教育领域：通过大数据进行学习分析，能够为每位学生创设一个量身定做的个性化课程，为学生的多年学习提供一个富有挑战性而不让人厌倦的学习计划。

6.交通领域：大数据技术可以预测未来交通情况，为改善交通状况提供优化方案，有助于交通部门提高对道路交通的把控能力，防止和缓解交通拥堵，提供更加人性化的服务。

大数据技术发展趋势预测

大数据的安全及隐私问题

随着大数据的发展，数据的来源和应用领域越来越广泛：在互联网上随意浏览网页，就会留下一连串的浏览痕迹;2018年Facebook泄露8700万用户的隐私数据的事件引发各界广泛关注，隐私数据泄露不仅会威胁到用户自身的人身财产安全，更会威胁到国家安全。获得大量用户数据的剑桥公司便是通过分析这8700万用户的隐私数据分析用户行为与思维，以向其精准投放内容，用户在这种精准投放下很容易形成“信息茧房”，如果在内容中添加某些特定成分，很容易在潜移默化中改变一个人的思想，剑桥公司便是利用这种手段在某种程度上达到了操作美国大选的目的。

大数据时代数据的更新变化速度加快，而一般的数据隐私保护技术大都基于静态数据保护，这就给隐私保护带来了新的挑战.在复杂变化的条件下如何实现数据隐私安全的保护，这将是未来大数据研究的重点方向之一。

大数据的存储管理问题

截至2019年我国共有7.4万个数据中心，2021年1月腾讯西部云计算数据中心二期工程竣工，整体建成后将具备20万台服务器的运算存储能力，将会成为中国西部最大的单体数据中心。尽管目前通过建立大型分布式数据库，数据存储的问题得到了缓解，然而数据量以每年约50%的增速持续增长，即使全国范围内有如此之多的数据中心，传统的数据存储方式也已经无法满足现有需求。

大数据技术5V特征中的Value是价值密度低的体现，现有存储技术存在大量数据冗余，大数据存储技术的能耗极高并存在数据丢包的可能性，冗余数据的存储意味着有效数据的丢失可能性增高，数据的价值密度进一步降低、数据存储成本上涨，这就对数据清洗技术提出了更高的要求。在数据存储中数据读写速度、数据格式转化是必要的，也是非常关键和复杂的，在未来如何进一步提高数据存储系统的效率将是亟待解决的大问题。

大数据融合应用实体经济

近几月来，金融、教育、互联网、房地产等资本驱动行业均受到国家不同力度的打击，而硬科技、新能源等更能创造社会价值的产业持续走高，“十四五”规划中也提出要将大数据融合应用的重点从虚拟经济转变为实体经济。

因为大数据的发展不仅改变了科学思维，也必然會引起企业以及政府、个人的思维方式的变革，在信息技术突飞猛进的今天，物联网、嵌入式技术、传感技术等的发展，为人类更全面地感知客观存在的物理世界提供了基础，大数据技术正是新型信息技术与传统实业之间的纽带，融合应用会是大数据技术的发展重点。随着大数据技术在各种产业中的深入融合应用并带动产业升级，我们的生活、生产方式也将会因为大数据技术而改变。

结语

大数据技术已经成为各行各业需求创新突破的首要选择，每天都会产生的庞大数据，也使得大数据成为一种新型资产。目前，大数据技术已经改变了人们的思维方式、生活方式、生产方式。未来，大数据技术将会渗透进我们生活的方方面面。蒸汽机诞生开创了“蒸汽时代”，电力发明带领人们走入电气时代，互联网信息技术的浪潮将人们推向“信息时代”。“大数据时代”会不会就是我们正在寻求的那个崭新的时代呢？

参考文献：

[1]陈曈，林捷.大数据是什么[J].电脑知识与技术，2017，13（13）：10-11.

[2]彭宇，庞景月，刘大同，等.大数据：内涵、技术体系与展望[J].电子测量与仪器学报，2015，29（04）：469-482.

[3]黄小华.大数据技术体系及发展趋势探析[J].商业文化，2021（20）：48-49.

[4]刘智慧，张泉灵.大数据技术研究综述[J].浙江大学学报（工学版），2014，48（06）：957-972.

作者简介：江子杨（2002—），江西上饶人，本科，现就读于江西师范大学，主要研究方向为数据科学与大数据技术。