大数据技术应用面临的挑战及对策研究

金放

摘 要：文章基于大数据技术与应用中的挑战性科学问题进行研究，从大数据获取和应用等多方面探讨大数据技术与其应用领域关注和解决的几大科学问题，并结合我国当前社会情况，提出开展大数据技术与应用相关研究的策略与方式。

关键词：大数据技术;应用;挑战性科学问题

0   引言

大數据是社会信息化发展下的产物，也是时代发展进步的一种标志。在大数据时代，人们通过测量、统计和解析，能够有效将社会中的信息进行处理、归类和汇总。尤其是当前随着科学技术的快速发展，无线通信科技、计算机网络以及现代传感器的应用，能够促使人们有效地对所获取的信息进行分类、整理、归纳、总结，人们对数据获取的手段和途径日益提升，所获得数据的种类、层次和尺度也日益多元化。本文将研究视角聚焦于我国在大数据技术与应用领域急需解决的几大科学问题。

1 大数据技术的特征和应用研究的意义

1.1 大数据的基本特征

1.1.1 数据规模庞大

大数据本身是对数据的一种集合，现如今大数据的数据体量已经由原先的 GB（10 9）、TB（10 12）再到PB（10 15）字节。

1.1.2 数据类型繁多

当前大数据整体的数据结构包括结构化、半结构化和非结构化，甚至融合了非完整性和错误数据。在现代的互联网体系下关于半结构化和非结构化的数据，已经相对其他的数据结构模式占比高达95%以上。

1.1.3 产生和增长速率快

基于当前美国国际数据公司（IDC）的研究报告，截至目前，全球的数据获取能力已经不断地增长到了50倍，而对数据储存的服务器将增长10倍。由此可以看出当前世界无各国都在介入着数据采集和储存，进行着大量的数据收集、整理和获取。这些数据通过高密度流的方式来不断地进行演变，在数据处理和数据运用过程中具有较强的时效性，只有借助科技软件经过快速处理，才能够将这些庞大的数据量进行有效利用。

1.2  大数据研究开展的意义

当前大数据已经能够广泛的创造新价值，并且也成了经济增长的助推器。从目前来看关于大数据的研究主要集中于对行业领域的作用、对科学研究的作用以及处理技术所形成的社会经济价值等多方面。

1.2.1  大数据技术在各个行业领域的应用

当前大数据技术已经渗透到了各个行业和各个业务职能，随着物质和人力资源之后形成的另一种资源。人们可以借助大数据工具对当前社会的形式进行实时分析，同时大数据也不断地成为如公路、水电、通信网络等领域不可或缺的工具而存在，它已经逐步成了现代社会基础设施的重要组成部分。在我国的资源、经济、医疗卫生和国防建设等多个行业发展过程中，借助大数据技术能够有效地整合物质资源、人力资源，促进整个国家的发展。同时大数据技术的研究对整个国家和社会的安全与稳定都会造成深远的影响，从国家层面上来说，充分体现出了一个国家所形成的数据规模活性和对数据的实施运用能力。

正是因为大数据所具备的这些资源价值，促使部分发达国家纷纷将大数据技术和应用提升到了国家发展战略中。从2012年开始美国《大数据研究和发展倡议》和日本《新 ICT 战略研究计划》就建立起了多方面关于大数据发展的相关策略和建议，指出当前国家的发展中需要重点的关注复杂的数据，要抢占大数据时代的战略制高点，不断提升国家的综合竞争力。我国国土辽阔，在数据储存方面和整合利用方面拥有的前景日益广阔，大数据技术的广泛使用，能够有效满足当前我国发展战略的相关研究。

1.2.2 大数据技术对科学研究起到的作用

大数据技术的出现将部分科学研究从过去的假设驱动性转化为数据驱动性，从而探索出新的科学研究方式和路径。大数据技术的使用可以假设物质各组成部分及相互关系，遵循某种关系开始相应的实践，借助数据逻辑的方式，对整个事件的规律和形成进行一定的假设，并对形成的某种同质性和演化的事物进行探索。当前大数据技术能够充分地进行数据的处理和分析，进而得出该事物及整体上所形成的统计规律，而这种规律在没有已知规律和可循物质各组成部分之间是处于复杂的，很难建立起一定的模型[1]。

当前各学科的发展已经离不开数据的技术应用，除了传统的模式识别、数据挖掘和机器学习之外，借助大数据处理软件，人们可以从相应的数据中不断地进行预测、反应、决策和控制，对相应的数据问题进行整合。大数据也在不断地改变人们对信息处理的思维模式，在面向复杂对象开展大数据处理方式时，需要紧跟着时代的发展来进行。

1.2.3  大数据及相关处理技术可转化为巨大的社会经济价值

当前大数据技术被广泛运用到社会，各大发达国家在数据处理方面已经有了很多的成功案例，比如利用医疗卫生数据监控医疗体制的运行和民众健康的变化，对当前医疗技术加以评估，帮助政府选择合理的医疗改革方案。或者利用能源数据，推动各相关部门实现能源减排方案。借助交通运输数据，缓解交通运输拥堵等问题。由此可以看出当前随着大数据技术的快速发展，大数据的处理与应用已经不断地产生巨大的社会经济价值，甚至被人誉为“未来的新石油”，推动了部分行业和领域的快速发展[2]。

2 大数据技术与应用中亟待解决的挑战性科学问题

大数据体量庞大，增长速度快，增长价值大，对数据能够进行实时获取。借助数据的传输整理等功能，能够面对小的信息数据，满足多种要求，突破传统的思维定式和技术的限制，深入地对时代所获取的相应大数据技术进行获取、储存、处理。大数据技术与应用中亟待解决的挑战性科学问题如下。

2.1 高效压缩感知与选择性感知方法

过去人们对数据的关注点在于数据的质量客观性，这是小数据时代下所做到的处理模式。因为小数据在存储处理和计算上所花费的时间小，对实际的应用具有一定的时效性。而大数据时代，人们不仅要关注数据的质量和速度，更重要的是要关注如何对数据进行传输处理和计算，并且对数据所形成的相应成本进行适时的探讨。因此面对种类繁多，灵活多样的大数据应用，不能只以够用即可的模式进行数据的获取，还应该不断追求数据获取的方式和方法。

针对当前的数据获取，通过数据储存、传输、处理等多种应用，能够有效提高大数据从获取到应用整个过程，满足精准处理的效率，尽可能地减小数据的规模。从现阶段来说需要不断地改进和发展压缩感知方式和技术，这样能够有效提高数据处理的无损压缩比重。其次，还可以在信息获取时进行选择性的关注，建立对无关数据进行大幅度去除的模式。最后，需要不断加强对数据处理和分析能力的研究，尽可能减少无用和有害信息的处理，大幅度提高数据处理的效率和计算的效率。

2.2  大数据高效存储和管理方式

按数据存储作为数据处理和计算的关键所在，是为了整个大数据时代所服务的现有的数据量。数据存储随着时间的增长而不断地增长，而现有的数数据储存管理和調度已经不能适合多元海量异构的数据，在多种存储设备之间的流动。因此为了应对当前数据存在的灵活性、便捷性和快速性，需要结合当前数据处理的整合模式，研究如何高效地去除海量和冗余的数据，高效地压缩数据处理方式，将重复无用的过时数据在数据储存软件上进行及时的清除。以有效提高数据存储空间的利用率。同时还应通过协同优化和配置，对各种数据资源进行实时获取，研发高效的数据模型。借助相应的存取技术和交换算法，能够尽可能地提高数据存储的速度效率。

2.3  多层多域网络化大数据的高效传输方式

随着科学技术的快速发展，对数据处理的核心不仅仅是在于时效性和完整性，还要针对不同的应用模式进行数据的处理。有些数据处理苛求于数据的实效性，而有些则针对数据处理的完整性。所以在数据处理过程中需要综合考虑数据的形式，并做好数据处理的预测、决策和控制等多方面的研究。

当前在网络技术快速发展和应用需求日益增大情况下，网络的规模和异构性急剧增大，而且大数据在跨层跨域之间的数据处理和实时传输日益困难，所以对数据完整性的保持是一种极大地苛求。如果互联网和光网络都无法满足数据传输的实时性和完整性，会存在数据乱丢、乱码和乱序等现象的出现。因此需要研发新的网络体系架构和传输交换机理，有效对数据资源进行实时调度，以满足对大数据跨层、跨域实施完整的传输的需求。

2.4 大数据高效计算系统结构与方法

大数据的处理核心在于处理效率和成本是否能够满足实际需求，当前大数据时代下提高数据处理的效率和减少数据处理的成本是关键所在。计算系统结构和算法在时间和成本上不能满足动关联性较强的大数据计算，迫切需要研发出新的可扩展并行的数据系统结构，实施高效的内存计算技术，满足当前大数据计算和分析的需求。

3 结语

综上所述，随着当前移动大数据技术的快速发展，加强我国大数据的处理至关重要。大数据内部隐藏相关事物之间的联系和模式，具有高度的复杂结构，需要针对多元的数据处理模式，进一步加大对大数据发展的战略与规划建立[3]。应提高对大数据技术应用的重视，不断地完善数据处理模式，并进一步提升数据处理的效率和可利用率，为国民经济的转型和升级以及社会的快速发展做出贡献。

[参考文献]

[1]韩子莹.大数据技术应用的伦理探究[D].北京：北京邮电大学，2019.

[2]韦军威.大数据技术应用的社会问题及治理对策[D].武汉：华中师范大学，2019.

[3]廖建新.大数据技术的应用现状与展望[J].电信科学，2015（7）：7-18.

（编辑 王永超）