互联网开源数据存储与分析技术的应用

李刚

摘   要：基于对互联网开源数据存储与分析技术的探讨、研究，首先要明确云储存技术的定义，然后与其中内容相结合，对互联网开源数据存储与分析技术进行分析。文章主要从基本策略与4层架构设计两方面入手，分析将后者扩展至架构硬件体系以及设计系统处理流程的途径。现如今互联网开源数据存储与分析技术的作用愈发明显，及时进一步探索更先进的方法与技术势在必行，为有需要的人士提供些许帮助。

关键词：互联网;开源数据存储;数据分析

随着信息技术在全球范围内的飞速发展，互联网上的开源数据可以用海量来形容，此时若想确保正常的数据存储与使用，仅依靠磁盘阵列方式是远远不够的。与此同时，作为新时代应运而生的先進产物，云存储技术能够起到分析互联网开源数据存储应用的作用，通过对数据分类技术的应用，使海量数据得到初步的有效检索，再在此基础上采取私有云的方式，分类存储已经分类好的数据，为日后的计算分析提供便利。由此可见，为进一步提升开源数据存储与分析的效率，及时探索更有效的方式与策略势在必行。

1    云储存技术概述

云存储技术概念实际上源于云计算概念，通过对网格技术、集群应用或者是分布式文件系统等功能的运用，采取合适的应用软件展开对网络中大量不同类型存储设备的整合，从而使其协同合作，对外提供数据存储与业务访问服务。如果大量数据存储与管理程序是云计算系统运算与处理的关键所在，那么云计算系统中存储设备的大量配置就非常必要，在向云存储系统转变的基础上，也可以将云存储看作一个数据存储与管理的云计算系统。

2    互联网开源数据存储与分析技术

实际上，可以通过对面向服务体系结构（Service-Oriented Architecture，SOA）的应用实现数据存储与计算技术。SOA是在业务集成形成需求的时候，可以在连接后达成特定任务中要求的目标，作为一种功能实体，相对来讲具备较强的独立性，能够实现软件系统架构[1]。除此之外，还可以将SOA定义成组件模型，其能够有效联系应用程序中的各个功能单元，就硬件平台、编程语言以及操作系统来讲，接口是独立存在的。如此一来，各类系统中的服务即能采取统一方式交互[2]。

2.1  基本策略

基本策略的软件架构设计，主要以SOA的设计思想为指导，其基本策略如下：

（1）通过对于实现无关接口的应用定义服务，即相关人员需将面向服务、对象作为根据，同时将用户人机接口以及软件运行环境等因素考虑在内，若都能实现有效独立，能在极大程度上降低运行时对人机界面接口情况的影响，进一步为系统整体运行效率提供保障。

（2）相关人员需明确认识通信协议强调位置透明性与互操作性的关键意义。互操作性即为在计算机系统、应用程序与网络都不相同的情况下，已然具备共同工作与共享信息的能力。由于是两个系统连接后的信息共享，需对互操作性展开级别划分，不能单一认为用户也可以实现信息随意访问。

（3）业务功能服务可应用于封装技术。该技术通常是指通过对绝缘材料的运用，实现对集成电路打包的技术，而本文中则指封装分析模块软件功能的技术，如此能使破坏与修改的概率显著降低[3]。除数据查询与分析功能之外，也能用于一定程度的数据信息挖掘，由此可见，在用户操作与使用便捷性提升方面，该技术是非常有利的。

2.2  4层架构设计

4层架构设计软件体系结构所包含的内容可以分为4层，且能明显观察到其为递进层次关系。第一层次是基础数据层，原始数据库、预处理与运算存储数据、各类信息知识等，都是其中含括的主要内容。第二层次则是面向服务的构件管理层，是应用软件系统调度与管理中最不可忽视的重要部分，主要包括服务调度管理、业务流程编排以及系统管理与监控等组件。第三层次是服务层，以高内聚与低耦合的功能组件为主要内容，通常情况下以数据检索、挖掘为目的，调度管理都由构件管理平台统一进行。第四层次为应用层，此处以数据分析、检索以及挖掘为核心工作，同时实现各类可视化用户接口的提供[4]。

2.2.1  架构硬件体系

（1）分布式处理体系在运行过程中的服务器数量，通常在两个或以上，系统应用软件能在一台或已连接的多台服务器上运行。相比较其他形式的硬件架构而言，分布式处理体系的特征与长处如下：在分布式架构的作用下，达成负载平衡计算的目的;选择最合适的计算机运行程序;稀有资源能够全面共享。其中，共享稀有资源与平衡负载可以看作是分布式架构的核心所在。

（2）两台或以上数量的计算机或者节点在同群组内共同工作，即为PC服务器集群，与独立工作的计算机相比，具备更强的可扩充性与实用性[5]。与此同时，服务器集群的优势是能够有效满足范围内的用户所需，在各节点都有资源的情况下，可用性与可扩充性也能随之显著提升。若在节点硬件或软件运行时发现异常状况，系统会自动进行故障切换，而如果软件系统对服务器处理速度提出更高的要求，服务器扩充工作也可以随时进行，从而在最大程度上使用户需求得到满足。

2.2.2  设计系统处理流程

（1）数据获取。以将已经预处理完成的数据有效提取到系统中为主要功能，与此同时，再以数据清洗、格式统一化处理为基础，实现数据合理有序的传输，使后续处理过程中系统功能的完善性得到保障[6]，即相关人员需要确保前端探针设备传回数据处理的合理性，在充分发挥数据预处理层作用的前提下，达成格式统一化与分类处理的目的。经实践证明，以此为基点再向数据存储层存放，同时明确各类文件在不同服务器中存放的差异，在提高数据资料调取、分析效率的情况下，能够为日后用户调用以及查询功能提供极大便利。

（2）数据组织。主要功能在于能实现对文件流的在线处理，以快速扫描、文字提取、信息识别、数据过滤以及信息分类等为主。其中所提到的快速扫描技术，能有效完成数据文件检索;而通过对文字提取功能的合理应用，能够结合实际情况形成派生文本数据;信息分类能有效整合信息时代下每时每刻产生的海量数据，并最大程度上保证其准确性与合理性，使数据检索与查询的便捷性得到保障[7]。

（3）数据存储数据计算。本文所指的数据存储，主要是通过中间管理层来实现的，以大文件库、全文数库以及关系数据库等储存服务为例，均是存储系统中的关键内容。除此之外，还包括统一视图中间管理层实现分布式存储系统，进而形成单一系统映像[8]。将自然语言处理的高级数据分析功能作为基础，能有效地实现数据计算，其属于信息过滤与检索常规数据处理的扩充。

3    结语

綜上所述，就网络技术环境目前情况来看，开源数据作为其中的研究热点，能够将网络新技术、信息采集以及数据分析等多个领域均含括在内，相对来讲优势非常明显。与此同时，在新时期大数据环境的影响下，开源数据的挖掘与分析技术也必然会得到进一步的发展，及时创新信息采集与网络监控等势在必行。

[参考文献]

[1]向华伟.开源数据库数据存储的实现路径分析[J].电子技术与软件工程，2016（20）：186.

[2]宁德军，叶培根，刘琴，等.基于存储库数据挖掘的开源软件成功度量方法[J].电子学报，2018（12）：116-121.

[3]郝文江.互联网开源数据存储与分析技术研究[J].信息网络安全，2013（7）：24-27.

[4]姜天海.新技术让数据存储时间逼近“永恒”[J].科学新闻，2017（1）：44.

[5]李华平，许鹏，胡晓明.高职院校教育资源云平台的数据存储研究[J].洛阳师范学院学报，2017（5）：56-59.

[6]王峰，闫汇，刘圆.冷数据存储研究[J].电信技术，2017（6）：22-24.

[7]杨靖.在线数据存储—你存储了吗？[J].电脑知识与技术，2009（8）：225-226.

[8]彭泽华，胡开胜.高校图书馆数据存储外包的探讨[J].电脑知识与技术，2009（22）：20-22.

Abstract：Based on the discussion and research on the open source data storage and analysis technology of the Internet， it is necessary to clarify what is cloud storage technology first， then combine it with the content to analyze the open source data storage and analysis technology of the Internet. This paper mainly starts from the basic strategy and four-layer architecture design， analyzes the way of extends the latter to construct the hardware system and design the system processing process. Nowadays， the role of open source data storage and analysis technology on the Internet is becoming more and more obvious. It is imperative to further explore more advanced methods and technologies in a timely manner， so as to provide some help for those in need.

Key words：Internet; open source data storage; data analysis