基于网络编码分布式文件系统的设计与实现

宋文彬

（山西工程科技职业大学 山西省晋中市 030619）

移动互联网的快速发展使得网络数据量呈现爆炸式的增长。在庞大的数据当中，不同类型的数据都有其应用价值，我们需要使用各种类型的技术手段，对这些数据进行收集分析，挖掘以及处理，保证有价值的信息得以快速的储存，应用在它能够提升价值的地方。使用传统的超级计算机进行数据的采集，分析挖掘和处理工作，已经无法满足现实需求，它不仅需要提高处理的时间，经济成本也大幅度的提升。正常用户对于信息和数据处理具有更高的要求，与此同时他们也对网络构架提出了更多的要求。如果能够在多个设备上对不同类型的数据以及信息进行储存，那么就可以有效的解决上文提出的这些问题。

新型技术的普及使人们对于网络服务的质量要求不断提高。针对这种情况，可以采用设计一款网络分布形式的文件系统来解决这一问题。并且，这一系统能够实现软件定义网络，并实现网络中动态资源的充分利用，实现对数据的高速传输，而这一过程需要获取最佳的路径。分布式文件系统在运行的过程当中，它的性能得以快速的优化，并且通过有效的引导可以让大数据流明显的提升。通过对构建的分布式文件系统运行文件读写功能修复、操作功能进行测试，可以发现它与传统的网络环境相比，具有较强的修复能力以及读写能力，而且它更加适用于网络数据量大，并且存在较为明显的异构情况下。

1 现状分析

在信息化的时代，人们一系列生产活动以及学习活动都会产生大量的数据以及信息，储存这些数据和信息，甚至是处理这些数据和信息都需要大量的电子产品。为了整体提高信息处理的效果，计算机的运行速度也有着很大的提升。在对信息生成以及信息处理进行管理的过程当中，对电脑信息进程储存这一环节是十分重要的，并且随着计算机速度的不断增加，还需要确保信息存储速度能够与其相匹配，通过实现这一要求，进而能够确保信息传输与存储能够有着更高的速度，并且满足人们对于信息的各项需求。

直至目前为止，对于如何高效的管理分布式储存设备，仍然是人们需要重点关注以及解决的问题。确保高效网络的智能化彻底实现，使得它的感知能力以及适应能力得到明显的提升，更好的符合上层应用的各种变化。为了确保能够真正的提高应用的实际性能，以及给用户更加舒适的体验，就需要通过构建分布式文件系统的方式，使文件的储存能够得到更加系统与科学的应用，确保数据访问性能有着更高的提升。那么这要求相关研发人员深入的了解底层网络的状况，并且通过控制底层网络状况对其核心操作算法进行改进以及优化。在进行相关设计的过程中，如果能够实现网络资源配置服务对用户开放，这一技术的实现能够确保用户在网络运用中能够得到大量的数据，并且确保这些数据与信息能够给用户提供到相应的帮助。我们在针对网络编码分布式文件系统设计与实现路径进行研究时，以软件来定义网络环境分布式文件系统原型构建，并且以弹性素修复算法针对异构储存节点，以网络编码思想作为基础，以储存环境结构作为重点考虑。

2 系统设计

2.1 软件定义网络和分布式文件系统的连接

与其他类型的网络形式相比，软件定义网络的应用价值相对较高，其主要原因是它可以以高度抽象以及结构网络，具体还包括设备控制层以及数据转发层的内容，在进行该项技术设计与应用的过程中，需要充分结合具有高度模拟化特征的网络硬件，并且确保整个系统能够有着较高运行效率，进而实现其对整个网络软件进行重新定义，它可以获取动态的网络变化信息，同时也可以有效的弥补传统网络存在的不足。

将软件定义网络和分布式文件系统进行充分的连接，可以使得整个网络的智能性以及灵活性明显的提升。SDN的使用可以达到实时监控以及网络网络系统的目的，在此基础上，其还具有将参考数值提供给上层应用的作用。上层应用在进行信息实际应用的过程中通过网络渠道将其发布，那么在进行信息提供时，就可以根据他们发布出来的具体要求进行网络资源的配置工作。

所以，在进行相关设计的过程中，其对文件及信息的分析方式需要建立成一个资源密集型的系统，并且确保网络文件的存储能力与数据分析能力有着明显的拓展趋势，确保其在整个系统当中能够形成多个存储节点，一个或一个以上的节点可以保证整个系统运行的稳定性。那么在这个过程当中，数据中心也会受到分布式文件系统的直接影响。SDN的接口结构与分布式文件系统的接口结构具有较大的相似性，而且他们都是使用C/S构架等方式进行连接。这种连接的方式使得控制的过程比较集中，而且也比较容易结合使用。

2.2 SDN在分布式文件系统中的应用

在针对分布式文件系统设计中，SDN网络能够对上层应用及逆行高效的反馈，并确保整个系统的性能都能够得到明显的优化。同时，SDN通过其中的一个中间件，可以实现对整个系统中信息进行综合调用，并且还能够结合用户的实际需要对底层的网络进行发送。与其他类型的网络系统设计相比，本文分析的设计特点在于以下5个方面的内容。

第1个特点在于其的后台是以SDN作为基础，对数据以及信息进行动态更新，与此同时它还会对拓扑流图进行维护工作，然而、拓扑流图还将底层网络的连接信息，各个节点之间的信息交流、最短路径信息等多项内容包含在其中。对这些数据以及信息进行动态更新，能够实现在更加快速的基础上将底层网络的信息变化情况反映出来，用户在进行使用的过程中，就可以在更短的时间内搜索到相关信息。

第2个特点，其有着还能够实现多种类型的功能，并且在一定基础上还可以实现传统网络隔离在内等相关功能，通过对匹配这个两个关键字的搜索能够实现对相关数据与关键信息的搜索，并可以对指定的数据进行传输。

第3个特点，其主要能够在系统文件分布形式实现将系统插入到流量超时的限制中，在这样的情况下就可以对超时的文件进行科学地计算，进而实现控制对两个节点之间文件传输需要消耗的时间，并且在一定程度上还能够实现将消耗的时间纳入到流表中。

第4个特点，在结合分布式文件系统进行控制流及数据流的应用中，能够对系统中的相关路径进行优化，实现数据在传输同时下发流表。

第5个特点，针对本文设计的控制流系统的通信功能研究中，其在进行相关传输的工程中，需要以IP和路由为基础，并针对系统中的通信功能进行优化，通过SDN和智能路由两组方式进行传输。

2.3 系统构架设计

在进行系统构架设计的过程当中，首先需要将SND网络结构放置到中间层的位置上，并且它的主要功能主要应用到底层网络数据的传输工作中。并且，在中心层外围的系统设计中，其各个节点有着不同的应用，其主要的传输能够需要应用到与客户节点及数据的交换中，在此基础上数据就可以进行传输工作。而且在这一过程当中还可以实现监控管理的优化效果。

3 网络分布式文件系统主要功能的实现

3.1 读文件操作

SDN网络作为基础，对全部网络通信的内容进行深入的分析，并且完成网络通信的各项任务及文件读、写的具体操作步骤是先将具体文件请求发送到系统当中，并且由系统专门负责文件信息管理，储存以及分析的节点，对这些文件数据信息进行查询并完成数据的传输工作之后，以数据传输作为起点，在确定目标节点之后，进行后续的管理工作。而在这一过程当中，需要以最佳路径计算以及流表下发作为基础才能更好的对路径的部署进行实现。系统将处理完的需要读取的文件信息返回给客户，并且提示文件可以开始读取，那么用户就可以将数据传输的请求发送到目标的网络中心当中，经过一系列的处理之后，数据又可以再次返回到用户终端。接到数据之后，用户就可以对这些数据以及信息进行解码检验，并且读取成功。而在完成以上所有操作之后，本次建立的所有路径都会被删除。

3.2 写文件操作

以SDN文件的上传功能作为基础，将网络分布式文件系统与其进行充分结合之后就可以完成写文件的操作，而具体的操作步骤如下：首先，系统在接收到用户发来的需要写文件的请求后，其能够根据请求的目标及需要自动匹配最佳的路径与节点，并实现高速计算，而此项计算的过程所花费的时间相对较短，但是它可以获得相关的计算结果之后向交换机下发流表。

在完成以上操作之后，用户就会接收到系统返回的成功准备的路径标志，那么就可以在此基础上完成同目标储存节点之间的连接工作，以及建立工作。此时用户可以在获取到以上分析的内容之后，根据所有的条件完成同目标储存节点间连接的建立，从而对数据以及信息进行传输。

数据中心在接收到客户传输的数据之后，就会对首个储存节点之后的所有内容进行储存以及分析，接下来就会以不同的形式对数据进行分析，并且到其他节点的运输过程中去。在这个过程当中，系统接收到成功写文件的数据标志之后就会对新添加的流表项进行删除操作。

3.3 文件修复操作

文件的修复操作需要以弹性树修复算法进行。以该修复算法作为基础，在针对文件进行修复工作时，它的具体操作如下。在针对文件系统修复的实际操作中，首先需要加进去一个具有修复任务的读取系统，并且在进行这一修复工作开展的过程中，其还能够对需要修复的节点进行选择，并且对节点上所需要开展的工作进行确定，都可以以系统作为基础完成一系列的操作。而在完成以上内容之后，就可以计算出最佳路径，并且进行下发流表的工作。在此基础之上，我们还需要针对数据传输路径进行合理的部署，保证其部署的科学性，并且使得整个数据传输的路径具有稳定性的特点。参与修复的每一个节点，在进入到算法之后就会接收到来自系统的修复信息。而修复信息的接收或可以根据数据的内容进行实际的数据传输以及计算过程。最终系统接收到，来自目标节点的修复，完成信息之后，就会对已经建立的路径进行删除操作。

4 系统测试和结果分析

为了能够确保本文所记录的分布式文件系统在具体应用的过程中能够有着更高的性能，需要采用系统原型构建的方式进行实现，并且实现对客户端及数据存储节点上的相关内容进行科学的系统分析。而且在测试的过程当中操作的内容包括文件的读写修复等多项过程。在针对测试文件读写的功能进行分析时，能够观察到，其每隔10秒就能够对网络的宽带进行细微的改动，其都是为了确保测试的文件大小想要用，能够实现对文件读写影响因素的分析。

5 结论

传统分布式文件系统对于底层网络并没有进行深入的考虑，所以它的读写性能以及文件的修复性能大幅度降低。最近这几年，编码理论当中有了新的网络编码的出现，并且它将传统路由器当中的单纯文件复制进行改变，并且，在一定程度上证明了中间节点能够增强字编码能力，信息速度传播更快，而且达到了基于拓扑网络流图上最大流量的目的。上文主要针对于网络编码，分布式文件系统的设计作为基础进行探讨和分析，具体内容包括系统设计网络分布式文件系统主要功能的实现，系统测试及结果的分析等。