基于校园网的多协议节约型离线下载系统设计*

孟亚辉

(广东石油化工学院 理学院，广东 茂名 525000)



基于校园网的多协议节约型离线下载系统设计*

孟亚辉

(广东石油化工学院 理学院，广东 茂名 525000)

目前宽带运营小区和校园网的出口带宽在高峰期特别紧缺，导致上网速度慢，甚至无法打开网页等，其原因是蜂拥使用网络和出口带宽不足。在无法增加出口带宽的情况下，错峰使用网络是解决小区和校园网出口带宽不足的有效方法。一种支持多协议资源节约型离线下载系统就是错峰使用网络，使小区和校园网的利用率最大化；除此之外，支持多协议，使得系统可下载资源广泛；系统个性化内网和外网设置，使得内外网的使用更加优化；同时，还实现节能环保的功能。

多协议；错峰；离线下载

0　引言

目前宽带运营小区和校园网的出口带宽在高峰期特别紧缺，带宽在高峰期已经无法满足现有的庞大用户群，急需解决出口带宽的错峰使用及相关类产品的部署，以缓解目前高峰期的带宽压力。资源下载是导致带宽在高峰不足的一个重要原因。在计算机互联网中，用户经常需要从网络中下载各种资源，离线下载是经常使用的服务。离线下载定义为用户通过连接服务器，提交下载地址或者上传下载种子文件，下载服务器响应用户下载请求并为用户提供代理下载的下载模式[1]。离线下载是普通下载服务的一种扩展，离线下载能够有效地解决用户网络环境较差导致下载缓慢的问题，还可代替用户完成下载，可以减少用户不必要的等待时间。

1　目前国内外的离线下载方式

目前国内外的离线下载方式主要有迅雷离线下载、网吧版迅雷、BT离线下载网站、个人离线下载设备等，其下载原理如下。

1)迅雷离线下载。迅雷离线下载是迅雷公司于2009年开发的付费离线下载服务，以服务器高速代理下载，中转到离线空间，再以用户从迅雷离线下载服务器，将资源下载到本地机的方式提供网络加速服务。其主要为冷门资源、多资源下载受限、不方便下载等下载用户提供的服务下载通道，为国内较早提供离线下载的服务商之一。用户使用迅雷离线下载，仍需要从出口外的离线服务器上把资源下载回本地机，下载速度依然受到出口带宽的限制。因此，在出口带宽紧缺时，使用迅雷离线下载，与从数据源的位置进行下载类似，并不能有效地提高下载的速率和节省下载时间，未能做到缓解出口宽带紧缺情况及带宽错峰使用的目的。QQ旋风的离线下载原理和优缺点与迅雷类似。

2)网吧版迅雷。网吧版迅雷是针对网吧环境专门定制的迅雷版本，可以有效解决网吧内用户使用下载工具影响整个网络正常运作的问题，同时，控制甚至节约带宽的占用情况。网吧版迅雷分为服务器端和客户控制端两部分，启用“自动缓存”功能后，网吧内下载的文件将会被服务器端缓存，当客户端再次下载相同文件时，直接把缓存中的相同文件直传给用户，这种工作机制就是“秒杀”下载。“秒杀”技术的合理运用能进一步提高了离线下载系统的工作效率。从服务器端给用户直传资源属于局域网内数据传输，它解决下载占用网吧带宽以及局域网内重复下载造成的带宽资源浪费问题。但是，这并不是错峰使用带宽，仍有出口带宽资源竞争问题，且目前网吧版迅雷已经停止更新了，目前在国内该系统已经不再提供使用了。

3)BT离线下载网站。这类产品(如：Torrent Relay[2], BitLet.org, PPsCity)主要针对经常使用BT下载的用户推出的一种方便易用的网站，通过网站上传BT种子或者提交链接，网站服务器代替用户对BT种子或者链接进行下载。下载完毕，由网站提供高速通道给用户进行本地下载。此类产品支持的链接较少，一般只支持Bit Torrent和HTTP，从而导致可下载的资源有限。同时，用户仍需要从外网下载资源，下载速度受到出口带宽的限制。

4)个人离线下载设备。这类产品(如：汐能Synology DS107e)专门针对家庭用户和小型企业而推出的一款高性价比网络存储器，其具有出色的数据传输效能，支持UPnP多媒体服务器和P2P网络下载功能(Bit Torrent, FTP, HTTP)，同时，支持网站架设、数据备份等多种应用。此类产品的市场定位主要面向个人家庭用户及小范围应用，但其功能与性能较弱，从支持的协议和下载链接的种类上来说相对单一，无法支持多种下载源。

归纳以上国内外主要离线下载，大体可分两种方式。

第一种方式，离线下载服务器架设在Internet上。用户提交下载资源，离线下载服务器代替用户对资源进行下载；下载完毕后，用户再从Internet上的离线服务器将资源下载到用户本地机上，这种方式在下载冷门资源的时候可以降低用户长期挂机对计算机的损耗和电能消耗，还可以减少用户长期挂机对局域网的网络质量影响。但是，这种下载方式仍存在一些问题，如：(1)在下载热门资源时与一般的下载无异；(2)当资源从服务器上下载到用户本地机上时，下载速度仍受到出口带宽的影响，无法进行高速下载；(3)当资源过大时用户还需要长期挂机下载。

第二种方式，离线下载设备架设在用户端。这种下载方式是利用专用的下载设备代替个人计算机进行下载，在出口带宽不紧缺条件下，可以较好地节省用户长期挂机所带来的硬件损耗和电能消耗。但是，这种方式也存在一些问题，如：(1)下载资源的速度仍受到出口带宽的限制，此时，下载速度与使用个人计算机下载速度无太大差别；(2)在挂机下载资源时给用户所在的局域网的网络质量带来影响。

2　支持多协议节约型离线下载系统设计

针对目前国内外主要离线下载方式存在的不足，现提出一种新型离线下载系统——支持多协议节约型离线下载系统。这个系统分服务器端和用户端，其主要应用于宽带运营小区和校园网，离线下载服务器架设在局域网的出口处，通过统一的管理，利用高速的局域网出口对Internet上的资源进行下载，下载完成后，通过高速局域网络进行高速的内网数据传输。该系统支持多达12种下载协议，保证了多资源下载；系统还提出了错峰下载机制，该机制有效提高了网络最大化使用率和在繁忙时段的网络服务质量。热门资源命中机制可以很好地解决同一资源多次下载所造成的各种资源浪费。同时，系统兼容IPV6协议，以便下一代互联网的改造。

2.1系统功能

多协议节约型离线下载系统提供如下功能。

1)提供客户端管理软件。为了方便用户使用系统，系统提供了功能强大的客户端管理软件，可以方便用户提交下载链接和管理自己的离线下载文件。如：下载、删除、分享。

2)个性化外网设置。支持多种个性化的外网设置，如：限定每个资源在外网的下载速度、允许多少个资源同时下载。

3)个性化内网设置。支持多种个性化的内网设置，如：设置拒绝访问的主机表、最大并发连接数。

4)热门下载资源推送平台。以网站的形式推送最近的热门下载资源，让用户了解到本社区内的热门资讯，以减少用户到外网去寻找资源带来的麻烦，充分发挥网络的优势，给人们带来便利。

5)外网资源离线下载，内网资源高速传输，不受用户拨号带宽限制。下载服务器架设在局域网的出口处，能使资源下载和传输速度达到最佳的平衡点。目前同类产品，进行下载任务的机器主要集中在两个地方。一种是在Internet上的服务器，另一种是在每个用户的接入端。前者下载速度很快，当下载完成后，传输到每个用户的本地计算机时，传输速率由用户的出口带宽所决定，而后者的下载速度是由用户的出口带宽所决定的。两种方式都不能把效率最大化，而本系统是架设在局域网的进出口处，它的下载速度是直接利用局域网的出口总带宽，所以速度非常快，而传输到每个用户的时候，它的速度不再是每个用户的出口带宽所决定了，而是由网卡、网线、网络节点设备来决定的。而在这个百兆网络已经普及的年代，服务器和用户之间的传输速度非常快。

图1系统部署

2.2系统部署

考虑到如何提高带宽利用率，为用户提供高速的资料下载，规划设计出最适合基于支持多协议节约型离线下载系统部署，如图1所示。其主要优势：(1)出口带宽可以被充分的利用。服务器安置在局域网带宽的出口处，从外网下载资源的速度不受到链路分属不同的接入点的影响；(2)网内用户高速下载资源。网内用户下载资源的速度主要依据网卡的传输速率，不再受出口带宽的影响。

2.3系统框架

图2系统框架

系统通过客户端提交下载链接(客户端两种形式：基于WEB和基于客户端管理软件)，链接通过系统的核心调度模块对其协议进行分析判断解码，再把结果传入存储调度模块，在存储调度中使用命中模块分析判断链接是否已下载，命中模块通过调用资源库中的数据对其进行配对。如配对成功，则直接送内网下载链接到用户端，用户直接下载即可。如配对失败，则存储调度模块把链接返回核心调度模块，核心调度模块通过分析其协议类型后将链接发送到相应的处理模块中对资源进行下载。系统框架[3]如图2所示。

2.4离线下载流程

用户通过客户端或Web界面提交一个下载请求，服务器端接受请求，服务器首先对下载链接的协议进行分析，分析解码后，服务器查询判断用户提交的下载链接是否被下载过。如果被下载过，直接把已下载的数据文件(只是文件的链接)放入用户服务器端的在线空间。如果没有被下载过，再对网络状态进行判断，判断出口网络是否空闲；如空闲，则全速下载，如繁忙，则限速下载。下载完成后，用户在线登录到在线空间，取回下载的文件，其间采用内网高速传输方式。离线下载流程如图3所示。

2.5多种协议分析

考虑到用户下载资源的多样性，从客观上要求系统对不同的协议具有很强的分析处理能力，应为各种不同协议的资源提供离线下载。其主要原因：各种使用专用的协议提供下载的资源必须使用自身所特有的下载工具进行下载，用户需要下载各种资源的同时必须使用多种下载工具，给用户带来烦恼的同时，还占用了计算机的各种硬件资源，造成不必要的浪费。针对这些问题，系统提供了一种支持多种协议的分析，对各种专用的资源下载协议进行分析解码，通过分析解码，把真实的下载地址提交服务器进行离线下载，多种协议分析流程，如图4所示。

图3离线下载流程图4多种协议分析

2.6错峰下载机制模型

考虑到更好地为用户提供优质的网络，根据网络负荷的特性，系统提供了一套错峰下载机制。在用户提交下载链接时，通过调度模块分析出口网络的负载情况，并作出准确的判断。当出口网络较闲时，离线下载服务器全速下载；当出口网络较繁忙时，离线下载服务器限速下载。错峰下载机制模型如图5所示。

2.7热门资源命中机制模型

考虑到服务器上存储的下载资源会产生大量冗余，系统提供了一套热门资源的命中机制，如图6所示，用户提交下载链接时，对链接进行分析，取出HASH值，调用数据库中的HASH表与链接进行配对。如果配对成功，直接提供内网下载链接。如果配对失败，资源进行离线下载，并把链接存储于数据库中。

图5　错峰下载机制模型　　　　　图6　热门资源命中机制模型

2.8创新点和特色之处

技术创新：(1)支持多种下载协议。支持的协议有eDonkey2000、BitTorrent、Gnutella、Gnutella2、FastTrack、FileTP、Kad Network、DirectConnect、HTTP、Thunder、FLASHGET、qqdl等；(2)错峰下载机制。经过查阅同类或者相近的产品尚未有相关的措施。在用户提交下载链接时，系统通过调度模块分析出口网络的负载情况，并作出准确的判断。当出口网络较闲时，离线下载服务器全速下载；当出口网络较繁忙时，离线下载服务器限速下载，甚至暂停下载，以便使得局域网的网络运行情况变得更好。

功能特色：(1)提供客户端管理软件。通过客户端管理软件可以对下载链接进行一键提交，并可以对所下载的资源进行管理，如下载、删除、分享；(2)个性化外网设置。限定每个资源在外网的下载速度、允许多少个资源同时下载；(3)个性化内网设置。设置拒绝访问的主机表、最大并发连接数。(4)资源节约。避免用户长时间挂机下载对计算机硬件和电能的损耗。

3　国内外同类先进技术的比较

现从六个方面，把提出的“支持多协议节约型离线下载系统”与国内外同类先进技术进行比较，具体对比，如表1所示。

表1　本系统与同类先进技术比较

4　结语

针对宽带运营小区和校园网目前常见的网络管理问题，设计了支持多种协议错峰离线下载系统，并使资源下载传输达到最佳的一个状态，实现资源下载效率的最大化。可显著抑制P2P软件的滥用行为和网络资源的过渡消耗、用电浪费等问题。现在市场上流行的网络技术和产品中尚未发现完全解决上述问题的产品，本系统在同类产品中有很强的优越性和实用性。

[1] 许斌.基于云存储的离线下载系统[J].电脑知识与技术，2013，9(3)：457-462.

[2] 王展明.BitTorrent原理与算法研究及其性能优化[D].南昌：南昌大学，2007.

[3] 梁琼，熊建斌，梁泽溥，等.基于 PCA 人脸识别的智能防盗报警系统的设计与实现[J]. 广东石油化工学院学报，2014，24(6):26-30.

(责任编辑：黄容)

Design of a Multiprotocol and Economical Offline Download System Based on Campus Network

MENG Yahui

(College of Science, Guangdong University of Petrochemical Technology, Maoming 525000, China)

At present, the export bandwidth in communities’ bandwidth and campus network at the internet peak hours is particularly busy, resulting in slow internet speed and even failure to open the web page. This phenomenon is caused by using the network in flock and the deficiency of export bandwidth. When unable to expand the export bandwidth, using the internet at the cross-peak hours is an efficient way to solve the problem of deficiency of export bandwidth in communities’ bandwidth and campus network. The multiprotocol and economical offline download system can make the internet be used at the cross-peak hours, and maximize the utilization of the network in communities and campus. In addition, the multiprotocol system will make the system download resources more widely. The individual internal and external settings of system will make the use of internal and external network more optimized. Meanwhile, this system enables itself to conserve energy and protect environment.

Multi protocol; Cross-peak; offline download

2016-06-29；

2016-07-21

2012年茂名市科技计划项目(2012B01066)

孟亚辉(1979—)，男，陕西杨凌人，硕士，讲师，主要研究领域为计算机应用软件研发和算法研究。

TP393

A

2095-2562(2016)04-0032-05